アクセスログに検索エンジンのボットやクローラーのログを排除する

2018年8月12日

最近になってaccess.logの肥大化が半端ないほど早くなり、その原因が検索エンジンのbotによるものだったので
apache2のコンフィグにボット・クロウラーによるログファイルを排除するよう書き直しました。

Debian鯖の場合、"httpd.conf"を変更しても何故か反映されなかったので、"apache2.conf"を直接変更することに。
反映されない理由が検索しても原因が分からず、ここで何時間も引っかかりました…。

#vi /etc/apache2/apache2.conf

SetEnvIf User-Agent “cuil" no-logfile
SetEnvIf User-Agent “naver" no-logfile
SetEnvIf User-Agent “yandex" no-logfile
SetEnvIf User-Agent “Googlebot" no-logfile
SetEnvIf User-Agent “msnbot" no-logfile
SetEnvIf User-Agent “Yahoo! Slurp" no-logfile

CustomLog /var/log/apache2/access.log combined env=!no-logfile

#/etc/init.d/apache2 restart

The following two tabs change content below.

napnak

2017年から株式投資に興味を持ち始め、現在30銘柄保有中。 ゲーム / デジタル製品 のインドアな趣味を楽しみつつ、登山 / 釣り / サバゲー も好きで、興味があることはとりあえずやってみる!をモットーに生活しています。