Блокуємо ботів в .htaccess Deny From через mod_setenvif
Є такі боти, що набридають своєю настирністю. Не важливо чому, блокуємо наступним кодом в .htaccess:
<IfModule mod_setenvif.c>
SetEnvIfNoCase User-Agent (^$|^\$|^.*megaindex.*$) bad_bots
<Limit GET POST PUT>
Order Allow,Deny
Allow from all
Deny from env=bad_bots
</Limit>
</IfModule>
Те саме по суті можна зробити за допомогою mod_rewrite таким чином:
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^.*MegaIndex*
RewriteRule ^.* – [F,L]
</IfModule>
Конкретно тут, ми заблокували анонімних клієнтів, та конкретно MegaIndex, котрий хоч і дивиться в robots.txt, але робить вигляд ніби директива Crawl-delay не для нього писана. В баню.