Блокуємо ботів в .htaccess Deny From через mod_setenvif

Є такі боти, що набридають своєю настирністю. Не важливо чому, блокуємо наступним кодом в .htaccess:

<IfModule mod_setenvif.c>
SetEnvIfNoCase User-Agent (^$|^\$|^.*megaindex.*$) bad_bots
<Limit GET POST PUT>
Order Allow,Deny
Allow from all
Deny from env=bad_bots
</Limit>
</IfModule>

Те саме по суті можна зробити за допомогою mod_rewrite таким чином:

<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^.*MegaIndex*
RewriteRule ^.* – [F,L]
</IfModule>

Конкретно тут, ми заблокували анонімних клієнтів, та конкретно MegaIndex, котрий хоч і дивиться в robots.txt, але робить вигляд ніби директива Crawl-delay не для нього писана. В баню.

Напишіть відгук

Ваша пошт@ не публікуватиметься. Обов’язкові поля позначені *

* Copy This Password *

* Type Or Paste Password Here *

Можна використовувати XHTML теґи та атрибути: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>