Администрирование

Блокировка пауков в robots.txt

Блокировка пауков в robots.txt

Нередко на ваш любимый сайт приходят нежеланные гости, различные сборщики ссылок для не совсем понятных целей, seo-аналитики и прочие боты-индексаторы,  вызывая своей работой повышенную нагрузку и создавая паразитный трафик. Для блокировки большинства из них достаточно зайти по ссылке из   access.log, указанной в строке UserAgent бота, и прочитать о том, как исключить ваш сайт, добавив […]