Осторожно — фейковые гуглботы!

СЕО

Опытные веб-мастера знают, что помимо официальных поисковых роботов Google, Яндекса и прочих поисковых систем, в интернете «работает» множество фейковых ботов. Несколько недель назад независимое агентство Incapusla Security опубликовало отчет, касающийся роботов Google и их вредоносных клонов. Результаты, о которых полезно знать как тем, кто уже имеет свой сайт, так и тем, кто только планирует заказать создание сайта, оказались неутешительными.

Оказывается, что в среднем один сайт посещает 25 поисковых роботов. Один из этих ботов — фейк. В свою очередь, 34% всех ботов преследуют цель совершения DDoS-атаки, публикации спама, взлома и прочих вредоносных действий. Как же отличить настоящего робота Google от опасного фейкового?

Внимательно проанализировав картину сканирования сайтов всеми поисковыми работами, специалисты Incapusla Security заметили ряд интересных моментов.

Во-первых, выяснилось, что оригинальные гуглботы сканируют существенно больше страниц — больше, чем боты всех остальных поисковиков вместе взятые. Причем, роботы Google не проводят в процессе в своей работы никаких параллелей между возрастом площадки и ее размером к частоте и глубине сканирования, показателям сканирования и SEO-продуктивностью. Однако специалистов Incapusla Security очень насторожил тот факт, что некоторые из фейковых поисковых роботов сделаны настолько качественно, что иногда отличить их от оригинального бота очень непросто.

Но возможно. Для начала необходимо определить, какие роботы индексируют ваш сайт. Получить такую информацию можно из лог-файлов аналогично тому, как получается информация о посетителе. В юзер-агенте фиксируются тип компьютера, с которого совершается вход на сайт, операционная система этого компьютера, и браузер. С помощью юзер-агента аналогично можно узнать о посетителях-ботах и других программах, перемещающихся по сайту. Насторожиться следует, если роботизированная программа приходит из стран, из которых к вам не приходят посетители.

«Поймав» неугодного бота, его можно заблокировать. Но при этом учтите, что не все боты одинаковы похожи — среди них есть вполне добрые и безобидные. Иногда ботов, притворяющимися ботами Google, используют лишь для просмотра сайта глазами популярной поисковой системы. Подобный инструмент есть и у самой Google. Поэтому, прежде чем принимать решение о блокировке, посмотрите — приходит ли бот на сайт постоянно или же его сканирования носят случайный характер. Будьте внимательны: не заблокируйте свой сайт для настоящих гуглботов.

Еще нет своего сайта? Закажите сайт под ключ, если нет желания заниматься разработкой самостоятельно.

Оставить комментарий

Работает на WordPress