AdsBot-Google

Определение

AdsBot-Google является ботом поисковика Гугл, который проводит сканирование веб-страниц с контекстными рекламными объявлениями от компании AdWords, а также оценивает их качество. То есть бот проверяет качество содержание объявления и его соответствия запросам пользователей, что позволяет выставить приемлемую стоимость одного клика.

Если ресурс скрыт от индексации поисковыми роботами файлом robots.txt, AdsBot собирает из последнего необходимые данные.

Как настроить доступ робота к веб-ресурсу

Специалист может проконтролировать доступ робота к страницам сайта с помощью robots.txt, а также .htaccess и специальных метатегов.

При работе с robots.txt следует разместить его в корневом каталоге сайта. Грамотно написанный робот перед работой со страницами, изначально заходит в каталог. Если же последний будет запрещен, то бот не сможет провести анализ страницы. Если необходимо закрыть доступ бота AdsBot-Google к какой-либо части ресурса, следует прописать в файле robots.txt следующий фрагмент кода:

User-agent: AdsBot-Google

Disallow:/

С этой же целью для запрета бота к какому-то элементу страницы ресурса можно применять метатеги. Так, перед частью, которую необходимо запретить, вписываете тег: meta name=”AdsBot-Google” content=”noindex”. Если требуется дополнительно закрыть фрагмент, то это можно осуществить, добавив строчку: meta name=”AdsBot-Google” content=”index”.