Метатег robots

Определение

Это часть HTML-кода, предназначенная для регулирования индексации и показа документов сайта в поисковой выдаче.

Используя инструменты, подобные мета-тегу robots, веб-специалист может указать поисковому роботу на приоритетность индесации отдельных документов сайта, запретить или разрешить индексирование контента ресурса, в том числе отдельных его страниц. Также он выбирает, разрешать ли поисковому роботу переходить по указанным в текстах и описаниях ссылкам. Давать указания поисковику можно через мета-тег под названием meta name robots.

Важно понимать, что последний не является аналогичным файлу Robots.txt.

Так, файл Robots позволяет веб-специалисту настраивать индексацию блога, определяя запрещающие команды для выбранных страниц или целых каталог внутри файла.

Метатег с одноименным названием также позволяет настраивать индексацию ресурса, прописывая запрещающие директивы для каждой страницы.

Какие параметры может содержать метатег Robots

Последний содержит список распространенных параметров для различных поисковых роботов:

• index – предназначен для индексации контента;
• noindex – команда-антагонист предыдущей, запрещает индексацию;
• follow – разрешает индексацию ссылок на конкретной странице;
• nofollow – соответственно, запрет индексации ссылок;
• all – разрешает индексацию ссылок и контента;
• none – запрет индексации текста и ссылок;
• noarchive – скрывает ссылку на копию на странице поисковика.

Отличия параметров Robots по отдельным ПС

Для поискового робота Яндекс применяется следующий параметр Robots:

• noyaca – запрет на применение описания Яндекс.Каталога в поисковой выдаче одноименного поисковика.

Для Гугл используются такие параметры

• nosnippet – не применять фрагмент содержания в поисковой выдаче;
• noodp – не применять описание из таких каталогов как ODP и DMOZ в выдаче;
• unavailable_after:[date – позволяет задать дату и время, когда индексация страницы должна остановится;
• noimageindex – запрет на использование изображений ресурса в роли источника ссылки, размещаемой в поисковике.

В случае, когда мета-тег Robots не прописан в коде страницы, то поисковый робот автоматически получает право проводить индексацию и текста, и ссылок.

Указывать мета-теги необходимо в теле кода между директивами head и /head.

В платформе WordPress тег можно вставить с помощью специального плагина.