Зеркальщик

Определение

Зеркальщик – это такой поисковой бот, который предназначен для поиска и последующей склейки зеркал веб-ресурсов, а также очистки поисковой выборки от документов-дубликатов. Зеркальщиком известной корпорации Яндекс является специально написанный бот Yandex/1.01.001.

Итак, зеркальщик выполняет поиск зеркал ресурса, то есть их точных копий, размещенных на других доменах и адресах. Зеркал у каждого ресурса может быть несколько – они предусмотрены для распределения нагрузки на сайты с высоким трафиком, накопления PR, а также защиты данных при неисправной работе серверов.

Принцип работы

Обновление зеркальщика происходит каждые 2-12 недель. Робот ищет зеркала и в случае их обнаружения выделяет основной сайт, исключая остальные из процесса индексации.

Настройка для Яндекса

Для того чтобы зеркальщик Яндекса смог верно обнаружит главный сайт можно применить директиву Host. Последняя дает понять поисковику, какое из зеркал сайта является основным. Для этого еще на стадии разработки ресурса необходимо в файле robots.txt указать описанную выше директиву. Зеркальщик увидит эту команду и возьмет в расчет при анализе зеркал на наличие главного сайта. После этого он произведет склейку зеркал, исключив лишние из индексации. ИКС будет передана на основной ресурс.

Настройка для Гугл

Для того чтобы помочь найти основной сайт Гуглу и другим поисковикам можно настроить редирект 301. Так, боты и пользователи при переходе по ссылке, ведущей на зеркало ресурса, будут автоматически перенаправляться на страницу главного сайта. При этом не имеет значение, сколько зеркал имеет ресурс – все переходы будут перенаправляться на главный сайт.

Применяя варианты модуля mod_rewrite, можно предусмотреть переадресацию при выборе канонического домена, при этом сохраняя целостность структуры внутренних линков ресурса при переезде на другой домен.