Дублированный контент

Что такое дублированный контент?

Это контент с повторяющимся содержанием на разных страницах одного и того же сайта.

Виды дублированного контента

1. Полный дубль (по другим источникам его также могут называть четким дублем) – когда содержание страниц полностью совпадает, но при этом они имеют разные URL. Страница может иметь один, два или более дублей.
2. Частичный дубль (или нечеткий дубль) – когда имеется повтор значительных блоков контента. Это может быть как текстовый контент, так и изображения, видео-материалы или метатеги.

Причины появления дубликатов

1. Особенности CMS сайта: когда программа, на базе которой сайт создан, в некоторых случаях может автоматически генерировать дублированный контент. В качестве примера: WordPress для отзывов автоматически может генерировать отдельные страницы с собственным URL.
2. В процессе модификаций сайта (изменение структуры, редизайн, обновление), когда создаются новые страницы, при этом уже существующие с похожим или совпадающим контентом не закрываются от индексации.
3. Ошибки со стороны вебмастера или владельца сайта; публикация страниц с одинаковым содержанием в разных категориях сайта.
4. Анонсы страниц, товаров или категорий, как правило предполагают частичное дублирование контента анонсируемой страницы.
5. Наличие ненужных поддоменов, на которых сохраняется дублированный контент.
6. Сайты WWW и без WWW-версии при ненастроенной переадресации.
7. На страницах пагинации повторяющийся контент.
8. Типичные для интернет-магазинов механизмы появления дублей:

• когда в описании свойств товаров близких категорий присутствуют общие фрагменты, характерные для одной и той же товарной группы.
• При сортировках по разным свойствам, когда одному и тому же товару может присваиваться разный URL.

Негативное влияние дублированного контента на ранжирование сайта

Наличие дублей, даже полных, не влечет за собой прямых санкций со стороны поисковых систем, но отрицательно сказывается на продвижении сайта, снижая его видимость и эффективность.

Механизм отрицательного воздействия дублированного контента:

• Дубли страниц конкурируют между собой за внимание и поисковых систем, и пользователей: они делят между собой трафик переходов и взаимно ослабляют позиции друг друга.
• Искажается статический вес страниц на сайте
• Дубль перетягивает на себя ссылочный вес с основной, продвигаемой страницы.

Методы выявления дублей контента

1. Специализированные программы, осуществляющие поиск (Xenu`s Link Sleuth, Netpeak Spider, Screaming Frog и др.).
2. Ручная проверка на наличие дублей:

• Через расширенный поиск, с применением оператора: site:-адрес сайта-фрагмент текста проверяемой страницы. В идеале в поисковой выдаче должна присутствовать только одна страница с указанным фрагментом.
• Проверка через антиплагиат-сервисы (текст.ру, е-текст, адвего-антиплагиатус и другие).
• С помощью панели Вебмастера поисковых систем.

Как избавиться от дублей

1. Уникализация совпадающего контента;
2. 301-й редирект – позволяет сохранить страницу, особенно если с нее идет трафик.
3. Воспользоваться тегом Canonical.

Удаление УРЛа страницы, noinindex и robots.txt disallow считаются нежелательными способами избавления от неуникального контента по ряду причин, среди которых основная – потеря веса за счет удаленной страницы. Так же поисковые роботы не всегда выполняют команды noinindex и robots.txt disallow, что влечет нерациональное расходование краулингового ресурса поисковыми роботами.