Что такое дублированный контент

К концу этого урока вы поймете, что такое дублированный контент и почему Google его не любит, как дублированный контент вредит вашим позициям в поисковой выдаче, различные типы дублированного контента на веб-сайтах, простые способы обнаружения дублированного контента на вашем сайте, а также проверенные методы исправления и предотвращения проблем с дублированным контентом.

Что такое дублированный контент?

Дублированный контент — это когда один и тот же контент встречается в нескольких местах в интернете. Это может быть на вашем собственном веб-сайте или на разных веб-сайтах.

Простое объяснение

Представьте, что вы написали пост в блоге и опубликовали его на своем сайте. Затем вы скопировали точно такой же пост и опубликовали его на трех других страницах вашего сайта. Это дублирование контента.

Или представьте, что кто-то копирует вашу запись в блоге и публикует её на своём сайте без разрешения. Это тоже считается дублированием контента.

Почему это проблема

Для Google: Google стремится показывать пользователям лучший, наиболее оригинальный контент. Когда один и тот же контент существует в нескольких местах, Google приходится выбирать, какую версию показать. Это приводит к нерациональному расходованию времени и ресурсов Google.

Для вашего сайта: Когда Google обнаруживает дублированный контент, он выбирает одну версию для ранжирования и игнорирует остальные. Вы можете потерять позиции в поисковой выдаче, потому что Google выбрал копию конкурента вместо вашего оригинала.

Для пользователей: Никому не хочется видеть одну и ту же статью пять раз в результатах поиска. Дублированный контент ухудшает пользовательский опыт.

Типы дублированного контента

Дублированный контент бывает разных форм. Понимание каждого типа помогает правильно решать проблемы.

Внутренний дублированный контент

Это дублированный контент на вашем собственном веб-сайте.

Один и тот же контент на нескольких URL-адресах

Пример: Ваш товар отображается на нескольких страницах с разными URL-адресами:

yoursite.com/products/blue-shirt
yoursite.com/shop/clothing/blue-shirt
yoursite.com/mens/shirts/blue-shirt

На всех трех страницах представлено абсолютно одинаковое описание товара и его содержимое.

Почему это происходит:

• Не очень структура сайта
• Несколько способов попасть на одну и ту же страницу
• Параметры фильтрации и сортировки при создании новых URL-адресов
• Версии для печати
• URL-адреса с www и без www

Влияние: Google видит три страницы, конкурирующие за одно и то же ключевое слово. Он выбирает одну и игнорирует остальные. Таким образом, ценность вашего контента распределяется между несколькими страницами.

Шаблонное содержимое

Что это: Повторяющийся текст, который встречается на многих страницах вашего сайта.

Примеры:

• Одно и то же описание товара использовалось для 50 аналогичных товаров.
• Уведомления об авторских правах на каждой странице.
• Стандартные оговорки в каждой статье
• Шаблонный текст повторяется повсюду

Почему это проблема: Если 80% контента вашей страницы идентичны на всех страницах, Google рассматривает их как дубликаты, даже если оставшиеся 20% отличаются.

Решение: Сделайте каждую страницу уникальной, используя различное основное содержимое, даже если стандартные элементы останутся.

Идентификаторы сессий в URL-адресах

Это критически важно для анализа и выбора наиболее эффективных ключевых слов для улучшения рейтинга вашего сайта.

yoursite.com/product?sessionid=12345
yoursite.com/product?sessionid=67890
yoursite.com/product?sessionid=24680

Одна и та же страница, но с разными идентификаторами сессии, создаёт разные URL-адреса.

Почему это происходит: Некоторые веб-сайты добавляют параметры отслеживания или коды сессий к URL-адресам.

Влияние: Google видит десятки или сотни URL-адресов одной и той же страницы.

Фасетная навигация

Распространенная практика в электронной коммерции:

yoursite.com/shoes
yoursite.com/shoes?color=red
yoursite.com/shoes?size=10
yoursite.com/shoes?color=red&size=10

Каждая комбинация фильтров создает новый URL-адрес с похожим содержимым.

Проблема: Сотни комбинаций фильтров создают тысячи практически идентичных страниц.

Внешний дублированный контент

Это дублированный контент на вашем сайте и других сайтах.

Собранный контент

Что это: Кто-то копирует ваш контент и публикует его на своём сайте без разрешения.

Как это происходит:

• Боты, занимающиеся кражей контента, автоматически копируют статьи.
• Конкуренты воруют описания товаров.
• Контент-фермы переиздают ваши работы.
• Автоматизированные инструменты для сбора данных

Влияние: Если у сайта вора более высокий авторитет, украденный им контент может занять более высокое место в поисковой выдаче, чем ваш оригинал. В результате вы теряете трафик из-за воров контента.

Синдицированный контент

Что это: Вы намеренно публикуете свой контент на нескольких сайтах.

Примеры:

• Публикация вашей статьи на Medium и в вашем блоге.
• Гостевая публикация одной и той же статьи на 5 разных сайтах.
• Пресс-релизы, распространяемые среди новостных сайтов.
• Описание продукции предоставлено производителями.

Всегда ли это плохо? Не обязательно, если все сделано правильно, с указанием авторства и использованием канонических тегов.

Скопированные описания товаров

Общая проблема: Интернет-магазины, использующие стандартные описания товаров от производителя.

Пример: На 1,000 сайтах, продающих один и тот же iPhone, дословно используется официальное описание Apple.

Результат: Ваша страница товара выглядит идентично 999 страницам конкурентов. Google выбирает одну из них для ранжирования, скорее всего, не вашу.

Лицензирование и партнерство

Что это: Вы имеете право переиздавать контент от партнеров или из лицензированных источников.

Это критически важно для анализа и выбора наиболее эффективных ключевых слов для улучшения рейтинга вашего сайта.

• Новостные агрегаторы перепечатывают статьи
• Франчайзинговые веб-сайты, делящиеся корпоративным контентом
• Партнерские сайты, использующие предоставленный контент

Задача: Даже с разрешения Google всё равно рассматривает это как дублированный контент.

Как дублированный контент вредит SEO

Дублированный контент вызывает ряд проблем с SEO.

Разбавленный авторитет страницы

Проблема: Когда несколько страниц содержат одинаковый контент, обратные ссылки распределяются между всеми версиями.

Пример: У вас одинаковый контент по трем URL-адресам. Кто-то ссылается на версию A, кто-то другой — на версию B, а кто-то еще — на версию C.

Вместо одной сильной страницы с тремя обратными ссылками у вас три слабые страницы, каждая с одной обратной ссылкой.

Результат: Ваши страницы не занимают такие высокие позиции в поисковой выдаче, как могли бы, если бы все ссылки указывали на одну версию.

Запутанный Google

Проблема принятия решения: Google должен выбрать, какую версию показывать в результатах поиска.

Вопросы, с которыми сталкивается Google:

• Какая версия является оригинальной?
• Какую версию следует выбрать для ранжирования?
• Следует ли индексировать все версии или только одну?
• Какая версия лучше всего соответствует поисковому запросу?

Ваша проблема: Google может выбрать неправильный вариант, или, что еще хуже, вообще ни один из них.

Тратить бюджет сканирования впустую

Что такое бюджет ползунка: Google не индексирует каждую страницу вашего сайта каждый день. Крупные сайты имеют ограниченный «бюджет индексации» — количество страниц, которые Google индексирует за определенный период времени.

Отходы: Если Google потратит время на сканирование 100 дублирующихся страниц, он может пропустить 100 уникальных и ценных страниц.

Влияние: Для индексации и ранжирования вашего нового или обновленного контента требуется больше времени.

Штрафные санкции (редко, но возможно)

Ручное действие: Если Google посчитает, что вы намеренно создаёте дублированный контент для манипулирования рейтингом, вы можете получить санкции вручную.

Когда это произойдёт:

• Преднамеренное копирование контента с других сайтов.
• Создание сотен страниц-дверей с одинаковым содержимым.
• Некачественное автоматическое переписывание контента (зацикливание).

Важно: В большинстве случаев проблемы с дублированием контента не приводят к санкциям. Google просто предпочитает не ранжировать дублированные страницы.

Как найти дублирующийся контент

Используйте эти методы для обнаружения дублированного контента на вашем сайте.

Способ 1: Поиск в Google

Проверьте свой сайт:

Оператор поиска:

site:yoursite.com "exact phrase from your content"

Это критически важно для анализа и выбора наиболее эффективных ключевых слов для улучшения рейтинга вашего сайта.

site:yoursite.com "this unique sentence appears in my article"

Результаты: Если отображается несколько страниц с вашего сайта, значит, у вас внутренние дубликаты.

Проверьте внешние копии:

Поиск уникальных фраз:

"exact sentence from your article"

Удалите оператор site:, чтобы выполнить поиск по всему интернету.

Результаты: Если появятся ссылки на другие сайты, возможно, они скопировали ваш контент.

Метод 2: Copyscape (бесплатная и платная версии)

Бесплатная версия:

1. Перейдите на сайт copyscape.com
2. Введите URL вашей страницы
3. Нажмите «Перейти».
4. Проверьте, существуют ли копии в интернете.

Ограничения: Бесплатная версия проверяет только одну страницу за раз.

Премиум-версия (5 долларов в месяц):

1. Подпишитесь на Copyscape Premium
2. Пакетная проверка нескольких URL-адресов
3. Получайте подробные отчеты
4. Настройте оповещения мониторинга.

Оптимально для: Обнаружение дублированного внешнего контента (когда другие копируют ваш контент).

Метод 3: Google Search Console

Проверьте наличие дублирующегося контента:

1. Войдите в Search Console
2. Перейдите к отчету «Покрытие».
3. Обратите внимание на предупреждения о «дубликатах».
4. Нажмите, чтобы просмотреть затронутые страницы

Что он показывает:

• Страницы, которые Google считает дубликатами
• Какие страницы исключены из индексации?
• Проблемы с каноническими тегами

Проверьте, какие страницы занимают высокие позиции в поисковой выдаче:

1. Перейдите к отчету «Производительность».
2. Нажмите вкладку «Страницы».
3. Ищите похожие URL-адреса, занимающие высокие позиции в поисковой выдаче по тем же ключевым словам.

Красные флаги: Множество URL-адресов с вашего сайта конкурируют за одни и те же поисковые запросы.

Метод 4: SEO-паук Screaming Frog

Как использовать:

1. Скачать Screaming Frog (бесплатно, до 500 URL-адресов)
2. Введите URL вашего сайта
3. Нажмите «Пуск».
4. Перейдите на вкладку «Содержание».
5. Нажмите на раздел «Дублировать».

Что обнаруживается:

• Повторяющиеся заголовки
• Повторяющиеся описания
• Дублирование содержимого страницы
• Дублирующиеся теги H1

Бенефиты:

• Сканирует весь ваш сайт за один раз.
• Определяет закономерности
• Экспорт данных для анализа

Метод 5: Сайтлайнер

Простой онлайн-инструмент:

1. Перейдите на сайт siteliner.com
2. Введите URL вашего сайта
3. Дождитесь завершения сканирования (несколько минут).
4. Просмотрите результаты

Что он показывает:

• Процент дублированного контента
• Внутренние дублирующиеся страницы
• Общий контент на всех страницах
• Точные страницы с дубликатами

Оптимально для: Краткий обзор внутренних проблем, связанных с дублированием данных.

Метод 6: Ручная проверка

Проверьте наиболее распространенные проблемные области:

Страницы продуктов:

• Откройте 5-10 похожих товаров
• Сравните описания
• Найдите идентичный текст.

Сообщения в блоге:

• Просмотрите старые публикации
• Проверьте, не переписывали ли вы одни и те же темы.
• Ищите разделы, которые можно скопировать и вставить.

Страницы категорий:

• Посмотрите похожие категории
• Обратите внимание на повторяющиеся описания.
• Просмотрите комбинации фильтров.

Как исправить дублирование контента

Выберите подходящее решение в зависимости от типа дублированного контента.

Решение 1: Использование канонических тегов (оптимальный вариант для большинства случаев)

Что она делает: Сообщает Google, какая из дублированных страниц является «основной».

Когда использовать:

• Один и тот же товар на страницах нескольких категорий.
• Версии для печати
• Похожие страницы, которые должны существовать

Как реализовать:

Добавьте этот код в <head> Раздел дублирующихся страниц:

<link rel="canonical" href="https://yoursite.com/original-page" />

Это критически важно для анализа и выбора наиболее эффективных ключевых слов для улучшения рейтинга вашего сайта.

У вас три ссылки, на которых изображена одна и та же синяя рубашка:

yoursite.com/products/blue-shirt (original)
yoursite.com/mens/blue-shirt (duplicate)
yoursite.com/clothing/shirts/blue-shirt (duplicate)

На двух дублирующих страницах добавьте:

<link rel="canonical" href="https://yoursite.com/products/blue-shirt" />

На исходной странице добавьте самоссылающуюся каноническую ссылку:

<link rel="canonical" href="https://yoursite.com/products/blue-shirt" />

Важно:

• Используйте абсолютные URL-адреса (включая https://).
• Укажите версию, которую вы хотите ранжировать.
• Используйте на каждой дублированной странице

Решение 2: Перенаправления 301 (для страниц, которые вам не нужны)

Что она делает: Осуществляет постоянное перенаправление с одного URL-адреса на другой. Пользователи и поисковые системы видят только главную страницу.

Когда использовать:

• Дубликаты страниц, которые вам больше не нужны.
• Старые URL-адреса заменены новыми.
• Несколько версий, нет смысла хранить обе.

Как реализовать:

Для серверов Apache (.htaccess-файл):

Redirect 301 /old-page https://yoursite.com/new-page

Множественные перенаправления:

Redirect 301 /products/old-shirt https://yoursite.com/products/blue-shirt
Redirect 301 /shop/old-shirt https://yoursite.com/products/blue-shirt

Для WordPress: Используйте такой плагин:

• Перенаправление (бесплатно)
• Yoast SEO (включает менеджер перенаправлений)
• Rank Math (включает функцию перенаправления)

Бенефиты:

• Объединяет авторитет ссылок
• Уменьшает количество отходов при половом акте.
• Более чистая структура участка

Решение 3: Тег Noindex (для страниц, необходимых пользователям)

Что она делает: Эта функция сохраняет страницу на вашем сайте, но сообщает Google, чтобы он её не индексировал.

Когда использовать:

• Страницы благодарности
• Внутренние результаты поиска
• Комбинации фильтров, которые нужны пользователям, но которые не должны занимать высокие позиции в рейтинге.
• Страницы входа/аккаунта

Как реализовать:

добавить в <head> раздел:

<meta name="robots" content="noindex, follow" />

Что это значит:

• noindex: Не включать в результаты поиска
• Подписаться: Продолжайте переходить по ссылкам на этой странице.

Примеры использования:

<!-- On search results page -->
<meta name="robots" content="noindex, follow" />

<!-- On thank you page -->
<meta name="robots" content="noindex, follow" />

<!-- On filtered pages -->
<meta name="robots" content="noindex, follow" />

Важно: Не следует комбинировать noindex с canonical. Выберите одно решение.

Решение 4: Обработка параметров в консоли поиска

Для динамических URL-адресов с параметрами:

Пример задачи:

yoursite.com/products?sort=price
yoursite.com/products?sort=name
yoursite.com/products?sort=rating

Решение:

1. Перейти в Google Search Console
2. Нажмите «Устаревшие инструменты и отчеты».
3. Перейдите в раздел «Параметры URL».
4. Нажмите «Добавить параметр»
5. Введите имя параметра (например, «sort»).
6. Сообщите Google, как с этим справиться:
   • «Не влияет на содержимое страницы» (рекомендуется для сортировки)
   • «Страничные страницы»
   • «Сужает содержание»

Бенефиты: Google понимает, какие параметры приводят к появлению дубликатов, и корректно их обрабатывает.

Решение 5: Объединить и переписать

Для просмотра фактических дубликатов страниц:

Проблема: Вы написали три похожие статьи на одну и ту же тему.

Это критически важно для анализа и выбора наиболее эффективных ключевых слов для улучшения рейтинга вашего сайта.

• «10 советов по SEO для начинающих»
• «Лучшие советы по SEO для новых сайтов»
• «Советы по SEO для начинающих»

Все они содержат одну и ту же информацию.

Решение:

1. Выберите статью с наилучшими показателями.
2. Объедините уникальную информацию от других источников.
3. Создайте одну всеобъемлющую статью.
4. Удалите или перенаправьте 301-й запрос на другие страницы.

Бенефиты:

• Одна сильная страница вместо трёх слабых
• Лучший пользовательский интерфейс
• У Google есть все шансы занять лидирующие позиции в поисковой выдаче.

Решение 6: Блокировка параметров URL в файле Robots.txt

Для параметров, которые вы никогда не хотите индексировать:

Это критически важно для анализа и выбора наиболее эффективных ключевых слов для улучшения рейтинга вашего сайта.

# Block session IDs
Disallow: /*?sessionid=*

# Block certain filters
Disallow: /*?color=*

# Block sorting parameters
Disallow: /*?sort=*

Когда использовать:

• Параметры отслеживания сессии
• Ненужные комбинации фильтров
• Печатные версии

Внимание: Это полностью предотвращает ползание. Используйте экономно.

Решение 7: Добавьте уникальный контент

Для страниц товаров с описанием от производителя:

Проблема: Ваша страница товара идентична страницам 500 сайтов конкурентов.

Решение:

Добавьте уникальные элементы:

• Ваш собственный отзыв о товаре (более 200 слов)
• Отзывы клиентов
• Советы по использованию
• Сравнение с аналогичными продуктами
• Ваши фото и видео
• FAQ раздела
• Руководства по размерам

Пример структуры:

[Manufacturer description] (20% of content)
Your review and tips (40% of content)
Customer reviews (20% of content)
FAQ (20% of content)

Результат: Теперь ваша страница уникальна на 80%, чего достаточно, чтобы выделиться среди конкурентов.

Решение 8: Удаление скопированного контента

Если другие скопировали ваш контент:

Шаг 1: Задокументируйте кражу.

• Сделайте скриншот их страницы
• Обратите внимание на даты публикации (ваша публикация более ранняя).
• Сохраните URL-адреса и подтверждающие документы.

Шаг 2: Свяжитесь с владельцем сайта.

• Найти контактную информацию
• Отправьте вежливое электронное письмо с просьбой об удалении.
• Предоставьте доказательства того, что вы являетесь автором оригинального произведения.

Шаг 3: Подайте жалобу в соответствии с Законом об авторском праве в цифровую эпоху (DMCA). Если они не ответят:

• Отправьте уведомление о нарушении авторских прав (DMCA) их хостинг-провайдеру.
• Подайте жалобу в Google в соответствии с Законом об авторском праве в цифровую эпоху (DMCA).
• Сообщить в Google Search Console

Шаг 4: Воспользуйтесь инструментом Google.

1. Перейдите по ссылке google.com/webmasters/tools/dmca-notice
2. Заполните форму о нарушении авторских прав
3. Укажите URL-адреса оригинального и скопированного контента.
4. Отправить

Google будет: Пересмотрите свое заявление и, при возможности, удалите скопированный контент из результатов поиска.

Предотвращение дублирования контента

Предотвращайте проблемы с дублированием контента еще до их возникновения.

Стратегия предотвращения 1: Планирование структуры участка

Перед созданием сайта:

Создание структуры URL: Выберите один канонический шаблон URL для каждого типа контента.

Пример для товаров: ✓ Хорошо: yoursite.com/products/[product-name] ✗ Не рекомендуется: Несколько путей к одному и тому же товару

Архитектура сайта:

• Четкая иерархия категорий
• Категории не пересекаются
• Каждый товар в одной основной категории

Бенефиты: Предотвращает появление нескольких URL-адресов с самого начала.

Стратегия предотвращения 2: Установка предпочтительной области

Выберите www или без www:

В Search Console:

1. Перейдите в настройки
2. Найдите настройки домена.
3. Укажите предпочтительный домен

В файле .htaccess:

# Redirect non-www to www
RewriteEngine On
RewriteCond %{HTTP_HOST} ^yoursite\.com [NC]
RewriteRule ^(.*)$ https://www.yoursite.com/$1 [L,R=301]

Бенефиты: Все ссылки ведут на одну версию, что позволяет избежать дублирования контента.

Стратегия предотвращения 3: Пишите оригинальные описания товаров.

Не копируйте описания производителей:

Вместо этого напишите:

• Ваше мнение о продукте
• Уникальные преимущества, которые вы заметили
• Как это решает конкретные проблемы
• Сравнение с альтернативами
• Реальные сценарии использования

Совет по экономии времени: Создайте шаблон, но настройте его под каждый продукт отдельно:

• Характеристики (могут быть похожими)
• Ваш отзыв (должен быть уникальным)
• Варианты использования (различаются в зависимости от продукта)

Стратегия предотвращения 4: Используйте Rel=”prev” и Rel=”next” для постраничной навигации.

Для контента с постраничной разбивкой:

На странице 1:

<link rel="next" href="https://yoursite.com/blog?page=2" />

На странице 2:

<link rel="prev" href="https://yoursite.com/blog" />
<link rel="next" href="https://yoursite.com/blog?page=3" />

На последней странице 3:

<link rel="prev" href="https://yoursite.com/blog?page=9" />

Что она делает: Это сообщает Google, что эти страницы являются частью серии, а не дубликатами.

Примечание: Google отказался от этой функции в 2019 году, но по-прежнему считает её сигналом.

Стратегия предотвращения 5: Рекомендации по синдикации

Если вы перепубликуете контент в другом месте:

Шаг 1: Подождите, прежде чем размещать объявление в синдикации. Сначала опубликуйте контент на своем сайте, подождите 1-2 недели, пока Google его проиндексирует.

Шаг 2: Добавьте канонический тег к синдицированной версии. Попросите издателя добавить:

<link rel="canonical" href="https://yoursite.com/original-article" />

Шаг 3: Добавьте указание авторства. Включите в текст ссылку на ваш сайт, указав ваше авторство.

Шаг 4: Избегайте дословных копий. Измените введение или добавьте уникальные элементы.

Стратегия предотвращения 6: Версии блочного принтера

Если у вас есть страницы, удобные для печати:

Вариант 1: Не индексировать их.

<meta name="robots" content="noindex, follow" />

Вариант 2: Использование канонических тегов В версиях для печати ссылка будет вести на главную страницу.

Вариант 3: Использовать CSS для печати Вместо отдельных страниц используйте стили печати CSS:

<link rel="stylesheet" href="print.css" media="print" />

Отдельный URL-адрес не требуется.

Стратегия профилактики 7: Регулярный мониторинг

Настройте оповещения:

Оповещения Google:

1. Перейдите на google.com/alerts
2. Введите уникальные фразы из вашего контента.
3. Установите частоту обновления «по мере поступления информации».
4. Получайте уведомления по электронной почте, когда контент появляется в сети.

Copyscape Premium:

• Автоматический мониторинг
• Еженедельные отчеты
• Уведомления о появлении новых копий

Проверяйте ежемесячно:

• Поиск дублирующихся проблем в консоли.
• Сканирование Siteliner
• Ручная проверка новых страниц