Яндекс.Вебмастер упростил поиск дублей – одинаковых страниц на сайте. В разделе «Диагностика» появилось специальное уведомление, которое сообщит о дублях из-за GET-параметров.
Уведомление появится само, подписываться на него не нужно. Обновление данных происходит с небольшой задержкой в 2–3 дня, поэтому в уведомления могут попадать и исправленные страницы. Дубли с параметром amp, даже если они есть на сайте, сервис не сможет показать в уведомлениях.
Если вебмастер обнаружил дубли страниц, необходимо:
- зайти в Вебмастере в раздел «Страницы в поиске» и выбрать в таблице «Исключенные страницы»;
- загрузить архив подходящего формата и просмотреть скачанный файл. Страницы-дубли будут иметь статус DUPLICATE.
Если необходимо оставить в поиске страницу, нужно:
- добавить в файл robots.txt директиву Clean-param, так робот не будет учитывать незначащие GET-параметры в URL;
- если невозможно добавить директиву Clean-param, следует указать канонический адрес страницы, который будет участвовать в поиске;
- если предыдущие два варианта не подходят, следует закрыть дубли от индексации при помощи директивы Disallow.
Яндекс отмечает, что рекомендует использовать Сlean-param как основной способ.