Как помочь поисковикам быстро индексировать новости?

Во-первых, давайте решим что влияет на скорость индексирования новостей. Она зависит от нескольких причин. Перечислим их:

  1. Какой у вас траст площадки (общий ссылочный вес).
    Чем больше ссылочный вес площадки, тем больше краулинговый бюджет.
  2. Скорость отдачи контента.
    Чем быстрее отдаются страницы тем больше страниц будет проиндексировано. Т.к. краулинговый бюджет – это процессорное время на обработку запроса, а не лимит по числу страниц.
  3. Внешние сигналы.
    Чем больше внешних источников ссылаются на новость тем быстрее она будет проиндексирована.
  4. Оптимизация работы ботов.
    Правильно настроенный sitemap может указывать поисковику что 99% процентов контента на сайте не обновлялось сегодня, а 2-3 новости появились только что. В таком случае ПС отдаст предпочтение новым материалам.

Чтобы страницы быстрее сканировались поисковыми роботами, необходимо:

  1. Провести ряд работ с Sitemap.xml.
    • Разработка отдельных карт сайта для изображений, видео и статей.
    • Создание нескольких карт сайта, для более быстрой индексации страниц, как правило, карта сайта не должна превышать 50 Мб.
    • Следить за тем, чтобы новые страницы сразу добавлялись в файл Sitemap. Для этого периодически проверяйте, что Google Search Console видит новые страницы в файле Sitemap:
    • Указать дату обновления страницы через правило <lastmod></lastmod>.
  2. Добавлять ссылку на только что опубликованную новость в соцсети – Facebook, Twitter и другие. Есть множество плагинов, которые позволяют публиковать одну статью одновременно в разные социальные сети.
  3. Сообщать поисковым роботам о новой публикации.
    • Отправлять публикуемые новости на переобход в инструментах для веб-мастера Google и Яндекса.
    • Используйте Ping сервисы — это ресурсы, встроенные в движок CMS (например, Pingomatic, Pingler, Pingoat), которые подают сигналы поисковым системам, что в интернете появилась новая публикация.
    • Публиковать анонсы на на новостных агрегаторах.
  4. Добавьте сайт в RSS-агрегаторы, что приведёт к тому, что поисковый робот быстрее просканирует ваши страницы.
    • Настроить RSS ленты можно через FeedBurner.
    • Добавить RSS ленту в агрегаторы. Среди бесплатных RSS-агрегаторов отметим Subscribe.ru и www.sozdanie.com.
  5. Проведите внутренние работы на сайте.
    • Увеличьте скорость загрузки сайта, которая влияет на краулинговый бюджет. Так как, количество страниц, которое поисковой робот может просканировать за один визит зависит от скорости отрисовки страниц.
    • Постройте хорошую перелинковку и навигацию по сайту.
    • Повысьте качество ссылочного профиля вашего ресурса.
  6. Настройте новостную разметку материалов NewsArticle. Это семантическая разметка новостей, которая позволяет передавать больше данных в ПС и более корректно «сообщать» роботам, что есть что и где находится. Подробнее о микроразметке NewsArticle в Google Справке.

siteclinic.ru