Optimization 2021: IndexNow в Яндексе. Исследование работы нового инструмента

Алина Назарова

Команда SEOnews

IndexNow – это небольшой API, запущенный в конце октября этого года. Он позволяет за один запрос отправлять от 1 до 10 тыс. страниц на «индексацию» в Яндекс. Подробнее можно посмотреть на сайте IndexNow.org.

Что обещают поисковики:

• Яндекс попытается посмотреть URL для быстрого получения изменений.
• Можно уведомлять об удалении страниц (404).
• Сокращает период на обнаружение нового контента.

Гарантии:

• Нет гарантий, что страницы сразу пересканируются.
• Нет гарантий, что страницы попадут в поиск.
• Нет гарантий, что они обновятся в поиске.
• Нет никаких гарантий.

Далее Сергей рассказал, как проводил исследование:

• Отправлял запросы для разных страниц.
• Анализировал серверные логи.
• Анализировал выдачу Яндекса.
• Сравнил IndexNow с работой инструмента «Переобход страниц» в Яндекс.Вебмастере.

Переиндексация старых страниц

Сергей отправил на переиндексацию через IndexNow 35 старых страниц. Через минуту в логах видно, что поисковик проверил ключ. И далее, в следующие 7 часов в логах ничего больше не произошло.

Затем те же самые страницы были отправлены на «Переобход» через Яндексе.Вебмастер. В ту же минуту Яндекс переобошел все эти страницы.

Сканирование новых страниц

В отличие от предыдущего случая с переиндексацией, сканирование 887 новых страниц через IndexNow началось практически сразу же. За 10 минут Яндексбот просканировал 834 страницы и на этом остановился.

Возможно, считает Сергей, сработал лимит: в FAQ IndexNow говорится «Отправлять повторный запрос не раньше, чем через 10 минут». Сергей предположил, что Яндекс выделяет 10 минут на сканирование, и дальше все зависит от того, сколько за это время вы успеете отдать страниц.

При отправке 100 новых страниц на «Переобход», все 100 были проиндексированы в течение минуты.

В случае со сканированием новых страниц, Сергей засчитал ничью и поставил по одному баллу каждому инструменту.

Предварительный результат:

Индексация страницы

Сергей создал новую страницу, добавил ее через IndexNow. Поисковик ее сразу же просканировал, в индексе ничего не появилось спустя полчаса. Сергей повторил процедуру с этой же страницей, но она так и не появилась в индексе даже спустя 45 минут.

Тогда Сергей отправил страницу на переобход в Вебмастере. Через 13 минут страница зашла в индекс, но с пометкой «57 минут назад», т.е. поисковик занес ее в базу, когда она была отправлена через IndexNow.

Сергей решил перепроверить и создал новую страницу, добавил на переобход, и она была сразу же просканирована. В индексе страница появилась через 24 минуты.

На третий раз Сергей создал страницу и отправлял на переобход каждые 2 минуты. При этому Яндекс просканировал страницу лишь 2 раза. Однако спустя 9 минут (рекорд) страница появилась в индексе.

Таким образом при индексации новых страниц лидирует переобход:

Удаление из индекса

Страница удаляется, возвращается 404 код статуса. Далее Сергей отправил запрос в IndexNow, но страница не была просканирована.

Тогда был отправлен запрос на переобход в Вебмастере и бот сразу пересканировал страницу, а спустя 50 минут страница удалена из индекса.

Результаты

Рекомендации

• Используйте IndexNow для сканирования новых урлов;
• Отдавайте страницы как можно быстрее (лимит - 10 минут);
• IndexNow работает нестабильно;
• При достаточном количестве лимитов используйте Переобход;
• Конструкция 301– 200 или 301– 404 превращает минусы IndexNow в плюсы.

Читайте также:

Optimization 2021: круглый стол с представителями поисковых систем о продвижении бизнеса в новых условиях

Optimization 2021: органическое продвижение в Яндекс.Дзен