×
Россия +7 (909) 261-97-71

Почему robots.txt не работает

Россия +7 (909) 261-97-71
Шрифт:
5 15397
Подпишитесь на нас в Telegram

Даже если страницы, файлы или документы закрыты в файле robots.txt, они могут попадать в поисковую выдачу. Почему это происходит и как этого избежать, рассказал Платон Щукин в своем блоге.

Индексирующий робот Яндекса строго следует все правилам, прописанным в robots.txt. Однако чтобы робот правильно понимал все предписания, необходимо соблюдать ряд условий:

  • Файл robots.txt должен располагаться в корневом каталоге сайта, то есть быть доступен по адресу вида site.ru/robots.txt. Он не может располагаться на другом сайте, поддомене или в другой директории сайта.
  • Чтобы директивы из robots.txt были учтены роботом, при его обращении к файлу должен возвращаться код HTTP 200. Если же файл осуществляет перенаправление или отвечает любым другим кодом, отличным от 200, робот не сможет получить его содержимое.
  • Размер файла не должен превышать 32Кб, в противном случае робот посчитает такую инструкцию чрезмерно сложной или ошибочной и будет воспринимать её, как полностью разрешающую.
  • Если в robots.txt присутствуют правила для нескольких индексирующих роботов, робот Яндекса будет использовать только те, которые предназначены именно для него, то есть размещенные после строки «User-agent: Yandex».
  • Если робот встретит конфликтующие директивы, например:
    User-agent: Yandex
    Allow: /
    Disallow: *

    то он выберет разрешающее правило, которое позволит страницам участвовать в поиске.

Самостоятельно проверить корректность настроек файла robots.txt можно с помощью Анализатора robots.txt . Также Платон отметил, что после редактирования robots.txt информация в поиске обновляется не сразу, обычно это происходит в течение 1-2 недель.

1.jpg

Случилось что-то важное? Поделитесь новостью с редакцией.


Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Отправить отзыв
  • Denny Smirnov
    2
    комментария
    0
    читателей
    Denny Smirnov
    больше года назад
    Спасибо, поржал. В статье под заголовком "почему robots.txt не работает", нам рассказали, как он работает. За последние 15 лет эти правила не менялись, зачем это здесь.
    -
    2
    +
    Ответить
  • Гость
    больше года назад
    Вот так советы, непомерно полезно просто!
    -
    3
    +
    Ответить
    • Гость
      Гость
      больше года назад
      И не говори,  обязательно в закладки!
      -
      0
      +
      Ответить
      • Сергей Сажин
        1
        комментарий
        0
        читателей
        Сергей Сажин
        Гость
        больше года назад
        В google выдается url закрытый в robots.txt для индексации, когда копируешь ссылку и вводишь в поиск, показывается страница сайта, только без описания.
        -
        0
        +
        Ответить
        • quTG
          0
          комментариев
          0
          читателей
          quTG
          Сергей Сажин
          больше года назад
          Если Google проиндексировал страницу, она уже никуда не денется. А в выдаче будет мусор без описания. Не совсем ясно, зачем
          -
          0
          +
          Ответить
ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
Роскомнадзор начал требовать от владельцев сайтов уведомлять об использовании Google Analytics. Опыт SEOnews
Анна Макарова
392
комментария
0
читателей
Полный профиль
Анна Макарова - У нас вот так сформулировано: На Сайте установлено программное средство Google Analytics (зарубежное программное средство), использование функционала которого позволяет определить уникального посетителя Сайта, формировать сведения о его предпочтениях и поведении на Сайте, что указывает на обработку его персональных данных. Уведомление Оператора, предусмотренное ч. 1 ст. 22 Закона, содержит указание на факт осуществления трансграничной передачи персональных данных.
Топ-10 SEO-курсов на 2024-2025 год для вашего роста
Виталий
1
комментарий
0
читателей
Полный профиль
Виталий - Вот тоже хороший курс для старта в сео -docs.google.com/document/d/1Qs7xVx4u3MZeuh8jf8s70NuIEYIuXVgtttaLMxADIsk/edit. Я много чего почерпнул для себя.
Авторы на RUTUBE теперь могут загружать видео в формате серий
Наиль г.Пенза
4
комментария
0
читателей
Полный профиль
Наиль г.Пенза - Ну что вы принимаете мою заявку? Или удалиться с "тихой грустью". А моих фото пока нет,они у меня удалились с Галереи, когда покупал себе смартфон. На фото пока моя дочь,сам я лежу в каридологие, сами понимаете какая у меня будет фотография
Рейтинги сайтов по отзывам в выдаче Яндекса: откуда берутся и как их улучшить
Romano
2
комментария
0
читателей
Полный профиль
Romano - дополнение: такие оценки не отображаются, но участвуют в общем рейтинге
Россиянам могут запретить рекламу в Instagram* и Facebook*
Марина Ибушева
65
комментариев
0
читателей
Полный профиль
Марина Ибушева - Окончательное как раз и означает третье. Любой законопроект перед тем, как отправиться в Совет Федерации и на подпись прзиденту, проходит в России три обязательные стадии рассмотрения в Государственной Думе: Первое чтение - обсуждается общая концепция законопроекта. Второе чтение - более детальное обсуждение проекта, поправки и дополнения. Третье чтение (окончательное) - голосование за проект. Так что ожидается 25 марта второе и третье, окончательное чтение.
Мастер-класс по использованию операторов Wordstat: повышаем эффективность сбора семантики
Старый сеошник
4
комментария
0
читателей
Полный профиль
Старый сеошник - Ну это же просто рекламная статья ради обратной ссылки)))) Куча воды по абсолютно базовой информации. Справка Яндекса описала все тоже самое, но в 8 раз короче yandex.ru/support2/wordstat/ru/content/operators Ок, про историю запроса там нет. Но это же просто в интерфейсе кнопка)
SEO-продвижение сайтов клиник
Дмитрий Севальнев
124
комментария
0
читателей
Полный профиль
Дмитрий Севальнев - Вау, мощно!
Тренды SEO в 2025 году
Борис
4
комментария
0
читателей
Полный профиль
Борис - 50/50 Описанная тобой ситуация (надеюсь, не против, что сразу на "ты") — типичная и вообще не требует какого-то глубинного опыта. Достаточно немного логики и наблюдательности. Разобью на пункты для читабельности: 1) Каннибализацию очень просто распознать. Достаточно загрузить СЯ в систему съёма позиций и мониторить источники. Если происходит некое «мигание» — идём (повторно) в топ, смотрим, подтверждаем гипотезу — склеиваем. 2) Но чаще всего эту проблему можно решить на уровне качественной группировки СЯ. А некоторые кластеры со знаком вопроса, которые мы решили разделить на несколько, достаточно держать под контролем. И снова получается, что внимательность и логика здесь могут помочь. И никакого серьёзного опыта не требуется. 3) Соглашусь, что в Яндексе правило "Интент = одна страница" — очень важно, но не всегда. Например, есть кластер, связанный с установкой сантехники, который включает запросы: "установка сантехники", "цена на установку сантехники". Вот здесь, как раз, для многих может быть неочевидно, что кластер лучше разделить на два: "Установка сантехники" и "Цена на установку сантехники". 4) Продолжая мысль из п.3 — в такой ситуации в Яндексе (скорее всего) всё будет ок. И никакой каннибализации не произойдёт. 5) Если говорить про Google (тот же п.3), то здесь, вероятно, возникнут проблемы (всё зависит от оптимизации страниц). Эти два кластера могут не дотянуть до топа из-за своей релевантности. Мы все знаем, что Google может «съесть» страницу с несколькими интентами, и всё будет ок. (в этом предложении пасхалка, что нужно сделать ;)) А если ещё поработать над ссылочным — вообще сказка. Конечно, эту проблему можно решить, но если переборщить, то каннибализация может уже произойти в Яндексе. Вот как раз чтобы уловить эту тонкую грань, и нужен хоть какой-то опыт, которого часто нет у джунов.
Настоящий квест: как увеличили трафик на сайт сети компьютерных клубов в 19,5 раз, а число конверсий в 42,5 раза
Владлен
1
комментарий
0
читателей
Полный профиль
Владлен - Интересно, есть только вопрос по ссылкам, в каком диапазоне стоимость ссылки была, ведь судя по скринам за 5 месяцев было куплено 10 ссылок
Количество пользователей ИИ в сервисах Mail превысило 5 млн человек
Сергей Карененко
1
комментарий
0
читателей
Полный профиль
Сергей Карененко - Поздравление еще худо бедно написать можно. А когда в почте больше 10к писем, вот тут хорошо, что ии есть)
ТОП КОММЕНТАТОРОВ
Комментариев
910
Комментариев
834
Комментариев
554
Комментариев
540
Комментариев
483
Комментариев
392
Комментариев
373
Комментариев
262
Комментариев
249
Комментариев
171
Комментариев
156
Комментариев
141
Комментариев
124
Комментариев
121
Комментариев
100
Комментариев
97
Комментариев
97
Комментариев
96
Комментариев
80
Комментариев
77
Комментариев
74
Комментариев
67
Комментариев
65
Комментариев
60
Комментариев
59

Отправьте отзыв!
Отправьте отзыв!