SEO-специалист = Экспериментатор?
- Эксперимент или простое наблюдение?
- Исследование 1: распределение входящих ссылок на сайт по числу слов в анкоре
- Исследование 2: использование Яндекс.Метрики для расчета факторов ранжирования
- Данные по распространению Яндекс.Метрики на сайтах
- Что делать Яндексу с сайтами, не использующими Метрику?
- Исследование 3.1: базовое использование языка запросов поисковой системы
- Исследование 3.2: контекстные ограничения в Title
- Выводы
Современные поисковые машины оставляют SEO-специалистам немного документированных возможностей для исследования их алгоритмов. Более того, большинство «дырок» и недокументированных возможностей, которые позволяли напрямую или косвенно анализировать поисковые системы, сейчас закрыты.
Что остаётся SEO-специалисту? Что остаётся людям постоянно находящимся в поиске истины и интригующих подробностей? Что утоляет информационный голод и любопытство?
Остаётся только взять в свои руки доступные аналитические инструменты и начать проводить новые исследования, сделать свой шаг «навстречу». Работать с поисковой системой как с классическим чёрным ящиком.
(def) Чёрный ящик — объект, детальная структура которого остаётся неизвестной, но о работе которого, можно судить по его реакции на внешнее воздействие.
Итак:
- Подаём сигнал на вход.
- Ожидаем реакции (индексации и апдейта тех факторов, на которые мы пытались воздействовать) [1].
- Делаем выводы и производим следующую итерацию.
- Круг замыкается.
Это классическая схема взаимодействия любого экспериментатора с изучаемым объектом, в роли которого (в нашем случае) выступает поисковая система.
Эксперимент или простое наблюдение?
Эксперимент отличается от простого наблюдения своим активным взаимодействием с изучаемым объектом. Обычно эксперимент проводится для подтверждения или опровержения какой-либо гипотезы.
Для ряда базовых задач в SEO достаточным оказывается пронаблюдать за успешными проектами и сделать соответствующие выводы. Это связано с тем, что формула ранжирования в поисковой системе Яндекс строится по принципу «подстройки» под ручные оценки.
Асессоры Яндекса оценивают тройки «запрос-регион-документ» и расставляют оценки согласно принятой в компании классификации. Далее множество ручных оценок подаётся на обучение алгоритму, и на выходе получается ранжирующая формула. Для геонезависимых запросов [2] тройка «запрос-регион-документ» преобразуется к паре «запрос-документ».
Далее, исходя именно из этих принципов, и будут строиться наши наблюдения и эксперименты.
Исследование 1: распределение входящих ссылок на сайт по числу слов в анкоре
Идея данного наблюдения чрезвычайно проста:
- Мы подбираем ряд сайтов, которые активно не продвигаются в поисковых системах. То есть имеют только естественные входящие ссылки.
- Анализируем эту массу естественных ссылок в разрезе числа слов в каждом анкоре и строим соответствующую гистограмму: распределению анкоров по количеству слов в них.
- Берем ряд заведомо «SEOшных» проектов и проделываем аналогичную процедуру для них.
- Производим сравнение.
В качестве экспериментальных «естественных сайтов» были взяты 6 сайтов в IT-тематике с хорошими позициями в Яндексе. Получены все входящие ссылки на каждый из проектов, и произведен анализ входящих ссылок по числу слов в анкорах.
Результаты построения представлены на Рис.1.
Рисунок 1. Распределение анкоров ссылок по числу слов для группы «естественных» сайтов. Успешные сайты в IT-тематике и не находящиеся на продвижении.
Как видно из гистограммы, преобладают ссылки с 1 словом в анкоре. Среди всех анкорных ссылок их доля составила порядка 40% от общей ссылочной массы. Анкоры с 2 словами составили уже всего порядка 15%. Ссылки с 3 словами в анкоре составили порядка 7,5% всей массы, ссылки с 4 словами в анкоре – около 5-6%. И так далее.
Давайте сравним это с SEO-проектами, с проектами, которые находятся на активной фазе продвижения. Сделать это чрезвычайно просто: достаточно выгрузить всю ссылочную массу из панели Вебмастера от Яндекса и построить в Excel советующую гистограмму.
Один из типичных SEO-проектов представлен на Рис.2.
Как видно из гистограммы для взятого нами SEO-проекта доля анкоров с 1 словом снизилась до 22,5%, с 2 словами – 15%, а далее происходит самое интересное. Число ссылок с 3 и 4 словами превышает число ссылок с 2 словами и превосходит 20% от общей ссылочной массы.
Это одно из типичных распределений для рядового SEO-проекта продвигающегося по двух-, трёх- и четырехсловным коммерческим запросам.
Рисунок 2. Распределение анкоров ссылок по числу слов для сайта продвигающегося с помощью ссылок. Проект продвигается по группе двух- и трёхсловных запросов.
Пример 2: типичный трафиковый проект представлен на Рис.3. Смотрите также комментарии к рисунку.
Рисунок 3. Распределение анкоров ссылок по числу слов для типичного сайта продвигающегося по трафику. Характерных «запил» в области четырехсловных запросов. Их доля – порядка 28-30% среди общей массы.
Другие примеры?
Автор призывает читателя произвести самостоятельное изучение ваших неуспешных проектов и построить соответствующие гистограммы. Имеются основания утверждать, что такой фактор используется поисковыми системами для оценки «естественности» входящей ссылочной массы на сайт.
Развитие: от наблюдения до эксперимента
Наиболее правильным продолжением предложенного выше наблюдения будет составление гистограммы для своих проблемных проектов и проведения полноценного эксперимента с чёрным ящиком – поисковой системой. Сделайте распределение входящей ссылочной массы на ваш сайт наиболее похожим на естественное распределение, получите результат!
(!) Важно: не делайте выводов по проектам с малым числом входящих ссылок. Данное статистическое распределение анкоров по числу слов имеет смысл только при относительно большом количестве входящих ссылок (более 300-500), и, соответственно, высококонкурентных запросов.
(!) Важно: описанное выше статистическое распределение ссылок является лишь одним из факторов. У поисковой системы в распоряжении имеется более 700 других сигналов, и, задействовав только какой-то один из них, не получится добиться выдающихся результатов. Требуется задействовать сразу множество факторов для достижения цели.
Исследование 2: использование Яндекс.Метрики для расчета факторов ранжирования
Спор относительно использования или не использования данных из Яндекс.Метрики для ранжирования сайтов не утихал никогда. Аргументами со стороны противников использования Метрики для расчета части поведенческих факторов являются:
- Отсутствие кода счётчика на всех сайтах (полнота).
- Отсутствие официальных заявлений и даже некоторые публичные отрицания использования этих данных для ранжирования [3].
Аргументы сторонников использования Метрики значительно более весомые:
- Уникальные данные по источникам трафика (не поискового) и их величина (доля в посещаемости сайта).
- Анализ заходов по ссылкам со сторонних сайтов.
- Возможность расчета BrowseRank’а внутри хоста [4] для выявления наиболее значимых страниц, приковывавших внимание аудитории сайта.
- Региональные распределения пользователей.
Действительно, данные, которые Яндекс может получить от Метрики, представляют чрезвычайно полезную информацию для поисковой системы.
Остаётся главный вопрос: достаточна ли полнота? Другими словами, достаточно ли сайтов используют Метрику, чтобы использовать эти данные, или они не будут отражать реальной картины?
Именно на исследование этого момента мы постараемся обратить наше внимание.
Данные по распространению Яндекс.Метрики на сайтах
В результате анализа выдачи по 100 высококонкурентным поисковым запросам была составлена следующая статистика распространения [5]:
- 9 из 10 сайтов в ТОП-10 по высококонкурентным запросам используют Метрику.
- Доля сайтов, использующих Метрику, вглубь выдачи падает (на 2, 3 и последующих станицах доля сайтов с Метрикой меньше).
Эти числа позволяют утверждать, что полнота для использования этих факторов будет достаточной, и учитывать эти данные важно и нужно.
Результаты других исследований [6] при мониторинге по 10 000 поисковым запросам подтверждают достаточную полноту сайтов с Метрикой (более 80% по ТОП-50).
(!) Важно: для получения наиболее точной статистики по распространению Метрики на коммерческих сайтах мы рекомендуем исключить из рассмотрения неорганические примеси. То есть сайты, «подмешанные» в выдачу по технологии СПЕКТР, и новостные результаты (быстроробот).
Что делать Яндексу с сайтами, не использующими Метрику?
Для сайтов, не использующих Яндекс.Метрику, многие аналогичные факторы могут быть рассчитаны из анализа поведения сёрфинга пользователей:
- с установленным Яндекс.Баром (Яндекс.Элементами);
- использующих соответствующий Браузер от этой поисковой системы.
Так или иначе, для учёта всех поведенческих метрик мы рекомендуем устанавливать на ваш сайт код счётчика (особенно если ваш сайт обладает хорошими поведенческими характеристиками)
Исследование 3.1: базовое использование языка запросов поисковой системы
У поисковой системы Яндекс имеется ряд документированных операторов расширенного поиска [7], которые могут использовать пользователи для настройки результатов выдачи. Эти операторы крайне полезны для осуществления сложного поиска и поиска малораспространенной в сети информации. Мы также можем использовать эти операторы для определения некоторых базовых свойств построения индекса в этой поисковой системе.
Обратим своё внимание на тег Title.
1) В поисковой системе имеется специальный оператор [title:], позволяющий ограничить область поиска только им. А также оператор, указывающий расстояние в словах от одного слова до другого [/].
2) Воспользуемся ими для поиска документов с длинным тегом Title. Для этого введем в поисковую систему запрос вида: [title:(москва /(+62 +62) москва)]. На первом месте будет документ с 548 словами в теге Title. Документ находится в индексе.
3) Взяв последние 3-4 слова, можно найти этот документ по точной фразе из тега Title с 548 словами (!).
4) Это свидетельствует о том, что распространенное заблуждение оптимизаторов относительно индексации только первых 70/150/250 символов в теге является ошибочным.
Исследование 3.2: контекстные ограничения в Title
Большой интерес представляет поиск с точно заданным в словах расстоянием. Как показывает практика, Яндекс ассоциирует между собой слова, которые находятся на расстоянии не более 62 слов.
Это видно из простых запросов, представленных на Рис. 4. Смотрите также подпись к рисунку. Вы можете изменить слова «мебель» и «купить» из запросов на любые другие.
Рисунок 4. Демонстрация контекстных ограничений между словами в теге Title. Документы с заданным расстоянием в словах 62 и менее находятся. Документы с заданным расстоянием в 63 слова и более не находятся никогда.
Выводы
Представленные в данной статье экспериментальные материалы являются иллюстрацией лишь малой доли той информации, которую может получить SEO-оптимизатор, проявив любопытство.
Автор призывает пытливых и любознательных SEO-специалистов не останавливаться на полученных результатах, а проводить свои собственные небольшие исследования и глобальные эксперименты, направленные на изучения принципов ранжирования поисковых систем. Удачи!
Список литераторы для ознакомления
1. Анализатор АПдейтов от Трофименко, 2008,
2. Типы поисковых запросов, 2012,
3. Конференция «Поисковая оптимизация и продвижение сайтов в Интернете», 2012,
4. Введение в BrowseRank, 2011,
5. Сервис анализа ТОП-10 SEO hint, 2012,
6. Конференция СПИК, 2013,
7. Памятка по языку запросов от Яндекса,
Подписывайся!
ВКонтакте
Есть о чем рассказать? Тогда присылайте свои материалы Марине Ибушевой
-
Ivan Shishkin больше года назадНа основе данной статьи сделали простенький инструмент, который позволяет распределить ваши анкоры по длине и показывает это всё в виде графика.
Вот сам инструмент tools.grogl.net/anchors-in-length -
Дмитрий Севальнев больше года назадЭто потому что не на нашем потоке выступал SeoHammer с исследованием.
Наш поток вот: 2013.sp-ic.ru/program/details.php?ID=1206 -
Guest больше года назадДмитрий, скажите - распределение входящих ссылок на сайт по числу слов в анкоре анализировалось поУРЛно (например морда, УВ2) или же поХОСТово, т.е. на весь сайт? -
Дмитрий Севальнев больше года назадЗдравствуйте, это именно хостовое распределение.
Но надо понимать, что большая доля всех ссылок на сайт — ведет именно на морду. Хотя далеко и не у всех сайтов, конечно.
Вообще в разных кругах было много вопросов на тему распределения анкоров по длине.
И я обещаюсь написать целую статью посвященную этой теме.
В частности:
- что кроется в колонке однословных анкоров
- более общую статистику (агрегирование по большему количеству сайтов)...Здравствуйте, это именно хостовое распределение.
Но надо понимать, что большая доля всех ссылок на сайт — ведет именно на морду. Хотя далеко и не у всех сайтов, конечно.
Вообще в разных кругах было много вопросов на тему распределения анкоров по длине.
И я обещаюсь написать целую статью посвященную этой теме.
В частности:
- что кроется в колонке однословных анкоров
- более общую статистику (агрегирование по большему количеству сайтов)
- выделение всех анкоров в виде урла в отдельную группу -
Артур Латыпов больше года назадДима, хватит народ пугать :)
Кстати, лучше в комплексе про антиспам в ссылках рассказать, есть что показать.
Но очень часто сталкиваюсь, как далеко потоковое seo от аналитики. -
Михаил Байбеков больше года назадНесколько слов о распределении по количеству слов в анкоре и файлик excel, который можно скачать для построения графика распределения, можно найти тут http://wildhorror.ru/estestvennoe-ssylochnoe-raspredelenie.html -
Дмитрий Севальнев больше года назад1) Идёте сюда: http://webmaster.yandex.ru/settings/offline_links.xml и ставите галку в [Я хочу выгружать внешние ссылки в виде архива].
2) Нажимаете Сохранить.
3) Идёте в информацию о вашем сайте: Внешних ссылок на страницы сайта.
4) Там через некоторое время появится архив со ссылками. -
guest больше года назадДмитрий, растолкуйте пожалуйста подробнее, последний эксперимент. Что это означает ? Почему с расстоянием более 62 слов ничего не находится ? И в частности фразу:
"Как показывает практика, Яндекс ассоциирует между собой слова, которые находятся на расстоянии не более 62 слов.
" -
Дмитрий Севальнев больше года назадЗдравствуйте, тут имеется ввиду, что при задании ограничения более чем в 62 слова в теге Title, документы перестают находится. То есть это максимальная длинна пассажа обрабатываемого Яндексом в теге Title.
При этом, если расширить поиск на все зоны документа, а не только Title, до результаты будут находиться, скажем: [yandex.ru/yandsearch?text=услуги %2F(%2B63 %2B63) сайт&lr=213].
Косвенно свидетельствует о том, что при расстоянии более чем 62 сл...Здравствуйте, тут имеется ввиду, что при задании ограничения более чем в 62 слова в теге Title, документы перестают находится. То есть это максимальная длинна пассажа обрабатываемого Яндексом в теге Title.
При этом, если расширить поиск на все зоны документа, а не только Title, до результаты будут находиться, скажем: [yandex.ru/yandsearch?text=услуги %2F(%2B63 %2B63) сайт&lr=213].
Косвенно свидетельствует о том, что при расстоянии более чем 62 слова в теге — не будет учитываться связь между словами. Конечно, для ряда запросов 62 слова это и так очень и очень много. -
guest больше года назадДмитрий Севальнев,
Допустим, 2 слова запроса есть только в тайтле, на расстоянии 63 слова, больше в документе и ссылках нигде нет. Найдется ли такой документ ?
А также, как это отражается на релевантности, если ключевые слова в тайтле расположены на расстоянии > 62 слов ? -
Дмитрий Севальнев больше года назадСпециально поискал. Да, такой документ всё-равно находится.
По наблюдениям и ощущениям — если расстояние меньше 62, то:
- может быть учтена близость слов, что может дать плюс к релевантности;
- если расстояние 63 и более, то не важно уже сколько слов между ними, 63 или 163.
Тут я призываю и вас создать 2-3 экспериментальных страничек. -
Сергей больше года назадДмитрий, вы уж извините, но вы уже тут несколько раз публиковались и я пока не увидел ни одного вашего личного кейса, все понадерганные либо с серча, либо от других аналитиков. Может быть что-нибудь свое напишите хоть разок, от души.
Извините, если был груб. Вижу, что вы человек в целом не глупый и способны (надеюсь) на личное творчество :) -
Дмитрий Севальнев больше года назадДа чего уж тут, сколько людей — столько и мнений. Кейсы все полностью от нашей компании, полученные в результате анализа работы с клиентской базой. Можно с уверенность сказать, что ряд из них и пересекается в целом с информацией по рынку, но таков уж рынок SEO.
В своих статьях я стараюсь структурировать информацию для людей только осваивающих профессию оптимизатора. То чем обычно грешат и форумы и блоги. Но в любом случае, спасибо за мнение. -
Дмитрий Севальнев больше года назадПоставил два простеньких экспериментика с 16-ым словом, что выйдет — отпишу.
-
euhenio больше года назадПо поводу индексируемых слов в тайтле.
==4) Это свидетельствует о том, что распространенное заблуждение оптимизаторов относительно индексации только первых 70/150/250 символов в теге является ошибочным.
дык индексируется-то да, но слова в тайтле за первыми 15-ю (год назад так было) не имеют повышенного веса, а имеют пониженный, сравнимо с урловой релевантностью -
Дмитрий Севальнев больше года назадЖень, релевантность то они дают. Вес может быть и пониженный относительно слов в начале Title, да и другие факторы есть учитывающие длину тега Title, которые, думается мне, чаще играют в минус, чем в плюс.
Но, если представить ситуацию, что:
1) Слова нет в тексте, и мы добавляем его 16-м в Title — релевантность подрастет прилично.
2) Слово есть 1 раз в тексте, но мы добавляем его ещё раз в Title 16-м — тоже должна ...Жень, релевантность то они дают. Вес может быть и пониженный относительно слов в начале Title, да и другие факторы есть учитывающие длину тега Title, которые, думается мне, чаще играют в минус, чем в плюс.
Но, если представить ситуацию, что:
1) Слова нет в тексте, и мы добавляем его 16-м в Title — релевантность подрастет прилично.
2) Слово есть 1 раз в тексте, но мы добавляем его ещё раз в Title 16-м — тоже должна подрасти. Несмотря на другие факторы.
А как ты сравнивал с урловой релевантностью? =) -
Гость больше года назадРелевантность очень низкую, сравнимую с урловой, хуже, чем обычный текст даже
по сравнению - тупо вижу, что ранжируется хуже текста страницы
ну и люди когда говорят "не индексируется" - часто имеют в виду - "нифига не влияет"
а ты придираешься к словам ) -
euhenio больше года назад== Вес может быть и пониженный относительно слов в начале Title
-вес вообще понижен даже относительно простого текста, прямо считаем, что его нет
на серче, кстати, было, поищи ) -
Дмитрий Севальнев больше года назадТут изначально наблюдение было относительно контекстного ограничения в /(+62 +62).
Я для этого вставил это в статью.
Но он есть =) -
euhenio больше года назад==Тут изначально наблюдение было относительно контекстного ограничения в /(+62 +62).
-а при чем тут это ограничение? Это вообще не о том. Реально, поищи на серче, там мы с Михой про то же обсуждали. Не вопрос, макс. длина пассажа такая, но к весу за 15 словами в тайтле не имеет отношения )
==Но он есть =)
-ооо да, вот у тебя релевантность ...==Тут изначально наблюдение было относительно контекстного ограничения в /(+62 +62).
-а при чем тут это ограничение? Это вообще не о том. Реально, поищи на серче, там мы с Михой про то же обсуждали. Не вопрос, макс. длина пассажа такая, но к весу за 15 словами в тайтле не имеет отношения )
==Но он есть =)
-ооо да, вот у тебя релевантность резульата, например, 1хх, а урловая релевантность, даст, например, 1х. И чо? да, ты прибавишь величину, существенно меньшую, близкую к нулю, и она ни на что не повлияет
а цифирками лучше яндексоидов парь ) -
Дмитрий Севальнев больше года назадНу при том, что изначально эта длина пассажа была интересна, а не вес слова при позиции 16+. Про веса поэтому в статья и нет информации. Про это надо отдельно.
Ах было бы кого парить)
