YATI - новый алгоритм Яндекса

В конце прошлого года ПС Yandex выпустила новый алгоритм под названием YATI. Его ключевая задача оценивать смысловое сходство пользовательского запроса со страницей или документом, представленным в выдаче. Сама технология оценки базируется на нейронных сетях. 

Инженеры-создатели считают выпуск алгоритма одним из самых важных событий за последнее десятилетие. Чтобы наглядно понять ценность алгоритма достаточно вернуться всего на 5 лет назад. Напомним, до 2016 года роботы Яндекс не учитывали до 95% контента на странице, они просто игнорировали его. 

Регулярные изменения vs «Core Updates»

Если анализировать 2020 год, то не только в оффлайн, но и в онлайн жизни все в корне изменилось. Алгоритмы ПС Яндекс уверенно шагнули вперед, а всю осень выдача провела в состоянии непрерывного шторма.

Если систематически контролировать обновления посредством различных сервисов, то можно обнаружить постоянные изменения в поиске (порядка 300-500 за 12 месяцев) и фундаментальные, которые касаются непосредственно самого алгоритма ранжирования. Вот такие фундаментальные изменения и получили название «Core».

Фундаментальные апдейты влияют на большую часть пользовательских запросов, а их запуск зачастую связан с повторным обучением роботов, сменой формулы индексации и совершенно новым подходом.

Яндекс и Гугл по-разному сообщают о внедренных обновлениях. Если в компании Google в 2020 году выпустили 3 апдейта, то разработчики анонсировали выпуск преимущественно в соцсетях. Политика Яндекс полностью отличается. Они редко объявляют о предстоящих изменениях, но в последствии подробно разбирают апдейт в тематических статьях.

Относительно YATI, то его запуск разработчики предполагали в ноябре, но никаких существенных изменений в выдаче в это время не происходило, если оценивать ситуацию с помощью современных сервисов и инструментов. А вот на конец сентября действительно пришелся излом, который может сигнализировать о старте нового алгоритма.

Можно предполагать, что мы познакомились с новым алгоритмом гораздо раньше.

Нейронные сети: принципы и примеры

Нейросети ранее уже использовались в ранжировании сайтов. Они представляют собой один из многих методов машинного обучения, известный поиску уже более 20 лет. На подобной технологии работают алгоритмы Снежинск, Палех и даже сервис Яндекс.Переводчик, со временем этот факт подтвердили и сами разработчики.  

Важными этапами развития на пути к YATI стали алгоритмы Палех и Королёв. Для Гугл такими базисами можно назвать Word2vec и BERT. 

Нейронные сети не изменили всю поисковую формулу ранжирования. Факторы, которые вычисляют современные нейросети являются лишь одной составляющей из общего числа критериев, которые учитываются в конечной формуле.

Результатом такой технологии является выдача, которая содержит как релевантные по смыслу документы, так и страницы, которые имеют точное вхождение ключевой фразы.

Если проанализировать сложившуюся ситуацию, то становится понятно, что каждый фактор «тянет на себя одеяло». Возникает борьба между факторами, оценивающими смысл документа и считывающими в нем количество прямых вхождений ключа. Кроме них в борьбе задействованы и другие важные факторы:

• Поведенческие

• Хостовые

• Ссылочные.

Поэтому мы можем сделать вывод, что разработчики Яндекс не заменяют действующие формулы новым алгоритмом, а внедряют его с целью совершенствования уже имеющейся формулы.

В тех случаях, когда на странице содержится мало прямых ответов на запрос пользователя (наглядно в примере), более важное значение приобретают факторы, оценивающие смысловую составляющую.

Анализ выдачи показывает, что в приоритете находятся документы, которые подобраны по смыслу. А точное вхождение в сочетании с высокими хостовыми показателями позволило всего одному информационному сайту выбраться в ТОП. Вывод напрашивается однозначный: новый алгоритм делает смысловые факторы более важными, чем количество вхождений запроса. Но это касается только конкретизированных или микронизкочастотных фраз.

BERT VS YATI

Недавно на Хабре была опубликована статья, которая раскрывала технические аспекты нового алгоритма ЯТИ. Главным конкурентом его стал алгоритм ПС Гугл – BERT, но эффективность формулы яндексевского алгоритма признана более высокой: по показателю nDCG Яти набрал 95,4%, то время как Берт - 91,6%

Показатель nDCG применяется оптимизаторами для оценки качества выдачи. Он учитывает не только рейтинг каждого документа, который представлен в выдаче, но и асессорскую оценку его соответствия.

Если сравнивать количество задач, которое способен решить алгоритм, то BERT более функционален. На его основе строится множество языковых моделей.

Если сравнивать компьютерные и математические принципы моделирования, то алгоритмы BERT и YATI имеют много общего. 

Еще раз напомним, что Яндекс не сразу запустил YATI, а пришел к нему путем совершенствования алгоритмов Палех и Королёв. Возможно именно по этой причине разработчики не стали слишком громко афишировать запуск поистине прорывной технологии, а только подчеркнули, что теперь поиск научился еще лучше улавливать смысл контента.

Главные нюансы нового алгоритма

Мы выделили четыре основных аспекта, которые следует знать в соответствии с запуском ЯТИ:

1. Переформулировки и «пред-обучение на клик». Яндекса имеет внушительную базу переформулировок, которая насчитывает более 1 млрд фраз. Если после первичного запроса отсутствует клик, то переформулировка использует новую фразу. Таким образом алгоритм обучается предсказывать вероятность клика.
2. Мнение толокеров. Учитываются «самые дешёвые и простые оценки» авторов из сервиса Яндекс.Толока.
3. Экспертные оценки. Учитываются асессорские оценки степени соответствия документа поисковому запросу. 
4. Сведения, которые подаются на вход:

• Ключевой запрос
• Расширение ключа: доп. слова, синонимы
• «Качественные» элементы документа
• Стримы: анкор-лист, запросный индекс и т.д. Учитываются не показы, а именно клики, совершенные по поисковым фразам.

Как YATI реагирует на накрутку ПФ

Проблема накрутки ПФ в ушедшем году стала как никогда актуальной. Первые наказания к веб ресурсам были применены еще осенью, а многие сайты по сей день теряют показатели видимости.

Под санкции Яндекс попадают сайты, ПФ которых кажутся его алгоритмам неестественными. 

На сегодня проблема с накруткой потихоньку улучшается, но вопросов осталось еще очень много. Разработчики Яндекс постоянно дают комментарии по данному вопросу. На сегодня у них уже есть возможность исключить кликовый фактор, чтобы эффективно бороться с накрутками в дальнейшем.

Чего ждать и как продвигать сайт с учетом YATI?

Так как известно, что ЯТИ на 50% влияет на ранжирование ресурса. Поэтому очень важно на данном этапе уяснить и принять – смысловая составляющая любого текста стала главным критерием. Получается, что внедрение ключей, проработка метатегов и прочие оптимизационные работы остались позади. Но так ли сегодня выглядит реальная картина?

В самом начале для повышения качества ранжирования Yandex обучалась на редких ключевых фразах. Ключевая особенность - по ним достаточно маленькая выдача. Поэтому поверить в 50% вклад таких ключевых фраз в ранжирование действительно можно. Если провести анализ, то видно явное соперничество между смыслом документа и вхождениями ключа, где смысл уверенно вырывается в лидеры. Но идентична ли ситуация по ВЧ, среднечастотным и НЧ запросам?

Благодаря исследованию ПиксельТулс о важности вхождения запроса в текст (до и после внедрения YATI) выяснилось, что:

1. На уровне низкочастотных запросов важность внедрения поисковой фразы в точной форме стала еще более значимой.

2. По средне- и высокочастотным запросам точное вхождение ключа не имеет явного влияния на попадание сайта в ТОП-10. Оценка среднего значения фактора близка к единице. Это свидетельствует о том, что всего одного вхождения ключа будет более чем достаточно. 

3. О влиянии «присутствия всех слов из запроса в тексте». Точное вхождение запроса в тексте между НЧ, СЧ и ВЧ не имеет кардинальных различий. Но четко видна прямая зависимость между наличием всех слов из запроса в документе и попаданием в ТОП. Коэффициент фактора равен 0,8, поэтому такая зависимость окажется актуальной для 80% интернет-ресурсов. Вывод - нельзя пренебрегать советами по внедрению всех фраз из поискового запроса. Это действительно работает.

4. Значимость внедрения запросов в Title после запуска YATI возросла в разрезе анализа с предыдущими годами. В выдаче стали гораздо чаще появляться страницы, у которых все слова запроса включены в Title, но прямое влияние на рейтинг в выдаче снизилось. Можем сделать вывод, что данный фактор важен для попадания в выдачу, но совершенно не улучшает ваши позиции в выдаче. Запомните, для низкочастотных показателей данный показатель более важен, чем для средне или высокочастотных запросов. 

Практические рекомендации по продвижению с учетом нового алгоритма

1. Оптимизируйте ресурс в соответствии с требованиями YATI. 

Увеличивайте разнообразие поисковых фраз и словосочетаний, которые встречаются с ключевым запросом. К ним относятся слова из подсветки выдачи, тематические фразы, ключи, которые есть у ваших прямых конкурентов, но отсутствуют у вас. 

2. Пишите читабельные тексты

Для текстов большого объем обязательно контролируйте визуальную составляющую – читабельность, легкость восприятия текста. Обязательно внедряйте заголовки, разделяйте контент на блоки, используйте изображения, списки, графики. Ключевые фразы используйте в теле текста и заголовках.

3. Проводите аудит и оптимизацию запросного индекса (Находится в Вебмастере, вкладка «Поисковые запросы»)

• Ознакомьтесь со списком запросов, по которым были совершены переходы. Оцените их соответствие нуждам пользователя
• Проанализируйте поисковые фразы, которые дали показы, но не дали переходов. Если ключи нерелевантные – примите соответствующие меры. 

4. Запросный индекс всего сайта

Показатели сайта влияют на факторы ранжирования каждой страницы. Поэтому проверка, которая описана в предыдущем пункте будет актуальна для отдельной страницы и ресурса в целом.

5. Увеличивайте количество низкочастотных запросов в СЯ

Расширенные запросы и синонимы облегчают продвижение общих ключей и фраз, которые приближены к ним по смыслу. Если вы используете ключ smm продвижение, то обязательно добавьте такие фразы как раскрутка сайта и seo продвижение в Санкт-Петербурге.

6. Аудит конкурентов

Следите за конкурентами. Отслеживайте их показы, запросы, оценивайте тексты, используемые фразы и структуру. Сравнивайте охват запросов из СЯ и прочие факторы.

7. Классические задачи оптимизатора: качественный текст, точное вхождение ключевой фразы, оптимизация метатегов и т.д.

Подведем итог

YATI хоть уже и прозвали прорывной технологией, но опускать руки точно не стоит. Помните, что все технологии Яндекса строятся методом наращивания, то есть обновления добавляются к имеющимся алгоритмам, но формула не переписывается с нуля.

С запуском ЯТИ смысловое родство текста и запроса становится более важной, когда у ПС недостаточно информации о поведении и мало ресурсов с хорошими текстовыми показателями.

Самый большой прирост получается по неоднозначным запросам, редким ключам и многословным формулировкам.

А вход алгоритма выставляются анкор-лист страницы, запросный индекс по кликам и другие стримы. 

P.S. Обновляйте распределение

Работа с базой запросов – важный момент. Если вы занимались группировкой и распределением ключевых фраз около полугода назад, то самое время актуализировать данные. YATI меняет состав кластеров, образующихся при оценке лидеров выдачи. Многие запросы могли изменить тип на целевые или нецелевые. Мы рекомендуем обновлять семантику каждые 3 месяца, чтобы работать с актуальным яром и корректным составом выдачи.