Меню

Новый поиск яндекс королев как установить

Королёв

«Королёв» – это алгоритм поисковой системы Яндекс, на котором основана новая версия поиска. Запущен в августе 2017 года. Является логическим продолжением алгоритма «Палех». Нейронная сеть, обучаемая по поисковой статистике, поведению пользователей, сопоставляет смысл, суть запроса и веб-страниц, что позволяет лучше отвечать на сложные запросы.

Принцип работы

Поисковый алгоритм «Королёв», в отличие от созданного ранее «Палеха», анализирует не только тайтл, а всю страницу целиком. Определение смысла проходит одновременно с индексацией, что существенно увеличивает скорость и количество обрабатываемых страниц.

Чтобы пользователь получал ответ, используются несколько этапов. На каждом из них документы упорядочиваются, лучшие проходят в следующую стадию. С повышением уровня применяются все более тяжелые алгоритмы.

korolev1.png

Чтобы ускорить финальную стадию и увеличить объем анализируемых документов, был введен дополнительный индекс, содержащий вычисленную на этапе индексирования примерную релевантность для популярных слов и их пар из запросов пользователей. Это позволило значительно увеличить глубину – до 200 тыс. документов на запрос.

Кроме сравнения заданного вопроса со смыслом страницы, алгоритм учитывает, по каким еще запросам пользователи просматривали конкретный документ, что позволяет устанавливать дополнительные смысловые связи.

Алгоритм использует нейронную сеть, которая обучается на обезличенной статистике. Для обучения нейросети привлекаются простые пользователи. Если раньше этим занимались только сотрудники Яндекса, асессоры, то сейчас любой может принять участие в обучении строящего формулу ранжирования методу машинного обучения «Матрикснет», выполняя задания в Яндекс.Толоке.

«Королёв» затрагивает многословные запросы с уточнением смысла, а это, как правило, информационные, низко- и микрочастотные, часто заданные голосовым поиском. В качестве ответа могут быть страницы, где вообще отсутствуют некоторые употребленные в запросе слова.

korolev2.png

Сразу после запуска по многим уточняющим запросам справа от выдачи пользователям предлагалось оценить качество ответа на вопрос, указать сайт, который был более удачным.

Влияние на SEO

Наибольшее влияние поисковый алгоритм «Королёв» оказывает на информационные запросы со сложной, многословной, часто уникальной формулировкой. Однако замечено, что сайтам с вхождениями каких-то слов из запроса все-таки часто отводятся более высокие позиции.

На выдачу по типовым коммерческим запросам алгоритм «Королёв» пока практически не оказывает влияния. Однако все большее обращение Яндекса в сторону понимания смысла закономерно наводит на мысль, что это вопрос времени. Поэтому:

«Космическая» премьера Яндекса – не только смена структуры индекса, но и своего рода очередное напоминание, что нужно делать контент для людей, а не только для попыток манипулировать выдачей.

Источник

Яндекс запустил новую версию поиска на основе алгоритма «Королёв»

Как никогда весь «сеошный» мир ждал запуска нового алгоритма ранжирования, анонсированного на 22 августа 2017 года. Ещё бы, подобные анонсы – вещь для Яндекса абсолютно нетипичная, обычно они предпочитают не распространяться о своих планах, и сообщают об очередном релизе алгоритма ранжирования постфактум.

22 августа 2017 года Яндекс запустил новую версию поиска. В её основе лежит поисковый алгоритм «Королёв» (с 2008-го года новые алгоритмы ранжирования в Яндексе называют в честь городов). Алгоритм с помощью нейронной сети сопоставляет смысл запросов и веб-страниц — это позволяет Яндексу точнее отвечать на сложные запросы. Для обучения новой версии поиска используются поисковая статистика и оценки миллионов людей. Таким образом, вклад в развитие поиска вносят не только разработчики, но и все пользователи Яндекса.

Область применения нового алгоритма практически не затрагивает традиционные сеошные сферы интересов, в первую очередь к которым можно отнести коммерческую выдачу. «Королёв» оказался логическим продолжением алгоритма «Палех» и призван обслуживать длинный хвост микрочастотных запросов, как правило, задаваемых на естественном языке. Особенностью таких запросов является то, что релевантные им документы могут не содержать многих из слов, входящих в запрос. Это ставит в тупик традиционные алгоритмы ранжирования, основанные на текстовой релевантности.

Решение найдено в виде использования нейросетей, которые обучаются в том числе и на поведении пользователей. Поэтому новый алгоритм Яндекса работает на основе нейронной сети. Он обучается на примерах запросов пользователей, и подбирает ответы исходя из смысла текста на странице. Это означает, в частности, что он будет гораздо эффективнее работать с нестандартными запросами, когда пользователи сами не уверены, как называется то, что они хотят найти. Здесь многое упирается в вычислительные мощности.

Вообще подобный подход к решению задачи ранжирования длинного микрочастотного хвоста запросов не нов. Еще в 2015-м году стало известно о технологии, применяемой поисковой системой Google для поиска ответов на многословные запросы, заданные на естественном языке – RankBrain. Эта технология, так же основанная на машинном обучении, позволяет распознавать наиболее значимые слова в запросах, и анализировать контекст, в котором осуществляется поиск. Что позволяет находить релевантные документы, которые не содержат всех слов запроса.

Кроме того, алгоритм работает и с картинками. Он анализирует содержание изображения и подбирает необходимый вариант, исходя из него, а не только из описания в тегах или окружающего его текста.

Впрочем, длинный хвост микрочастотных многословных запросов на естественном языке вполне может быть интересен «выжигателям» информационной семантики – создателям так называемых инфосайтов «на все случаи жизни». В общем-то, они и так стараются под как можно большее количество известных им запросов, которые удается заполучить с помощью различных методов сбора семантики, организовать точное вхождение в свои тексты. Там же, где точных вхождений не будет, т.е. для запросов, которые не всосал «семантический пылесос» создателей инфосайтов или для которых им не удалось обеспечить точных вхождений в контент, и начинается вотчина «Королёва», который призван искать соответствия между запросами и ответами в том случае, когда между ними мало пересечений по ключевым словам. В таких случаях «Королёв» несомненно повысит требования к качеству контента, и реально интересные читабельные статьи будут еще больше выигрывать у сборников вхождений ключевых фраз, разбавленных водой, т.к. именно в таких статьях могут содержаться полезные для нового алгоритма сигналы. Ну, а всем остальным сеошникам действительно можно расслабиться – очередная порка откладывается. Жертв и разрушений нет.

Читайте также:  Как установить windows 7 на ноутбук новый видео

Кратко о главном

Алгоритм «Королев» — это развитие «Палеха», направленного на повышение качества выдачи по сложным, в основном информационным запросам. По сути, на «Палехе» Яндекс протестировал поиск на основе нейронных сетей, а теперь запустил его во всем масштабе.

Раньше все алгоритмы работали по методу машинного обучения «Матрикснет», который поисковик дорабатывал, условно, вручную. А «Королев», основанный на нейросетях, обучается самостоятельно с помощью миллионов запросов, которые ежедневно задают пользователи.

Вместо того, чтобы анализировать сайты в ответ на запрос, поисковик будет заранее знать, на какие вопросы и их вариации отвечает каждый документ.

На какие запросы повлияет «Королев»

В первую очередь на информационные запросы. Он поможет быстрее находить ответы на сложные вопросы. Соответственно, основные изменения коснутся информационных ресурсов, например, сборников рецептов, которые пользователям будет проще найти.

А что с коммерческими запросами

Единственное, вероятное изменение — увеличение трафика по низкочастотным запросам.

Пока новый алгоритм не кажется опасным. Он оказался логическим продолжением алгоритма «Палех» и область его применения если и затрагивает коммерческую выдачу, то пока очень не очевидно. Выдохнули.

Немного истории

На заре поисковых систем, алгоритмы поиска были достаточно примитивны. Они просто искали страницы, которые содержат слова из поисковой фразы.

О сложном ранжировании — то есть упорядочивании страниц по степени соответствия запросу — речь не шла. Считалось, что чем чаще в документе встречаются слова из запроса, тем лучше он подходит. Интернет быстро рос, и потребовались дополнительные критерии отбора.

Матрикснет

В какой-то момент факторов ранжирования — признаков, по которым можно определить, насколько хорошо страница отвечает на запрос, — набралось так много, что стало ясно: прописать их все в виде инструкций невозможно. Лучше научить машину самостоятельно принимать решения: какие признаки использовать и как их комбинировать. В Яндексе для этих целей придумали Матрикснет (2009 год). Это метод машинного обучения, с помощью которого строится формула ранжирования.

Поиск, однако, по-прежнему опирается на слова.

Перед тем как пустить в ход сложную формулу ранжирования, поисковые машины составляют список «предварительно подходящих» веб-страниц — таких, в которых есть слова из запроса. Нам, людям, понятно, что один и тот же смысл можно выразить разными словами.

Веб-страница может не содержать всех слов из запроса, но тем не менее очень хорошо на него отвечать.

Однако объяснить это машине довольно сложно.

Палех

Первый шаг Яндекс к поиску по смыслу был поисковый алгоритм «Палех» (2 ноября 2016 г.). В его основе лежит нейронная сеть.

Нейросеть — это компьютерная модель, которая работает по тому же принципу, что и человеческий мозг. Она принимает решения исходя из множества факторов, а главное — самостоятельно устанавливает закономерности и учится на своих ошибках.

Чтобы нейросеть научилась понимать, как смысл запроса соотносится с содержанием страницы, нужны миллиарды примеров. У Яндекса есть такие данные: каждый день поиском пользуются десятки миллионов человек.

Запуская «Палех», Яндекс научил нейронную сеть преобразовывать поисковые запросы и заголовки веб-страниц в группы чисел — семантические векторы.

Важное свойство таких векторов состоит в том, что их можно сравнивать друг с другом: чем сильнее будет сходство, тем ближе друг к другу по смыслу запрос и заголовок.

Основным отличием нового алгоритма, помимо улучшения технической реализации, является возможность распознавать схожие «смыслы» по всему документу, а не только по заголовку (Title), который появляется в окне браузера.

Как работает алгоритм «Королёв»

Поисковый алгоритм «Королёв» сравнивает семантические векторы поисковых запросов и веб-страниц целиком — а не только их заголовки. Это позволяет выйти на новый уровень понимания смысла.

Как и в случае с «Палехом», тексты веб-страниц в семантические векторы преобразует нейросеть. Эта операция требует много вычислительных ресурсов. Поэтому «Королёв» высчитывает векторы страниц не в режиме реального времени, а заранее, на этапе индексирования.

Когда человек задаёт запрос, алгоритм сравнивает вектор запроса с уже известными ему векторами страниц.

Эффект «Королёва»

Умение понимать смысл особенно полезно при обработке редких и необычных запросов — когда люди пытаются описать своими словами свойства того или иного объекта и ожидают, что поиск подскажет его название.

Такая схема позволяет начать подбор веб-страниц, соответствующих запросу по смыслу, на ранних стадиях ранжирования. В «Палехе» смысловой анализ — один из завершающих этапов: через него проходят всего 150 документов. В «Королёве» он производится для 200 000 документов.

Кроме того, новый алгоритм не только сравнивает текст веб-страницы с поисковым запросом, но и обращает внимание на другие запросы, по которым люди приходят на эту страницу.

Так можно установить дополнительные смысловые связи.

Люди учат машины

Использование машинного обучения, а особенно нейросетей, рано или поздно позволит научить поиск оперировать смыслами на уровне человека. Чтобы машина поняла, как решать ту или иную задачу, необходимо показать ей огромное количество примеров: положительных и отрицательных. Такие примеры дают пользователи Яндекса.

Нейронная сеть, которую использует алгоритм «Королёв», обучается на обезличенной поисковой статистике. Системы сбора статистики учитывают, на какие страницы пользователи переходят по тем или иным запросам и сколько времени они там проводят.

Если человек открыл веб-страницу и «завис» там надолго, вероятно, он нашёл то, что искал, — то есть страница хорошо отвечает на его запрос. Это положительный пример.

Подобрать отрицательные примеры гораздо легче: достаточно взять запрос и любую случайную веб-страницу.Статистика, которая используется для обучения алгоритма, обезличена

В помощи людей нуждается и Матрикснет, который строит формулу ранжирования.

Толока

В основе современного поиска лежат сложные алгоритмы. Алгоритмы придумывают разработчики, а учат — миллионы пользователей Яндекса. Любой запрос — это анонимный сигнал, который помогает машине всё лучше понимать людей. Новый поиск — это поиск, который мы делаем вместе.

Читайте также:  Как установить точки доступа йота

Мнения экспертов

/Денис Шубенок, Михаил Волович, Елена Камская/

Как новый алгоритм может повлиять на SEO

«Королев» работает на основе нейронной сети, которая накапливает данные и корректирует работу с каждым запросом. Вероятнее всего, важных изменений не будет. Но можно ждать некоторого перераспределения трафика в сторону крупных сайтов. «Королев» рассчитан на сложные, в основном низкочастотные информационные запросы, и от его работы выиграют сайты, которые могут себе позволить создавать множество контента.

Острие нового алгоритма, как и «Палеха» до этого, направлено совсем в другую сторону — в некотором смысле противоположную SEO. Яндекс в основном делает упор на нетривиальные запросы, на которые нет очевидных релевантных ответов. А SEO занимается теми запросами, по которым идеально подходящих ответов тысячи. Потому что сотни оптимизаторов и веб-мастеров на своих сайтах создали под каждый отдельно взятый запрос специальную страницу, и потом усердно занимались тонкой настройкой ее релевантности. В этой — коммерческой — зоне перед поисковиком стоят совершенно другие задачи. Тут не нужно искать релевантные ответы, или даже выбирать самый релевантный. Тут среди сотен достаточно релевантных кандидатов нужно выбрать лучший по каким-то другим, например, коммерческим критериям.

Однако «Королев» — это не дополнительный модуль поиска, а изменение всего алгоритма, начиная с самых ранних этапов предварительного отбора кандидатов на ранжирование. Поэтому он так или иначе затронет все запросы, в том числе и в коммерческой зоне. Какие-то изменения весов коммерческих и текстовых факторов, мы, вероятно, увидим — хотя и вряд ли глобальные.

Какая выдача нас ждет

В последнее время «Королев» очень широко рекламировали, прогнозов и опасений на рынке было много. И главный вопрос: как изменения в алгоритме повлияют на позиции и трафик сайтов? Но ничего страшного, в общем-то, не случилось.

Важно ли теперь собирать семантическое ядро

В экосистеме, сформированной Яндексом и Google, все конкуренты создают на каждый запрос по идеально релевантной странице. Даже если представления о релевантности у Яндекса после «Королева» сильно изменятся, что вряд ли, конкуренты никуда не денутся и быстро подкрутят свои страницы под новый идеал релевантности.

Вырастет ли трафик за счет ассоциированных запросов?

Вряд ли. Но нужно будет обратить самое пристальное внимание на кластеризацию запросов. Одно из анонсированных Яндексом нововведений — учет «семантики» других запросов, по которым переходят на данную страницу.

Суммарно

Выводы

В целом, «Королев» — это еще один шаг к тому, что работа над поисковым маркетингом должна быть сложной и комплексной, к тому, что тексты на сайтах должны быть для людей, а поисковые системы должны понимать написанное словами. Этот алгоритм скорее всего не изменит положение большинства сайтов, но можно надеяться, что он сделает поиск немного более точным и человечным. Мы этому только рады.

Важно понять: поисковик может понять запрос, только если каждое слово обладает одним понятным смыслом. Если слово обладает несколькими смыслами, могут возникать проблемы.

По большинству запросов всё равно большое значение имеет текстовый фактор. Возможность высоко ранжироваться по таким запросам появится только в будущем, когда алгоритм будет обладать более полной базой знаний о желаниях и предпочтениях пользователей. Но для этого уже сейчас нужно:

Источник

Алгоритм Яндекса «Королёв»

Искусственная нейронная сеть со скрытыми слоями, «длинный хвост», дополнительный индекс и поиск с учётом семантического соответствия («смысла»).
Хм, серьёзно? Вместе разбираемся с новым алгоритмом Яндекса.

Во второй половине августа Яндекс запустил новый алгоритм с названием «Королёв». Официальный анонс состоялся 22 августа 2017 года в блоге Яндекса для вебмастеров [1] и в блоге на Хабрахабре [2]. Реальные же изменения выдачи — были заметны и ранее, благодаря анализатору апдейтов выдачи «Пиксель Тулс».

Основная задача: улучшение качества выдачи по многословным низкочастотным запросам, по которым качество выдачи было низким (заведомо хуже, чем у Google — основного конкурента в рунете). В данный сегмент фраз часто попадают и голосовые запросы, заданные с переносных устройств на естественном языке (растущий спрос).

Что отличает данный алгоритм «Королёв» от предыдущего «Палеха» [3]? Добавление в общий набор факторов ранжирования, которые учитывают:

Схожесть того «смысла», который скрыт в поисковой фразе и «смысла» всего документа, а не только заголовка окна браузера Title.

Качество ответа документа на схожие по «смыслу» запросы пользователей.

Новая техническая реализация с расчётом ряда факторов на этапе индексирования и внедрением дополнительного индекса (см. ниже).

Чтобы понять, какой смысл* вкладывает пользователь в поисковый запрос и какой смысл раскрывается в тексте страницы — используется нейронная сеть. То есть, нейронная сеть как один из методов машинного обучения, лежит в основе вычисления ряда новых факторов, которые далее используются в алгоритме ранжирования.

* — далее мы будем употреблять это слово без кавычек, но важно понимать, что «смысл», который вычисляется с помощью компьютерного алгоритма и реальный смысл, который вкладывает в запрос/документ автор — неэквивалентные понятия.

Влияние алгоритма на запросы разных типов

В первую очередь, «Королёв» затрагивает ранжирование по длинным и/или редким поисковым запроса, которые часто задаются на естественном языке. Пример: [фильм где человек бежит из тюрьмы после очень долгой отсидки].

Читайте также:  Как установить новые гидрокомпенсаторы на ваз 21214

С точки зрения SEO-классификации это НЧ- и мНЧ-запросы, как правило, информационные, но возможных и коммерческие варианты, скажем: [купить штуку которая крутиться на пальцах]. Именно данный сегмент поисковых фраз носит название «длинного хвоста». На него приходится более 34% запросов из потока.

На текущий момент, для ряда запросов, по которым новая группа факторов получила высокую значимость, но поисковая система не до конца уверена в корректности его применения — проводится анкетирование пользователей (Рис. 1).


Рис. 1. Яндекс уточняет у пользователя, корректно ли была повышена значимость новой группы факторов для запроса
[как называется бритва в стиле ножа], какой ответ за вопрос является правильным и где он был найден?

Сравнение: Яндекс versus Google

С запросом, который приведён выше — Google справляется куда лучше, чем Яндекс (Рис. 2), но репрезентативная ли это картина? Для ответа на данный вопрос — выборка была увеличена и проведена ручная оценка качества выдачи по каждому из 127 запросов в режиме «Инкогнито». Исходный файл в TXT-формате, разделитель между колонками — точка с запятой. Данные собраны Викторией Левеной («Пиксель Плюс») через 3 дня после официального анонса.


Рис. 2. Сравнение качества выдачи Яндекса и Google по запросу [фильм где человек бежит из тюрьмы после очень долгой отсидки].

В результате анализа SERP двух поисковых систем по пулу запросов, можно сделать следующие выводы:

Качество отработки алгоритмов «Королёв» и «RankBrain» — является соизмеримым.

В большинстве случаев (около 70% из выборки) — SERP оказывается схожим по качеству, что может говорить о близости самих алгоритмов реализации (напомним, что «RankBrain» был запущен в Google в октябре 2015 года).

Доля запросов, для которых алгоритмам удается успешно угадывать смысл, заданного на естественном языке составляет около 80% из выборки (полнота).


Рис. 3. Итоговые показатели работы алгоритмов Яндекса и Google по выборке мНЧ-фраз.

Значимость для SEO

Как сказывается новый алгоритм ранжирования Яндекса на поисковой оптимизации (SEO)? Фактически, наиболее значимые изменения наблюдаются лишь для фраз, по которым нет достаточного количества релевантных ответов с классической точки зрения (нет страниц с точными вхождениями фраз и высокой частотой встречаемости термов). Это значит, что ранжирование по частотным запросам, по которым продвигается большинство коммерческих проектов претерпит минимальные изменения за счёт вклада новой группы факторов.

Как показывает практика, значительно чаще точное вхождение ключевой фразы (если оно есть) «побеждает» вклад новой группы факторов в ранжирование. Для примера рассмотрим запрос [ленивая кошка из монголии], который упоминался в презентации алгоритма как один из тех, по которому «Королёв» помогает найти короткий и правильный ответ — манула.

На иллюстрации ниже (Рис. 4) видно, что хотя алгоритм и угадывает смысл фразы (объектный ответ справа [4]), но выше в SERP оказываются документы с вхождениями слов из запроса и точным вхождением в тексте (те же анонсы), что наглядно подтверждает гипотезу. Это одна из причин, по которой примеры, которые публично анонсируют для иллюстрации отработки алгоритма перестают «работать» после пресс-релиза.


Рис. 4. Текущий «сломанный» вид SERP Яндекса по запросу из презентации.

Итого: если SEO-специалист провёл работы по улучшению «классических» факторов ранжирования, то URL будет хорошо ранжироваться по нужной НЧ-фразе. Здесь революции нет.

В коммерческом ранжировании, при прочих равных, новая группа факторов, конечно, может вносить некий вклад в ранжирование. Для улучшения значений по ней используются приёмы LSI-копирайтинга.

Техническая реализация

Для ускорения формирования ответа на запрос пользователя, используется не только итоговая формула ранжирования. Имеется несколько этапов, каждый из которых отбирает претендентов для следующего, более «тяжелого» алгоритма (Рис. 5).


Рис. 5. Этапы ранжирования в поисковой системе Яндекс (фильтрация / кворум, Fast Rank, моном или частичное выполнение Матрикснет и итоговая формула релевантности).

Так как вычисление смысла для большого числа текстов на лету является длительной задачей, то данный процесс был сдвинут с финальной стадии ранжирования (как было в «Палехе») на этап индексирования.

Для ускорения финальной стадии ранжирования и освобождения вычислительных ресурсов был введён дополнительный индекс, который содержит уже вычисленную информацию об «ориентировочной» релевантности всех документов для всех одиночных слов и популярных пар слов, которые встречаются в запросах пользователей. Данный шаг позволил высвободить для поиска вычислительные мощности, которые необходимы для отработки сложных моделей, основанных на нейронных сетях (новый набор факторов).

Обучение нейронной сети производилось опираясь на многочисленные асессорские оценки и поведение пользователей. Напомним, что для увеличение общего числа оцененных пар запрос-документ, Яндексом был запущен публичный сервис «Толока» [5], который позволил кратно увеличить число асессоров и самих оценок (Рис. 6).


Рис. 6. Внешний вид сервиса Яндекс.Толока для исполнителя заданий (асессора).

Вторая причина причина по которой примеры, которые публично анонсируют перестают «работать» состоит именно в резком изменении паттерна поведения пользователей по ним и росте их популярности.

Дальнейшее развитие подхода

Машинное обучение используется в поиске Яндекса для построения формулы ранжирования начиная с 2009 года [6]. Итоговая формула и сейчас формируется благодаря методу Матрикснет, но ряд факторов в ней являются «непростыми» и сами получены с помощью нейронных сетей (машинного обучения). В каком-то смысле — матрёшка.

В дальнейшем планируется:

Улучшение качества оценки семантического соответствия (смысла) запроса и страницы.

Повышение полноты отработки.

Изменение логики фильтрации документов на стартовом этапе L0 (Рис. 5) — прохождения кворума.

Добавление к модели вектора персональных интересов пользователя (персонификация выдачи).

Источник