«Яндекс» представил новый алгоритм ранжирования «Королёв»

В новом поисковом алгоритме разработчики Яндекса увеличили влияние нейронных сетей на выдачу. Так, предыдущая программа «Палех» обрабатывала только 150 страниц по запросу. «Королёв» воспринимает 200 тысяч страниц. Раньше нейросеть оценивала схожесть пары «запрос — заголовок страницы», а теперь также учитывает тело страницы. А ещё новый алгоритм определяет смысл запросов, по которым люди переходят на страницу.

«Королёв» обучался на big data массивах пользовательской информации по принципу DSSM. Создатели демонстрировали нейронной сети огромные количества правильных и ложных примеров. После тренировки программа научилась сравнивать смысл текста по семантическому вектору в 300 чисел. Чем ближе по смыслу тексты запроса и потенциального ответа, тем ближе их семантические векторы. Все это безусловно скажется на принципах продвижения сайта в Яндекс.



Обучению нейронной сети помогали сотрудники-асессоры и пользователи платформы «Толока». Около 500 тысяч человек оценили работу программы свыше двух миллиардов раз. Они проверяли релевантность ответов, актуальность данных справочника и работу голосового поиска.



В конце трансляции Андрей Стыскин продемонстрировал понимание «Королёвым» смыслового контекста.



Картинка кошки в стиральной машине в ответах на запрос «кошка в космосе» показывает понимание космического контекста.



Алгоритм правильно определяет фильм по свободному описанию. Он понимает суть текстового запроса и сопоставляет её с сутью страниц, а не их описанием.

Алгоритм «Королёв» — это развитие «Палеха», направленного на повышение качества выдачи по сложным, в основном информационным запросам. По сути, на «Палехе» «Яндекс» протестировал поиск на основе нейронных сетей, а теперь запустил его полномасштабно.

Раньше все алгоритмы работали по методу машинного обучения «Матрикснет», который поисковик дорабатывал, условно, вручную. А «Королев», основанный на нейросетях, обучается самостоятельно с помощью миллионов запросов, которые ежедневно задают пользователи. Таким образом, вместо того, чтобы анализировать сайты в ответ на запрос, поисковик будет заранее знать, на какие вопросы и их вариации отвечает каждый документ.

На мой взгляд, запуск нового алгоритма в первую очередь повлияет на информационные запросы и поможет пользователям быстрее находить ответы на сложные вопросы типа: «Рыбка-инвалид, которая потерялась в океане и ищет отца». Возможно, «Королёв» затронет и коммерческие запросы. К примеру, по фразе «Устройство, которое перемалывает все подряд» пользователям будет проще найти блендер. Однако о влиянии алгоритма на классические коммерческие запросы типа «Купить блендер» пока говорить рано.