Новый вид поиска в яндексе. Запуск новой версии поиска Яндекс: как это было

Нейросеть анализирует не только заголовок, а всю страницу целиком, при этом поисковик определяет ее суть еще на этапе индексирования

МОСКВА, 22 августа. /ТАСС/. «Яндекс» запустил новую версию поиска, в основе которой лежит сопоставление смысла запроса и веб-страницы, сообщила компания. Новая версия работает на алгоритме «Королев», который с помощью нейронной сети определяет, что именно нужно пользователю. Нейросеть анализирует не только заголовок, а всю страницу целиком, при этом «Яндекс» определяет суть страницы заранее, на этапе индексирования.

Другая особенность «Королева» заключается в том, что он учитывает еще и смысл других запросов, по которым люди на нее переходят. «Чтобы нейронная сеть могла оценить смысловую близость запроса и документа, ей нужно огромное количество примеров. Такие примеры дает обезличенная поисковая статистика: на какие сайты люди переходят по запросам и сколько времени там проводят. Так, если человек перешел на страницу и просматривал ее какое-то время, скорее всего, она близка по смыслу запросу. Используя поисковую статистику миллионов людей, „Яндекс“ учится понимать смысловые связи. Например, он поймет, что в запросе „картина где небо закручивается“, речь идет о картине Ван Гога, а в запросе „ленивая кошка из монголии“ - о мануле», - говорится в пресс-релизе компании.

В прошлом году «Яндекс» уже запускал систему, работающую на основе нейросетей - «Палех». Прежняя система индексировала 150 страниц, в «Королеве» количество страниц, которые поиск сравнивает по смыслу с запросом, выросло до 200 тыс.

Новый алгоритм был назван в честь основоположника отечественной космонавтики Сергея Королева.

«А сегодня мы запускаем новый алгоритм ранжирования „Королев“. Почему мы выбрали такое название? Сергей Павлович Королев осуществил мечту человечества о полетах в космос. Для нас в „Яндексе“ сегодняшний запуск является таким же важным технологическим прорывом к мечте о поиске, который понимает пользователей», - сказал на презентации новой версии поиска руководитель службы релевантности лингвистики «Яндекса» Александр Сафронов.

Помощь зала

Для обучения поисковой системы нужны оценки качества ответов. Раньше «Яндекс» оценивал качество поиска с помощью своих оценщиков. В новом поиске будут учитываться оценки, которые будут выставлять пользователи сервиса «Яндекс.Толока» - распределенной сети оценщиков. Сервис позволяет любому выполнять задания и получать за них вознаграждения, на данным момент в нем зарегистрировано более миллиона пользователей. На платформе может зарегистрироваться любой желающий.

«Яндекс» является крупнейшей поисковой системой в России. Доля компании на российском поисковом рынке (включая поиск на мобильных устройствах) во втором квартале 2017 года составила в среднем 54,3%, в первом квартале этого года - 54,7% (по данным аналитического сервиса «Яндекс.Радар»). По данным Liveinternet.ru, в июне этого года поисковая доля «Яндекса» составила 51,3%.

Пока в блоге «Яндекса» и на «Хабре » на сотни комментариев разворачиваются споры о достоинствах и недостатках нового алгоритма, мы расскажем о главном: что это значит для пользователей, как включить новый поиск и что, собственно, изменилось.

«Королёв» как новый поиск

Главное, что нужно знать про алгоритм «Королёв» не слишком погруженным в тему пользователям - это то, что он умный. Его так и представили: «Королёв - это машинный интеллект, который тебя понимает». Построен поиск на специально обученной нейронной сети. Она ищет уже не столько по словам, сколько по смыслу. «Благодаря этому поиск понимает, что именно нужно пользователю, и отвечает на сложные вопросы еще более точно», - утверждают разработчики.

Например, если ввести запрос «под эту музыку появляется Дарт Вейдер» - поиск первым делом предложит послушать «Имперский марш». А заодно выдаст информацию по персонажу «Звёздных войн». Логично? Вполне. На запрос «фильм, в котором пожилой мужчина пришел на работу устраиваться», первым ответом появляется ссылка на рецензию к фильму «Стажер». Он и подразумевался. И ведь не пришлось вспоминать ни год, ни актеров, ни даже подбирать слова и их порядок для запроса.

То же самое касается поиска по картинкам. Если раньше он осуществлялся по ключевым словам из описания к картинкам, то теперь алгоритм анализирует само изображение. Поэтому если вы введете запрос «кошка в космосе» - вам покажут не только забавные креативные работы на эту тему, но и, например, кошку в стиральной машине. Просто потому, что присутствуют все похожие по смыслу составляющие: кошка - в наличии, дверца похожа на иллюминатор, а корпус - на ракету.

В прошлом году «Яндекс» сделал первый шаг к поиску по смыслу, внедрив алгоритм «Палех». Он умел сопоставлять смысл запроса и заголовка веб-страницы. «Королёв» анализирует не только заголовок, но и всю страницу целиком. Количество страниц, которые поиск сравнивает по смыслу с запросом, выросло со 150 документов до 200 тысяч страниц. Еще одна особенность «Королёва»: он учитывает также смысл других запросов, по которым люди переходят на страницу.

Почему «Яндекс» говорит, что сделал это с моей помощью?

Всё, что мы делаем в «Яндексе»: какие запросы задаем, на какие страницы переходим, задерживаемся или уходим (потому что не нашли нужного) - учитывается в поисковой статистике. Если вы ввели запрос, прошли по ссылке в выдаче и задержались на странице некоторое время - вероятно, вы нашли нужную информацию и ознакомились с ней. Данные о поведении миллионов пользователей помогают нейронной сети учиться понимать смысловую близость запроса и найденной страницы.

Для обучения важно также учитывать качество ответов. Раньше «Яндекс» оценивал качество поиска с помощью специалистов - асессоров. Теперь учитываются также оценки добровольцев - пользователей «Яндекс.Толоки». Это сервис, где любой желающий может выполнять задания, помогая улучшать поиск, и получать за это вознаграждение.

Как мне начать использовать новый поиск?

Ничего особенного от вас не требуется. Новый поиск так или иначе заработает сам. Но если вы хотите вникнуть в происходящее - достаточно зайти на главную «Яндекса», домотать до «звездного неба» и нажать на «Пуск». Так вы познакомитесь с собственным поисковым поведением и сможете посмотреть ролик о «Королёве», объясняющий, как всё работает. Вы также можете просто нажать на логотип «Яндекса» слева от поисковой строки и посмотреть красивую и понятную презентацию.

Почему «смысловые» запросы работают не всегда?

Естественно, в первую очередь нейросеть учится воспринимать популярные запросы - например, о кино или музыке. Именно о таких запросах у поисковика больше всего данных, их задает большое число людей. Чему-то специфическому «Королёв» тоже сможет обучиться, но произойдет это несколько позже - когда наберется необходимая для анализа информация.

Презентация полностью

Яндекс запустил новую версию поиска. В её основе лежит поисковый алгоритм «Королёв». Алгоритм с помощью нейронной сети сопоставляет смысл запросов и веб-страниц - это позволяет Яндексу точнее отвечать на сложные запросы. Для обучения новой версии поиска используются поисковая статистика и оценки миллионов людей. Таким образом, вклад в развитие поиска вносят не только разработчики, но и все пользователи Яндекса.

Слова и смыслы

Прежде чем рассказывать про настоящее и будущее поиска, вспомним его прошлое. Первые поисковые системы появились в середине 1990-х годов, когда интернет был совсем небольшим - счёт сайтов шёл на тысячи. Чтобы помочь человеку найти нужное, достаточно было составить список веб-страниц, где есть слова из поискового запроса. О сложном ранжировании - то есть упорядочивании страниц по степени соответствия запросу - речь не шла. Считалось, что чем чаще в документе встречаются слова из запроса, тем лучше он подходит.

Интернет быстро рос, и потребовались дополнительные критерии отбора. Поисковики начали учитывать ссылки на документы, научились определять регион, откуда поступил запрос, стали обращать внимание на поведение пользователей.

В какой-то момент факторов ранжирования - признаков, по которым можно определить, насколько хорошо страница отвечает на запрос, - набралось так много, что стало ясно: прописать их все в виде инструкций невозможно. Лучше научить машину самостоятельно принимать решения: какие признаки использовать и как их комбинировать. В Яндексе для этих целей придумали Матрикснет. Это метод машинного обучения, с помощью которого строится наша формула ранжирования.

Поиск, однако, по-прежнему опирается на слова. Перед тем как пустить в ход сложную формулу ранжирования, поисковые машины составляют список «предварительно подходящих» веб-страниц - таких, в которых есть слова из запроса. Нам, людям, понятно, что один и тот же смысл можно выразить разными словами. Веб-страница может не содержать всех слов из запроса, но тем не менее очень хорошо на него отвечать. Однако объяснить это машине довольно сложно.

Первый шаг к поиску по смыслу Яндекс сделал в прошлом году, когда компания представила поисковый алгоритм «Палех». В его основе лежит нейронная сеть. Нейросети показывают отличные результаты в задачах, с которыми люди традиционно справлялись лучше машин: скажем, распознавание речи или объектов на изображениях.

Запуская «Палех», компания научила нейронную сеть преобразовывать поисковые запросы и заголовки веб-страниц в группы чисел - семантические векторы. Важное свойство таких векторов состоит в том, что их можно сравнивать друг с другом: чем сильнее будет сходство, тем ближе друг к другу по смыслу запрос и заголовок.

Как работает алгоритм «Королёв»

Поисковый алгоритм «Королёв» сравнивает семантические векторы поисковых запросов и веб-страниц целиком - а не только их заголовков. Это позволяет выйти на новый уровень понимания смысла. Представьте, что вы впервые услышали о романе Льва Толстого «Война и мир». Безусловно, вы сможете извлечь смысл из названия - например предположить, что в книге много батальных сцен. Но чтобы узнать все хитросплетения сюжета и давать исчерпывающие ответы на вопросы о романе, вам потребуется прочитать его полностью.

Как и в случае с «Палехом», тексты веб-страниц в семантические векторы преобразует нейросеть. Эта операция требует много вычислительных ресурсов. Сравните: на то, чтобы прочитать название книги, у вас уйдут считанные секунды, но на то, чтобы прочитать её всю от корки до корки, потребуются часы, дни или даже недели. Поэтому «Королёв» высчитывает векторы страниц не в режиме реального времени, а заранее, на этапе индексирования. Когда человек задаёт запрос, алгоритм сравнивает вектор запроса с уже известными ему векторами страниц.

Такая схема позволяет начать подбор веб-страниц, соответствующих запросу по смыслу, на ранних стадиях ранжирования. В «Палехе» смысловой анализ - один из завершающих этапов: через него проходят всего 150 документов. В «Королёве» он производится для 200 тысяч документов - то есть в тысячу с лишним раз больше. Кроме того, новый алгоритм не только сравнивает текст веб-страницы с поисковым запросом, но и обращает внимание на другие запросы, по которым люди приходят на эту страницу. Так можно установить дополнительные смысловые связи.

Люди учат машины

Яндекс верит, что использование машинного обучения, а особенно нейросетей, рано или поздно позволит научить поиск оперировать смыслами на уровне человека. Но без помощи людей тут не обойтись. Чтобы машина поняла, как решать ту или иную задачу, необходимо показать ей огромное количество примеров: положительных и отрицательных. Такие примеры дают пользователи Яндекса.

Нейронная сеть, которую использует алгоритм «Королёв», обучается на обезличенной поисковой статистике. Системы сбора статистики учитывают, на какие страницы пользователи переходят по тем или иным запросам и сколько времени они там проводят. Если человек открыл веб-страницу и «завис» там надолго, вероятно, он нашёл то, что искал, - то есть страница хорошо отвечает на его запрос. Это положительный пример. Подобрать отрицательные примеры гораздо легче: достаточно взять запрос и любую случайную веб-страницу.

В помощи людей нуждается и Матрикснет, который строит формулу ранжирования. Чтобы поиск развивался, люди должны постоянно давать оценку его работе. Когда-то выставлением оценок занимались только сотрудники Яндекса - так называемые асессоры. Но чем больше оценок, тем лучше - поэтому мы решили привлечь к этому всех желающих и запустили сервис Яндекс.Толока. Сейчас там зарегистрировано более миллиона пользователей: они анализируют качество поиска и участвуют в улучшении других сервисов Яндекса. Задания на Толоке оплачиваются - сумма, которую можно заработать, указана рядом с заданием. За два с лишним года существования сервиса толокеры дали около двух миллиардов оценок.

В основе современного поиска лежат сложные алгоритмы. Алгоритмы придумывают разработчики, а учат - миллионы пользователей Яндекса. Любой запрос - это анонимный сигнал, который помогает машине всё лучше понимать людей. Поэтому Яндекс не ошибётся, если скажет: новый поиск - это поиск, который мы сделали вместе.

На этой неделе, 22 августа, Яндекс запустил новую версию поиска с алгоритмом «Королёв» . В его основе - нейронная сеть, которая позволяет ему сопоставлять смысл запроса и веб-страницы и в разы точнее реагировать на сложные и неоднозначные запросы. Для обучения новой версии поиска используются поисковая статистика и оценки миллионов людей: получается, вклад в развитие системы вносят не только разработчики, но и вообще все пользователи.
Презентация «Королёва» состоялась, что символично, в московском планетарии. На сцене выступили Андрей Стыскин, Руководитель Яндекс.Поиска, Александр Сафронов, Руководитель службы релевантности Яндекс.Поиска и Ольга Мегорская, Руководитель отдела обработки данных Яндекс.Поиска..

От Матрикснета до нейросетей

В Яндексе для обработки запросов придумали Матрикснет - метод машинного обучения, с помощью которого строилась авторская формула ранжирования. Однако поиск продолжал опираться именно на слова. Но как быть с запросами, которые пользователи формулируют иносказательно или ассоциативно? Тогда искомая веб-страница не обязательно должна содержать строго все слова из запроса. Но как это объяснить машине? Вот бы она понимала нас, как человек...

В конце концов учёные придумали нечто на стыке технологий и биологии - искусственную нейронную сеть (ИНС). Согласно формулировке «Википедии», это «математическая модель, а также её программное или аппаратное воплощение, построенная по принципу организации и функционирования биологических нейронных сетей - сетей нервных клеток живого организма». Нейронные сети способны обрабатывать информацию подобно нам и, главное, учиться и оттачивать навыки, словно живые существа. Собственно, они - основа полноценного искусственного интеллекта, появление которого вопрос времени.

В прошлом году Яндекс представил поисковый алгоритм «Палех» на основе нейронной сети. Он показал отличные результаты в решении задач, которые обычно были под силу лишь людям: прекрасно справлялся с распознаванием речи и объектов на изображениях. «Палех» научился преобразовывать поисковые запросы и заголовки веб-страниц в группы чисел - семантические векторы. Их важное свойство состоит в том, что векторы можно сравнивать друг с другом: чем сильнее сходство, тем ближе по смыслу запрос и заголовок.

«Королёв». Который понимает

Нейронная сеть учится, словно ребёнок. Чтобы освоить подобное, ей понадобилось огромное количество примеров. Собственно, стихийным обучением «Королёва» занимались так или иначе все пользователи сервиса: в ход пошла поисковая статистика и оценки миллионов людей. Яндекс постепенно учится всё точнее распознавать смысловые связи, вроде: [картина где небо закручивается] - это про картину Ван Гога, [ленивая кошка
из Монголии] - манул.

Поиск - это очень сложная система. Тысячи инженеров работают над тем, чтобы она понимала человека и помогала решать его задачи. В «Королёве» мы объединили машинный интеллект и усилия миллионов людей. Наши пользователи улучшают поиск вместе с нами, задавая вопросы и помогая обучать наши алгоритмы.
Андрей Стыскин , руководитель Поиска Яндекса.

«В основе современного поиска лежат сложные алгоритмы. Алгоритмы придумывают разработчики, а учат - миллионы пользователей Яндекса. Любой запрос - это анонимный сигнал, который помогает машине всё лучше понимать людей. Поэтому мы не ошибёмся, если скажем: новый поиск - это поиск, который мы сделали вместе», - гласит запись в блоге Яндекса.

За более чем двухлетнюю историю работы Яндекс.Толоки был выявлен самый результативный и старательный участник. Им стал Илья Михаленко из Челябинска. Парень приехал на презентацию «Королёва» в Москву, чтобы получить заслуженную награду из рук команды поисковика.

Новый поиск в деле

Значительно улучшился поиск по картинкам. С ними, как правило, всегда какое-то «адище»: поисковик либо бездумно выдаёт все изображения, в названии которых используются слова из запроса, либо учитывает текст статьи, которую иллюстрирует картинка. Если ищешь нечто, что отвечало бы смутным запросам души, то готовься разочароваться. «Королёв» анализирует именно то, что изображено на картинке, поэтому способен порадовать нетривиальным подходом.

В качестве примера-испытания привели не самый очевидный запрос - [кошка в космосе]. Собаки бывали на орбите довольно часто, но из усатых-полосатых дисциплинированных покорителей космоса не вышло. Достоверно известно только об одной попытке: в 1963 году французы запустили в суборбитальный полёт кошку Фелисетт. Романтично, но недальновидно, - стоило учёным открыть люк приземлившейся капсулы, мурка была такова. Торжественная фотосессия не состоялась.

По запросу поисковик выдаёт не только зверюшек в скафандрах и сюрреалистичные фотожабы, но фото котика в стиральной машинке, которая вполне себе похожа на люк космического корабля. Но этого не сказано в описании.

Для торжественного запуска нового поисковика на сцену поднялась вся команда Яндекс.Поиска. Небольшой обратный отсчёт и… Поехали! Теперь каждый может испытать возможности проницательного «Королёва». Главное, что его нынешние возможности не статичны, а находятся в постоянном развитии.

Для завершения вечера организаторы припасли нечто совершенно неожиданное - сеанс связи с настоящими космонавтами с орбиты. Они лично ответили на некоторые популярные запросы пользователей поисковика о космосе и ответили на вопросы присутствующих.

Яндекс вновь радует пользователей нововведениями по улучшению качества поиска информации. Нынче изменения коснулись сниппетов - появились кнопка «Читать еще» и чат с компанией. Давайте подробнее рассмотрим эти обновления.

В десктопной версии поиска Яндекса появилась новая кнопка «Читать еще», с ее помощью пользователь может увидеть расширенный сниппет сайта. При нажатии на кнопку появляется пояснительный текст, связанный с запросом.

Ранее данная функция была доступна только для мобильных устройств, сейчас же она введена в функционал десктопной версии поисковой выдачи на постоянной основе.

В недалеком прошлом в сниппете Яндекса отображалось ограниченное количество информации - 240 символов с пробелами, примерно 3 строки. Часто пользователю не хватало этих сведений, и возникала потребность перейти на сайт в поисках интересующей информации.

Теперь же, с добавлением этой кнопки, процесс поиска информации для пользователя может ускориться в несколько раз.

Вид нового сниппета Яндекс

Как выглядел сниппет Яндекса раньше:

Теперь сниппет Яндекс в свернутом состоянии выглядит так

Такой вид сниппет имеет в мобильной версии

Соответствующий вид в мобильной выдаче.

Плюсы и минусы расширенного сниппета Яндекса

Пользователь на основе данной информации может сделать более осознанный выбор о полезности ресурса. А для владельца сайта расширенный сниппет - это возможность получить более целевой трафик, улучшить поведенческие факторы - например, уменьшить уровень отказов и повысить конверсионный трафик.

Однако внедрение данной функции может и негативно сказаться на поисковом трафике сайта, так как этого описания пользователю будет вполне достаточно для получения искомой информации без перехода на сайт.

Что касается длины расширенного сниппета, специалисты Яндекса говорят так:

«Принцип такой: расширенный сниппет может быть не более чем в 3 раза длиннее текущего» . То есть максимальная длина сниппета на данный момент может составлять до 9 строк или 650-700 символов.

«Относительно того, откуда берутся расширенные описания, то здесь действуют те же правила, что и для обычных сниппетов», - поясняют специалисты Яндекса. Поисковик формирует сниппет в соответствии с запросом пользователя, и если информации из метатега description будет недостаточно, Яндекс возьмет информацию со страницы сайта.

Подробнее о правилах для сниппетов Яндекса вы можете прочитать в этой статье .

Стоит быть аккуратным, есть шанс что в расширенный сниппет попадет служебная информация: текст с кнопок пагинации, фильтры, сортировки и другое, поэтому стоит закрывать ее в коде тегами .

Чат Jivosite в поисковой выдаче Яндекса

Также в сниппете Яндекса появился чат. Яндекс совместно с Jivosite добавили чат на страницу поисковой выдачи. Начиная с 26 апреля 2018 года, клиенты могут связаться с поддержкой сайта, на котором установлен чат Jivosite , без перехода на сайт.

После подключения чата вы сможете:

• включить или выключить чат в поиске;
• добавить автоматический ответ;
• добавить подсказки;
• добавить значок;
• указать время работы организации и ограничить число страниц, на которых будет показываться чат.

Инструкция для добавления чата к себе на сайт представлена на официальном сайте сервиса Jivosite .

Вид чата в поисковой выдаче

Как выглядит сниппет «Чат с компанией» в десктопной версии:

Обратите внимание что для десктопной и мобильной версии разные иконки для начала чата.

После нажатия на кнопку «Чат с компанией» непосредственно на странице поисковой выдачи появляется форма для общения с поддержкой сайта.

В мобильной версии поиска окно с чатом открывается поверх текущего окна, но не в новой вкладке.

Интересная особенность чата - сохранение истории переписки авторизованного пользователя с поддержкой сайта на другом конце Jivosite.

У пользователя после отправки письма появляется возможность свернуть чат и продолжить поиск интересующей информации:

После того как поддержка сайта ответит пользователю, справа появится уведомление о новом сообщении:

Плюсы и минусы чата

Данный сниппет позволяет сделать общение пользователя с организацией более доступным. Пользователь сможет совершить покупку или задать интересующий его вопрос, не заходя на сайт.

Минусом является то, что если оператор находится не онлайн, а клиент отправил сообщение, оператор получит это сообщение только тогда, когда заказчик будет в Сети в следующий раз.

Также минусом будет то, что чат на странице поисковой выдачи не синхронизируется с чатом на самом сайте. Представим ситуацию: пользователь пару дней назад написал в поддержку сайта непосредственно из поисковой выдачи, а через неделю решил зайти на сайт и уточнить информацию о своем вопросе на самом сайте. В результате оператор может не понять, что происходит и о каком вопросе вообще идет речь. Неловкая ситуация, не правда ли? Клиенту придется тратить время на повторное объяснение вопроса или он, не желая дублировать обращение, вовсе закончит общение. На данный момент решения этой ситуации нет, будем надеяться, что в дальнейшем специалисты Яндекса совместно с Jivosite найдут выход.

Заключение

Яндекс не стоит на месте и постоянно придумывает что-то интересное. В этот раз были добавлены полезные функции, сниппеты в Яндексе приобрели новый вид и новые возможности. Это поможет улучшить качество информации в поисковой выдаче.

Если у вас нет времени, вы всегда можете обратиться к нам за помощью в установке данного инструмента.