Компания «Яндекс» накануне в Москве представила новую версию своего поискового сервиса. Алгоритм с помощью нейросети сопоставляет смысл запроса и полное содержание веб-страницы, а не отдельные слова. Таким образом машина «понимает», что пользователь имел в виду, когда формулировал вопрос.

«Давайте вспомним прошлое. Первые поисковые системы, которые появились в конце прошлого века, были очень наивные. По сути, они делали только одну простую операцию – они показывали пользователю страницы, которые где-то содержат слова из их поискового запроса. Со временем сложность запросов возрастала, а релевантность ответов увеличивалась. Специалисты довольно быстро заметили, что страницы, которые точно отвечают на запрос, вовсе не обязаны включать в себя все слова запроса, иногда достаточно только части слов. Но при всех этих улучшениях поиск оставался поиском только по словам. И специалисты начали убеждаться в том, что качественный поиск должен искать не по словам, а по смыслу, это называется семантический поиск», – начал презентацию нового сервиса руководитель службы релевантности Александр Сафронов. Год назад «Яндекс» запустил алгоритм ранжирования «Палех», где уже были элементы семантического поиска. Сейчас разработчики запускают систему поиска под названием «Королев».

В основе алгоритма лежат искусственные нейронные сети, их учат «понимать» человека. Алгоритму показывают обучающие примеры и таким образом сети «тренируют». Это делают не только сотрудники «Яндекса», компания подключает к обучению всех пользователей. То есть пользователь вбивает вопрос, получает ответ, фактически машина учится на основе больших данных (big date). «Раньше модели оценивали близость запроса и заголовка страницы, а теперь мы внедрили модель, которая при оценке смысловой близости смотрит не только на заголовок, но и на все тело страницы», – добавил Сафронов.

Как машина может понимать человека, на простом примере объяснил руководитель направления поиска «Яндекса» Андрей Стыскин.

«Раньше поиск по картинкам, по сути, был поиском по ключевым словам, описывающим картинки. Эти ключевые слова брались из текста вокруг страничек в интернете. Поэтому, когда вы задавали вопрос «собаки в космосе», вы видели, как и сейчас, наших, советских, собак. Они находятся, потому что на страницах, где есть эти собаки, так и написано: первые собаки в космосе. Сейчас же ключевую роль в поиске по картинке играют нейросети, которые способны анализировать непосредственно изображение, они отличают собак от кошек, огурец от помидора и так далее», – отметил Стыскин.

В поиске по картинкам был задан запрос «кошка в космосе». Кошек в космосе не было, и, соответственно, картинок быть не может. Однако поисковик выдает изображения, которые могут соответствовать запросу. И среди прочего на одном из фото – кот в стиральной машинке. Для человека визуально очевидно, почему картинка подходит под описание. Отечественные разработчики научили машину это понимать.

Впрочем, найти все, как говорилось в девизе «Яндекса», до сих пор невозможно. «Мы пока испытываем сложности с той информацией, которой еще не существует в интернете: какие-то библиотеки, закрытые данные. Соцсети – они не дают данных для индексации, и мы мечтаем, чтоб они открыли данные, чтобы наши пользователи могли находить материал», – ответил на вопрос корреспондента РИА «Новый День» Андрей Стыскин.

Проиллюстрировать возможности поиска «Яндекс» решил методом «от обратного» – компания попросила ответить на вопросы пользователей людей, а точнее, космонавтов. Как шутят в космосе – смотрите на видео.

Москва, Светлана Загороднева

© 2017, РИА «Новый День»