В ноябре 2016 года Яндекс представил первый в своей истории поисковый алгоритм, основанный на нейросетевых технологиях — «Палех». Это был революционный шаг, открывший новую эру в развитии поиска, когда машины начали «понимать» смысл запроса, а не просто искать совпадения по ключевым словам.
Алгоритм получил название в честь знаменитого русского села Палех, известного своими миниатюрами — аллюзия на то, как из небольших фрагментов текста нейросеть создаёт «картину» смысла.
Проблема, которую решает «Палех»
До «Палеха» поисковые алгоритмы в основном основывались на статистических данных: частотности слов, вхождениях ключей в заголовки и тексты. Однако многие поисковые запросы пользователей — особенно длинные и уточнённые — невозможно было точно обработать с помощью таких методов. Например: «Как называется фильм, где герой попадает в другой мир через зеркало?»
Ранее поиск мог ориентироваться только на совпадения слов. Но с появлением «Палеха» нейросеть научилась понимать смысл запроса, даже если ни одного слова из него нет на странице.
Как работает «Палех»?
Главная особенность алгоритма «Палех» — использование нейросетевой модели, сопоставляющей смысл запроса и заголовков документов. То есть если заголовок статьи релевантен смыслу запроса, даже без точных совпадений слов, то эта статья может быть показана выше в выдаче.
Ключевой элемент технологии — эмбеддинги. Это способ представления слов и фраз в виде многомерных векторов. Если два вектора находятся близко друг к другу, значит, они близки по смыслу. Пример:
- Запрос: «какая планета ближе всего к Солнцу»
- Релевантный заголовок: «Меркурий — первая планета в Солнечной системе»
Хотя ни одно слово не совпадает напрямую, по смыслу они очень близки — и «Палех» это «понимает».
Архитектура алгоритма
«Палех» был построен на архитектуре двухвекторной нейросети. Один вектор формируется на основе текста запроса, другой — из заголовка документа. Эти векторы сравниваются, и чем ближе они находятся в пространстве — тем выше релевантность. На обучении модель «узнавала», какие пары запрос–документ люди считают полезными (на основе кликов и пользовательского поведения), и училась подстраивать векторы.
С внедрением «Палеха» Яндекс начал показывать более релевантные результаты по редким и длинным запросам — так называемым long tail. Это особенно важно, поскольку около 50% всех поисковых запросов — уникальны и вводятся впервые.
«Палех» стал первым шагом к пониманию смысла, а не формы. Пользователи начали получать ответы даже на сложные, разговорные или неполные запросы.
Что было дальше?
«Палех» стал основой для последующих алгоритмов Яндекса:
- Королёв (2017) — расширил идею «Палеха», позволив учитывать не только заголовки, но и весь текст страницы.
- Андромеда, Вега, Алиса — более поздние алгоритмы, в которых семантическое ранжирование стало ещё точнее благодаря улучшенным архитектурам нейросетей и увеличенному объёму данных.
Чтобы обучить «Палех», Яндекс использовал поисковые сессии пользователей: на какие ссылки кликали, как долго читали, возвращались ли к выдаче. Это позволило создать модель, максимально приближенную к реальному пользовательскому поведению.
Алгоритм «Палех» стал поворотной точкой в развитии Яндекса как интеллектуальной поисковой системы. Он показал, что нейросети способны анализировать не только слова, но и смысл, делая поиск по-настоящему «умным». Сегодня его наследие живёт в каждом запросе, который вы вводите в поисковую строку.
