MatrixNet или Матрикснет

Появление MatrixNet

В 2009-м корпорация Яндекс впервые представила новую технологию машинного обучения Матрикснет. Ключевым преимуществом метода является устойчивость к переобучению, а ведь это была одной из основных проблем, которая возникала при машинном обучении. На практике это проявлялось в следующем: когда машина перебирает огромное количество факторов влияния, то обязательно находит несуществующие явления и закономерности.

А MatrixNet позволил оперировать рядом факторов ранжирования без роста числа оценок асессоров. Также он защищает от нахождения компьютером несуществующих закономерностей.

Что такое Матрикснет

По своей сути Матрикснет является таким методом машинного обучения, который позволяет выстраивать оптимальную формулу ранжирования поисковой системы Яндекс. Так, с его помощью выстраивается сложно структурированная и длинная формула, в которой могут одновременно учитываться многие факторы в различных вариациях и сочетаниях. Аналоги Матрикснета заточены под создание простых формул, в которых учитывается меньшее количество факторов, либо которые потребуют большей выборки для обучения.

Кроме всего прочего MatrixNet позволяет выстраивать формулу с десятками тысяч переменных и коэффициентов, что позволяет усовершенствовать поиск, сделать его более точным. При этом формулу можно также настроить для узких классов запросов без ухудшения ранжирования для остальных.

Еще одной характерной чертой метода является автоматический подбор различной чувствительности для диапазонов значений факторов. Процесс можно сравнить с работой на аэродроме: так, среди шума взлетающих самолетов необходимо расслышать голоса сотрудников. При этом если заткнуть уши, то голоса слышны не буду, а звуки самолетов – да. Для этого сотрудника приходится надевать специальные наушники, у которых настроена низкая чувствительность к громким звукам.

Ранжирование с помощью MatrixNet

Любой поисковик перерабатывает огромные массивы данных, и по каждому запросу пользователя их необходимо сравнить с миллионами признаков веб-страниц, чтобы определить релевантность и подготовить наиболее эффективную выборку. А для того чтобы проверить свойства каждой из подходящих страниц, необходимо подключать либо множество серверов для быстрой обработки данных обо всех существующих веб-страницах, либо значительное количество времени. А ведь мы знаем, что чем быстрее производится поиск, тем быстрее пользователи получат ответ на сформированный запрос и останутся качеством работы поисковика. Матрикснет наконец-то дал возможность проверять огромное количество факторов максимально оперативно без подключения дополнительных вычислительных мощностей.

На данный момент поиск может одновременно производится на тысячах серверов, каждый из которых ищет исключительно по своей части индекса. В результате перечни релевантных страниц по индексам формируется оперативно. Затем составляется общий список, в котором все попавшие релевантные страницы упорядочиваются по формуле ранжирования – именно той сложно структурированной и длинной, выстроенной благодаря MatrixNet с учетом различных факторов и их сочетаний. В результате в ТОП поисковой выдачи попадают наиболее релевантные сайты, давая пользователю возможность в самые краткие сроки найти ответ на свою потребность.