Новая разработка НИУ ВШЭ и Сбера ускорит машинное обучение

В области анализа данных исследователи постоянно ищут способы повышения эффективности алгоритмов машинного обучения. Среди этих алгоритмов градиентный бустинг выделяется как один из наиболее эффективных методов решения задач классификации и регрессии. Недавно на конференции NeurIPS группа исследователей из факультета компьютерных наук Высшей школы экономики (ВШЭ) и лаборатории искусственного интеллекта Сбера представила свою новаторскую работу по ускорению скорости градиентного бустинга.

Сила градиентного бустинга

Большинство задач анализа данных предполагают составление прогнозов на основе имеющихся данных. Сюда можно отнести задачи классификации, где целью является определение принадлежности объекта к тому или иному классу, или задачи регрессии, которые направлены на прогнозирование числовых значений. В практических приложениях нередко встречаются ситуации с большим количеством классов или регрессией высокой размерности.

Для решения таких задач исследователи часто обращаются к градиентному бустингу — сложному алгоритму машинного обучения, который отлично справляется с задачами классификации и регрессии. Он строит прогнозы с помощью ансамбля слабых моделей, объединяя несколько слабых моделей в одну мощную.

Проблемы с градиентным бустингом

Однако градиентный бустинг сталкивается с проблемами при решении задач классификации, включающих большое количество классов. Обучение моделей для таких задач может потребовать непрактичного количества времени.

При решении задачи классификации алгоритм не только определяет классы, к которым принадлежат объекты, но и назначает вероятности принадлежности каждого объекта ко всем возможным классам. Следовательно, чем больше классов, на которые делятся объекты, тем выше размерность выходных данных алгоритма. В результате вычислительная сложность алгоритма значительно возрастает.

Преодоление барьеров: Новый подход

Исследователи из ВШЭ и Лаборатории ИИ Сбера разработали уникальную схему, которая расширяет возможности применения градиентного бустинга. Их новый алгоритм демонстрирует превосходную производительность в ряде задач, в которых ранее доминировали нейросетевые подходы. Предложенный подход заключается в сжатии данных перед самым трудоемким этапом — поиском оптимальной структуры дерева. Это прорывное решение открывает новые возможности для изучения моделей машинного обучения и развития технологий с использованием искусственного интеллекта.