Ученые НИУ ВШЭ научились сжимать большие языковые модели без потерь в качестве

© iStock

Исследователи из Института искусственного интеллекта и цифровых наук (Институт ИИиЦН) ФКН НИУ ВШЭ разработали новый метод сжатия больших языковых моделей, таких как GPT и LLaMA, который позволяет уменьшить их объем на 25–36% без дополнительного обучения и значительной потери в точности. Это первый подход, который использует математические преобразования — вращения весов модели, — чтобы сделать модели более удобными для сжатия с помощью структурированных матриц. Результаты исследования опубликованы в ACL Findings 2025. Код метода доступен на GitHub.

Большие языковые модели, такие как ChatGPT и LLaMA, показывают впечатляющие результаты в генерации текста, переводе и других задачах, но их огромный размер делает их дорогими в использовании и хранении. Традиционные методы сжатия — уменьшение точности чисел, удаление лишних связей или упрощение структуры — часто требуют долгого дообучения модели и могут ухудшить ее работу. Ученые искали способ сократить объем модели быстро и без потери ее интеллекта.

Исследователи НУЛ матричных и тензорных методов в машинном обучении Института ИИиЦН факультета компьютерных наук НИУ ВШЭ предложили метод ProcrustesGPT, основанный на идее, что выходные данные модели не меняются, если применить к ее внутренним весам специальные ортогональные преобразования — своего рода математические повороты. Как объясняют ученые, это такое преобразование пространства, которое может как угодно повернуть или перевернуть картинку, но не может растянуть или сжать ни один объект. Например, если взять лист бумаги с нарисованным на нем треугольником, то можно перевернуть или повернуть его под любым углом — длины сторон и углы между ними останутся точно такими же. В математике такое преобразование и называется ортогональным. Эти преобразования подбираются так, чтобы веса модели лучше поддавались сжатию с помощью структурированных матриц — математических конструкций, которые занимают гораздо меньше памяти.  

Екатерина Гришина

Екатерина Гришина, стажер-исследователь НУЛ матричных и тензорных методов в машинном обучении, объясняет: «В основе нашей работы лежит изящная математическая концепция — задача Прокруста. Как и мифический герой, подгонявший путников под свое ложе, этот метод помогает найти идеальное ортогональное преобразование, которое подгоняет веса модели под простую структуру без искажения ее сути. Именно эта идея дала имя нашему методу — ProcrustesGPT — и стала ключом к сжатию без значительной потери качества».

В рамках работы были опробованы два типа таких структур: суммы кронекеровских произведений и GS-матрицы. Метод не требует дообучения модели, работает быстро и может применяться к уже существующим моделям. Эксперименты проводились на открытых моделях OPT и LLaMA2.

Новый метод ProcrustesGPT демонстрирует эффективность: он позволяет уменьшить объем больших языковых моделей на треть, а точнее, на 25–36% от исходного размера, сохранив при этом их интеллектуальные способности. Сжатые модели показывают результаты, близкие к оригиналам: на генерации связного текста и решении логических задач они сохраняют от 90 до 95% своей первоначальной эффективности.

В сравнении с другими современными методами сжатия, например SliceGPT, который также не требует длительного дообучения, ProcrustesGPT в большинстве тестов оказался точнее. Особенно ярко это преимущество проявляется при работе с моделями семейства LLaMA2, на которых разработанный подход опережает аналог на 9–10%.

Максим Рахуба

Максим Рахуба, заведующий НУЛ матричных и тензорных методов в машинном обучении Института ИИиЦН НИУ ВШЭ, рассказывает: «Методы сжатия помогают ускорять внедрение больших языковых моделей в устройства с ограниченными ресурсами, такие как мобильные устройства и IoT-гаджеты, что делает ИИ более доступным и распространенным в повседневной жизни».