Красота в деталях: ученые Вышки и AIRI разработали метод высококачественного редактирования изображений
Исследователи Центра ИИ НИУ ВШЭ, AIRI и Бременского университета разработали новый метод редактирования изображений на основе глубинного обучения — StyleFeatureEditor. Он позволяет точно воссоздавать мельчайшие детали изображения и сохранять их при редактировании. С его помощью пользователи смогут изменять цвет волос или выражение лица без потери качества изображения. Результаты работы опубликованы на самой цитируемой конференции по компьютерному зрению CVPR 2024.
Искусственный интеллект уже научился генерировать изображения и редактировать их. Это стало возможным благодаря генеративно-состязательным нейросетям (GANs — generative adversarial networks). Архитектура предполагает две независимые сети: генератор производит изображения, дискриминатор различает реальные и сгенерированные образцы, и они соревнуются друг с другом. Новым этапом в развитии генеративно-состязательных сетей стала модель StyleGAN. Она может генерировать изображения и изменять их отдельные части по запросу пользователя, но не умеет работать с реальными фото или картинками.
Исследователи Центра ИИ НИУ ВШЭ, AIRI и Бременского университета предложили способ быстро и качественно редактировать реальные изображения. Ученые создали метод (StyleFeatureEditor) с двумя модулями: первый воссоздает (реконструирует) исходное изображение, а второй редактирует эту реконструкцию. Результат работы модулей передается в StyleGAN в понятном для нейросети наборе внутренних представлений, из которых и создается редактированное изображение. При этом разработчикам удалось решить проблемы, которые возникали в предыдущих исследованиях: при небольшом наборе представлений нейросеть хорошо редактировала изображение, но теряла детали исходного изображения, а при большом наборе все детали сохранялись, но нейросеть не понимала, как их правильно преобразовать с учетом поставленной задачи.
Для решения этой проблемы исследователи предложили следующее: первый модуль ищет и большие, и маленькие представления, а второй учится редактировать большие на примере редактуры маленьких представлений.
Однако, чтобы обучить эти модули правильно редактировать представления, нейросети нужны настоящие изображения и их отредактированные версии.
Денис Бобков
«Нам нужны были образцы, например одно и то же лицо с разной мимикой, прической, деталями. К сожалению, таких пар изображений не существует на данный момент. И мы придумали хитрость: с помощью метода, работающего с малыми представлениями, мы создали реконструкцию настоящего изображения и пример редактирования этой реконструкции. Несмотря на то что получились довольно простые примеры без деталей, модель четко поняла, как правильно совершать редактирования», — рассказывает один из авторов статьи, стажер-исследователь Центра глубинного обучения и байесовских методов Института искусственного интеллекта и цифровых наук ФКН, младший научный сотрудник лаборатории Fusion Brain AIRI Денис Бобков.
Однако обучение только на сгенерированных (простых) примерах ведет к потере деталей при работе с реальными (сложными) изображениями. Чтобы этого не происходило, ученые добавили реальные изображения в обучающую выборку. И нейросеть училась воссоздавать их в деталях.
Таким образом, показав модели и как редактировать простые, и как воссоздавать сложные изображения, ученым удалось создать условия, при которых нейросеть научилась редактировать сложные изображения. В частности, разработанный подход справляется с добавлением новых элементов стиля, а также лучше сохраняет детали исходных изображений по сравнению с другими существующими методами.
В случае простой реконструкции (первый ряд) StyleFeatureEditor аккуратно воспроизвел шляпку, в то время как большинство других методов ее практически потеряло. Лучшее качество разработанный метод показал в случае добавления аксессуаров (третий ряд): большинство методов справились с добавлением очков, но только StyleFeatureEditor сохранил исходный цвет глаз.
Айбек Аланов
«Благодаря технике обучения на сгенерированных данных, мы получили модель с хорошим качеством редактирования, а также быструю скорость работы за счет использования подхода с достаточно легковесными нейросетями. Фреймворку StyleFeatureEditor требуется всего 0,07 секунды на редактирование одного изображения», — говорит Айбек Аланов, заведующий Центром глубинного обучения и байесовских методов Института искусственного интеллекта и цифровых наук ФКН, руководитель научной группы «Контролируемый генеративный ИИ» лаборатории Fusion Brain AIRI.
Исследование поддержано грантом для исследовательских центров в области искусственного интеллекта, предоставленным Аналитическим центром при Правительстве РФ.
Результаты исследования будут представлены в докладе на ежегодной конференция по искусственному интеллекту и машинному обучению Fall into ML 2024, которая пройдет в НИУ ВШЭ 25-26 октября. На площадке Высшей школы экономики ведущие ученые в области искусственного интеллекта обсудят лучшие работы, опубликованные на конференциях А* в 2024 году — флагманских событиях этой области. Демо разработанного метода можно опробовать на HuggingFace, код — в Github репозитории.
Вам также может быть интересно:
Новый метод НИУ ВШЭ и Т-Технологий повышает качество работы ИИ
Ученые из лаборатории научных исследований «Т-Технологий» и Института искусственного интеллекта и цифровых наук факультета компьютерных наук НИУ ВШЭ разработали новый метод семплирования для моделей маскированной диффузии — G-Star+. Он помогает быстрее и качественнее исправлять ошибки во время генерации текста и кода за небольшое число шагов. Метод показал эффективность в задачах генерации текста и кода и может применяться там, где генеративным моделям нужно быстро и качественно создавать текст или код при ограниченных вычислительных ресурсах.
В Вышке открыли проектно-учебную лабораторию совместно с Группой «Т-Технологии»
Группа «Т-Технологии» (головная структура Т-Банка) открыла проектно-учебную лабораторию на базе факультета компьютерных наук НИУ ВШЭ (ФКН НИУ ВШЭ). Проектно-учебная лаборатория Группы «Т-Технологии» в НИУ ВШЭ сосредоточится на проектах и задачах в области искусственного интеллекта, распределенных вычислений, анализа больших данных и информационной безопасности в финансовом секторе. Лабораторию возглавит Алексей Теплов, кандидат физико-математических наук.
«Защищать конкуренцию от ИИ нам придется с помощью самого искусственного интеллекта»
В НИУ ВШЭ прошел двухдневный семинар «Искусственный интеллект и конкурентная политика в странах БРИКС». Его участники обсудили две ключевые для конкурентной политики темы: трансформация конкуренции и рынков под влиянием технологий ИИ и усилени е регуляторного потенциала антимонопольных органов за счет технологий искусственного интеллекта.
В НИУ ВШЭ разработали сервис обезличивания табличных данных для безопасного использования в ИИ-системах
Институт искусственного интеллекта и цифровых наук ФКН ВШЭ разработал сервис обезличивания табличных данных, предназначенный для подготовки корпоративных данных к использованию в аналитических и ИИ-сервисах. Решение позволяет выявлять персональные данные в структурированных наборах, применять к ним воспроизводимые правила обезличивания и формировать артефакты, необходимые для контроля качества, аудита и последующего использования данных в защищенных контурах.
Высшая школа экономики и «Ростелеком» поддержат ИИ-стартапы для госсектора
НИУ ВШЭ и «Ростелеком» подписали на ПМЭФ-2026 соглашение о сотрудничестве в рамках реализации акселератора ИИ-решений для государственного сектора. Совместная работа позволит объединить технологическую экспертизу крупнейшего цифрового партнера государства и академический потенциал ведущего исследовательского университета страны.
Проблемы этики: как и где использовать ИИ
За последние годы этика в сфере искусственного интеллекта превратилась из философско-теоретической в прикладную дисциплину. Эксперты в НИУ ВШЭ обсудили, какие этические проблемы возникают в связи со стремительным развитием цифровизации и какие их инженерные решения могут быть предложены.
НИУ ВШЭ и МТС договорились об обмене ИИ-компетенциями при подготовке инженерных кадров для телекома
НИУ ВШЭ и ПАО «МТС» заключили соглашение о стратегическом партнерстве, которое предполагает подготовку кадров с ИИ-компетенциями для телекоммуникационной отрасли по программам высшего и дополнительного профессионального образования. Соглашение направлено на повышение качества образования, обмен экспертизой и компетенциями при подготовке инженеров, владеющих технологиями ИИ и машинного обучения.
Точка входа в ИИ: на ЦИПР обсудили влияние технологий на будущее
Участники ЦИПР-2026 обсудили, как офисные приложения могут стать точкой массового доступа к ИИ и снизить барьеры использования. Эксперты сошлись во мнении, что будущее — за адаптивными моделями и экосистемным подходом к корпоративным данным. В экспертных дискуссиях приняли участие представители НИУ ВШЭ.
ФКН ВШЭ расширяет линейку образовательных программ по ИИ для руководителей
Центр непрерывного образования факультета компьютерных наук НИУ ВШЭ (ЦНО ФКН ВШЭ) развивает уникальную линейку образовательных продуктов для топ-менеджмента, где передовая компьютерная наука соединяется с реальными задачами бизнеса. Цель этого направления — помогать развивать бизнес в России через внедрение технологий искусственного интеллекта.
Ученые ФКН ВШЭ представили работы в сфере ИИ и биоинформатики на ICLR 2026
Ученые Института искусственного интеллекта и цифровых наук факультета компьютерных наук ВШЭи студенты трека «ИИ360: Инженерия искусственного интеллекта» бакалаврской программы «Прикладная математика и информатика» приняли участие в международной конференции ICLR — одном из самых авторитетных мировых форумов в области машинного обучения и представления данных. В этом году конференция состоялась в Рио-де-Жанейро (Бразилия).