НИУ ВШЭ представил в Китае исследование о безопасности нейросетей для анализа видео
Ученые Высшей школы экономики презентавали на международной конференции ChinaMM 2026 в Китае исследование о том, как искажения при передаче видео влияют на работу нейросетей. Авторы предложили новый способ проверять устойчивость таких моделей в условиях, близких к реальному использованию видеосервисов.
Работу представил в Тайване директор Центра интеллекта машин Института робототехнических систем НИУ ВШЭ Александр Ивченко. Доклад, подготовленный Александром Ивченко, Алексеем Солдатовым, Виктором Минченковым, Владимиром Башуном и Антоном Сергеевым, получил название “Non-Secure VQA: Exploiting Codec Artifacts and Natural Distortions” («Небезопасная VQA: эксплуатация артефактов кодеков и естественных искажений»).
Для демонстрации метода были выбраны модели оценки качества видео, которые, например, используются в YouTube для автоматической оценки качества восприятия пользователей. Такие модели обучались на оценках множества пользователей и должны следовать человеческим шаблонам восприятия.
Обычно устойчивость нейросетей проверяют с помощью специально созданных изменений изображения. Например, в видео или отдельные кадры вносят небольшие изменения, которые человек почти не замечает, и смотрят, насколько сильно меняется ответ модели. Авторы исследования предлагают другой подход: использовать искажения, которые и без специального воздействия возникают при обычной передаче видео по сети. Это могут быть снижение качества изображения при сжатии, потери данных или ошибки во время передачи.
Александр Ивченко
«Основная идея работы заключается в том, чтобы проверять нейросетевые модели в условиях, максимально похожих на реальные. При видеозвонке или просмотре потокового видео изображение меняется из-за сжатия и ограничений сети. Для пользователя такие изменения привычны и приемлемы, но они могут существенно изменять ответы нейросетевых моделей», — отмечает Александр Ивченко.
Исследователи обнаружили, что разные сцены в видео по-разному реагируют на такие изменения. Так, условно статичные сцены без мелких деталей практически не искажаются при небольших потерях в сети и слабо подвержены таким атакам, но сложные сцены, сцены с динамикой приведут к заметному изменению результата. Для проверки нейросетей важно учитывать особенности самого видео, а не только силу внесенного искажения.
Чтобы определить, какие видео наиболее чувствительны к искажениям, авторы разработали набор характеристик сцены. В него входят технические параметры видео, например разрешение, частота кадров и битрейт, а также характеристики изображения: яркость, цвет, контрастность, резкость, особенности движения и многие другие.
На основе этих характеристик исследователи отобрали 270 видеороликов из более чем 40 тысяч, собранных из четырех широко используемых наборов данных. Такой подход позволил получить разнообразную выборку и избежать ситуации, когда в эксперименте оказывается слишком много похожих видео.
На иллюстрациях можно проследить пример «слепой» атаки на нейросетевую модель оценки качества видео UVQ, используемую в YouTube. Слева — исходный кадр: модель оценивает его в 4,007 (из 5). В центре — кадр с сильными, хорошо заметными искажениями: оценка снижается до 3,431 (разница 0,576). Справа — кадр, который визуально почти не отличается от исходного, но из-за естественных искажений при сжатии и передаче видео модель оценивает его еще ниже — 3,380 (разница 0,627). Иллюстрация показывает, что нейросеть может реагировать на малозаметные для человека артефакты сильнее, чем на очевидные дефекты.
Для дальнейших экспериментов ученые создали собственный набор данных NetEmVQA V1. Они воспроизводили разные условия передачи видео по сети: меняли скорость передачи данных и моделировали потерю пакетов. Затем для каждого кадра оценивали, насколько изменилось качество видео и как на это отреагировала нейросетевая модель.
Результаты показали, что разработанный подход позволяет заранее определить, какие части видео наиболее чувствительны к искажениям. Для разделения чувствительных и менее чувствительных данных исследователи получили F1-меру более 95%. Метод также позволяет прогнозировать, насколько оценка качества отдельных кадров будет отличаться от средней оценки видео.
Исследование позволяет не только выявлять чувствительные к искажениям видео. Авторы также рассматривают возможность заранее определять, какие условия передачи данных приведут к нужному изменению оценки нейросети. Такой подход может использоваться для более детального тестирования моделей компьютерного зрения.
Предложенный метод потенциально применим и к другим задачам, в которых нейросети анализируют видео или изображения. Среди них авторы выделяют трекинг объектов и обнаружение дипфейков.
Вам также может быть интересно:
НИУ ВШЭ стал победителем Всероссийского конкурса студенческих конструкторских бюро
Студенческое конструкторское бюро «Интеллектуальные автономные системы в промышленности», созданное на базе Института робототехнических систем и МИЭМ ВШЭ, одержало победу во Всероссийском конкурсе в области студенческого конструкторского лидерства. Организатор конкурса — Министерство науки и высшего образования РФ. Бюро получит государственную поддержку на реализацию проектов в области робототехники совместно с индустриальными партнерами.
Научная экспедиция на Хайнань: ученые ВШЭ организовали конференцию по статистическому ИИ в Китае
С 24 по 28 августа 2026 года в городе Санья на острове Хайнань (Китай) прошла международная конференция Statistical AI («Статистический искусственный интеллект»). Мероприятие собрало ведущих специалистов в области статистики, машинного обучения и прикладного ИИ. Среди организаторов конференции — Алексей Наумов, директор Института искусственного интеллекта и цифровых наук ФКН НИУ ВШЭ, и Сергей Самсонов, заведующий Международной лабораторией стохастических алгоритмов и анализа многомерных данных.
V конференция «Погружение в машинное обучение»: главное ИИ-событие осени соберет ведущих ученых России
Институт искусственного интеллекта и цифровых наук факультета компьютерных наук НИУ ВШЭ приглашает исследователей, разработчиков и всех, кто создает будущее технологий, на пятую, юбилейную конференцию «Погружение в машинное обучение» (Fall into ML 2026). Мероприятие состоится 23–24 октября 2026 года в Центре культур НИУ ВШЭ (Москва, Покровский бульвар, д. 11, cтр. 6) и станет главной точкой притяжения для российского ИИ-сообщества.
В НИУ ВШЭ пройдет международная конференция об обучении служением и искусственном интеллекте
21–23 октября 2026 года в НИУ ВШЭ пройдет Международная научно-практическая конференция «Обучение служением и искусственный интеллект: человекоцентричная социальная миссия университета». Конференция объединит представителей российских и зарубежных университетов, органов власти, некоммерческих организаций и бизнеса. Регистрация уже открыта.
НИУ ВШЭ расширяет сотрудничество с Малайзией в сфере технологического форсайта
Ученые НИУ ВШЭ примут участие в исследовании перспектив инженерного образования в Малайзии, а Малайзийская промышленно-правительственная группа высоких технологий (MIGHT) использует для валидации результатов их форсайт-исследований систему анализа больших данных iFORA. Таковы результаты визита представителей Вышки в Куала-Лумпур.
В НИУ ВШЭ разработают систему предиктивной аналитики для двигателей ледоколов
Автоматизация промышленности является одним из ключевых направлений применения технологий искусственного интеллекта. Среди решений, разрабатываемых для российской индустрии в рамках стратегического технологического проекта НИУ ВШЭ «Мультиагентная платформа ИИ-решений для отраслевых задач», — система предиктивной аналитики для крупных электродвигателей. Что такое предиктивная аналитика, как она влияет на работу электродвигателя и какие специалисты объединили усилия для создания этого продукта, «Вышке.Главное» рассказал координатор разработки, декан факультета «Школа информатики, физики и технологий» НИУ ВШЭ — Санкт-Петербург Антон Зарубин.
Дополнительные баллы к ЕГЭ за золотой значок: стартовал новый сезон сдачи нормативов ТехноГТО
Стартовала новая сессия сдачи очных нормативов технологической грамотности ТехноГТО на золотые значки. С сентября по декабрь 2026 года в разных регионах России участники смогут продемонстрировать свои знания на очных площадках проекта и заработать награды, которые позволяют получить до 10 дополнительных баллов к ЕГЭ при поступлении в вузы. ТехноГТО является частью Национальной технологической олимпиады (НТО) и реализуется Кружковым движением НТИ совместно с Президентской платформой «Россия — страна возможностей» при поддержке Движения Первых и НИУ ВШЭ.
От теории к практике: как машинное обучение меняет биоинформатику
С 20 по 22 августа на факультете компьютерных наук НИУ ВШЭ прошла седьмая ежегодная Летняя школа по машинному обучению в биоинформатике. Мероприятие объединило ведущих экспертов и молодых исследователей. Его главным итогом стала живая дискуссия о том, как фундаментальные алгоритмы ИИ превращаются в работающие инструменты для биологии и медицины.
Лаборатория будущих сетей: в НИИТ ВШЭ создали стенд для исследований 5G/6G
Стенд 5G/6G в НИИТ ВШЭ становится исследовательской площадкой, образовательной лабораторией и основой для разработки новых программных компонентов сетей будущего. Он позволяет не просто наблюдать за работой мобильной сети, а менять условия ее работы и измерять результат: скорость передачи данных, задержки, ошибки, использование радиоресурсов и другие параметры. На его основе исследователи планируют развивать технологии MIMO, O-RAN, xApp и IAB, а также экспериментировать с искусственным интеллектом.
Ученые НИУ ВШЭ научили нейросеть превращать 3D-модели в готовые технологические карты
Исследователи Института искусственного интеллекта и цифровых наук ФКН НИУ ВШЭ разработали систему CAD2TechSpec, которая автоматически превращает 3D-модели деталей в готовые технологические карты — пошаговые инструкции для станков. Разработка направлена на сокращение времени подготовки технической документации в машиностроении, авиастроении и других высокотехнологичных отраслях. Результаты исследованияо публикованы в журнале PeerJ Computer Science.