Ученый Олег Рогов: существует четыре метода кражи нейросетей

Shutterstock

Вотермарки, или водяные знаки используют, чтобы защитить документы и деньги от подделки. Однако сегодня они используются также для защиты от копирования и кражи цифрового контента, в том числе и нейросетей. Более того, активно обсуждается вопрос маркировки такими знаками контента, созданного при помощи ИИ. Как работают цифровые водяные знаки, кто и для чего ворует нейросети и можно ли установить украденную ИИ-модель или части кода при помощи таких водяных знаков — в интервью «Газете.Ru» рассказал руководитель научной группы «Доверенные и безопасные интеллектуальные системы» научно-исследовательского Института искусственного интеллекта AIRI Олег Рогов.

— Под водяными знаками люди понимают изображения, которые видно на просвет. Чаще всего их применяют для защиты денег от подделки. А что такое цифровые водяные знаки?

— Это технология, созданная для защиты авторских прав мультимедийных файлов. Любой цифровой водяной знак представляет собой некоторую информацию, которая добавляется к исходному цифровому файлу, будь то изображение, документ, видео или аудио.

Самый простой пример — это изображения.

Все видели полупрозрачные надписи на некоторых картинках, — это и есть простейший водяной знак, который показывает, кому принадлежит контент. Он также защищает его от копирования и изменения.

Грубо говоря, это метка, встраиваемая в цифровой контент с целью защиты авторских прав и подтверждения целостности самого документа. Если произведение подвергается какому-то изменению, то вместе с ним изменяется и цифровой водяной знак, — по этому признаку правообладатель и может выяснить, меняли ли файл.

Олег Рогов

Из личного архива

— Какими еще бывают цифровые водяные знаки?

— Скрытыми. Такая встроенная метка незначительно меняет исходное изображение, видео или звуковой сигнал, однако эти преобразования обычно незаметны для глаза или уха.

Например, можно изменить яркость определенных точек на изображении. Обычный пользователь этого не заметит. Если говорить об аудио или видео, то здесь на звуковую дорожку могут быть добавлены незначительные искажения в определенных частях. Они тоже не сказываются на общей картине, пользователь их не слышит, однако они фиксируются техническими средствами. По ним правообладатель может понять, что контент неправомерно скопирован. Создатели утверждают, что такие цифровые водяные знаки сохраняются при перезаписи на аналоговые устройства, например, при записи на микрофон и обратной оцифровке звука.

Удалить невидимый цифровой знак в отличие от видимого без особых знаний нельзя.

— В нейросетях они тоже применяются?

— Да, их можно использовать для определения того, что вашу нейросеть кто‑то скопировал и выдает за свою. Проблема использования водяных знаков в ИИ состоит в том, что нейросетевые технологии — многосоставные. Это затрудняет отслеживание происхождения конкретных алгоритмов или фрагментов кода. Кроме того, украденные модели подвергаются модификации, злоумышленники специальными методами усложняют установление прямой связи между украденной моделью и ее первоисточником.

Однако большинство подобных методов маркировки моделей содержат существенный недостаток — поведение водяных знаков плохо сохраняется в процессе процедуры кражи с атакой на функциональность.

— Зачем злоумышленники воруют нейросети?

— Одна из основных причин кражи — ликвидировать отставание от конкурентов либо получить преимущество в данной области.

Кража нейросетей может позволить злоумышленникам обойти длительные процессы исследований и разработок архитектуры, обучения, тестирования и тому подобного.

Также кража может дать доступ к конфиденциальной информации, например, в случае банковских, биометрических или других чувствительных данных, обрабатываемых нейросетями.

— Как происходит кража?

— Чтобы в руки злоумышленнику попала полная копия модели, она должна физически утечь с серверов своих создателей. Для этого можно организовать хакерскую атаку на инфрастркутуру, а также использовать социальную инженерию.

Иногда злоумышленник ничего не знает об устройстве нейросети, ни архитектуру модели, ни данные, на которых та обучалась. Пример такой модели — ChatGPT, к которой предоставлен массовый доступ. В таком случае хакеры крадут функциональность нейросети — то, как сеть обучена выполнять те или иные задачи, например, писать текст или отличать велосипед от грузовика с определенной точностью.

— Как именно это происходит?

— Наиболее популярные виды краж — это «дистилляция» знаний готовой модели и дообучение исходного варианта на новом наборе данных с утаиванием способов получения этого исходного варианта.

Например, пользователь может получить определенные знания об архитектуре модели или множестве данных, на которых она обучалась, взять модель худшего качества и, избежав затрат на обучение и дизайн, натренировать копию, которую затем будет использовать для создания собственного коммерческого продукта в обход лицензий правообладателя.

Сделать это можно с помощью специальных наборов данных. Они формируются так: объекты подаются на вход в нейронную сеть и обучают суррогатную модель злоумышленника.

То есть, модель — ученик меньшего размера, обученная повторять поведение тяжелой и более точной модели-учителя, достигает схожих с ней результатов, иногда значительно выигрывая в размере и скорости за счет упрощенной архитектуры, незначительно теряя в качестве своей работы.

В этом и некоторых других случаях водяной знак «слетает».

— Как еще хакеры могут снять маркировку?

— Еще есть тип атак Pruning (метод сжатия для уменьшения расхода памяти и вычислительной сложности нейросети). Большое количество параметров позволяет нейросети выявлять сложные зависимости в данных и решать трудные задачи. Однако практика показывает, что часто для хорошей работы сети не требуется все количество параметров, которые у нее есть.

Еще можно провести оптимизацию памяти, например, для мобильных устройств с ограниченными ресурсами. Сжатие модели осуществляется, например, путем удаления несущественных параметров и сокращения связей между нейронами. Последний метод предполагает улучшение модели для определенных видов данных, такое изменение параметров может привести и к удалению марки.

— Как тогда установить, что нейросеть была украдена, если при таких атаках цифровой водяной знак исчезает?

— Мы создали собственный способ маркировки нейросетей. Он позволяет получить уникальные наборы данных-триггеров, которые встраиваются в ИИ-модель и сохраняются даже после кражи.

Мы также превзошли по эффективности наших зарубежных коллег из США и Южной Кореи. Их водяные знаки терялись при краже нейросети, у нас в некоторых случаях эффективность превышает 95%.

Триггерное множество данных, про которое я говорю, — это набор входных данных, объектам которого нейронная сеть ставит в соответствие специфические, заранее определенные предсказания: например, для классификационной нейронной сети это может быть набор картинок котиков, определяющихся нейронной сетью как собаки. Получается, что у нас к каждой нейронной сети подбирается свой уникальный ключ маркировки.

Эти водяные знаки проявляются, выражаясь в определенном «поведении» модели в ответ на установленную разработчиком процедуру проверки. Подход может быть применен к любой модели без ущерба для производительности и с минимальными вычислительными затратами.

— Есть ли какие-то минусы у такого вида водяных знаков?

— С этим типом знаков связана одна проблема: набор данных должен быть достаточно большим для того, чтобы препятствовать незаконному использованию системы. С другой стороны, он не должен быть слишком большим, чтобы не нарушить эффективную работу нейросети.
При попытке снятия знака злоумышленникам нужно пройти больше циклов обучения, — то есть увеличивается количество прокси-моделей. Это та же самая атака, которую я описывал ранее, просто она более трудоемкая.

— Можно ли при помощи таких водяных знаков найти украденные части кода?

— Маркировка возможна, но злоумышленник может не копировать код полностью, а переписать оригинальный код на другой язык и очень тяжело доказать только по коду, что это плагиат. Оснований для этого нет, поэтому и использовать сложные цифровые водяные знаки нет смысла в программировании, а проще защитить информационный контур разработки предприятия от утечек.

— На международном уровне обсуждается возможность маркировки произведений искусства, созданных при помощи ИИ, цифровыми водяными знаками. Как вы относитесь к этой инициативе?

— Это можно осуществить, если нейросеть бесплатная и находится в открытом доступе. То же и с произведениями искусства. По сути такие водяные знаки можно добавлять и в текст, который создают такие нейросети, как ChatGPT. Если мы говорим об изображениях или музыке, то тут вопрос в том, кто автор? Пользователь или нейросеть? На сегодняшний день ИИ не является субъектом права. Это сложный правовой аспект, который активно прорабатывается специалистами, поэтому торопиться с маркировкой всех файлов в таких задачах водяными знаками не стоит.

Что думаешь?

Комментарии
Источник