Британский стартап Mindgard обнаружил простой способ полностью обойти базовые защитные инструкции ChatGPT. Исследователи заставили модель OpenAI генерировать чувствительный контент, в частности изображения насилия.
Механизм обхода защиты
Метод заключается в текстовой команде, которая имитирует редактирование файлов. Пользователь просит восстановить прикреплённую фотографию, но не загружает её, а затем даёт команду создать новое изображение. По словам основателя Mindgard, профессора Питера Гаррагана из Ланкастерского университета, инструкция выглядит абсолютно безопасной. В результате модель отключает фильтры модерации и выдаёт запрещённый контент.
Исследователи не указывали конкретных деталей или сюжетов. Искусственный интеллект самостоятельно генерировал сцены с телесными повреждениями и насилием, а также сам давал названия файлам. Ранее в Mindgard уже демонстрировали обход фильтров для создания реалистичных обнажённых дипфейков без согласия людей.
Реакция OpenAI и последствия
Данные об уязвимости передали разработчикам OpenAI. Сначала поступил только автоматический ответ. Меры приняли лишь после обращения к журналистам BBC. В заявлении OpenAI отметили, что изучили проблему и добавили новые защитные инструменты. Однако в Mindgard заявили, что обошли обновлённую защиту минимальными изменениями в промпте.
Специалисты по безопасности подчёркивают: сгенерированные образы основаны на реальных фотографиях из сети. Это указывает на риски использования нефильтрованных данных для обучения нейросетей.
