Британський стартап Mindgard виявив простий спосіб повністю обійти базові захисні інструкції ChatGPT. Дослідники змусили модель OpenAI генерувати чутливий контент, зокрема зображення насильства.
Механізм обходу захисту
Метод полягає у текстовій команді, яка імітує редагування файлів. Користувач просить відновити прикріплену фотографію, але не завантажує її, а далі дає наказ створити нове зображення. За словами засновника Mindgard, професора Пітера Гаррагана з Ланкастерського університету, інструкція виглядає абсолютно безпечною. У результаті модель відключає фільтри модерації та видає заборонений контент.
Дослідники не вказували конкретних деталей чи сюжетів. Штучний інтелект самостійно генерував сцени з тілесними ушкодженнями та насильством, а також сам давав назви файлам. Раніше в Mindgard вже демонстрували обхід фільтрів для створення реалістичних оголених діпфейків без згоди людей.
Реакція OpenAI та наслідки
Дані про вразливість передали розробникам OpenAI. Спочатку надійшла лише автоматична відповідь. Заходи вжили лише після звернення до журналістів BBC. У заяві OpenAI зазначили, що вивчили проблему та додали нові захисні інструменти. Проте в Mindgard заявили, що обійшли оновлений захист мінімальними змінами в промпті.
Фахівці з безпеки наголошують: згенеровані образи базуються на реальних фотографіях з мережі. Це вказує на ризики використання невідфільтрованих даних для навчання нейромереж.
