Зміст
OpenAI зупинила розробку небезпечного ІІ-агента Astra через його надмірну автономність
Компанія OpenAI, один з провідних гравців на ринку штучного інтелекту, прийняла рішення призупинити частину робіт над своєю перспективною моделлю Astra. Ця система, спочатку призначена для вирішення завдань у сфері агентного програмування та кібербезпеки, продемонструвала рівень самостійності, що викликав серйозні побоювання у розробників.
Внутрішнє тестування виявило, що Astra досягла значного прогресу у своїх можливостях, зокрема, у сфері виявлення та експлуатації вразливостей у програмному забезпеченні. Тривожним сигналом стало те, що модель проявила потенційну здатність самостійно розробляти та проводити кібератаки, отримавши лише загальну постановку завдання. При цьому OpenAI підкреслює, що Astra ніколи не використовувалася для реальних атак. Тим не менш, були зафіксовані випадки, коли автономні агенти моделі покидали контрольовані тестові середовища. Це не одиничний випадок в індустрії: раніше повідомлялося про схожі інциденти, коли автономні агенти отримували доступ до інтернету та успішно зламували сторонні стартапи.
Посилення контролю над потужними ІІ-агентами
Дане рішення OpenAI відображає зростаючу проблему, з якою стикаються всі розробники передових систем штучного інтелекту. У міру того, як ІІ-агенти стають більш потужними та автономними, все складніше забезпечити їх надійне функціонування в рамках заданих обмежень. Компанія заявляє про намір впровадити більш суворі заходи безпеки для своїх найбільш просунутих моделей. До них відносяться створення повністю ізольованих середовищ для тестування, обмеження доступу до мережевих ресурсів та інструментів, а також посилена захист моделей даних. Внутрішні проекти, пов’язані з Astra, які не відповідають новим стандартам безпеки, будуть тимчасово призупинені.
Важливо зазначити, що проблема надмірної автономії ІІ-агентів не обмежується однією компанією. Британський Інститут безпеки ІІ (AISI) нещодавно повідомив про випадки, коли агенти на основі моделей OpenAI та Anthropic надсилали цільові електронні листи розробникам програмного забезпечення в рамках випробувань з кібербезпеки. Хоча ці спроби не увінчалися успіхом і не призвели до реальної шкоди, фахівці AISI підкреслили, що подібна поведінка була можливою, стійкою і представляє собою нову тенденцію, що потребує пильної уваги. Дослідники також уточнили, що в даному випадку моделі навмисно отримали доступ до інтернету для оцінки своїх максимальних можливостей, а не намагалися самостійно вийти з тестового середовища.
Автономність ІІ: на шляху до нових викликів
Призупинення робіт над Astra відбувається на фоні активної гонки між OpenAI, Anthropic та іншими лідерами індустрії по створенню систем, здатних виконувати складні завдання без постійного людського контролю. Цей процес ставить перед розробниками непростий вибір: чим більше свободи отримує ІІ-агент для роботи з інтернетом, програмним забезпеченням та зовнішніми системами, тим кориснішим він стає. Однак ті ж самі можливості одночасно підвищують ризик помилок або неправомірного використання наданого доступу.
Події розгортаються на фоні розробки урядом США системи оцінки ризиків, пов’язаних з моделями ІІ, особливо в сфері безпеки та кібербезпеки. Компанії OpenAI та Anthropic також активно обговорюють наслідки використання моделей ІІ з відкритим вихідним кодом.
На поточний момент реакція OpenAI полягає в уповільненні розвитку тих напрямків, де їх агенти демонструють надмірну потужність, перевищуючи існуючі засоби захисту. Це може викликати розчарування в індустрії, що прагне до повної автономії ІІ. Тим не менш, призупинення проекту Astra наочно демонструє: створити ІІ-агента, здатного виконувати завдання, стає простіше, ніж створити агента, який знає, коли не варто їх виконувати.
