Чи варто довіряти ІІ-детекторам? Скандал з бестселером-романом

Доверять ли ИИ-детекторам? Скандал с бестселлером-романом

Літературний скандал: Бестселер під підозрою штучного інтелекту

Недавній випадок з гаїтянсько-канадським письменником Телісоном Орельєном та його романом «C’était ça ou mourir» («Або це, або смерть») сколихнув літературний світ. Твір, удостоєний похвали критиків і претендував на престижні французькі премії, включаючи Гонкурівську, опинився в центрі гучного скандалу. Анонімний користувач у соціальній мережі X звинуватив автора в тому, що значна частина роману була згенерована штучним інтелектом (ІІ).

Незважаючи на категоричне заперечення Орельєна, один з популярних інструментів для виявлення ІІ-контенту, Pangram, заявив, що понад 95% тексту книги створено штучним інтелектом. Цей вердикт призвів до серйозних наслідків: роман був виключений зі списку номінантів на Гонкурівську премію. На рішення також вплинули попередні звинувачення письменника в плагіаті, за які він приніс вибачення. Канадське видавництво, розірвавши відносини з автором, посилалося на результати зовнішньої експертизи, що підтвердила використання ІІ. Сам Орельєн, продовжуючи наполягати на своїй невинності в повному обсязі, визнав, що звертався до ІІ для проведення історичних досліджень у процесі роботи над книгою.

Довіра до цифрових детекторів: наскільки надійні програми для виявлення ІІ?

Ситуація з романом Орельєна піднімає фундаментальні питання про надійність програм, призначених для розпізнавання текстів, створених штучним інтелектом. Швейцарські експерти в галузі технологій і творчості намагалися розібратися в цій проблемі.

Мануель Флурін Гендрі, швейцарський режисер, сценарист і викладач, вважає, що руйнувати репутацію письменника на основі балів, виставлених програмним забезпеченням, несправедливо. На його думку, вибір інструментів для роботи – це особиста справа художника. Гендрі підкреслює, що сама ідея аналізу тексту за допомогою Pangram і подальшого «соціального відсторонення» письменника виглядає неприпустимою. Він переконаний, що творці мають право експериментувати з будь-якими доступними їм технологіями.

У Швейцарії вже чимало художників, які відкрито експериментують з ІІ. Наприклад, письменник Шарль Левінскі включив у свій роман «Täuschend echt» фрагменти, згенеровані ChatGPT, а фотограф Матьє Гафсу використовував інструменти для генерації зображень, такі як DALL·E, у своїх художніх проектах.

Складність полягає в тому, як реагувати на беззаперечне і потенційно масштабне використання ІІ в творчості. Не існує чітких правил, що визначають, який обсяг згенерованого контенту прийнятний у творі мистецтва, і чи можна повністю довіряти таким інструментам, як Pangram.

В пошуках істини: точність ІІ-детекторів і їх обмеження

Хендрик Стробельт, старший науковий співробітник IBM, визнає, що питання надійності Pangram не має однозначної відповіді. У 2019 році він і його колеги розробили GLTR – один з перших експериментальних інструментів для розпізнавання текстів, написаних мовними моделями. Тоді, за словами Стробельта, моделі ІІ, зокрема GPT-2, створювали одноманітні і передбачувані тексти, імітуючи переважаючі в інтернеті матеріали. Відрізнити такі тексти від людських було відносно просто, оскільки програми шукали найбільш типові і очікувані слова.

Однак з тих пір мовні моделі значно вдосконалилися. Стробельт зазначає, що сучасні передові технології ІІ роблять вкрай складним виведення чітких стилістичних правил для розрізнення штучного і людського тексту. «Тепер моделі ІІ набагато більш масштабні. Якщо правильно сформулювати запит (промпт), вони зможуть скопіювати будь-який стиль», – говорить експерт IBM.

Програми, подібні до Pangram, використовують метод «керованої класифікації». Вони порівнюють тексти, написані людьми до епохи генеративного ІІ, з їх «дзеркальними» версіями, створеними різними комерційними мовними моделями. У процесі такого навчання програми вчаться виявляти відмінності. Чим більш схожими і якісними є матеріали для навчання, тим точніше аналіз.

Розробники Pangram заявляють про 99,98% точності своєї програми з часткою хибнопозитивних результатів всього 0,01%. Незалежні дослідження, опубліковані цього року, також підтверджують високу точність програми. Паоло Італьяни, що вивчає ІІ і машинне навчання в Університеті італійської Швейцарії (USI), додає, що чим довший текст, тим точніший висновок детектора. «У такому випадку цілком ймовірно, що принаймні якась частина тексту дійсно створена ІІ», – вважає він.

Межі довіри: «чорні ящики» і змішані тексти

Незважаючи на заяви розробників, професор Лоннеке ван дер Плас з USI вказує на те, що ми до кінця не розуміємо, на які саме критерії спираються ці інструменти при аналізі тексту. Оскільки комерційні програми, такі як Pangram, є «чорними ящиками» з закритим кодом, незалежним ученим майже неможливо з’ясувати, як саме вони приходять до своїх висновків.

Теоретично, на роботу ІІ можуть вказувати непрямі ознаки, наприклад, надмірно лінійна і передбачувана структура аргументації. Однак, як зазначає ван дер Плас, такі маркери не можуть служити стопроцентним доказом походження тексту. Більше того, детектори працюють значно гірше з мовами, відмінними від англійської, і в вузькоспеціалізованих жанрах, оскільки системи навчалися на обмежених даних.

Особливо складно визначити походження тексту, якщо над ним працювали як людина, так і штучний інтелект. Точність перевірки в таких випадках знижується приблизно на 20%. У технічному звіті Pangram також визнається, що програма може помилятися, якщо в тексті поєднуються речення, написані людиною, і згенеровані ІІ. «Такі програми тренують переважно на контрастах: або чисто людський текст, або чисто машинний. Як тільки з’являється мікс, у системі виникають збої», – пояснює ван дер Плас.

Цифра – не вирок: юридичні та етичні аспекти

З юридичної точки зору, висновки програм, подібних до Pangram, не є прямим доказом фальсифікації з боку автора. Професор права інтелектуальної власності Женевського університету Жак де Верра підкреслює, що судові рішення не можуть базуватися виключно на цих технологіях, оскільки вони містять похибки. У випадку судового розгляду, як у справі Орельєн, суддям довелося б вивчати й інші докази: оригінальні рукописи, чернетки і навіть історію запитів автора до ІІ.

Де Верра також нагадує, що використання штучного інтелекту в творчому процесі не позбавляє автора автоматичних прав на твір. «Якщо людина зможе довести наявність достатньо глибокого творчого зв’язку між його ідеєю, вдалими запитами (промптами) і фінальним результатом, то це все ще вважається проявом людської креативності», – стверджує він. Ключовим питанням є вагомість творчого внеску автора. При цьому, за словами Де Верра, не існує чіткої математичної межі, що визначає, який відсоток тексту має написати людина, щоб твір вважалося його власною роботою.

Мануель Флурін Гендрі вважає, що ця проблема виходить далеко за межі юридичного захисту. Він активно використовує технології на базі ІІ у своїй роботі, від аналізу сценаріїв до допомоги в наукових дослідженнях. На його думку, ІІ відкриває нові шляхи для натхнення, пропонуючи підходи, про які раніше він навіть не задумувався, і звільняє час для безпосереднього творчості. «Справжнє письменство – це мислення в дії. Воно вимагає певного внутрішнього опору і вміння увійти в стан повного зосередження на потоці власних думок», – говорить він.

Гендрі ставить під сумнів важливість того, яка частина твору створена за допомогою ІІ. «Якщо твір вас торкає, якщо воно вам цікаве, якщо воно змушує вас задуматися, то які можуть бути аргументи проти?» – запитує він. Головне, на думку Гендрі, навчитися розуміти, які завдання варто делегувати штучному інтелекту, а які краще виконувати самому. Замість того, щоб відкидати технології, творці повинні відкрито говорити про те, як саме вони їх використовують. «Якщо я роблю вигляд, що це моя робота, хоча вона повністю згенерована ІІ, тоді це підробка», – підсумовує Гендрі.