OpenAI создала инструмент, который потенциально может уличить студентов в списывании, попросив ChatGPT написать домашнее задание, но По данным Wall Street Journalкомпания задается вопросом, стоит ли ей действительно публиковать его.
В заявлении, предоставленном TechCrunch, представитель OpenAI подтвердил, что компания изучает метод текстовых водяных знаков, описанный в статье в журнале, но сказал, что применяет «обдуманный подход» из-за «сложности и его вероятного воздействия на более широкую экосистему». за пределами OpenAI».
«Метод текстовых водяных знаков, который мы разрабатываем, технически многообещающий, но он несет в себе значительные риски, которые мы оцениваем, изучая альтернативы, включая уязвимость к обходу со стороны злоумышленников и потенциал непропорционально сильного воздействия на группы, такие как не говорящие по-английски», — сказал представитель. .
Это будет другой подход, чем большинство предыдущих попыток обнаружить текст, сгенерированный ИИ, которые оказались в значительной степени неэффективными. Сама OpenAI в прошлом году прекратила выпуск своего предыдущего детектора текста AI из-за его «низкой точности».
При использовании текстовых водяных знаков OpenAI сосредоточится только на обнаружении письма из ChatGPT, а не на моделях других компаний. Для этого необходимо внести небольшие изменения в способ выбора слов ChatGPT, создав невидимый водяной знак в написании, который затем можно будет обнаружить с помощью отдельного инструмента.
После публикации статьи в журнале OpenAI также обновила сообщение в блоге от мая о своих исследованиях по обнаружению контента, созданного искусственным интеллектом. В обновлении говорится, что водяные знаки в тексте оказались «очень точными и даже эффективными против локальных изменений, таких как перефразирование», но оказались «менее устойчивыми к глобальным изменениям; например, использование систем перевода, перефразирование с помощью другой генеративной модели или обращение к модели с просьбой вставить специальный символ между каждым словом, а затем удалить этот символ».
В результате OpenAI пишет, что этот метод «легко обойти злоумышленникам». Обновление OpenAI также повторяет точку зрения представителя относительно тех, для кого английский язык не является родным, и пишет, что водяные знаки в тексте могут «стигматизировать использование ИИ в качестве полезного инструмента письма для тех, для кого английский язык не является родным».
