Что такое textGrain и как это работает
OpenAI анонсировала внедрение невидимых текстовых водяных знаков под названием textGrain для ответов, сгенерированных ChatGPT и Codex. Технология добавляет статистический сигнал при выборе слов моделью и делает текст машиночитаемым для специальных инструментов обнаружения.
Компания создала детектор, который проверяет наличие этого скрытого сигнала, и описала решение подробнее в блоге, где рассказывается о подходе и технических особенностях рассказывается. Такая схема не изменяет видимый текст для читателя, поскольку должна работать на бэкенде во время генерации.
Кому и когда будут добавляться водяные знаки
Решение принято в ответ на требования Закона ЕС об искусственном интеллекте (EU AI Act). В течение ближайших недель водяные знаки будут автоматически добавляться к ответам ChatGPT и Codex для пользователей в Европейском Союзе, что должно выполнить норму о машиночитаемом обнаружении сгенерированного текста.
Для разработчиков, которые используют API OpenAI по всему миру, функция будет доступна по желанию и её можно будет включить вручную. На первом этапе доступ к детектору получат только утверждённые исследователи и экспертные организации, а затем компания планирует выпустить технологию с открытым исходным кодом.
Повлияет ли это на качество ответов и какие есть ограничения
OpenAI утверждает, что внедрение водяных знаков не влияет на качество сгенерированных ответов и производительность моделей, включая Astra. Это означает, что обычные пользователи не заметят изменений в формулировках или быстродействии при работе с моделями.
В то же время компания подчёркивает существующие технические ограничения и просит рассматривать технологию лишь как один из инструментов верификации. В своём заявлении OpenAI подчеркнула следующее
«Текстовый водяной знак не измеряет вклад человека, не устанавливает право собственности, не идентифицирует личность пользователя и не подтверждает достоверность информации»
Это означает, что textGrain помогает отслеживать происхождение автоматически сгенерированного текста, но не решает вопросы авторства или достоверности содержания самостоятельно.
