ChatGPT превзошёл людей в рассказах, пока читатели не знали автора

Эксперимент с 1682 участниками продемонстрировал: тексты, написанные ИИ, оценивались как более качественные и интересные, особенно когда их авторство неверно приписывали человеку

Исследование, проведенное учеными Университета Виллановы (Villanova University), показало, что участники эксперимента оценивали короткие истории, созданные ChatGPT, выше, чем произведения людей, как по качеству, так и по способности удерживать внимание читателя.

В первом эксперименте принимали участие 1682 человека в возрасте от 18 до 81 года. Участникам показывали короткий рассказ и сообщали, был ли он написан человеком или искусственным интеллектом, причем информация могла быть как верной, так и ложной. Затем оценивалось качество текста и уровень вовлеченности во время чтения. Авторы исследования использовали 3 рассказа людей из литературных журналов и сборников и 3 аналогичных текста, созданных ChatGPT.

В среднем рассказы, созданные ИИ, получили более высокие оценки по обеим категориям. При этом на восприятие значительно влияло предполагаемое авторство: тексты, которые участники считали написанными людьми, оценивались выше независимо от их истинного происхождения. Таким образом, наивысшие оценки получили именно рассказы ChatGPT, которым ошибочно приписали человеческое авторство.

В двух последующих экспериментах исследователи проверили, могут ли читатели самостоятельно определить происхождение текста без подсказки об авторе. В одном исследовании с участием 424 человек точность определения составила 39,93%, что оказалось ниже уровня случайного выбора. В другом эксперименте с 481 участником результат составил 51,97% — статистически не отличаясь от случайного угадывания.

Авторы работы подчеркивают, что исследование не сравнивает литературное мастерство, оригинальность или возможности создания масштабных произведений. Оно демонстрирует два конкретных эффекта: читательскую оценку качества текста и сложность определения его источника. Результаты показывают, что без специальных методов проверки люди плохо распознают тексты, созданные генеративным ИИ.