Результаты, опубликованные в журнале Research Methods in Applied Linguistics, показывают, что лингвисты из ведущих мировых журналов могут точно различать ИИ и авторефераты, написанные человеком.
Исследование, проведенное совместно с доцентом из Университета Южной Флориды, показало, что даже опытные лингвисты из ведущих мировых журналов могут различать между ИИ и текстами, созданными человеком, только в 39 процентах случаев.
"Мы думали, что если кто-то сможет отличить человеческий текст от текста, сгенерированного ИИ, то это будут лингвисты, которые посвятили свою карьеру изучению языка и других аспектов человеческой коммуникации", - сказал Мэтью Кесслер, исследователь из Департамента мировых языков Университета Южной Флориды.
Для проведения исследования, Мэтью Кесслер и Эллиотт Казал, доцент прикладной лингвистики в Университете Мемфиса, поручили 72 экспертам в области лингвистики оценить различные исследовательские рефераты, чтобы определить, были ли они созданы ИИ или человеком.
Каждому эксперту предоставлялись четыре образца текстов. Ни один из них не смог правильно отличить все четыре текста, и 13 процентов экспертов ошиблись. Из этого исследования выяснилось, что даже профессионалы в области лингвистики не могут однозначно отличить тексты, созданные ИИ, от текстов, написанных людьми.
"Интересно, что мы спросили экспертов о причинах их выбора, почему они думают, что текст создан ИИ или человеком. У них были логичные аргументы, но они не были последовательными и точными", - отметил Мэтью Кесслер.
Таким образом, исследование пришло к выводу, что ИИ, такой как ChatGPT, способен создавать тексты в коротких жанрах так же хорошо, если не лучше, чем большинство людей, особенно учитывая, что ИИ обычно не допускает грамматических ошибок.
Однако, для более длинных текстов ИИ может начать "галлюцинировать" и создавать контент, который проще определить как сгенерированный ИИ, чем текст, написанный человеком.
Исследователи надеются, что данное исследование способствует более широкому обсуждению и созданию этичных норм и принципов использования ИИ в исследованиях и образовании.
