32% сгенерированных рефератов успешно прошли проверку учёных.
Группа исследователей во главе с Северо-Западным университетом использовала ChatGPT для написания 50 рефератов в стиле 5 различных научных журналов.
4 академика, которые были разделены на 2 группы, определяли, кто писал реферат – человек или искусственный интеллект. Если одному исследователю давали настоящий реферат, то второму давали сгенерированный, и наоборот. Каждый человек рассмотрел 25 научных докладов.
Рецензенты смогли обнаружить 68% сгенерированных рефератов, и 86% оригинальных рефератов из настоящих статей. Другими словами, их обманули, заставив думать, что 32% сгенерированных рефератов – настоящие, а 14% настоящих рефератов — поддельные.
При этом проверяющие знали, что среди рефератов есть те, которые были написаны искусственным интеллектом. Также рецензенты заявили, что было очень сложно отличить настоящие рефераты от поддельных. В некоторых докладах ChatGPT подменял факты об исследованиях, которые приводил в качестве доказательств, чем и выдавал себя.
По словам учёных, эксперимент показывает, что материал, созданный ChatGPT, может быть очень правдоподобным. Тот факт, что рецензенты одобряли ИИ-рефераты в 32% случаев, означает, что эти доклады действительно хороши и могут обмануть неподготовленного проверяющего.
ChatGPT уже не раз подвергался запретам и блокировкам. Например, недавно учёным запретили использовать ChatGPT для написания статей . Руководители Международной конференции по машинному обучению (ICML) в целях защиты от плагиата запретили приём статей, созданных с помощью ИИ.
Также из-за опасений по поводу негативного воздействия на успеваемость учащихся, а также из соображений безопасности и точности контента доступ к ChatGPT был заблокирован в сетях и на устройствах государственных школ Нью-Йорка.
Источник: securitylab
