Исследователи обнаружили, что студенты лучше сдали экзамены по бухгалтерскому учету, чем ChatGPT, чат-бот OpenAI.

Несмотря на это, они сказали, что производительность ChatGPT была «впечатляющей» и что это «изменил правила игры, которое изменит то, как все преподают и учатся — к лучшему». Исследователи из Университета Бригама Янга (BYU), США, и 186 других университетов хотели узнать, как технология OpenAI покажет себя на экзаменах по бухгалтерскому учету. Свои выводы они опубликовали в журнале Issues in Accounting Education.

На экзамене Researchers Accounting студенты набрали в среднем 76,7% по сравнению с 47,4% для ChatGPT.

В то время как в 11,3% вопросов ChatGPT набрал больше среднего балла по учащимся, особенно хорошо по бухгалтерским информационным системам (AIS) и аудиту, ИИ-бот показал худшие результаты по фискальным, финансовым и управленческим оценкам. Исследователи считают, что это могло быть связано с тем, что ChatGPT боролся с математическими процессами, необходимыми для последнего типа.

Также было обнаружено, что ИИ-бот, который использует машинное обучение для генерации текста на естественном языке, лучше справляется с вопросами «верно/неверно» (68,7% правильных ответов) и вопросами с несколькими вариантами ответов (59,5%), но борется с короткими ответами. отвечать на вопросы (от 28,7% до 39,1%).

В целом исследователи заявили, что ChatGPT сложнее отвечать на вопросы более высокого порядка. На самом деле, иногда бывает так, что ChatGPT предоставляет авторитетные письменные описания неправильных ответов или отвечает на один и тот же вопрос по-разному.

Они также обнаружили, что ChatGPT часто давал объяснения своим ответам, даже если они были неверными. В других случаях он выбирал неправильный ответ с несколькими вариантами ответов, несмотря на точные описания.

Исследователи в основном отмечали, что ChatGPT иногда что-то выдумывал. Например, при предоставлении ссылки он создал реальную ссылку, которая была полностью сфабрикована. Работы, а иногда и авторов, даже не существовало.

ЧИТАТЬ   Sony расширяет производство датчиков изображения в Китае и новых сегментах рынка

Также было замечено, что бот совершает глупые математические ошибки, такие как сложение двух чисел в задаче на вычитание или неправильное деление чисел.

Желая внести свой вклад в продолжающиеся интенсивные дебаты о том, как такие модели, как ChatGPT, следует рассматривать в образовании, ведущий автор исследования Дэвид Вуд, профессор бухгалтерского учета в УБЯ, решил нанять как можно больше профессоров, чтобы увидеть, как ИИ справляется с реальными задачами. студенты бухгалтерского колледжа. .

Его предложение по набору соавторов в социальных сетях взорвалось: 327 соавторов из 186 учебных заведений в 14 странах приняли участие в исследовании, ответив на 25 181 экзаменационный вопрос по бухгалтерскому учету.

Они также наняли студентов УБЯ, чтобы они отправили в ChatGPT еще 2268 тестовых вопросов по учебникам. Вопросы охватывали АИС, аудит, финансовый учет, управленческий учет и налогообложение и различались по сложности и типу (верно/неверно, множественный выбор, краткий ответ).


Xiaomi выпустила свой флагманский смартфон Xiaomi 13 Ultra, ориентированный на камеру, а Apple открыла свои первые магазины в Индии на этой неделе. Мы обсуждаем эти события, а также другие слухи о смартфонах и многое другое на Orbital, подкасте Gadgets 360. Orbital доступен по адресу Спотифай, Гаана, ДжиоСаавн, Подкасты Google, подкаст Apple, Амазонская музыка и везде, где вы получаете свои подкасты.
Партнерские ссылки могут создаваться автоматически — подробности см. в нашем заявлении об этике.

Source

От admin