Чат-бот ChatGPT, разработанный американской компанией OpenAI, показал максимальный результат по девяти дисциплинам на вступительном экзамене в японские университеты. Об этом говорится в отчёте компании LifePrompt, которая провела сравнительное тестирование систем искусственного интеллекта.
В исследовании участвовали три ИИ-модели — ChatGPT, Gemini и Claude Opus. Экзамен охватывал 15 предметов.
По итогам проверки ChatGPT получил высший балл по девяти дисциплинам, а средняя точность его ответов составила 97%. Наилучшие результаты были зафиксированы по математике, информатике, химии, физике, основам биологии, а также по направлениям «политика» и «экономика».
Модель Claude Opus, разработанная компанией Anthropic, показала максимальный результат по трём предметам. ИИ Gemini от Google справился на высший балл лишь с двумя дисциплинами.
Самый низкий показатель ChatGPT был зафиксирован по японскому языку — 90% правильных ответов. Исследователи объясняют это сложностями при анализе литературных текстов, в частности при интерпретации эмоциональных состояний персонажей и мотивации их поступков.
Компания LifePrompt проводит подобные эксперименты с экзаменационными заданиями уже четвёртый год. В 2024 году ChatGPT в среднем правильно отвечал на 66% вопросов. Спустя год этот показатель вырос до 91%, что говорит о заметном прогрессе свидетельствует о заметном улучшении качества работы модели.
