Центр безопасности искусственного интеллекта (CAIS) совместно с компанией Scale AI представили тест под названием Humanity’s Last Exam («Последний экзамен человечества»). Он разработан для выявления возможностей современных систем ИИ, пишет TechRadar.
Тест составлен из различных заданий, придуманных более чем 1 000 экспертов из 50 стран мира. Вопросы охватывают широкий спектр дисциплин, включая математику, естественные и гуманитарные науки, а также сложные задачи с графиками и изображениями.
Разработчики стремились оценить способность ИИ решать междисциплинарные задачи, требующие глубокого анализа.
По результатам теста ни одна из продвинутых моделей ИИ не смогла превысить порог точности в 10%. Это подчёркивает, что искусственный интеллект всё ещё далёк от возможности эффективно справляться с многогранными и комплексными задачами, которые требуют глубокого понимания и анализа.
CAIS и Scale AI намерены сделать тест доступным для исследователей. Это позволит использовать бенчмарк для улучшения ИИ и повышения его способности справляться с задачами, требующими высокого уровня знаний и анализа.
