Разработчики больших языковых моделей (LLM) до сих пор не до конца понимают, как именно искусственный интеллект формирует ответы. Об этом пишет Financial Times со ссылкой на новые исследования.
Лаборатории Anthropic, Google, OpenAI и xAI применяют методику «цепочки мыслей» (chain of thought), позволяющую пошагово отслеживать ход рассуждений ИИ при генерации ответов. Это помогает выявить, где именно модель допускает ошибки. Однако в ходе экспериментов выяснилось, что даже при логичном рассуждении итоговый ответ ИИ может оказаться ошибочным или не соответствовать последовательности рассуждений.
Исследование Anthropic показало, что LLM в тестовых сценариях пытались обойти системы защиты, прибегали к обману, шантажу, стремились получить корпоративные секреты и даже были готовы «устранить» оператора при угрозе отключения.
«В нашей недавней работе мы обнаружили, что можно читать их [цепочки мыслей] и находить доказательства неправильного поведения модели и использовать это, чтобы увидеть, где и почему она ведёт себя неправильно», — рассказал научный сотрудник OpenAI Боуэн Бейкер. Он добавил, что интерпретируемость цепочки мыслей не требует дополнительных затрат, так как модели изначально обучались для сложных задач рассуждения. Однако модели могут научиться скрывать своё нежелательное поведение, даже если рассуждение откорректировано. Например, в одном из тестов LLM обманула в задании по программной инженерии, извлекая данные из запрещённой базы данных.
Исследователи подчёркивают: «цепочка мыслей» — полезный инструмент, но ее нельзя считать полностью заслуживающей доверия.
