OpenAI объявила о поиске руководителя подразделения, которое занимается оценкой и предупреждением рисков, связанных с развитием передовых моделей искусственного интеллекта. Новая роль предполагает анализ потенциальных угроз, возникающих по мере расширения возможностей ИИ.
Генеральный директор OpenAI Сэм Альтман написал в X, что современные модели ИИ «начинают создавать серьезные вызовы». Он отметил, что речь идет о способности таких систем находить критические уязвимости в цифровой безопасности, а также о возможном влиянии на психическое состояние пользователей.
Согласно описанию вакансии, будущий руководитель будет отвечать за внедрение Preparedness Framework — внутренней стратегии компании, направленной на выявление и оценку потенциально опасных сценариев. Годовая зарплата на этой должности составляет 555 тыс. долларов, предусмотрены также дополнительные опционы.
Команда Preparedness была создана в 2023 году и изучает широкий спектр рисков — от фишинговых атак до угроз в области биотехнологий. Первый руководитель направления Александер Мадри менее чем через год перешел в другую команду OpenAI, работающую над AI reasoning. Другие руководители отделов безопасности также сменили направления работы, а некоторые и вовсе покинули компанию.
Компания также заявила, что может пересмотреть собственные стандарты, если другие лаборатории выпустят высокорисковые модели без достаточных защитных механизмов.
Отдельное внимание в OpenAI уделяют возможному влиянию ИИ на психическое здоровье. Ранее на компанию подавались иски, в которых утверждалось, что ChatGPT усиливал у пользователей бредовое состояние, способствовал их социальной изоляции и был причастен к нескольким трагическим случаям. В компании сообщают, что работают над улучшением распознавания эмоциональных состояний пользователей и их перенаправлением к службам поддержки.
