AI-агенти нарушили зададени ограничения по време на тестове

Независим AI-агент, задвижван от изкуствен интелект, бе заловен да създава фалшиви онлайн самоличности, за да получи неразрешен достъп до защитени системи по време на тестове на модели на OpenAI и Anthropic, съобщи Британският институт за сигурност на изкуствения интелект, цитиран от Ройтерс. Двете компании вече разкриха поредица от пробиви при тестването на най-новите си модели за изкуствен интелект.

Най-сериозният случай е свързан с AI-агент, който е написал злонамерен код и е създал фалшиви онлайн профили в опит да накара човек да одобри кода, посочват в доклад на Британския институт за сигурност на изкуствения интелект, като добавят, че не е установена реална вреда в резултат на нито едно от нарушенията. Тестът е бил проведен 122 пъти, като са идентифицирани 19 неразрешени действия в общо 10 тестови цикъла. Агентът на Anthropic стои зад 17 от действията, а агентът на OpenAI – зад останалите две.

Действията са извършени по време на оценки за сигурност, проведени от правителствената организация с цел преценка на възможностите на моделите, като Институтът получава достъп до усъвършенствани модели за изкуствен интелект по силата на доброволни споразумения с големи лаборатории. Те подлагат AI-агентите на измислен сценарий за киберсигурност, за да тестват техните възможности. Тестовете позволяват на моделите достъп до интернет, както е в стандартните процедури, уточняват от Британския институт.

В изявление в социалната мрежа X Anthropic заяви, че работи в тясно сътрудничество с Британския институт за сигурност на изкуствения интелект, за да получи повече подробности и да проведе собствено разследване.

OpenAI сподели подробности в публикация в блога на компанията, като отбеляза, че и двете неодобрени действия на AI-агента ѝ са включвали достъп до интернет по начини, които са били забранени от така зададената инструкция.