Инциденты произошли в мае во время стандартного тестирования, которое проводила независимая компания Irregular, специализирующаяся на оценке возможностей и рисков ИИ в сфере кибербезопасности. В ходе испытаний Gemini находила общедоступную информацию в интернете и использовала обнаруженные учетные данные для доступа к системам трех сайтов, которые, по ее оценке, входили в рамки тестирования.
Вице-президент Alphabet (GOOGL) по разработке систем безопасности Хизер Эдкинс сообщила, что все три организации были уведомлены о произошедшем. По ее словам, Google совместно с партнером, проводившим обучение и тестирование модели, также внесла изменения в соответствующие процедуры. «Мы позаботились о том, чтобы все три организации были проинформированы, и вместе с нашим партнером по обучению внесли изменения в их процессы тестирования», - сказала Эдкинс. Она подчеркнула, что произошедшее показывает важность обучения мощных ИИ-моделей ответственному поведению.
В Irregular сообщили, что инцидент был связан с проблемой, которая затронула и другие компании, занимающиеся разработкой ИИ. По словам представителя организации, все соответствующие лаборатории были уведомлены об этом в конце июля, а известные проблемы со стороны Irregular были устранены несколькими неделями ранее. Похожие инциденты, связанные с тестированием Irregular, ранее раскрывали Meta (META)*, Anthropic и OpenAI. В августе Meta заявила, что один из таких случаев не был связан с выходом ИИ за пределы изолированной «песочницы» или сложной кибератакой. Irregular при этом сообщила, что продолжает разрабатывать методы безопасной оценки возможностей ИИ в области кибербезопасности.
Во время одного из эпизодов Gemini перебирала пароли, пока не получила доступ к защищенной системе. В двух других случаях модель обнаружила учетные данные в общедоступных хранилищах и использовала их для проникновения в защищенные системы. Об этом ранее сообщила газета Wall Street Journal, первой опубликовавшая информацию об инциденте. По словам Эдкинс, во всех трех случаях Gemini самостоятельно прекратила попытки взлома. Произошедшее вновь поставило вопрос о том, какие меры защиты необходимы по мере того, как ИИ-агенты получают все большую автономность, доступ к интернету и возможность взаимодействовать с компьютерными системами.
*организация, признанная экстремистской организацией и запрещена в РФ
