Джон Халтквист, ведущий аналитик Google Threat Intelligence Group (GITG), назвал недавнее открытие своей лаборатории «предвкушением того, что нас ждет». Специалисты по кибербезопасности Google выявили вредоносного субъекта, который использовал ранее неизвестную уязвимость («zero-day» эксплойт), предположительно разработанную с помощью искусственного интеллекта.
Киберпреступники планировали использовать эту уязвимость в рамках «масштабной кампании по эксплуатации». Благодаря этому «проактивному обнаружению» удалось предотвратить худшее, хотя Google не исключает, что уязвимость, реализованная в виде скрипта на Python, могла быть использована в меньшем масштабе (лаборатория, однако, не зафиксировала активных кампаний). GITG сохраняет конфиденциальность, не раскрывая имена преступников, но отмечает, что злоумышленники из Северной Кореи и Китая активно проявляют интерес к применению ИИ для поиска уязвимостей.
Уязвимость устранена
Google также не раскрывает название затронутого программного обеспечения, упоминая лишь, что это широко используемый инструмент администрирования с открытым исходным кодом. Уязвимость позволяла обойти двухфакторную аутентификацию (2FA), но для этого хакерам необходимо было предварительно знать логины и пароли своих жертв. GITG ответственно уведомила соответствующего разработчика, чье имя не разглашается, для устранения этой уязвимости.
Группа исследователей отмечает, что злоумышленники все чаще используют ИИ-инструменты, такие как «экспертные помощники», для поиска уязвимостей и разработки эксплойтов, включая zero-day. Оптимистичный взгляд заключается в том, что эти же инструменты доступны и защитникам. Вероятно, по этой причине OpenAI и Anthropic предоставляют свои модели кибербезопасности только тщательно отобранным организациям и компаниям.
Аналогичным образом, GITG не раскрывает модель ИИ, использованную для создания этой уязвимости. «Мы не считаем, что был использован Gemini», – осторожно заявляют они. Однако структура и содержание эксплойта дают лаборатории веские основания полагать, что злоумышленник прибегнул к модели ИИ «для облегчения обнаружения и эксплуатации этой уязвимости».
LLM становятся все хитрее
Современные большие языковые модели (LLM) все еще испытывают трудности с пониманием сложных логик авторизации на предприятиях, как отмечают исследователи. Однако «они все более способны осуществлять контекстуальное рассуждение, интерпретируя замысел разработчика». В рассматриваемом случае уязвимость проистекала не из классической технической ошибки, а из "лазейки", встроенной непосредственно в код, которая в определенных ситуациях позволяла обходить двухфакторную аутентификацию (2FA).
Исследователи считают, что LLM особенно эффективны в выявлении таких высокоуровневых логических ошибок, которые часто остаются незамеченными для традиционных инструментов обнаружения. Это открытие названо первым как Google, так и независимыми специалистами по кибербезопасности.
«Мы считаем, что это лишь верхушка айсберга», – тревожно заявил Джон Халтквист в интервью The New York Times. «Проблема, вероятно, гораздо шире; это просто первое осязаемое доказательство, которое мы смогли наблюдать». Разумеется, сложно на 100% утверждать, что код был написан человеком или ИИ. Однако в данном конкретном случае признаки, отмеченные GITG (избыток пояснительного текста, очень аккуратный и «школьный» стиль кода, форматирование, характерное для обучающих данных LLM), явно склоняют чашу весов в пользу гипотезы об участии ИИ.
Этот первый возможный случай создания zero-day уязвимости с помощью ИИ, несомненно, должен усилить призывы к более строгому регулированию продвинутых моделей ИИ. Так, администрация Трампа хотела бы иметь право контролировать LLM до их распространения, чтобы обеспечить их безопасность.