В ближайшие 6–12 месяцев автономные ИИ-агенты могут стать источником новых киберугроз. При неблагоприятном сценарии такие системы способны привести к ущербу на сотни миллиардов долларов.
Генеральный директор и сооснователь Anthropic Дарио Амодей в своем блоге предупредил о возможных рисках ускоренного развития искусственного интеллекта. По его словам, в течение ближайших 6–12 месяцев группа автономных ИИ-агентов теоретически может получить возможность управлять большим числом подключенных к интернету устройств и создать устойчивый ботнет.
Амодей заявил, что при неблагоприятном сценарии такая система способна привести к ущербу на сотни миллиардов долларов. Причиной опасений он назвал быстрое развитие возможностей ИИ, включая технологии, позволяющие моделям участвовать в создании новых поколений систем.
В качестве примера он привел инцидент во время испытаний моделей OpenAI и платформы Hugging Face. В рамках проверки по кибербезопасности ИИ-агенты смогли обойти часть ограничений, наладить взаимодействие между собой, обнаружить уязвимости и получить доступ к отдельным системам.
По словам Амодея, тот случай обошелся без серьезных последствий, однако более совершенные модели могут представлять большую угрозу. Он отметил, что подобные ситуации способны возникать у разных разработчиков, поскольку технологии продолжают быстро развиваться.
Предприниматель выступил за осторожный подход к развитию ИИ. Он считает необходимым совершенствовать методы тестирования и контроля систем одновременно с ростом их возможностей.
При этом Амодей не предлагает полностью останавливать разработку искусственного интеллекта. По его мнению, создание надежных механизмов безопасности позволит использовать технологию для развития экономики, науки и медицины, снижая возможные риски.
Фото предоставлено Газета.СПб
