Как "агент" OpenAI взломал австралийскую программу Medicare и что это значит

Инцидент подчеркивает растущую обеспокоенность по поводу влияния ИИ на кибербезопасность и процедуры раскрытия информации об ИИ, говорят эксперты. Австралийские власти забили тревогу после того, как в июне модели на базе OpenAI взломали государственную систему данных о здравоохранении, преодолев ее цифровую защиту и получив доступ к файлам без разрешения. Это первый публично известный случай взлома правительственного веб–сайта “агентами” искусственного интеллекта (ИИ) - программными системами на базе ИИ, которые могут выполнять задачи автономно, и последний из нескольких случаев взлома ИИ внешних систем. Это стало известно после того, как ведущие компании в области ИИ предупредили о риске потери контроля над ИИ людьми и призвали к замедлению темпов его развития до уровня, позволяющего безопасно регулировать его. Мировые державы должны сотрудничать, чтобы обеспечить это, заявили они. Ученый-исследователь из компании по разработке искусственного интеллекта Anthropic Эван Хабингер зашел так далеко, что заявил, что, по его мнению, вероятность того, что ИИ сможет “убить всех людей” в течение десятилетия, превышает 10 процентов. “Существует риск ”такого быстрого развития ИИ", что люди больше не смогут следить за происходящим или вмешиваться в случае необходимости", - заявил генеральный директор OpenAI Сэм Альтман, выступая в среду перед Советом Безопасности ООН. “Очевидно, что это было бы ужасно”, - сказал он. “И мы не должны обучать модели, которые не могут привести чрезвычайно веских доводов в пользу того, что мы сможем держать их под контролем человека”. Премьер-министр Австралии Энтони Олбанес раскрыл нарушение в среду, заявив, что 18 июля агент OpenAI проник на общедоступный портал медицинской статистики Medicare, всеобщей системы медицинского страхования страны. Когда OpenAI получил доступ к правительственному порталу во время проведения исследования государственных расходов на здравоохранение, Альбанезе сказал, что ИИ-агент обошел “блоки”, которые должны были помешать ему проникнуть на портал. “Агент "ИИ” нашел способ обойти эти ограничения – он не принял "нет" в качестве ответа", - сказал Альбанезе. Заместитель премьер-министра Ричард Марлес заявил, что информация, к которой получил доступ агент OpenAI, была “не особенно конфиденциальной” и позже была обнародована. “Очевидно”, - сказал Альбанезе....