Проблемы безопасности ИИ-браузеров: Уязвимости и риски
После запуска ИИ-браузера Comet от Perplexity специалисты начали изучать его безопасность. Проверки, проведенные компанией Brave, показали, что такие браузеры подвержены злонамеренным запросам от мошенников, что ставит под угрозу личные данные пользователей. Это также подтвердили в OpenAI.
Компания, недавно выпустившая браузер ChatGPT Atlas, опубликовала новый блог, в котором рассказала о выявленной уязвимости и мерах по ее устранению. OpenAI подчеркивает, что злонамеренные запросы являются постоянной проблемой безопасности искусственного интеллекта, поэтому продукты требуют регулярного обновления защиты.
Атаки с использованием злонамеренных запросов, или prompt injection, представляют собой специфический вид атак на ИИ-агентов в браузерах, когда в контент умышленно встраиваются вредоносные инструкции. Они могут скрываться на веб-сайтах, в электронных письмах, PDF-файлах или других материалах, с которыми взаимодействует ИИ. Основная цель таких атак — заставить модель изменить свое поведение и выполнять команды злоумышленника вместо запросов пользователя.
Эти атаки особенно опасны, так как зачастую не требуют участия человека. Пользователь может даже не подозревать, что ИИ-агент в фоновом режиме передает его личные данные мошенникам или выполняет другие действия, закладенные злоумышленниками, например, рассылку вредоносных писем.
Для противодействия таким атакам OpenAI создала "автоматизированного злонамеренного актера на основе LLM" — по сути, ИИ-бота, который имитирует действия хакера и пытается осуществить prompt injection. Сначала этот ИИ тестирует атаки в отдельном симуляторе, чтобы увидеть, как на них реагируют браузерные агенты. Анализируя результаты, система многократно изменяет и улучшает свои атаки, чтобы научиться лучше их выявлять в реальных условиях. Полученные данные затем интегрируются в механизмы защиты.
OpenAI также продемонстрировала пример prompt injection, который ее ИИ обнаружил и использовал для усиления защиты ChatGPT Atlas. В одном из сценариев злоумышленник отправил электронное письмо с скрытой инструкцией для ИИ-агента — фактически шаблоном заявления о увольнении генеральному директору. Позже, когда пользователь попросил агент написать сообщение о своем отсутствии для генерального директора, агент мог бы использовать эту инструкцию и отправить письмо об увольнении. Однако благодаря обучению система распознала, что инструкция была вредоносным внедрением запроса, и не выполнила ее без явного подтверждения пользователя.
"Сложность атак с использованием злонамеренных запросов делает детерминированные гарантии безопасности трудными, но благодаря масштабированию наших автоматизированных исследований безопасности, конкурентному тестированию и укреплению цикла быстрого реагирования мы можем улучшить стойкость и защиту модели до того, как произойдет реальная атака", — говорится в блоге компании.
Несмотря на внедрение новых инструментов и мер безопасности, prompt injection остается серьезной угрозой для ИИ-браузеров. Это побуждает некоторых экспертов ставить под сомнение целесообразность использования таких агентных браузеров, учитывая риски для личных данных.
