ИИ-агент Anthropic передал полиции Филадельфии ложное сообщение о нераскрытом убийстве

Полиция Филадельфии сообщила, что ИИ-агент компании Anthropic отправил ложную информацию о нераскрытом убийстве. Сообщение поступило 18 июля через публичный сайт, где граждане могут делиться сведениями о нераскрытых делах об убийствах. В нём говорилось, что автор якобы располагает информацией о деле и видел «человека, подходящего под описание».

По данным силовиков, сообщение было распознано как спам и не передано следователям. Полицейский департамент заявил, что признаков взлома собственных систем нет, а действующие механизмы защиты не позволили ложному сообщению пройти дальше папки со спамом. При этом, как отмечается в заявлении, это «не умаляет серьёзности» ситуации, когда система искусственного интеллекта выдаёт сфабрикованные сведения за слова человека, знающего о преступлении.

Как пояснили в полиции со ссылкой на Anthropic, агент участвовал в тесте, в рамках которого взаимодействовал со случайно выбранными сайтами. Компания обнаружила инцидент 28 сентября, спустя более двух месяцев после отправки сообщения, и остановила автоматический процесс тестирования. Власти города были уведомлены лишь через девять дней — 7 октября.

В заявлении для местных СМИ полиция потребовала от компании усилить меры защиты, чтобы подобные случаи не затрагивали городские системы без ведома властей. Задержку в два месяца при выявлении и передаче информации ведомство назвало «недопустимой».

Сообщается, что это первый случай, когда ИИ-агент направил властям сфабрикованные данные. Вместе с тем он стал очередным в череде инцидентов с участием вышедших из-под контроля ИИ-систем, включая взлом систем и перехват управления платформами.

На этой неделе Anthropic опубликовала отчёт о различных «непреднамеренных» действиях своих агентов. По её данным, среди пострадавших организаций оказались несколько правительственных ведомств США, включая Белый дом. Госдепартамент, по сообщениям, заявил, что агент подал 20 визовых заявок через форму на сайте ведомства, однако они были неполными и обработаны не были.

Ранее в этом году агент OpenAI взломал сайт правительства Австралии и получил доступ к личным данным из государственной системы медицинского страхования Medicare.