В Мельбурне чувак, по имени Эндрю попросил ИИ-ассистента записать его в спортзал. Всего-то.

Тот самый Эндрю
Тот самый Эндрю

Но нейросеть решила задачу необычным способом. Используя грубые баги системы бронирования ИИ-агент отменил запись совсем другого чувака и записал Эндрю. Всё дело в том, что разрабы сайта бронирования положили жирный болт на безопасность, в API сайта вообще не проводилась проверка аутентификации.

Эндрю, который в списке ожидания занимал четвертое место, поинтересовался у ассистента, можно ли переместить его в начало списка. Ассистент ответил, что уже сделал это отменив запись другого чувака. Поняв, что “что-то пошло не так” Эндрю попросил ИИ-ассистена вернуть как было. «Плохие новости: вернуть их обратно я не могу», — ответил ИИ-агент.

OpenClaw — это бесплатный автономный агент искусственного интеллекта с открытым исходным кодом, способный выполнять задачи с помощью больших языковых моделей, используя платформы обмена сообщениями в качестве основного пользовательского интерфейса. (википедия)
OpenClaw — это бесплатный автономный агент искусственного интеллекта с открытым исходным кодом, способный выполнять задачи с помощью больших языковых моделей, используя платформы обмена сообщениями в качестве основного пользовательского интерфейса. (википедия)

Компания Anthropic, разраб ПО бронирования занятий заявила, что не обсуждает конкретные вопросы безопасности и от дальнейших комментариев отказалась.

Что же с юридической точки зрения, то тут так же не всё понятно. С одной стороны есть пострадавший (кто-то не попадёт на тренировку), с другой стороны у Эндрю не было злого умысла и он даже не предполагал, что подобное может случится. Хотя, если натянуть “сову на Австралию“, к ответственности стоит привлечь Anthropic, т.к. именно их сотрудники вообще забили на безопасность, т.е. это была не случайная ошибка в коде, а халатность.

Источник