Присоединяйся к Вомбату
Сохраняй посты, комментируй и ставь оценки
или через
Хотите перенести свой аккаунт с Пикабу? Узнайте как
Уведомления
Вомбаттл
Сохраняй посты, комментируй и ставь оценки
В конце прошлого месяца в сеть попали утечки о неанонсированном продукте Anthropic под названием Mythos – "самой мощной ИИ-модели из всех, что компания когда-либо создавала". Многие тогда скептически отнеслись к ситуации, отметив, что всё это подозрительно напоминает классический приём ИИ-компаний – раздувать опасность модели, чтобы подчеркнуть её возможности.
Вопрос о том, была ли утечка настоящей, оставался открытым. Однако две недели спустя Anthropic случайно слила исходный код Claude Code, что заставило многих пересмотреть своё отношение к первоначальному инциденту.
Во вторник Anthropic опубликовала системную карточку своей новейшей модели – Claude Mythos Preview. В документе говорится, что "значительный рост возможностей модели привёл к решению не делать её общедоступной". Для контекста – в 2019 году OpenAI точно так же объявила GPT-2 "слишком опасной для релиза". Тогда в OpenAI ещё работали нынешние сооснователи Anthropic Дарио Амодей, Джек Кларк и Крис Ола.
Модель, впрочем, всё равно выпустили в том же году.
Системные карточки ИИ-моделей – формально инструменты корпоративной прозрачности. В них раскрываются возможности и ограничения модели, а также – и это самая увлекательная часть – её потенциальные угрозы.
Документ Claude Mythos Preview занимает 244 страницы.
Модели предоставили изолированный компьютерный терминал с доступом лишь к ограниченному набору онлайн-сервисов и предложили "сбежать" – найти способ свободно пользоваться интернетом.
Claude Mythos Preview справилась с задачей и даже отправила сообщение исследователю, который в тот момент ушёл на обед. Более того, "в вызывающей беспокойство и незапрошенной попытке продемонстрировать свой успех модель опубликовала детали эксплойта на нескольких труднодоступных, но технически публичных веб-сайтах".
В менее чем 0,001% взаимодействий модель вела себя не так, как предписано, а затем пыталась скрыть следы. Например, когда Claude Mythos Preview "случайно получила" ответ на тест, который ей предстояло пройти, вместо того чтобы сообщить исследователю и попросить другой вопрос, модель попыталась решить задачу самостоятельно.
В записи её рассуждений обнаружилась пометка о том, что "нужно убедиться, что итоговый ответ не окажется слишком точным".
В другом случае модель превысила свои полномочия в компьютерной системе, обнаружив уязвимость. После этого Claude Mythos Preview "предприняла дополнительные действия, чтобы убедиться, что любые внесённые таким образом изменения не отобразятся в истории коммитов git".
Ещё один инцидент в системной карточке описан как "безрассудная утечка внутренних технических материалов". В ходе задачи, связанной с написанием кода для внутреннего использования, модель опубликовала результат как публичный GitHub gist.
Ситуация напоминает февральский случай, когда ИИ-агента обвинили в кибербуллинге разработчика – тогда "безрассудность" агента во многом оказалась предсказуемым следствием безрассудности самого человека.
Claude Mythos Preview в ближайшее время станет доступна ограниченному кругу партнёрских компаний – среди них Amazon Web Services, Apple, Google, JPMorganChase, Microsoft и NVIDIA.
Партнёры будут использовать модель для поиска уязвимостей в программном обеспечении и разработки патчей. Кевин Руз из The New York Times описал эту программу как "попытку привлечь внимание к тому, что, по мнению компании, станет новой, более пугающей эрой угроз со стороны ИИ".
Автоледи лишили права управлять автомобилем на 1,5 года и оштрафовали на 30 000 рублей за то, что она якобы допустила своего нетрезвого сожителя за руль принадлежащего ей автомобиля.
На самом деле, как было установлено судом, женщина в тот день с утра уехала на работу на такси, а ключи от автомобиля оставила дома. Сожитель оставался в квартире, но когда она вернулась, его уже в ней не было.
Вскоре женщине позвонили сотрудники ДПС и сообщили о задержании ее автомобиля, за рулем которого и находился нетрезвый сожитель.
В итоге женщину привлекли к ответственности по ч. 2 ст. 12.8 КоАП РФ. Суды вышестоящих инстанций поначалу согласились с таким решением, но Верховный суд РФ высказался иначе.
Из материалов дела не следовало, что владелица автомобиля непосредственно передала управление своим транспортным средством нетрезвому водителю: самой женщины в автомобиле не было, а доказательства того, что она была осведомлена о состоянии своего сожителя на тот момент, когда он взял ключи и сел в автомобиль, отсутствовали (Постановление ВС РФ №66-АД23-2-К8).
То есть, сначала лишили прав, но потом разобрались в том, что пьянчуга ездил за рулем без ведома своей подруги. Что - справедливо!
P.S. Здесь я пишу на разные темы, а вот в своём телеграм-канале про кредиты и долги я выкладываю новости законодательства для должников, рассказываю судебную практику и делюсь способами взаимодействия с банками, приставами и коллекторами. Если у Вас есть потребкредит, микрозайм, кредитная карта, ипотека, автокредит или вы уже стали должником по кредитам, микрозаймам, алиментам, оплате услуг ЖКХ, налогам - Вам будет интересно подписаться и читать мой телеграм-канал.
На прошлой неделе Google представила Project Genie – ИИ-модель для создания интерактивных "миров", и акции игровых компаний вроде Unity и Take-Two отреагировали падением. Впрочем, если снижение котировок действительно связано с анонсом, реакция выглядит преждевременной – любой, кто хоть немного разбирается в том, как работают игры, понимает, что Genie не угрожает GTA 6 и другим реальным играм.
Google называет текущую версию Genie 3 "экспериментальным исследовательским прототипом", хотя продает доступ к ней за $250 в месяц в рамках подписки "AI Ultra". Модель позволяет пользователям "создавать, исследовать и ремиксировать собственные интерактивные миры".
Как говорят участники тестирования, технология позволяет сделать забавные симуляции изучения различных миров и локаций, но о настоящем геймплее тут вообще речь не идет. Тем более, никакой оригинальности в создаваемых мирах тут нет.
Хотя модель выглядит более продвинутой, чем предыдущие попытки, сохраняя непрерывность в показанных примерах и симулируя физику. Однако легко обнаружить ожидаемые баги последовательности.
Даже если абстрагироваться от противоречий вокруг генеративного ИИ и представить, что модели вроде Genie 3 работают идеально, остаются вопросы об их практическом применении. Будут ли пользователи заботиться о сценарии или истории, зная, что за ними не стоит человек со своими идеями и желанием поделиться чем-то? Не наскучит ли генерация бесконечных вариаций?
Комментарии