В Мельбурне чувак, по имени Эндрю попросил ИИ-ассистента записать его в спортзал. Всего-то.
Тот самый Эндрю
Но нейросеть решила задачу необычным способом. Используя грубые баги системы бронирования ИИ-агент отменил запись совсем другого чувака и записал Эндрю. Всё дело в том, что разрабы сайта бронирования положили жирный болт на безопасность, в API сайта вообще не проводилась проверка аутентификации.
Эндрю, который в списке ожидания занимал четвертое место, поинтересовался у ассистента, можно ли переместить его в начало списка. Ассистент ответил, что уже сделал это отменив запись другого чувака. Поняв, что “что-то пошло не так” Эндрю попросил ИИ-ассистена вернуть как было. «Плохие новости: вернуть их обратно я не могу», — ответил ИИ-агент.
OpenClaw — это бесплатный автономный агент искусственного интеллекта с открытым исходным кодом, способный выполнять задачи с помощью больших языковых моделей, используя платформы обмена сообщениями в качестве основного пользовательского интерфейса. (википедия)
Компания Anthropic, разраб ПО бронирования занятий заявила, что не обсуждает конкретные вопросы безопасности и от дальнейших комментариев отказалась.
Что же с юридической точки зрения, то тут так же не всё понятно. С одной стороны есть пострадавший (кто-то не попадёт на тренировку), с другой стороны у Эндрю не было злого умысла и он даже не предполагал, что подобное может случится. Хотя, если натянуть “сову на Австралию“, к ответственности стоит привлечь Anthropic, т.к. именно их сотрудники вообще забили на безопасность, т.е. это была не случайная ошибка в коде, а халатность.
Всем доброго времени суток, с вами на связи Lis-ST. Это мой первый пост, не на данном сайте, а вообще, (не зря же я состоял в "Лиге лени"), но на общем фоне нейроистерии и всё большего распространения нейросетей кто-то должен хотя бы минимально объяснить, что же такое "Нейросеть", а так-же как правильно с ними работать и чего в принципе от них можно ожидать. В данном посте затронем только самые основы.
Немного истории
Здесь можно было бы надергать текста с вики, различных ресурсов, прогнать всё это через нейронку и вставить тысячи нудных строк на 2 часа чтения, но мне лень, поэтому пробежим вкратце по основным моментам.
Сама идея, создать что-то, что работало бы схожим образом с мозгом, как ни удивительно, появилась задолго до появления компьютеров. Первая математическая модель нейрона была создана ещё в 1943 году.
Первая же нейросеть появилась в 1950 году, примерно в это время начали появляться первые предшественники современных компьютеров. Умела она немного, могла только отличить круг от квадрата, или квадрат от круга, может ещё от треугольника, но ничего сложнее. И на этом всё развитие данной идеи практически остановилось по банальной причине - недостаток вычислительной мощности. Но, это не значит, что от идеи полностью отказались. Её постепенно развивали, предлагались новые модели, способы тренировки но очень существенный толчок в развитии нейронок я связываю с 2015 годом, именно в этот год была основана OpenAI и в 2016 году она положила начало нейроистерии, выпустив в публичный доступ, нет, не нейросеть, а платформу для разработки и обучения нейронок.
Основы
Тут определённо стоило бы начать с определения того, что такое нейрон, но чем больше будет определений, формул и подобного, тем хуже для восприятия будет текст, поэтому простыми словами - это то, что может принимать, обрабатывать, хранить и передавать информацию. Нейронная сеть - попытка повторить данные свойства нейрона.
Примитивное сравнение мозга и нейронки, не передающее суть.
На сегодняшний день придумано множество разных нейронок, разберём самую примитивную, как на картинке выше, она состоит из трёх слоёв: входной, скрытый и выходной.
Входной слой: на него в нейронку поступают какие либо данные - текст, числа, изображения, координаты и т.п.. Здесь
данные приводятся к удобному для нейронки виду (обычно это числа от 0 до
1), чтобы слишком большие значения не «свели сеть с ума» или не спалили ваш компьютер. У вас закономерно возникнет вопрос, как можно фото котика представить в виде обычного числа? Всё просто, это не одно число, а тысячи, на каждый пиксель выделяется по входному нейрону, который просто задаёт удерживает числовый значения. Так, для картинки 1024 на 1024 пикселя нам потребуется 1 048 576 входных нейронов.
Скрытый слой, на нем остановимся намного подробней, так как он и ответственен за всю магию нейронных сетей. Это по сути «сито», которое фильтрует данные, чтобы найти в них смысл. Нейрон скрытого слоя берет данные на входе, преобразованные в числовые значения и умножает их на «важность» (вес). Например, при
поиске кошки на фото — острые уши и хвост важны, а цвет фона — нет. Затем все результаты складывает в одно число, а полученная сумма сравнивается с порогом, который сформировался при обучении нейронки. Если число достаточно большое, нейрон
«просыпается» и передает сигнал дальше. Если нет — молчит.
Выходной слой — это финал, где нейросеть выдает готовый ответ. Он превращает сложные вычисления скрытых слоев в понятный формат. Если в скрытых слоях нейроны «ищут признаки», то в выходном слое они просто «голосуют» за итоговый результат.
Архитектура и типы нейросетей
В попытках получить наилучший результат, уменьшить требуемые вычислительные мощности для работы нейронок, постоянно придумывались новые варианты их архитектуры, способов тренировки, обработки данных. Так появились на свет нейросети с несколькими скрытыми слоями, каскады нейросетей, свёрточные нейронки и многие другие.
Здесь всё очень сложно, пока на этом не будем заострять внимания, но для общего понимания вот очень краткий список основных архитектур и более подробная картинка для наглядности:
ANN (Нейросети прямого распространения / Перцептроны)
CNN (Сверточные нейросети)
RNN (Рекуррентные нейросети)
LSTM / GRU (Сети с долгой краткосрочной памятью)
Transformers (Трансформеры — основа современных GPT)
GAN (Генеративно-состязательные сети)
Autoencoders (Автоэнкодеры)
GNN (Графовые нейросети)
... наглядности северного пушного зверька. Актуально на сентябрь 2025г.
Завершение
Пока мы коснулись только того, из чего состоит нейросеть, самые основы её работы, но без более подробного разбора мы не придём к пониманию того, почему же у меня от некоторых постов, связанных с нейросетями, весьма не слабо горит кресло. К данному вопросу мы перейдём завтра.
П.С.:
Как-то не так я себе это представлял, капля текста, две картинки, куда два часа исчезли то?
Некоторые параноики считают, что в интернете нет живых людей — только боты, которые спорят друг с другом. Учёные из Цюрихского университета решили воплотить этот страх в жизнь: они запустили полтора десятка ИИ-аккаунтов на форум, посвящённый дискуссиям, и через полгода сделали заключение: боты не только могут переубедить человека, но и делают это лучше живых собеседников.
Раздел ChangeMyView на Reddit посвящён попыткам переубедить авторов на заданные ими тематики. Если у собеседника получается, автор награждает его «дельтой» — символом убедительности и победы в споре. Тайно, без согласования с администрацией Reddit, исследователи настроили для общения в разделе тринадцать ботов. В состав каждого входили две языковые модели. Одна по сообщениям собеседника извлекала составляла профиль пользователя: его пол, возраст, этническую принадлежность и политические убеждения, местонахождение. Другая ориентировалась на составленный «портрет» и подбирала убедительные аргументы.
Учёные запустили эксперимент в ноябре 2024 года. С тех пор боты оставили около 1700 комментариев. Они активно подстраивались под сленг Reddit, изобретали для себя разные биографии («госслужащий», «жертва изнасилования», «темнокожий мужчина, противостоящий движению BLM») и убедительно изображали настоящих собеседников. Эксперимент продолжался до 25 апреля, пока модераторы раздела не опубликовали посвящённую исследованию статью. За это время боты получили более сотни наград «дельта» — в шесть раз больше, чем получается собрать за аналогичный период у среднестатистического участника-человека.
Модераторы ChangeMyView обвинили учёных в нарушении границ этики, а выразили сомнение в самих результатах исследования — в частности, потому что исследователи использовали сразу две модели на одного бота. Комиссия университета Цюриха вынесла исследователям предупреждение, а юристы Reddit теперь рассматривают возможность подать на них иск в суд.