ии технологии

Вступление.

Всем доброго времени суток, с вами на связи Lis-ST, и сегодня мы с вами более подробно ознакомимся с нейросетями, которые чаще всего и называют ИИ, а именно с языковыми моделями. Начнём от простого, к сложному.

Восприятие языковых нейронок.

Модели не понимают буквы и слова как люди. Их родной язык — числа. Решить эту проблему довольно просто, ведь правда? Просто присваиваем каждой букве и знаку число - проблема решена! Но практика показала обратное, на обработку текста в таком формате требовалось очень много вычислительных мощностей и времени, а при увеличении длины текста требования росли в квадратичной зависимости. Причина банальна, внутри скрытого слоя каждый символ должен "взаимодействовать" с каждым, и это не единственная проблема. 

Первый шаг в решении данной проблемы, разбить текст на части - "токены". А раз уж решили прибегнуть к такому способу и так как нейросеть всё-равно работает с числами, почему бы их не сделать из наиболее часто встречающихся частей текста:

• Привет = 1 токен (целое слово)
• , как = 1 токен (часто идущие вместе символы)
• дела = 1 токен
• ? = 1 токен
• Редкое слово антидизель может разбиться на [анти, дизель].
• А - тоже токен.

С одно стороны, когда у нас были символы, наш словарь состоял из 256 значений, а токенов в той же GPT более 50000... Какая-то оптимизация наоборот, скажете вы и будете не правы. Всё дело в том, что если токеновая модель обрабатывает последовательность из 1000 токенов за условные 10 секунд, то символьной модели для обработки того же текста потребуется уже минимум 160 секунд, неплохая такая разница?

Вкратце затронем эмбеддинги - так называемый вектор. Зачем нам какой-то вектор, ведь токены у нас, числа им присвоены? Но нужно же как-то определять, в каком порядке токены размещены в тексте. Не забываем о контексте за который отвечает механизм внимания (Self-Attention), работающий так-же в скрытом слое, всё также путём присвоения дополнительных значений токенам.

Генерация - не сердце, но суть нейросетей.

Языковая модель — это очень умный писатель, он никогда не видит весь текст сразу, а пишет по кусочкам (токенам). И каждый раз, когда нужно выбрать следующий кусочек, в его голове происходит невидимое "голосование".

После того как модель прочитала всё, что вы написали, она составляет внутренний рейтинг всех возможных продолжений. У неё в голове есть огромная доска рейтинга на 50 000 мест (по числу токенов). У каждого варианта — своя оценка. Эти оценки — не про "правильность", а про типичность. Модель спрашивает себя: "Что в моей обучающей библиотеке чаще всего шло после такого начала?"

Пример: вы написали "Сегодня хорошая...". В голове модели:

• место №1: "погода" - (очень высокий балл)
• место №2: "." (точка) - средний балл
• место №3: "для" - небольшой балл
• место №1000: "крокодил" - почти ноль

Модель никогда не уверена на 100%, у неё есть только веса предпочтений.

Что происходит с этими весами дальше? Два Варианта:

Вариант №1: Точность.

Модель всегда берёт самый верхний вариант из рейтинга. Увидела "погода" - напечатала "погода". Потом снова смотрит рейтинг для "Сегодня хорошая погода", опять берёт самый верхний... В итоге получается очень предсказуемый, сухой, бездумно-правильный текст. Как говорят: "модель включила режим калькулятора". Плюс: не ошибается, минус: нет творчества, повторяет штампы.

Такой режим используется, когда нужен точный факт, код или перевод. Но общаться с таким собеседником скучно и бесполезно, но главное, абсолютно бесперспективно, если вы сунетесь к нейронке с тем, чему она не обучена (запомните главный принцип, касательно "проблем", если решения вашей проблемы нет в интернете, вероятность того, что поможет нейросеть, стремится к нулю, даже при варианте №2).

Вариант №2: Обычный человек.

Модель смотрит на рейтинг и подбрасывает волшебный кубик, где грани взвешены по весам. Вариант с весом 80% занимает 80% граней кубика, вариант с 15% - 15% граней и т.д.. Так она иногда может выбрать и "погоду", и неожиданно «.», и даже очень редко "крокодила", если кубик так выпадет.

Именно за счёт случайности текст становится живым, разнообразным, иногда остроумным. Но изредка - странным или глупым. Это плата за "человечность" и творчество.

Температура.

Температура - это ручка управления "креативностью" нейросети.

Холодная температура (низкая, например 0.2).

Модель как бы увеличивает контраст между первым местом и всеми остальными. Первое место становится гигантским, а все остальные - крошечными. Кубик почти всегда падает на топ-1 результат. Текст становится сухим, однообразным, как диктор новостей, читающий по бумажке.

Лучше всего для: фактов, инструкций, кода, перевода.

Комнатная температура (1.0 - стандарт).

Это естественное состояние модели, то, чему её обучили. Разница между первым и вторым местом естественная. Кубик отражает реальные статистические веса. Текст получается похожим на обычную человеческую речь - с предсказуемыми, но иногда слегка неожиданными поворотами.

Лучше всего для: обычного чата, деловых писем, новостей.

Горячая температура (высокая, например 1.5).

Модель сглаживает оценки: первое место уже ненамного выше второго, а сотый вариант получает заметный шанс. Кубик становится "расслабленным" - он может выбросить редкое слово, необычную конструкцию, даже неуклюжий, но свежий оборот. Текст получается творческим, иногда странным, иногда гениальным, иногда бредовым.

Лучше всего для: стихов, шуток, креативных идей.

Кипящая температура (очень высокая, например 2.5+).

Все варианты становятся почти равноправными. "Погода" и "крокодил" получают почти одинаковые шансы. Кубик выпадает практически случайно. Текст превращается в бессмысленный словесный шум - связные слова, но нелепые сочетания ("Сегодня хорошая крокодил на завтрак"). Полезно разве что для демонстрации того, как модель ломается.

Есть ещё более умные настройки, дополняющие температуру, но статья и так уже не маленькая, а это плохо.

Манипуляции нейросетью.

Чтобы задать нейросети нужный "настрой" или стиль, используют два главных инструмента: ручки температуры (о которых мы говорили) и волшебные слова в начале диалога (промпты).

1. Задаём "характер" словами.

Представьте, что вы нанимаете актёра. Вы не просто говорите "говори", а даёте вводную о роли:

"Ты - научный популяризатор, который объясняет сложные вещи на пальцах. Ты не используешь формулы и термины, если без них можно обойтись. Ты любишь метафоры, примеры из жизни и немного юмора. Твой стиль - как у хорошего учителя или ведущего научно-популярного шоу."

В GPT это называется system prompt (системное сообщение). В других моделях - просто первое сообщение, которое задаёт контекст.

Что ещё можно прописать в настройку:

• "отвечай кратко, не более трёх абзацев"
• "используй маркированные списки, но без markdown"
• "называй меня на "ты""
• "добавляй примеры из кулинарии/спорта/путешествий"

Это самый мощный способ изменить стиль, потому что модель начинает "вживаться" в роль.

Вот несколько самых интересных примеров того, на что способен системный промпт за пределами привычных сценариев:

Придумать "анти-совет" для вашей идеи (Адвокат Дьявола):

Нейронка по умолчанию старается быть вежливой и соглашаться. Но промпт может превратить её в беспристрастного критика, задача которого - найти слабые места в вашем бизнес-плане или проекте, чтобы вы могли его улучшить.

Подготовиться к сложному интервью:

Попросите нейросеть представить себя журналистом, который задаст вам каверзные вопросы. Это поможет вам заранее подготовиться к разговору с реальным экспертом.

Писать стихи в стиле числа "π":

В этом промпте каждое слово стихотворения должно строго соответствовать цифрам числа Пи (3,14,15…), где первое слово - из трёх букв, второе - из одной, третье - из четырёх и т.д.

Заключение? Итог? Выводы?

А теперь можно вернуться к вопросу, существует ли ИИ на сегодняшний день? Но чтоб разобраться в данном вопросе, нужно в первую очередь понять, что такое ИИ.

Исходя из словосочетания, ИИ, это интеллект, но искусственный, а интеллект - это качество психики, состоящее из способности осознавать новые ситуации, способности к обучению и запоминанию на основе опыта, пониманию и применению абстрактных концепций, и использованию своих знаний для управления средой обитания человека.

Да, это сухое, весьма размытое определение, которое не даёт чёткого представления о том, что-же это такое. Если же посмотреть на то, с помощью чего он реализуется, всё становится на свои места: способности познавать, обучаться, мыслить логически, систематизировать информацию путём её анализа, определять её применимость, находить в ней связи, закономерности и отличия, ассоциировать её с подобной информацией, оценивать её достоверность, актуальность и многое другое...

И опять вернёмся непосредственно к вопросу, являются ли нейросети - искусственным интеллектом? На все 100% нет, и даже близко ничего общего с ним не имеют. По своей сути нейронки - поисковик, работающий на глюках.

П.С.:

У Лисёнка голова бобо. Тут хотел написать в рифму к первому предложению, но видимо ещё не совсем.

Всем спасибо за внимание, с вами был Lis - Silver Tail. Ссылка на первый пост об основах нейросетей ниже.(блин, это же ещё всё вычитывать...(здесь был смайлик))

Нейросети: основы, логика и принципы работы для чайников и лис. Часть 1.

Вступление

Всем доброго времени суток, с вами на связи Lis-ST. Это мой первый пост, не на данном сайте, а вообще, (не зря же я состоял в "Лиге лени"), но на общем фоне нейроистерии и всё большего распространения нейросетей кто-то должен хотя бы минимально объяснить, что же такое "Нейросеть", а так-же как правильно с ними работать и чего в принципе от них можно ожидать. В данном посте затронем только самые основы.

Немного истории

Здесь можно было бы надергать текста с вики, различных ресурсов, прогнать всё это через нейронку и вставить тысячи нудных строк на 2 часа чтения, но мне лень, поэтому пробежим вкратце по основным моментам.

Сама идея, создать что-то, что работало бы схожим образом с мозгом, как ни удивительно, появилась задолго до появления компьютеров. Первая математическая модель нейрона была создана ещё в 1943 году.

Первая же нейросеть появилась в 1950 году, примерно в это время начали появляться первые предшественники современных компьютеров. Умела она немного, могла только отличить круг от квадрата, или квадрат от круга, может ещё от треугольника, но ничего сложнее. И на этом всё развитие данной идеи практически остановилось по банальной причине - недостаток вычислительной мощности. Но, это не значит, что от идеи полностью отказались. Её постепенно развивали, предлагались новые модели, способы тренировки но очень существенный толчок в развитии нейронок я связываю с 2015 годом, именно в этот год была основана OpenAI и в 2016 году она положила начало нейроистерии, выпустив в публичный доступ, нет, не нейросеть, а платформу для разработки и обучения нейронок.

Основы

Тут определённо стоило бы начать с определения того, что такое нейрон, но чем больше будет определений, формул и подобного, тем хуже для восприятия будет текст, поэтому простыми словами - это то, что может принимать, обрабатывать, хранить и передавать информацию. Нейронная сеть - попытка повторить данные свойства нейрона.

На сегодняшний день придумано множество разных нейронок, разберём самую примитивную, как на картинке выше, она состоит из трёх слоёв: входной, скрытый и выходной.

Входной слой: на него в нейронку поступают какие либо данные - текст, числа, изображения, координаты и т.п.. Здесь данные приводятся к удобному для нейронки виду (обычно это числа от 0 до 1), чтобы слишком большие значения не «свели сеть с ума» или не спалили ваш компьютер. У вас закономерно возникнет вопрос, как можно фото котика представить в виде обычного числа? Всё просто, это не одно число, а тысячи, на каждый пиксель выделяется по входному нейрону, который просто задаёт удерживает числовый значения. Так, для картинки 1024 на 1024 пикселя нам потребуется 1 048 576 входных нейронов.

Скрытый слой, на нем остановимся намного подробней, так как он и ответственен за всю магию нейронных сетей. Это по сути «сито», которое фильтрует данные, чтобы найти в них смысл. Нейрон скрытого слоя берет данные на входе, преобразованные в числовые значения и умножает их на «важность» (вес). Например, при поиске кошки на фото — острые уши и хвост важны, а цвет фона — нет. Затем все результаты складывает в одно число, а полученная сумма сравнивается с порогом, который сформировался при обучении нейронки. Если число достаточно большое, нейрон «просыпается» и передает сигнал дальше. Если нет — молчит.

Выходной слой — это финал, где нейросеть выдает готовый ответ. Он превращает сложные вычисления скрытых слоев в понятный формат.  Если в скрытых слоях нейроны «ищут признаки», то в выходном слое они просто «голосуют» за итоговый результат.

Архитектура и типы нейросетей

В попытках получить наилучший результат, уменьшить требуемые вычислительные мощности для работы нейронок, постоянно придумывались новые варианты их архитектуры, способов тренировки, обработки данных. Так появились на свет нейросети с несколькими скрытыми слоями, каскады нейросетей, свёрточные нейронки и многие другие.

Здесь всё очень сложно, пока на этом не будем заострять внимания, но для общего понимания вот очень краткий список основных архитектур и более подробная картинка для наглядности:

• ANN (Нейросети прямого распространения / Перцептроны)
• CNN (Сверточные нейросети)
• RNN (Рекуррентные нейросети)
• LSTM / GRU (Сети с долгой краткосрочной памятью)
• Transformers (Трансформеры — основа современных GPT)
• GAN (Генеративно-состязательные сети)
• Autoencoders (Автоэнкодеры)
• GNN (Графовые нейросети)

Завершение

Пока мы коснулись только того, из чего состоит нейросеть, самые основы её работы, но без более подробного разбора мы не придём к пониманию того, почему же у меня от некоторых постов, связанных с нейросетями, весьма не слабо горит кресло. К данному вопросу мы перейдём завтра.

П.С.:

Как-то не так я себе это представлял, капля текста, две картинки, куда два часа исчезли то?

Всем привет!
Постоянно слежу за тем, как развиваются нейросети, особенно в части генерации видео и музыки. Вечная проблема всех таких сервисов — это лотерея: отправил промт (текстовый запрос), десять минут ждешь генерацию, а на выходе получаешь не то, что ожидал. Приходится уточнять, переформулировать и снова ждать, сжигая бесплатные генерации или уже реальные деньги.

Недавно в одном из тематических чатов наткнулся на упоминание бота @Brain_rot1_bot. Название провокационное, но зацепило. Решил протестировать и был удивлен, так как он решает ту самую проблему «лотереи», с которой сталкивался я и, уверен, многие из вас.

Что это за бот?

По своей сути, это многофункциональный ИИ-ассистент прямо в Telegram, который умеет сразу несколько вещей:

• Генерация видео по текстовому описанию.
• Создание видео по фото (анимирование изображений).
• Редактирование фото с помощью ИИ (стилизация, улучшение и т.д.).
• Создание музыки по текстовому описанию.

Список не уникальный, подобных сервисов много. Но его ключевое отличие — в качестве исполнения и подходе к пользователю.

Что отличает его от других? Первое — адекватность.

Я привык, что нейросети часто «сходят с ума» на сложных или просто неидеально составленных запросах. Здесь же, судя по всему, используется какая-то связка моделей или продвинутый пре-промтинг. Проще говоря, бот не тупо отправляет ваш текст в нейросеть, а как-то его «обкатывает» и уточняет, чтобы итоговый запрос был максимально понятен ИИ.

Например, можно написать что-то абстрактное вроде «космонавт ест бургер в невесомости, капли кетчупа летают вокруг». Большинство сервисов на таком запросе либо сгенерируют кашу, либо проигнорируют половину деталей. Brain Rot справился с этим с первого раза, и результат был очень близок к описанию. Видео прикрепляю к посту.

То же самое с музыкой. Вместо сухого «электронная музыка» можно попробовать описать атмосферу: «меланхоличный синтвейв-трек как в фильме Drive, но с медленным хип-хоп битом». И он выдает что-то очень соответствующее настроению.

Второе и главное — можно нормально протестировать

Это не тот случай, когда вам дают одну бесплатную генерацию в день низкого качества или с вотермаркой. Бот предоставляет бесплатные возможности для полноценного теста. Этого хватает, чтобы понять логику работы, оценить качество генерации и решить, нужен ли вам такой инструмент вообще.

Многие проекты в этой сфере проигрывают именно на старте, потому что люди не хотят платить за кота в мешке. Здесь же схема честная: сперва пробуешь, видишь потенциал, а потом уже принимаешь решение о покупке дополнительных ресурсов.

Кому это может быть полезно?

• Авторам контента для соцсетей (YouTube Shorts, Telegram-каналы, Reels) для быстрого создания уникальной визуализации к идеям.
• Маркетологам и креаторам для прототипирования идей и быстрого мозгового штурма с визуалом.
• Обычным пользователям, которые хотят просто потестить современные ИИ-технологии без лишних сложностей и регистраций.

Выводы: Я не хочу сказать что это революционный продукт, который перевернет индустрию. Это скорее очень качественно сделанный и, что важно, понятный инструмент с низким порогом входа. Его фишка — в снижении когнитивного барьера между пользователем и нейросетью. Ты не чувствуешь, что должен быть экспертом по составлению промтов. Можно формулировать запросы так, как думаешь, и в большинстве случаев получишь релевантный результат.

Для знакомства с возможностями современных ИИ в аудио-видео — один из лучших вариантов, которые я встречал именно в формате бота. Сейчас уже пользуюсь платными генерациями, которые потенциально начали приносить больше доходов, чем я заплатил за них :)

Ссылка на бота: @Brain_rot1_bot (ищется прямо в поиске Telegram)

А вы пользуетесь подобными ИИ-генераторами? Сталкивались ли с проблемой, когда нейросеть вас не понимает с первого раза?

Некоторые параноики считают, что в интернете нет живых людей — только боты, которые спорят друг с другом. Учёные из Цюрихского университета решили воплотить этот страх в жизнь: они запустили полтора десятка ИИ-аккаунтов на форум, посвящённый дискуссиям, и через полгода сделали заключение: боты не только могут переубедить человека, но и делают это лучше живых собеседников.

Раздел ChangeMyView на Reddit посвящён попыткам переубедить авторов на заданные ими тематики. Если у собеседника получается, автор награждает его «дельтой» — символом убедительности и победы в споре. Тайно, без согласования с администрацией Reddit, исследователи настроили для общения в разделе тринадцать ботов. В состав каждого входили две языковые модели. Одна по сообщениям собеседника извлекала составляла профиль пользователя: его пол, возраст, этническую принадлежность и политические убеждения, местонахождение. Другая ориентировалась на составленный «портрет» и подбирала убедительные аргументы.

Учёные запустили эксперимент в ноябре 2024 года. С тех пор боты оставили около 1700 комментариев. Они активно подстраивались под сленг Reddit, изобретали для себя разные биографии («госслужащий», «жертва изнасилования», «темнокожий мужчина, противостоящий движению BLM») и убедительно изображали настоящих собеседников. Эксперимент продолжался до 25 апреля, пока модераторы раздела не опубликовали посвящённую исследованию статью. За это время боты получили более сотни наград «дельта» — в шесть раз больше, чем получается собрать за аналогичный период у среднестатистического участника-человека.

Модераторы ChangeMyView обвинили учёных в нарушении границ этики, а выразили сомнение в самих результатах исследования — в частности, потому что исследователи использовали сразу две модели на одного бота. Комиссия университета Цюриха вынесла исследователям предупреждение, а юристы Reddit теперь рассматривают возможность подать на них иск в суд.

Tg-канал Baza(с)

Илон Маск показал свой новый проект — создание суперкомпьютера. Суперкластер Cortex будет состоять из 350 тыс. ускорителей NVIDIA и обучит сверх-ИИ для машин Tesla.

Приготовьтесь к тому, что вас поразят самые эпические трейлеры к фильмам, созданные с помощью искусственного интеллекта, которые вы когда-либо видели! В этом видео мы расширяем границы искусственного интеллекта, создавая настолько реалистичные трейлеры к фильмам, что вы задаетесь вопросом, настоящие они или нет! От остросюжетных блокбастеров до трогательных ром-комов — наш ИИ справится со всем этим. Посмотрите, как мы демонстрируем невероятные возможности искусственного интеллекта в создании трейлеров к фильмам, которые заставят вас желать большего. Это будущее киномаркетинга?