Алгоритм YouTube

Сохраняй посты, комментируй и ставь оценки
Всем привет. Мы подготовили для вас крутой релиз в канун наступающего нового года. Те, кого коснулась проблема замедления Youtube, будут особенно рады.
Пользователи Вомбата теперь смогут заливать Youtube-видео в посты и смотреть их без замедления на пушистой платформе. При вставке ссылки на Youtube в редактор поста внизу появится и автоматически будет активна галочка “Загрузить все Youtube-ролики из поста на Вомбат”.

Загрузить можно ролики длительностью до 1 часа. Если ролик длиннее - на вомбат он загружен не будет, а будет вставлено стандартное окно Youtube-фрейма.
После публикации поста под видео будет размещена ссылка на источник (родительское видео на Youtube).
Например, это видео загружено в пост указанным способом
Загрузка иногда может занимать продолжительное время (до 10 минут), особенно в длинных видео. Поэтому пост может опубликоваться, а загрузка ролика будет идти фоном. Чтобы увидеть результат загрузки в вашем посте - не забудьте через некоторое время после публикации поста перезагрузить страницу.
С наступающим! 🎄
Выполнял ночной рейс Питер-Анталья. Стюардесса заходит в кабину:

-У нас с там мужчине стало плохо, хочет сняться с рейса
-Скорую вызвать?
-Нет, говорит не надо, сам дойдет до медпункта. Давление померили, в норме
-Ну пусть посидит, вылет через пол часа, может полегчает…
-Он говорит, что в груди болит
-Однозначно скорую вызывай!
Думаю, ну…теперь задержка будет. По правилам, когда пассажира снимают с борта, то необходимо снять и багаж. Вдруг он туда взрывчатку положил, а сам лететь не захотел… Но стюардесса сказала, что его багаж оформлен на жену.
Приехала скорая. Мужик сам встал и пошел по салону, затем по трапу. Я смотрю в открытую форточку кабины и вижу как он бодрым шагом, чуть ли не вприпрыжку подходит к скорой и не хочет садиться, видимо говорит, что ему не нужна помощь. И тут у меня возникли некие догадки🤨
Спрашиваю старшую:
-А с кем, говоришь, он летит?
-С женой, тёщей и двумя дочерьми
Мы со вторым пилотом ХАХАХААААА!!! Красава мужик нарулил из своего бабьего царства! Сейчас две недели с друзьями: охота, рыбалка, банька, водочки покушает вдоволь! Может, наконец, в Карелию съездит, и отпрашиваться не надо… Но это я уже на себя проецирую…😁
Спасибо за внимание, друзья! С вами был лётчик Миша-лидер рок-группы SAHALIN

Google представила новый алгоритм сжатия под названием TurboQuant, способный снизить потребление оперативной памяти моделями искусственного интеллекта примерно в шесть раз. Это открытие уже отразилось на фондовом рынке: акции крупнейших производителей памяти заметно просели.
Согласно описанию Google, TurboQuant "оптимально решает проблему накладных расходов памяти при векторном квантовании" и "обеспечивает значительное уменьшение размера модели без потери точности". Последнее принципиально важно, так как при обычном сжатии данных потеря точности считается почти неизбежным компромиссом.
Если говорить упрощенно, алгоритм меняет подход к представлению векторов, которые ИИ-модели используют для обработки и понимания информации. Вместо стандартных декартовых координат TurboQuant переводит вектор в полярную систему координат.
Google описывает это так:
Вместо указания "Идите 3 квартала на восток и 4 на север" система говорит "Идите 5 кварталов в направлении под углом 37 градусов". Практическим следствием такого подхода становится полное отсутствие необходимости в нормализации данных, что устраняет накладные расходы памяти, которые традиционные методы вынуждены нести.
В ходе серии тестов TurboQuant, по словам самой Google, "достиг идеальных результатов на всех контрольных показателях, при этом уменьшив объем памяти как минимум в шесть раз".
Компания также утверждает, что алгоритм открывает "трансформационный сдвиг в высокоразмерном поиске", позволяя "строить и запрашивать большие векторные индексы с минимальным объемом памяти, практически нулевым временем предобработки и точностью на уровне лучших современных решений".
Рынок уже отреагировал на это событие. Акции трех главных производителей памяти – Samsung, SK Hynix и Micron – за последние несколько дней потеряли 8%, 11% и 10% соответственно. И это с учетом частичного отскока.
Инвесторы, судя по всему, расценивают новый алгоритм как угрозу объемам закупок памяти со стороны ИИ-компаний. Впрочем, стоит оговориться: списывать падение котировок исключительно на TurboQuant было бы упрощением, так как на рынке присутствуют и другие факторы, в том числе перебои с поставками материалов из-за текущих геополитических конфликтов.
Для рядовых потребителей и любителей игровых ПК новость потенциально позитивная. Если ИИ-компаниям понадобится меньше памяти, освободившийся объем производства теоретически направится на потребительский рынок, что способно снизить цены на оперативную память для ПК, ноутбуков и портативных девайсов.
Однако радоваться пока рано: Micron уже заявила, что "спрос значительно превышает доступные мощности поставок в обозримом будущем", а значит, высвободившееся производство памяти вполне может снова уйти в серверные стойки.
Существует и другой сценарий: компании просто начнут запускать еще более крупные модели, которые потребуют не меньше ресурсов, чем прежние, несмотря на более эффективное сжатие.







Настоящим докладываю, что проблема с конвертацией изображений не решена. Не то, чтобы это было сложно перекидывать самому, просто неудобно.
Отошел на кухню, заиграл следующий трек, первая мысль "Што за лютая куета? Откуда?". Ага, оказывается похожие треки пошли, мда


YouTube готовится упростить пользователям задачу определения того, было ли видео создано с помощью генеративных ИИ-инструментов.
Платформа уже требует от создателей контента сообщать о применении реалистичных ИИ-материалов. Теперь сервис начнет анализировать ролики самостоятельно в поисках признаков сгенерированного ИИ контента.

Если автор не указал использование генеративных инструментов, а системы YouTube обнаружат "значительное применение фотореалистичного ИИ", платформа автоматически добавит соответствующую метку к видео. Создатель сможет оспорить решение, обновив информацию о ролике.
Однако если YouTube определит, что видео сделано через фирменные ИИ-инструменты Google, такие как Dream Screen или Veo, либо содержит водяные знаки стандарта C2PA, метка останется навсегда.

Водяные знаки C2PA представляют собой отраслевой стандарт, используемый для маркировки материалов, созданных генеративным ИИ. Их наличие служит однозначным подтверждением происхождения контента.
Ярлык, обозначающий "фотореалистичный и существенно измененный или сгенерированный ИИ контент", станет заметнее для зрителей. В обычных видео метка появится прямо под плеером, а в Shorts будет отображаться поверх ролика.
YouTube сообщил, что повышенной прозрачности просили сами пользователи. Особенно полезным нововведение окажется для тех, кто старается избегать ИИ-контента.
Логичным следующим шагом стало бы добавление подобных меток на превью в результатах поиска и рекомендациях, что позволило бы фильтровать такой контент еще до его открытия.
Который уже раз...
Дайте уж поджопник "программистам", которые ЭТО - допускают, а?
Не говорю уж про необходимые для выживания ресурса минусы, но уж вот эту-то херь - можно ж пофиксить?

ЗАПРЕЩАЮ переносить этот пост - в "резервацию" о "предложениях" и прочем.
(Хотя - вам всем - похуй, да? Что хотите - то и сделаете, помимо здравого смысла... Так ведь?)
Пост - ДОЛЖЕН БЫТЬ В ОБЩЕЙ ЛЕНТЕ!!
Смотрю ленту, и вижу прекрасное - комментарий появился на час раньше поста! Это ли не чудо оптимизаторства?

Подрабатываю репетитором.
Всем добрый день! Решил составить подборку полезных и интересных каналов на ютубе, в которых вещают про физику. Начнем от самых известных и пойдем глубины... Все указанные каналы снабжены ссылками для удобного перехода.
Как обычно предлагаю присоединиться к моему телеграм-каналу, на котором мы обсуждаем физику и математику. Подготовка к ЕГЭ в наличии, реклама отсутствует.
1. @pvictor54
Автор - Павел Андреевич Виктор

Не устану настоятельно советовать физику от этого замечательного человека, который записал полный курс лекций по школьной физике по программе Перышкина. Павел Андреевич показал, что если просто планомерно, размеренно и качественно выполнять свою работу, то можно достичь небывалого успеха.
Говорю сейчас абсолютно серьезно - вы или ваш ребенок можете абсолютно бесплатно и без всяких репетиторов выучить физику по урокам Павла Андреевича. Для этого просто нужно сесть и заниматься. Все уроки разбиты на темы, идут подряд, полностью соответствуют школьной программы и подаются совершенно понятно и интересно.
Больше всего меня на уроках Павла Андреевича восхищает огромное количество нетривиальных и интересных экспериментов. Волшебно!
2. @getaclassphys
Авторы - Андрей Иванович Щетников и Алексей Александрович Колчин

Два очень веселых физика, которые при помощи довольно простых лабораторных приборов и самодельных установок раскрывают глубинные таинства физики. У авторов очень необычная и интересная подача материала и хорошее качество. Больше всего меня восхищает нестандартность всех рассматриваемых вопросов.
Кроме нестандартных вещей у авторов есть очень полезные разборы вполне стандартных вопросов - что такое центростремительное ускорение, зачем нужны радианы, про КПД и так далее.
В общем, смотрим, участвуем, любим физику!
3. Плейлист НИЯУ МИФИ - Гервидс Валериан Иванович
Автор - Гервидс Валериан Иванович

Плейлист памяти замечательного физика содержит три сотни коротеньких видео с различными экспериментами и объяснением происходящего. Многие из экспериментов уникальны и не имеют повтора на ютубе. Просто стандартных экспериментов с хорошим объяснением тоже достаточно. Крайне рекомендую к просмотру.
Остальные каналы перечислю покороче.
1. @PhysFromPobed, @MakarSvet13/videos, @physiovisio/videos, Физика от Галилео - очень качественная и интересная публицистика
2. @mapenkin/featured и @shkolkovo_phys/videos - хорошие занятия по школьной, ЕГЭшной и олимпиадной физике.
3. @physicsfun/videos - веселые и интересные эксперименты из-за бугра.
4. @VideoTutorialsForSchool/playlists - школьная физика (и не только) в экспериментах с объяснениями.
5. @user-rf1hk2nh4f - теоретическая и прикладная механика. Актуально для олимпиадников.
6. @user-pt8mk4jl8g/videos - хорошие лекции по физике для школьников и студентов.
7. @user-xp6pr5ow4g - учебники Перышкина в видеоформате от школьника. Очень необычно.
8. @Kirsanov2011/videos - лекции по механике и математике для студентов.
9. @user-qs4dn6zq5t/videos - уроки для школьников
10. Лекции и уроки по физике от различных универов:
а. @physicsitmo
б. @nauka_v_regiony/videos - МФТИ для школьников
в. @mipt_study - МФТИ для студентов
г. @user-pl8nb4qz9p/videos - МФТИ для студентов
д. @NAUKA0/featured
е. @mfugntu - хорошие лекции по механике
ё. @NWTU/about
P.S. По всем вопросам - alexjuriev3142@gmail.com
Хорошая, годная (и длинная) статья о том, кто и как осуществляет замедление YouTube, какие ведомства несут ответственность, как всё оформлено законодательно. А главное - кому всё это выгодно? Частично несколько специализированно. Оригинал с хабра здесь.

Недавно возникшая тема с блокировкой (замедлением) Youtube коснулась практически каждого жителя РФ. При этом до сих пор нет ни одного прямого официального заявления о причастности к этой блокировке. Ни одно государственное ведомство не созналось в блокировке, открестился Google, открестились провайдеры интернета. На этом фоне мне показалось важным не только выявить и указать всех причастных, прямых и косвенных, но и установить, кто и в каком отношении является выгодоприобретателем от этой блокировки. Выявить, о каких денежных потоках идет речь и куда они в конечном итоге идут.
Чтобы это установить, я попытался по крупицам собрать открытую информацию, добавил анализ используемых технических решений и технологических возможностей и на этой базе выявил те компании, которые являются прямыми и косвенными выгодоприобретатели от блокировки. Список оказался не такой уж и маленький, и в нем представлен как российский, так и зарубежный монополистический капитал. Как мы любим, в конце я приведу общую схему, визуализирующую всех основных актеров этой пьесы и все основные отношения между ними.
На всякий случай начнем с азов. Определим объект, о котором будем говорить. Блокировка, она же замедление, она же «а у меня на телефоне все работает», она же «само поломалось» - катастрофическое падение скорости выкачивания данных с Youtube, вплоть до нуля. Научно доказано, что это происходит вследствие работы некой фильтрующей аппаратуры, которая использует прореху в расширении SNI протокола TLS.
Что это может быть за аппаратура такая, кто ее устанавливает, производит и заказывает? Могут ли это быть случайные неизвестные злоумышленники? Нет, потому что, работая в масштабе страны, они должны были быть быстро найдены и наказаны как посягающие на право свободного распространения информации, а это право закреплено в пункте 4 статьи 29 Конституции РФ. Получаем, что такое действие, как установка и поддержание специальной фильтрующей трафик аппаратуры, невозможна без государственного участия, которое в этом случае должно подкрепляться соответствующим законом.
И такой закон есть – это ФЗ от 1 мая 2019 года. Согласно этому закону, каждый оператор связи должен установить у себя ящики ТСПУ (технические средства противодействия угрозам), а отчитываться об этом в «федеральный орган исполнительной власти, осуществляющий функции по контролю и надзору в сфере средств массовой информации, массовых коммуникаций, информационных технологий и связи», то есть Роскомнадзор. При этом все ТСПУ находятся под управлением Центра мониторинга и управления сетью связи общего пользования (ЦМУ ССОП), созданного на базе ФГУП «ГРЧЦ». Фактически, ЦМУ ССОП – это техническое подразделение Роскомнадзора.
При этом ТСПУ должны устанавливаться за счет государства. В 2019–2021 годах в федеральном проекте «Информационная безопасность» на реализацию всех амбициозных целей заложено более 30 млрд руб., из которых 20,8 млрд руб. должны были пойти на закупку ТСПУ. Согласно недавним новостям, по федеральному проекту «Инфраструктура кибербезопасности» в течение следующих пяти лет (2025-2030 годы) планируется как модернизировать ранее установленные ТСПУ, так и установить новые, и на это предполагается выделить за пять лет 58,97 млрд рублей из федерального бюджета.
Сколько реально денег было потрачено за прошедшие годы, публично не объявлялось. Один только раз чиновник из ЦМУ ССОП отчитался о том, сколько оборудования ТСПУ физически поставлено.

Можно примерно прикинуть, сколько стоит оснастить 1 узел провайдера оборудованием ТСПУ. Если предположить, что оборудование, заказанное в 2021 году, фактически было изготовлено и доехало только в 2023 году, то тогда цифры можно свести в одну формулу деления, и получится 20800 / 1360 = 15.3 млн на узел. К сожалению, нет полной ясности, что такое узел – коробочка формата 1U или несколько серверных стоек, битком забитых такими коробочками. Впрочем, немного информации всё же есть.


А вот как выглядит реальный ТСПУ на одном из объектов:

Автор этой фотографии - Павел Васильев, и он утверждает, что ТСПУ занимает «как минимум, пол-стойки оборудования на узле связи».
Далее. Ядро и центральный элемент ТСПУ – это сервер DPI. DPI (англ. Deep Packet Inspection) – технология, подразумевающая глубокий анализ, обработку, фильтрацию и подмену пакетов в режиме реального времени. Слово «глубокий» подразумевает не какую-то аццкую сложность процесса анализа, а просто тот факт, что анализ пакетов будет проводиться на разных уровнях модели OSI, вплоть до той глубины, на которой не окажется шифрование.
Технология DPI возникла и развилась в среде провайдеров интернета. Фактически, для выполнения нескольких чисто коммерческих целей, связанных с наполнением кошельков уважаемых людей.
Первая цель – выявлять и тормозить скорость выкачивания у того числа собственных клиентов, кто действительно много качает. Неважно, что по договору скорость 300 Мбит/c. Важно то, что если на этой скорости клиент будет качать больше n минут, то владелец компании-провайдера будет считать, что лично его обкрадывают. При том, что ничего со стороны клиента не нарушается. В общем, с точки зрения компании-провайдера это недопустимо, и скорость они резали, режут и будут резать, и плевать они хотели на собственный договор. Вот причастные прямо в этом признаются.
Вторая цель – ограничивать конкретно торренты, то есть помочь другим уважаемым людям, которые делают деньги на частном владении продуктами интеллектуальной деятельности всего общества. Тем более если эти уважаемые люди настойчиво об этом просят, используя для этого и механизмы государственного принуждения. Рука руку моет, и провайдеры идут навстречу, особенно учитывая то, что это не противоречит первой цели. Как относиться к ограничению торрентов, каждый решает сам, но когда, к примеру, мультфильмы, нарисованные советскими мультипликаторами, оказываются чьей-то коммерческой собственностью, то через некоторое время собственник ограничивает их бесплатное хождение, и бесплатно (или без рекламы) они оказываются доступны только на торрентах. Как тебе такое, Илон Маск?
Третья цель – внедрять в исходный код страницы рекламу. Когда-то это было прямо заветной мечтой для всех провайдеров. Сейчас, когда страницы в основном зашифрованы, эта ниша получения прибыли распределена между другими игроками.
К слову, технология DPI позволяет провайдерам закрывать и многие другие текущие операционные потребности, в целом более «травоядные». Анализ трафика используют не только провайдеры, не только государственные учреждения (например, школы) в разных странах, а вообще фактически кто угодно. У кого есть деньги, и кто хочет эти деньги сохранить. Вот, к примеру, и Google использует в своей инфраструктуре глубокий анализ трафика, чтобы не давать создателям контента выкачивать свой собственный контент на площадки-конкуренты (или даже просто на свой личный жесткий диск). Как известно, в деле свободного распространения информации все равны, но некоторые равнее. Им и виднее, кому что разрешать.
В общем, как только технологии DPI стали более-менее работоспособны, как только устаканились производственные мощности, к делу использования DPI не могло не подключиться и государство. Российское, американское, израильское, саудовское, французское, канадское, иранское и любое другое, у которого есть бюджет и цель. Ну хотя бы потому, что открыто не противодействовать сайтам по продаже наркотиков и сайтам, продающим всякие запрещенные уголовные услуги – это как-то нехорошо. Поставить какой-никакой, а барьер, надо. Дальше - больше. И вот под запретами, например, в Саудовской Аравии оказываются Skype, Messenger, WhatsApp и Viber, в Китае Signal, а в России Instagram и Facebook. А крупные IT-гиганты, такие как Cisco (США), Huawei (Китай), Allot Ltd. (Израиль), Procera Networks (США), Nexa Technologies / Amesys / Groupe Bull (Франция) с радостью продают DPI-оборудование по всему миру. Рынок устройств DPI стремительно растет, и в 2019 году он оценивался в 8,7 млрд долларов США, а стабильный ежегодный рост по оценкам составляет около 8%.
Итак, понятно, что краеугольный камень в блокировке Youtube в России – оборудование DPI. Какое же именно оборудование, от каких производителей прямо сейчас используется для этих целей? Чтобы это понять и, по крайней мере, сузить круг поиска, не обойтись без анализа используемых технологий. Этот же анализ позволит предсказать, в каком направлении пойдет вся эта история, и кто в ближайшем будущем станет производить все оборудование для DPI в России.
Оттолкнемся от задачи. Как уже было доказано, блокировка youtube сводится к тому, чтобы в потоке трафика выделить ClientHello запрос в протоколе TLS, затем в нем найти незашифрованный SNI, содержащий имя сервера, к которому идет подключение - googlevideo.com. Фактически, упрощая, есть входной буфер ip-пакетов, надо по нему итерационно пробежаться, найти подстроку, затем от места начала подстроки взять некое смещение – и вот он, адрес youtube.
В чем сложность этой задачи? В том, что это надо делать в режиме реального времени на входном потоке большой скорости (речь про десятки и сотни гигабит в секунду). В чем еще? В том, что неплохо бы на будущее иметь возможность легко перенастроить алгоритм (а то вдруг rutube захочется замедлить). В чем еще? В том, чтобы сразу заложить защиту от запутывания систем DPI (например, от GoodbyeDPI), то есть научиться обрабатывать разбитые, фрагментированные пакеты и пакеты с прочими изменениями.
Какие существуют технологии в разработке программно-аппаратных комплексов, которые потенциально могли бы решить подобную задачу? К счастью, немного.
Когда задача имеет узкие рамки, можно просто сделать микросхему небольшого размера и небольшого энергопотребления. Там может вообще не быть процессора и даже памяти (или очень небольшая). Типа калькулятора, который имеет только функции калькулятора и ничего более. Стоить такая схема будет очень недорого, особенно если массово ее штамповать в Китае. По такому пути идут производители простых роутеров, наушников и прочего ширпотреба. Этот путь решения для текущей задачи точно не подходит, ввиду нерасширяемости по задаче. В общем, проходим мимо.
Можно взять обычный ПК с сетевой картой подороже и на обычном процессоре запускать обработку ip-трафика для целей DPI. Для этого есть даже открытые библиотеки OpenDPI и nDPI. Затраты на программирование, казалось бы, небольшие, а стоимость компьютерного железа приемлемая. Но есть нюансы. Если поток тонкий (скажем, до 100 Мбит/c), его почти наверняка можно обработать почти на любом процессоре в связке с почти любой материнской платой. Скорость в несколько сотен МБит/с тоже потянет почти любой современный процессор с современной материнской платой. А вот дальше начнутся неустранимые проблемы. Проблемы с принятием сокетов операционной системой. Проблемы с доступом к памяти на такой скорости (вы же будете гонять данные из памяти в процессор и обратно кругами, и чем глубже закопаны искомые данные, тем больше). Проблемы с корректным распараллеливанием и снова доступом к памяти. В общем, этот путь возможен, но ограничен теми параметрами, которые дает обычное, не узкоспециализированное железо, то есть связка сетевая карта+материнка+процессор на обычной ОС. Сколько это будет по скорости обработки потока? Сложно сказать, пока не попробуешь. Я удивлюсь, если сможем выжать больше 1 Гбит/с. Этого маловато для решения нашей сверхзадачи, потому идем дальше.
Творчески разовьем предыдущий подход. Предположим, вместо простой материнки от Asus мы закажем плату с повышенными характеристиками. Распаяем на ней сразу несколько 10-гигабитных портов. А можем раскрыть варежку пошире и выбрать порты помощнее, например QSFP с пропускной способностью 40 Гбит/с. Возьмем также шину помощнее (а то, к примеру, на PCI Express v4.0 x4 больше 64 Гбит/с мы не получим). Для того, чтобы операционная система перестала быть бутылочным горлышком в принятии сетевых пакетов, используем технологию DPDK под Linux. Ну, еще процессор помощнее закупим, типа такого. Или сразу два процессора посадим, если материнская карта будет серверного типа. Обработку ip-трафика будем делать по-прежнему через открытые библиотеки OpenDPI и nDPI. Что по факту получим? Получим неплохую скорость обработки и относительно легкую возможность менять исходный код, подстраиваясь под меняющуюся задачу. Что еще получим? Получим не самое дешевое железо за счет недешевых процессоров и заказной серверной материнской платы (типа такой или такой). Энергоэффективность тоже не лучшая. Что с ограничениями по скорости? Мы в них точно упремся, поскольку мы пытаемся решить узкоспециализированную задачу средствами процессора общего назначения. Именно процессор станет узким местом. Скорость обработки потока оценить крайне сложно, пока не реализуешь задачу полностью на конкретном варианте железа, но предполагаю, что это будет в районе пары-тройки десятков Гбит/c (если железо не совсем космической стоимости). Да еще придется мириться с некоторой непредсказуемостью по скорости обработки. Одна порция данных обработается за X мс, а следующая неожиданно за X * 1.3, например. Задержку трафика тоже оценить проблематично, а уж тем более гарантировать приемлемый минимум. А чего вы хотели от такой общей связки? Но в целом это хороший, годный подход.

Творчески разовьем предыдущий подход. Предположим, вместо простой материнки от Asus или неплохой от Supermicro мы закажем специальную печатную плату и посадим на нее несколько маленьких энергоэффективных вычислительных компонентов, которые можно будет программировать. Что это? Это микропроцессоры и ПЛИСы (программируемые логические интегральные схемы). Скорости микропроцессоров нам, естественно, не хватит, а вот ПЛИСы – то, что надо. Тактовая частота работы ПЛИСа - примерно на порядок меньше, чем тактовая частота работы CPU, но зато возможности по распараллеливанию у ПЛИСа почти не ограничены, а проблем с обращением к памяти (медленное вычитывание из регистров памяти, затем копирование в регистры кэшей процессора) – в архитектуре ПЛИС вообще нет, все операции делаются параллельно на тактовой частоте (я упрощаю, но суть такая).
Применительно к нашей задаче (поиск и фильтрация пакетов) на ПЛИСе можно реализовать конвейер: каждый такт берем n байт со входа (сетевого порта), кидаем на параллельно работающий конвейер, еще через m тактов получаем выход из конвейера. При этом все гарантировано: гарантированная скорость обработки, гарантированно постоянная задержка пакетов, гарантированное отсутствие потерь пакетов, гарантированная загруженность ПЛИС и гарантированное энергопотребление (относительно небольшое).
Что со скоростью обработки? Берем тактовую частоту, умножаем на n, получаем скорость. От тактовой частоты зависит цена ПЛИСа. Возьмем, к примеру, что-то из хорошего среднего: Xilinx Zynq-7000 с тактовой 800 МГц. Возьмем n по минимуму – 1 байт (в реальности, я почти уверен, можно так сконфигурировать ПЛИС, чтобы сделать n в несколько раз больше, это зависит от мастерства разработчика и нюансов задачи). Итак, на для n = 1 на Xilinx Zynq-7000 получим скорость обработки 6.4 Гбит/c. Теперь разместим на печатной плате не одну ПЛИС, а сразу восемь. Получим 51.2 Гбит/c в корпусе 1U. Неплохо. Возьмем 10 таких ячеек и закроем 500 Гбит/c. Глядишь, и один узел провайдера закрыли.
Какие минусы такого подхода? Во-первых, не любую задачу можно эффективно решить на ПЛИСе. Во-вторых, программировать на ПЛИС (а точнее, конфигурировать ПЛИС) – это довольно сложно, это вам не парсеры на питончике писать. В-третьих, у любого ПЛИСа есть эффект ограничения по ресурсам, который неприятно проявляется в следующем. Вот вы успешно решили свою задачу, качественно сконфигурировали ПЛИС, все работает. А потом к задаче прилетело дополнение. Ну, например, применительно к нашей задаче – хотим находить SNI не в одном пакете, а в двух соседних, то есть с учетом фрагментации. И, как следует подумав, вы понимаете, что имеющихся ресурсов ПЛИСа просто не хватит, переписать и обновить прошивку не получится. И решение, по сути, одно – делать следующее поколение оборудования, закупать другие ПЛИСы, заказывать новые печатные платы.
В общем, это решение – самое лучшее, если задача на нее «ляжет», но одновременно и самое сложное. На технологиях №3 и №4 вполне можно делать оборудование DPI. Запомним это и пойдем дальше – к интересному. Кто же является выгодоприобретателями блокировки Youtube?
Акционерное общество «Данные – центр обработки и автоматизации» (сокращенно - ДЦОА). Именно эта коммерческая компания занималась установкой систем глубокой фильтрации трафика (DPI) на сетях операторов связи в России. Судя по опубликованным вакансиям на сайте hh.ru, она до сих пор занимается пуско-наладочными работами, а также поддержкой установленного оборудования ТСПУ. По данным сайта www.audit-it.ru, В 2021 году численность компании составляла 179 человек, а налогов за 2022 год она заплатила 1,136 млрд. руб. То есть более 6 млн рублей налогов на человека. Примечательно, что некоторое время эту компанию возглавлял Рашид Исмаилов – кадровый сотрудник таких It-гигантов, как Ericsson, Nokia и Huawei. На несколько лет из бизнес-кресла топ-менеджера он пересел в кресло заместителя министра связи и массовых коммуникаций, чтобы потом обратно вернуться в коммерцию. Как говорится в неустаревающей классике, сегодня банкир - завтра министр, сегодня министр – завтра банкир. Это капитализм, детка!
RDP.ru – резидент кластера Сколково. Уже довольно давно они продают продукты линейки EcoDPI. Ничего не скрывая, прямо на своем сайте пишут:
Решение EcoDPI (Deep Packet Inspection) предназначено для анализа пакетов на уровнях вплоть до уровня приложений (Layer 7) модели OSI. EcoDPI способен выявлять трафик более чем 3200 различных приложений.
Они честно выложили и руководство пользователя для этого продукта, в котором слово «Роскомнадзор» упоминается более 30 раз. Не забыли и честно рассказать про SNI:
Для HTTPS и QUIC version 1 (RFC 9000) поддерживается фильтрация по SNI (Server Name Indication) с разрывом соединения с запрещённым ресурсом. Если в запросе отсутствует поле SNI, то такой запрос пропускается прозрачно. При этом для HTTPS проверяется входящий сертификат сервера, на который был отправлен запрос. Если в сертификате указан запрещённый фильтрами ресурс, то соединение с сервером разрывается.

Скриншот с руководства пользователя на устройство EcoSGE
Ок, а насколько самостоятельно они делают подобные продукты? Или в продукте только шильдик и документация их производства? Очень похоже на второй вариант. Судите сами. Выше я подробно описал технологии, которые должны использоваться при построении устройств DPI. Это либо устройства на базе ПЛИС и прочей сложной схемотехники (предпочтительно), либо на базе специальной печатной платы серверного типа с мощными процессорами общего назначения. Внешне корпус должен выглядеть как ящик, набитый портами Ethernet и дырками для отвода тепла. Ну так есть, RDP.ru и картинку своих устройств вежливо выкладывает:

Внешний вид EcoSGE 4160 c 16 портами 10Гб/c
Тогда, если предположить, что компания RDP.ru сама полностью разрабатывает программно-аппаратные комплексы DPI, то для создания продуктов она должна искать искать либо плисоводов, либо программистов C/C++ со знанием библиотек DPDK, OpenDPI или nDPI. Вместо этого компании требуются разработчики на JavaScript и Go. Значит, они просто пишут обёртки над созданной кем-то чужой функциональностью. Например, для того, чтобы на веб-интерфейсе продукта был бы русский язык, а, скажем, не иврит. Кстати, это подтверждает и директор Центра специальных проектов Главного радиочастотного центра при Роскомнадзоре Сергей Темный:
Сердцем ТСПУ является оборудование DPI. Здесь софт - разработка российской компании, но до 2022 года оно поставлялось на иностранной платформе.
Кто именно из зарубежных «партнеров» на самом деле делал оборудование DPI по заказу RDP.ru (и кому шли деньги за рубеж) – тайна за семью печатями. Понятно только то, что стоило такое оборудование недешево, ведь в рекламе товара EcoFilter 4080 (средняя по характеристикам модель родственного семейства) говорилось, что «производительность DPI-системы составляет до 160Gbit/c в 1U».
Кстати, про деньги. По данным сайта www.audit-it.ru за 2023 год ООО "РДП.РУ" получила выручку в сумме 7,3 млрд рублей, заплатив налогов на 1,219 млрд. рублей. Результатом работы ООО "РДП.РУ" за 2023 год стала прибыль в размере 2,2 млрд руб. В пересчете на 220 её сотрудников это получается 10 млн. чистой прибыли (без учета заплаты) на человека. Интересно, а сотрудники про это знают? Ранее компания Ростелеком (видимо, чуя предстоящую прибыль) приобрела ООО «РДП.ру» за 1,81 млрд. рублей.
В России есть немало организаций, осуществляющих продажу оборудования DPI. Например, это Группа компаний «Гарда» со своим продуктом «Гарда DPI», или VAS Experts с продуктом «СКАТ DPI», или «DPI-платформа» от НТЦ Протей. Эти компании не скрывают, что их дело – только софт, а серверное железо будет стороннее, покупающееся за рубежом (они логично идут не по пути своей схемотехники, а по пути наименьшего сопротивления - по пути импортных дорогущих и энергопотребляющих серверов, собранных под ключ). На данный момент нет подтверждений и каких-либо упоминаний, что эти компании занимаются продажей устройств DPI именно для РКН. Возможно, как раз именно по причине используемых технологий – сейчас (в свете санкций) закупать серверную технику за рубежом неактуально.
Да, после 2022 года легкие пути получения DPI были обрублены «зарубежными партнерами». Встал вопрос о производстве железа внутри РФ. Понятно, что компонентную базу придется все равно везти из-за рубежа, но собирать из нее аппаратуру – придется. Это не просто сборка, это крайний сложный технологический процесс проектирования, требующий не просто кадров, а готовых, сформировавшихся коллективов, способных выполнять такие задачи. А задачи состоят в конфигурировании ПЛИСов, трассировке печатных плат, верификации цифровых схем, в конструкторских расчетах по теплоотводу, в низкоуровневом программировании, в испытаниях продукции на разных этапах производства и пр. В сухом остатке, это создание аппаратно-программных комплексов на базе ПЛИС (с возможным креном в ASIC) и производство полного цикла. Так вот, таких компаний в РФ, способных тысячными тиражами производить узкоспециализированные ячейки, очень мало. Если не сказать, что такая компания есть ровно одна. Это «КНС групп» (более известная под брендом YADRO), принадлежащая ИКС Холдингу. Потому я не удивился, увидев такой инсайд от CNews:
С 2022 г. начался перевод DPI на отечественное аппаратное обеспечение производства «Ядро» (входит в «ИКС Холдинг»). Сейчас тестируется также аппаратная платформа DPI от другого производителя - «Сигналтек».
С Ядром все понятно, это гигант отечественного разлива, широко себя рекламирующий на выставках, ярмарках вакансий, имеющий почти неограниченный доступ к рекрутинговой базе, активно набирающий инженеров и программистов разных мастей (в момент написания текста у них было открыто 594 вакансии на hh.ru).
Что касается Сигналтека, то информации о ней мало. Известно, что компания это небольшая (37 человек за 2020 год), но состоящая, как кажется, не из перепродажников, а из инженеров и программистов. Прямо сейчас они ищут программиста C++ со знанием DPDK, а также инженера-программиста FPGA, а также инженера-разработчика РЭА. Правда, ищут почему-то на бесплатных площадках, а на платных ищут почему-то только личного водителя с зарплатой 120-150 тысяч на руки. (Такое состояние дел я увидел в момент написания статьи, в будущем будет что-то иное.)

Ранее компания уже занималась созданием продуктов СОРМ, что отдаленно (очень отдаленно) походит на DPI, но по скоростям обработки не сравнится. Одним словом, по той информации, что размещена в интернете, складывается ощущение, что компания готова делать оборудование подобного уровня, но ранее делала оборудование классом попроще. Также вероятно, что большой тираж оборудования они не потянут, а сделают только инженерный образец, который дальше будет штамповаться на других мощностях (возможно, этот кусок пирога отойдет как раз к Ядру).
Кстати, о деньгах. По данным РБК, за 2022 год прибыль Ядра составила 7, 213 млрд рублей, что при среднесписочной численности сотрудников (542 человека) получается по 13.3 млн на человека. Интересно, всем ли сотрудникам Дед Мороз под новый год такой щедрый подарок приносит, или только владельцам? По другому источнику, численность в 2021 году составляла 476 человек. А вот уже в 2024 году гендиректор ИКС Холдинга (материнская компания) сообщает о 4,5 тыс. сотрудников.
Если не учитывать всякие мелочи, типа резисторов-транзисторов и модулей памяти, то, по большому счету, дорогая компонентная база заключается всего в трех наименованиях: ПЛИСы, процессоры и серверные материнские платы. Во всех случаях это монополистические истории. Судите сами. Процессоры делают Intel и AMD, а ПЛИСы – Xilinx (c 2022 года принадлежит AMD) и Altera (c 2015 года принадлежит Intel). Есть еще производители поменьше, но это нишевые решения с маленьким охватом рынка. Серверные карты в основном делают Supermicro и Asus.
Действие рождает противодействие. Блокировка ютуба родила способы ее обхода. Вернее, способы появились очень давно, но монетизироваться в этом ключе стали совсем недавно. Блокировка ютуба очень порадовала как владельцев зарубежных платных VPN-сервисов, так и производителей роутеров (не все роутеры можно перепрограммировать под GoodbyDPI или какой-нибудь тоннель, потому купить новый роутер, который поддерживает эти функции - заманчиво). Деньги лишними не бывают. Кстати, сколько денег перепало владельцам средств производства в этих нишах? Статистики по росту продаж роутеров пока еще нет, как нет и статистики пользования платными VPN. Можно попытаться оценить на пальцах.
В РФ живет около 146 млн человек. 99% не захотят платить никакие деньги за починку ютуба. Оставшийся 1% раскошелится. За год платного VPN заплатят около 5000 руб (ссылки давать не буду), а, скажем, за новый роутер Microtik с поддержкой всякого-разного – 23000. Есть и дешевле, и дороже. Оценим средне-потолочно затраты этого 1% людей, желающих починить youtube, за 10 тысяч рублей. Получается, 146000000 * 0.01 * 10000 = 14,6 млрд рублей. Примерно сопоставимо с бюджетом на производство ТСПУ.
Rutube, VK Видео, Платформа. На сколько наварятся эти компании, мы еще увидим. Статистики пока нет. Я хотел бы напомнить 2 важных в этой теме момента.
Во-первых, значительная часть денег, которая пройдет через эти компании, пойдет на закупку серверов, которые, наиболее вероятно, окажутся импортными. А это влечет закупку жестких дисков от Seagate, Toshiba, Dell, процессоров от Intel и AMD. В случае особой принципиальности покупать жесткие диски смогут и в России. Это значит, что заказы потекут в уже упоминавшееся Ядро.
Во-вторых, не стоит воспринимать Rutube, VK Видео и Платформу как чисто российский бизнес и историю с блокировкой ютуба как чисто внутрироссийские конкурентные разборки. Мы живем в 21 веке, в эпоху господства крупных монополий (если кто не заметил, уже больше века как). Потому любая крупная компания обрастает кучей международных финансовых связей в плане «я владею-мной владеют». И компании-конкуренты ютуба – не исключение. Нетрудно будет увидеть, что прибыль от «прижатия» ютуба получат не только СОГАЗ, Газпром-Медиа Холдинг или Ростех, но и Alibaba Group, Tencent и прочие.
На основании полученных данных, я нарисовал примерный граф выгодополучателей от блокировки youtube. Схему намеренно упростил, сократив детали.

Блокировка Youtube на территории РФ – история не чисто российского, а международного масштаба.
Крупные международные производители устройств DPI давно выкачивали прибыль из этого рынка, разгоняя технологии и мощности до того уровня, что любое государство получило возможности блокировки практически любых потоков данных в сети интернет. Что касается денег, то тут всё как всегда. Крупные капиталистические монополии из разных стран получат (и уже получили) свою прибыль от блокировки youtube на территории РФ. Если более точно – прибыль получат не абстрактные монополии, а их владельцы, то есть владельцы крупнейших средств производства, независимо от их паспортов и национальностей. Вряд ли эти толстосумы используют youtube так, как используем его мы, простые читатели Хабра, простые наемные работники или владельцы малого бизнеса. Это мы по вечерам после работы штудируем Youtube, чтобы понять, как починить унитаз, или выбрать наушники для жены, или с целью подтянуть свои знания по любому другому бытовому или образовательному вопросу. Крупным владельцам средств производства всё это не нужно, они живут другой жизнью с другими законами и, главное, с другими интересами. С интересами получения прибыли. И никакие санкции прибыли не помеха, что бы не говорили (посмотрите на схему и посчитайте флаги). А использование государства в деле умножения прибыли, сращивание с этим государством, переплетение интересов вплоть до страстного соития – это обычное явление, и родилось оно далеко не вчера. Это естественное, неизбежное состояние дел в современном мире. По крайней мере, при текущей общественно-экономической формации.
Вкратце. Человек почистил берега и дно озера, сделал заход, построил мостки, сделал плот с которого можно нырять.

Через некоторое время место стало привлекать маргиналов, берега снова загадили, мостки сломали. Активный гражданин превратился в пассивного.
Я уже рассказывал о том, как строил дорогу в своей деревне Ответ на пост «Соседское» и соседи раскатали её тяжёлой техникой. А также о том, как мы ежегодно убираем берега реки, которые замусоривают Гости из столицы
Нельзя опускать руки, сдаваться. Постоянное противоборство глупости и разума, добра и зла, культуры и быдла - именно в этом и состоит жизнь. Ты просто выбираешь свою сторону и гнёшь свою линию. И мир становится лучше. Возможно, повезёт и твои начинания поддержат, возможно, будут пытаться нивелировать. Но ты-то знаешь, что прав тот, кто создаёт, а не тот, кто ломает. Тот, кто убирает, а не тот, кто мусорит. В этом нет никакой избранности - это нормальность. И быть нормальным - твоё право.
Можно забить и стать никем. Отойти в сторону. Или сбыдлиться и начать вести себя "как все" - бросать мусор под ноги, хамить окружающим, бухать на детских площадках. Будет ли от этого лучше миру? Будет ли от этого комфортнее тебе? Вряд ли.
Однажды я починил бесхозную дорогу и местный муниципальный депутат угрожал мне уголовным делом. В ответ, я лишил его мандата и на следующих выборах довёл до его избирателей информацию о его "деятельности". Естественно, никто его не выбрал и никогда не выберет в нашем районе.
Нельзя сдаваться после первой попытки. Улучшение - это процесс. Может быть, это пафосно звучит, но факт в том, что каждый день мы выбираем - бороться за то, чтобы мир стал лучше или самоустраниться и жить в грязи. Я выбираю - бороться.

Ни разу не искал капибар на трубе. Даже вообще никаких зверей. А сегодня выдало в рекомендованных.
Всем привет. Я довольно прагматичный человек и если вещь, которую я нахожу обезличена, мне все равно на нее. Но вот если есть у нее история... То все.. Поплыл дядя Женя...
Предыстория: копал на одном озере и засветил его на видео. Ко мне обратился подписчик - земляк. Дал наводку на одно место, где пару лет назад его жена потеряла кольцо, во время купания. Жены нет, как год. А кольцо я нашел:

От вознаграждения отказался. Есть веская причина, но про нее не буду говорить. Ну и видео поиска:

Первое доброе дело в этом сезоне.
С уважением, Евгений Хрусталев.
YouTube - качественный ресурс, в который вложено много времени, труда и таланта самых разных людей.
Если вдруг этот пост читает человек, от которого что-то зависит, то прошу его подумать.
Может, не надо его закрывать? Я не понимаю, зачем это нужно.
===

YouTube-канал, публикующий видео с ИИ-генерированным контентом, неожиданно стал вирусным – но не благодаря качеству роликов, а из-за того, что искусственный интеллект, отвечающий за озвучку, периодически "ломается" и начинает нести полную чушь.
В современных соцсетях сложно пролистать ленту, не наткнувшись на ИИ-генерированный контент – и YouTube переполнен видео с ИИ-визуалом и автоматической озвучкой. Некоторые каналы полностью посвящены подобному контенту, и грань между настоящим и сгенерированным становится всё тоньше.
За последние несколько дней пользователи YouTube обратили внимание на канал Joe Liza WWE, который целиком состоит из ИИ-генерированных видео. Ролики варьируются от коротких клипов до длинных выпусков и регулярно освещают события, которых никогда не происходило в реальности.
Как сообщает Futurism, канал существует с 2007 года, однако зрители начали замечать, что ИИ-озвучка в некоторых видео даёт сбои. В определённые моменты голос буквально "зависает" и превращается в набор бессвязных звуков.
Два наиболее ярких примера – видео "Ric Flair SENDS A CHILLING Message To Triple H After WWE Ban" и "Triple H Just Released 25 More WWE Sauperstars And Nobody Saw It Coming". В обоих случаях ИИ-комментатор начинает произносить слово "what" и застревает в бесконечном цикле.
В первом ролике есть субтитры, по которым можно понять, что именно ИИ должен был говорить. Во втором же даже автоматически сгенерированные YouTube-субтитры просто повторяют "what" и "whoa" на протяжении нескольких минут подряд.
Начинается на 9-й минуте:

Канал, у которого около 2000 подписчиков, привлёк массу внимания. Зрители активно высмеивают сбои ИИ в комментариях.
– Это я, когда не успеваю проглатывать хот-доги, летящие по конвейеру.– Я рыдаю, это самое смешное, что я видел в жизни.– Этот срыв ИИ-озвучки на 9:03 – одна из самых смешных вещей, которые я когда-либо видел от искусственного интеллекта. Какое время, чтобы жить.– Я видел пост на Bluesky о том, что это бездушный канал с ИИ-мусором, полный сгенерированных кликбейтных превью и ИИ-ляпов. Удалите канал и уходите с YouTube навсегда.
YouTube уже активно борется с тем, что платформа называет "ИИ-мусором" (AI Slop), и даже блокирует крупные каналы, специализирующиеся на ИИ-генерированных видео.
При этом платформу критикуют за то, что ИИ-инструменты модерации порой ошибочно помечают контент реальных авторов как вводящий в заблуждение.
Однажды Иннокентий написал пост и опубликовал его в интернете.
Не прошло и пяти минут, как в его профиль заглянул комментатор Василий и написал, что пост - говно, потому что он слишком длинный.
- Ты прав, - только и ответил ему Иннокентий.
А потом пришёл комментатор Пётр и написал, что пост говно, потому что он слишком короткий.
- Ты прав, - и ему написал в ответ Иннокентий.
Всю эту переписку увидела Надежда и спросила, как же это так и Василий, и Пётр могут быть правы, если они говорят об одном и том же посте совершенно противоположные вещи?
- Ну а что я мог ещё ответить? - написал Иннокентий, - если в мире Василия этот пост слишком длинный, а в мире Петра он слишком короткий, кто я такой, чтобы это опровергать?
- Не, ну так же нельзя! Это полная херня! - не унималась Надежда.
- Ты права, - ответил ей Иннокентий, лёг в кровать и уснул спокойным крепким сном.
Он всегда крепко спал с тех пор, как понял, что в интернете все правы...
Автор: Андрей Ралько
Комментарии