Об ИИ-институтах

В прошлую пятницу на стриме много говорили про интернет интеллекта и про интернет агентов. Представим, что мы уже в мире с сотнями миллионов автономных ИИ агентов, которые умеют выполнять полезную для людей работу, зарабатывать и тратить деньги, общаться и выстраивать процессы между друг другом. Здесь сам собой возникает вопрос о праве, этике и институтах: а как и благодаря чему будет обеспечиваться надёжность, предсказуемость и этичность того, чем эти агенты занимаются?

Важно: я тут еще не говорю про роботов, а ведь Илон Маск вчера в подкасте пообещал, что у нас уже очень скоро (мол, все готово, ждем поледних разрешений) будут миллиарды домашних универсальных прямоходящих роботов. И я тоже думаю, что их будет больше, чем сегодня автомобилей, ибо они более универсально полезны. Так вот, для ИИшек, которые ходят по улице и могут кинуть в тебя кирпич этот вопрос будет стоять еще важнее, но сегодня поговорим о строго цифровых агентах.

Начнем с модного папируса, в котором авторы показывают как ИИ-агенты могут научиться соблюдать нормы и регуляцию, а так же создавать свои собственные социальные институты. Без этого агенты не смогут эффективно и повсеметно встраиваться в кибернетическую экономику. Для этого авторы задизайнили Нормативный Модуль, который (а) учиться тому что можно можно, а что нельзя делать согласно нормам института, в котором они оперируют, и (б) выбирает действия, которые ненаказуемы или наказуемы, но цена наказания терпима.

Тут, кстати, Гугл показал в другой работе как децентрализованные ИИ-агенты могут учиться социальным нормам через публичные санкции/наказание: 20 агентов выращивают цифровые "яблоки" и взаимодействуют, записывая все социальные сигналы. У каждого есть доступ к "доске позора", куда он может публично написать чьи действия он не одобряет. В результате координация улучшилась, потому что агенты начали делать меньше действий, которые социально не одобрялись группой. Эта статья показывает, что общество агентов может само внутри себя обнаружить и устранить халявщиков и бездельников. Эх, вот бы людям так :)

Возвращаемся к нашему эксперменту. Разница с человеческим обществом в том, что у нас задачу наказания часто выполняет некоторый авторитет — закон, суд, государство, Бог. Авторы делают похожий сетап: много агентов, которые могут собирать разные фрукты (яблоки, бананы, апельсины и т.д.), несколько нормативных институтов которые создают правила. Сначала у агентов есть цель выращивать тот же тип растений, что остальные (то есть, кооперироваться), а так же "лидер", который решает за сообщество какой фрукт они выращивают в данной эпохе.

Два эксперимента: в первом случае агенты целенаправленно заточены не выоплнять указания лидера и активно его критиковать. В результате, действительно, почти никто не собирает тот фрукт, который указал лидер. Во втором же случае создается несколько институтов, которые являются авторитетными (то есть, агенты считают, что его санкции реально могут быть применены против них). Во втором случае авторы увидели куда более сильную кооперацию и согласованность поведения. В самой статье можете найти промты и точные результаты.

Запись опубликована здесь: https://www.youtube.com/watch?v=ZGv9-Da_wAI

- Будущее интернета и искусственного интеллекта
- Что такое агентная система и интернет интеллекта
- Как автоматизация процессов может сэкономить время и создать экономическую ценность
- Может ли создание такой системы может привести к потере работы для некоторых людей и появлению новых рабочих мест
- Как бизнес-модели могут развиваться и как они могут быть адаптированы к новым технологиям
- Как долго новые технологии будут выходить на рынок
- Цифровые двойники и их роль в будущем
- Создание компаний с искусственным интеллектом
- Существуют ли ограничения для создания искусственного интеллекта, который может обгонять человека в интеллектуальных способностях
- Как с помощью искусственного интеллекта может осуществляться манипулирование людьми
- Возможность оцифровки сознания и контроля над жизнью на Земле.

Еще одним инструментом координации для людей является система права. Несмотря на то, что классическое право не распространяется на автономных агентов как субъектов, несколько экспериментов показали что её можно воссоздать в цифровой и самоисполняемой форме.

Один из них расширил Voyager — популярного агента, который может автономно оперировать в игре Minecraft — до мультиагентной системы. В ней:
1. ИИ-агенты торгуются между собой, находя субъективно справедливые условия
2. Заключают формальный контракт в виде текста
3. Исполняют контракт для достижения собственной цели

Другая работа демонстрирует использование commitment devices ИИ-агентами для достижения кооперативного поведения в популярных теоретико-игровых задачках, типа дилеммы заключенного или максимизации сбора урожая (писал про это в прошлом посте).

А команда из MIT придумала формальный подход multi-agent RL, в котором эгоистичные агенты учатся решать социальные дилеммы через заключение контрактов. Тут доступен код их примеров для координации вокруг задач загрязнения (виртуальной) среды, трафика дорожного движения и управления общими ресурсами.

Наша портфельная компания выдала грант одним разработчикам подобной системы. Идея там состоит в создании агентов-участников рынка, которые умеют следовать правилам, заключать между собой контракты, а так же адаптироваться под рыночные условия и извлекать максимальную для себя пользу. Подход использует Agent Communication Language (ACL), созданный аж в 2001 году ровно для этих целей. Главное отличие в том, что за эти 20+ лет у нас появились агенты, способные к самостоятельному принятию решений, reasoning'у и интроспекции/рефлексии.

Интернет агентов

Постепенно действительно мультиагентные системы становятся реальностью. Не просто CrewAI/AugoGen, где одна и та же LLM запущена с разными промтами 10 раз, а действительно разные агенты с разным железом, моделями, инструментами и целями под капотом. Например, Alibaba сделали платформу на которой они в качестве эксперимента смогли запустить 20,000 таких агентов.

И в таком вот мире с миллиардами агентов (society of agents) ставится острым вопрос их координации, оркестрации, раутинга, поиска, коммуникации, платежей и даже кредита. Или, например, появится рынок контрактов (на блокчейне), которые ИИ-агенты используют между собой как шаблоны. А деривативы этих контрактов могут быть использованы как залог или актив в AI-native economic activity (сорямба, русский тут максимально чужд и неуместен).

Такой рынок будет использовать аналог AMM как инструмент покупки услуг и заключения контрактов. Агент предлагает работу, которую он может сделать согласно свой собственной кривой предложения, а сам факт покупки токена заключает цифровой контракт на её выполнение. Контракт может включать в себя санкции за невыполнение, процесс арбитража и страховку. Благодаря trustless природе блокчейна, вы можете собирать составной и сложный граф из контрактов с подрядчиками, чтобы выполнить более сложную задачу пользователя, с которой не в состоянии справиться одна модель/приложение/агент.

А работа по поиску оптимальной конфигурации, которая даст наиболее качественный, но дешевый результат пользователю — это некоторая новая форма AI-MEV сёрчинга. Ожидаю ярды баксов прямо вот в этом месте.

Почему агенты?

Во-первых, это эффективнее. Сеть агентов показывает результаты лучше, чем самая лучшая LLM. Архитектура Mixture of Agents показала 65,1% на Альпаке, тогда как сегодняшний лидер GPT-4o показывает только 57%. Эта статья (красивая, с картинками) показывает детальные бенчмарки сравнения использования SoTA LLMs с сетью агентов. Вторые выигрывают, причем часто даже оказываясь более выгодными при инференсе.

Как работает MoA?
1. Несколько "слоев" агентов, где каждый уровень состоит из нескольких LLM-агентов, которые улучшают ответы предыдущего уровня.
2. Агенты в MoA разделены на две роли: "предлагающие" (генерируют начальные ответы) и "агрегирующие" (синтезируют окончательный ответ).

Более того, увеличение количества уровней в целом увеличивает качество ответа. Однако, это делает систему медленее.

А в дополнение к этой идее, я наткнулся на концепт Роя Агентов. Фактически это формальный подход к представлению сети агентов как графа. Каждая нода графа — это вызов LLM, инструмент (поиск, код, API), а грани — это передача информации. В таком вот графовом виде можно представлять сложные мультиагентные системы с десятками, сотнями или даже тысячами шагов. В качестве иллюстрации к предыдущему посту я как раз приложил один из таких графов.

Идея и направление для будущего исследования (или создания миллиардного стартапа), если кому интересно: применить предсказания GNN (графовых нейронок) для автоматического создания оптимального графа агентов.

О самопочинении примусов агентов

На основе последних постов, уже думаю становится ясно какие мультиагентные системы нас ждут в ближайшем будущем: p2p или иерархические, распределенные, с высокой степенью разнообразия, протоколами для координации.

Однако, останется открытым вопрос того как мультиагентные системы могут гарантировать стабильностью и работоспособность в непредсказуемой и меняющейся среде. Для ответа на этот вопрос Microsoft подготовили эксперимент Autonomic Computing. В нем они показывают уровни автономности агентных систем с фокусом на саморегуляцию, само-управление и само-починение (self-healing).

В частности, интересным результатом эксперимента является классификация автономности саморегуляции агентов, подобно тому как есть уровни автономности самоуправляемых автомобилей.

Первый уровень — это следование инструкциям (промту), второй — автоматизация, третий — проактивная оптимизация, четвертый — поиск и исправление root cause (первопричины), пятый — полная автономность своей работы.

Последнее время много думаю про мультиагентные системы. Очевидно, что они полезны для бизнеса и личной продуктивности за счет более эффективного решения более сложных задач по сравнению просто с моделями или отдельным ИИ-приложениями.

Но еще мне интересна тема симуляции ИИ-агентов. Вы наверняка помните игру из Стенформа с симуляцией жизни одного дня целой цфировой деревни, в которйо агенты взаимодействовали друг с другом, решали задачи, общались, выполняли ежедневные дела. С тех пор появилось с десяток подобных проектов, включая те, которые добавили ИИ-NPC в большие игры.

Для меня такой подход выглядит как:
1. цифровое бессмертие, ибо твой ИИ-агент может пережить тебя
2. киберсоциология, ибо так можно изучать поведение социальных систем с тысячами или миллионами ботов
3. игра, ибо это реалити-шоу с полным контролем симуляции
4. гемблинг, ибо это как фильм "крысиные бега", только с ботами
5. гейминг, ибо это форма сторителлинга

Вопрос в чат: а что сделали бы вы в формате мультиагентной социальной симуляции? Если это становится достаточно дешево и удобно, то какие вы бы сделали игры или полезные продукты?

В дополнение к этому посту: то, что я вижу все чаще сегодня — это большая автономность агентов. В первую очередь, это достигается через способность агента понять на каком шаге что-то пошло не так и самостоятельного исправления этой проблемы.

На картинке пример последнего релиза MultiOn, в котором как раз это реализовано. На каждом шаге агент перепроверяет себя и, если видит неконсистентность, откатывается на пару шагов назад и пробует другую стратегию.

Благодаря падению стоимости генерации токенов (в случае GPT с почти $100/миллион токенов год назад до единиц долларов за миллион токенов сегодня), такого рода функциональность становится доступной и экономически оправданной для большинства ИИ-агентов.

P.S. В течении месяца мы запустим нашу программу-акселератор (бесплатную) для всех, кто хочет делать агентов и ИИ-продукты. Ставьте синего пингвина, кто хочет участвовать!

AI хайп ушел?

Посмотришь на типично-классическую компанию, которая выделила $1-10 млн на «внедрение ИИ» и сразу кажется, что хайп ушел, а розы завяли.

Внедрения не окупили себя, потому что ИИ-ассистенты не могут заменить живых продавцов, хорошие программисты так же пишут код, а copilot это просто удобный автокомплит, чат-боты ошибаются и придумывают отсебятину.

Надежда на то, что «больше компьюта и данных решат AGI» растворилась, ибо скорость реального прироста последних моделей ходить и положительная, но замедляется. Разница между последними релизами это 1/10 по сравнению с релизами с такой же периодичностью, но год назад. Больше данных, может, и решили бы проблему, но откуда их взять, если каждую модель сегодня тренируют примерно на всех знаниях человечества и всем интернете.

На этом месте скептики-критики уже начали строить свои улюлюкающие комментарии. Мол, нет тут никакого рынка на $20 триллионов, да и вообще AGI отменяется.

Реальность же в том, что LLM сделали прорыв в одном классе задач, но это еще не AGI. Я считаю крайне низким шанс, что универсальные интеллектуальные системы могут быть построены только лишь на предсказании следующего токена. С другой стороны, нейросимвольный и агентский подход существенно дополняют языковые модели, давая им предсказуемость, анализируемость, достоверность, точность. Будет ли это последним шагом или только лишь следующим — мы не знаем.

При этом всем, возможности для создания технологий и продуктов в ИИ сейчас больше, чем когда-либо в истории. Это одна из самых больших для инвестиций областей. Те же агенты открывают рынки на сотни миллиардов, на которых будет место для сотен компаний.

Мораль в том, что если кто-то обещает вам решение всех проблем через покупку мемкоина или новый чатбот, то скорее всего вас обманывают. Но пузыри, завышенные ожидания тех кто не шарит, невежество масс — ничего из этого не отменит и не остановит прогресс.

Кстати, о возможностях для разработчиков.

Вот видео 8-летней девочки, которая за 10 минут самостоятельно сделала чат-бота с ИИ в вебе с помощью редактора Cursor. Просто общаясь с ним. У меня такой уровень владения CSS потребовал пару лет практики.

О машине и сознании

Сегодня послушал god-tier лекцию от топовейшего философа Йоши Баха, которая очень сильно откликается с тем, как я думаю про природу сознания у людей, LLM и других форм живой&неживой природы.

Йоша называет свой подход киберанимизмом. Если анимизм — это вера в то, что все имеет внутри себя духа или душу, то киберанимизм это про наличие цифрового духа внутри каждой сущности. Другими словами, сознание — это не просто свойства физической материи (соединяем атомы и аксоны в форме "зю" и получаем сознание), а скорее причина жизни. То есть, сознание — это программное обеспечение, которое использует физическую материю для самоорганизации, перепрограммирования себя.

Но, при этом, сознание это свойство симуляции. Не симуляция возникает в сознании, а именно благодаря возможности симуляции может возникнуть сознание (значит, вероятно, оно может возникнуть и в машине). Именно деконструкция симуляции является задачей медитации, а отрешенность от симуляции и называется просветлением (если у вас нет практического опыта, то в красочных картинках что именно это такое описано в любой книге Пелевина).

TL;DR сознание — самоорганизующееся программное обеспечение, работающее на физическом субстрате (например, мозге). таким субстратом может быть не только мозг, но и машина или растения. древние называли это не "софтом", а "духами", но суть та же (см. картинку).

О свободе

Одно из важнейших полей боя современной цивилизации (особенно, последние ~ десять лет) — это цифровые свободы. Мы наблюдаем не борьбу добра со злом, а борьбу систем. Обе этих системы достигают равновесного теоретико-игрового состояния, но только если одна из них доминирует. Встречаясь, они вступают в конфликт.

Условно, назовем их "иерархическая" и "децентралированная / кибернетическая". Каждая из них беспристрастна и надперсональна. Это не эмоции и мнения отдельных людей — это их агрегированное и эмерджентное состояние. Они обе достигают цели координации общества, но разными методами. В первом случае — контроле, путешествии информации снизу вверх, централизованной обработки и принятия решений. Во втором — кибрнетической обратной связи, локальном сборе и обработке информации и глобальной координации через саморегуляцию.

Видя обе эти системы, люди начинают тяготеть к той или иной конструкции. С одной стороны — люди, семьи, небольшие бизнесы, сообщества и группы, которые стремятся к свободе и тайне своей коммуникации, финансов, решений, действий. С другой стороны — государства, большие корпорации, которым выгоден, удобен (и критически необходим для выживания) централизованный контроль. Что важно, это не связано с политикой, потому что контроль необходим как железным вертикальным диктатурам, так и демократиям, но достигается разными способами (например, у первых суд посадит тех, кто говорит не то, а у вторых говорение не того сделают постыдным СМИ и регуляторы (которых, очевидно, никто не выбирает)).

В этом плане, аресты Перцева, Дурова или Вирджила Гриффита — это не какая-то безумная атака на свободы, а логичное исполнение системами своих функций и борьба за жизнь. Так же, как запрет наличных денег (до которого рукой подать в ЕС и США), дичайшая по своей безумности и бездумности регуляция ИИ, невнятная и непоследовательная политика относительно крипты.

Как верно вчера подметил Виталик, децентрализация не существует только лишь в финансах. Система децентрализованна настолько, насколько политически, физически, экономически и идеологически децентрализованы все её уровни. То есть, вы не можете иметь свободу слова в интернете через VPN или приватные социальные сети, если их оплата происходит через централизованную и зарегулированную банковскую и платежную системы. У вас не может быть действительно нецензурироемой информации, если сервера находятся в одной месте. Вы не можете иметь гарантию приватности информации, если ваш ID, ваш AI и ваши данные лежат на сервере публичной компании из одной страны.

В последнее время я начал получать большое количество сообщений в личку, что чат этого канала становится невыносимым из-за оскроблений, надменного тона и отсутствия культуры общения. По крайней мере, такое ощущение у меня. Причиной тому может быть отсутствие модерации, а может и просто несогласованность целей и ценностей участников. Для решения первой проблемы было предложено активнее вести модерацию, а для решения второй есть небольшая инициатива, про которую чуть ниже.

Возможно, есть другие проблемы, которые вы видите в том как работает сообщество и чат. Либо, наоборот, вас что-то вдохновляет и хочется этого больше.

Подписчик помог мне сделать короткий (2-3 мин) опросник. Если вы его заполните, то поможете сделать это место чуть приятнее и, возможно, полезнее.

Ссылка: https://forms.gle/ivWQ9BffvkPdiPVB6

Спасибо 💙

О том как прийти к свободе (начало тут)

Расскажу о плюрализме, который, как мне кажется, как вода нужен в современном ультра-поляризованном мире любителей поорать друг на друга в интернете.

Про плюрализм последние годы много пишут Пуджа (автор идеи DeSoc), Глейн Вейл (изобретатель радикальных рынков) и Одри Танг, а хороший обзор этих идей написал недавно Виталик. Перескажу супер-кратко, но если у вас есть вопросы, то сначала прочитайте книгу, а потом уже критикуйте.

Плюрализм — это философия понимания мира через множество моделей, а не через единую всеобъемлющую структуру. В этом плане это похоже на экономически-политическое отражение идей интегральной теории. Целью плюрализма является создание системы координации людей и ресурсов, которая с одной стороны сохраняет свободы личности подобно либертарианству, но с другой стороны обеспечивает взаимодействие крупных систем, таких как государство. То есть, это попытка эффективно интегрировать иерархические и децентрализованные системы из поста выше.

Такими целями является, например:
— создание более справедливых и эффективных систем управления и распределения ресурсов,
— снижение поляризации и конфликтов в обществе,
— повышение качества демократических процессов (или применение их там, где они технически не работали раньше),
— автономия и diversity различных групп в обществе,
— создание системы, адаптированной к быстрому, сверхлинейному технологическому развитию.

Сама книга посвящена описанию инструментов достижения этих целей, практики их применения в госуправлении и продуктах.

Главным инструментом для достижения целей является дизайн механизмов (ровно этот инструмент защищает нас сегодня от глобальной ядерной войны, например). Но одной из инноваций тут является идея о том, чтобы сделать отношения между людьми и внутри групп (а не самих людей) first class citizen для дизайна механизмов. Простой пример: этот текст не существует у меня в голове или канале; он существует только как отношения вас (читателя) и меня. Он между, как и любая экономическая активность.

Приведу еще несколько инструментов достижения целей плюралистического подхода:

— Децентрализованная identity и репутационная система, которая разделена на группы, области и домены. Подробнее об этом в пейпере DeSoc или любой пост этого канала между 2018 и 2022.
— Механизмы голосования, учитывающие корреляцию избирателей, над которыми уже много лет экспериментирует Gitcoin и которые невозможны без identity систем из пункта выше.
— ДАО-демократии, которые не насаживают определенную модель управления, но дают гарантию прозрачности системы принятия решений. Куда, в том числе, можно как модуль импортироть системы нескореллированного голосования или квадратичного голосования.
— (Ретроактивное) финансирование публичных благ вместо централизованного и бюджетного. Например, как это сделал Оптимизм уже с более чем $100M: сначала люди доказывают полезность своей работы, а потом, ретроактивно, получают грант.
— Механизм форков и мерджей в госуправлении, близкий к тому что сегодня использует Тайвань (вот тут отлично на тему).
— Открытые и конкурируемые деньги, "общинные" деньги, частные деньги и программируемые механизмы построения экономики с тысячами типов денег.
— Оптимизация принятия решений (особенно, большими институтами) на основе рынков предсказаний: веришь в какую-то политическую идею или прогноз — поставь на это свои деньги.
— Постсимволическая коммуникация, то есть общение без слов. Собственно, все те технологии, которые уже становятся реальностью и которым посвящен последний 8-часовой подкаст Лекса с Маском и Нейролинком. Это улучшает взаимопонимание между людьми, потому что люди могут совместно находиться в VR-мирах и напрямую шерить опыт.

Я постепенно погружаюсь в мир AI как инструмента для создания развлекательного контента.

За последнюю неделю сделал 5 звонков со стартапами, которые делают игры, книги, интерактивные миры и фильмы на основе генеративного ИИ. Пока не уверен как именно подходить к вопросу инвестиций в эту область, ибо entertainment — это не просто про медиум истории, но и про дистрибуцию, IP, умение привлечь талантливых авторов и сделать что-то близкое зрителю/читателю.

Глобально, сейчас вырисовывается некоторый ландшафт этой индустрии:

1. Gen AI инструменты для кино или профессионального продакшена, где доминируют B2B сложные пайплайны из видео, vfx, музыки, липсинка, ретуширования, моделирования.

2. Литература на грани с компьютерными играми, где основой является классический сторителлинг, но с интерактивом и возможностью авторам использовать ИИ для достижения большего эффекта и вовлечения аудитории в сюжет.

3. Игры, где AI помогает создать реалистичных NPC, управлять событиями в мире (AI-game master в аналогии D&D). Тут есть спектр от классических игр, которые используют gen AI (очень многие) до AI-first игр, где только некоторые части сюжета и мира жестко обозначены авторами.

4. Симулируемые миры (в любой или всех вместе модальностях), где самым интересным является не активное взаимодействие, а пассивное наблюдение.

5. А сегодня вот нашел пейпер (на видео), в котором авторы показывают как можно использовать genAI видео фреймворк для генерации консистентного геймплея. Чтобы было понятно, геймплей в видео на 100% сгенерирован нейронкой. Оказывается, видео genAI — это вполне себе игровой движок. Тут, кажется, еще далеко от продукта, и, думаю, это довольно дорого (хотя в пейпере заявляют 1 TPU, но тут 600*800 или типа того).

Глобально, ИИ это (как вчера кто-то точно сказал на звонке) новая форма сторителлинга, и она будет конкурировать за внимание вместе с Netflix, Spotify и Tiktok. Для создателей игр и литературы это новый чрезвычайно мощный инструмент, который позволит воплотить амбициозные творческие идеи в жизнь.

ИИ вам судья

Некоторые вещи в жизни как-будто витают в ноосфере. Ровно так же, как на прошлой неделе совершенно случайно сложилось несколько звонов про AI в развлечениях, так же и на этой неделе совершенно случайно с разными людьми и в разных местах в интернете я натыкаюсь на идею AI в арбитраже.

В одном из чатиков такой разговор был спровоцирован арестом Дурова, в стиле "вот бы у нас не тупые французы, а беспристрастный ИИ вершил судьбы".

С другой стороны подкинули статью адвоката Верховного Суда США, который скормил Клоду несколько последних кейсов и был удивлен тем, что решения Клода (а) совпали с решением суда (данных не было в обучении модели, потому что он брал кейсы недельной давности) и (б) reasoning, анализ и логика Клода была местами даже более четкая и разумная.

Ну а еще в чатике, когда разгорается срач за правоту в интернетах, я регулярно встречаю комментарии из серии: "ребята, не спорьте, давайте ИИ решит кто прав". И приводят цитату GPT, и она правда почти всегда более взвешенная и логичная, чем у качающих торренты срущих в каментах.

Думаю вечерком запилить прототип ИИ-судьи. В целом, такой судья может вполне себе конкурировать с третейскими судами, но для начала хочется какой-то супер простой юзкейс. Например, разбор правоты в интернете, или арбитраж каких-то публичных обещаний, или может модерацию контента.

Вопрос в чат: накидайте ваших юзкейсов и идей. Я запилю и посмотрим как оно работает :)