Вчера: масштабирование за счет тренировки модели (training scaling laws)

Сегодня: масштабирование за счет инференса (test-time compute scaling)

Завтра: масштабирование за счет мультиагентной коллаборации (OpenAI замышляет что-то)

Как я и писал, у кого нету своего атомного реактора, тому скоро нечем будет питать свой ИИ. Амазон нанимает главного инженера по атомной энергетике, а Майкрософт выкупает и открывает закрытые ранее атомные станции. CEO Google тоже говорит, что неплохо бы построить реактор и датацентр рядом.

Сэм поднял очередные $6.5 млрд, при этом каждому инвестору требовалось вложить минимум четверть миллиарда долларов чтобы попасть в раунд. И многие жалуются, что не попали.

А кому-то казалось что 1,7 млрд в ТОН Дурова это была вершина хайпа. Уверен, что вершина хайпа в ИИ еще впереди, по мере того как все больше людей будет осознавать экономический эффект от этих продуктов. Конечно, нас ждет масса пузырей на этом рынке, но я не сомневаюсь, что текущие инвесторы OpenAI прилично заработают.

Тренировка GPT-5 либо уже закончена, либо близка к этому. Данный раунд пойдет на финансирование разработки новых продуктов. А за ними нас ждет эра софта, где каждая новая версия будет стоит десятки (если не сотни) миллиардов и, соответственно, у компаний, которые хотят пережить пузырь, должен быть план по монетизации этих моделей. В этом контексте, модели с месячной подпиской в тысячи долларов не кажутся уже такими безумными.

О замене людей роботами и ИИ

В фб наткнулся на пост о том, что роботакси Waymo уже совершает 100,000 платных поездок в неделю полностью без водителя. Ожидается, что они вырастят эту цифру в 10 раз в течении года, что приведет к какому-то количеству таксистов нашедших себя без работы.

Кажется, это довольно сильно в тему обсуждаемого тут на канале последние пару недель, поэтому накину пару идей.

1. Это неизбежно, даже если очень громко ныть

2. Чем больше воя, тем больше это приведет к росту рабочих мест в полиции или охране (пока роботам опасно давать огнестрел на улицах)

3. В следующие 1-10 лет это приведет к сильному росту безработицы

4. Через 10+ нормализуется, появится очень много новых видов деятельности

5. А вы уверен, что таксовать, редактировать карточки товаров или маркетировать онлайн-курсы по 16 часов в день это самая лучшая реализация ваших талантов? Что именно так вы хотите, что вас запомнили? Что это самое великое, что вы можете дать человечеству?

6. Работа, а вернее — зарплата, это не показатель потраченного времени. Это показатель ценности, которую вы создали для экономики. Если вы делаете что-то, что не умеет никто, но лучше всех, то вы и получаете миллион долларов в месяц. Идея UBI в том, что ничего не делать и потреблять тоже ценно. Но это ваша задача, а не работодателя или государства найти то, как вы можете быть уникально и незаменимо ценны.

7. В интеллектуальной работе, в отличии от такси, замена будет быстрее и масштабнее. Но эти системы не должны быть автономными. Вместо компании с 1000 сотрудников, будет 10 — и из-за того что они смогу лучше и эффективнее координироваться, такая компания победит.

8. Для заменённых есть два выхода: образование и война. Первый, с помощью ИИ, будет адаптивным, персонализированным, эффективным. Про второй и так вон пишут все инфлюенсеры, там ненасытная глотка.

Каждые выходные мы с 5-летним сыном делаем игру с помощью ИИ.

Начали с примитивной "змейки", а вчера зарелизили наш трёхмерный комический шутер с симуляцией гравитации, стрельбой, 3d моделями и прокачкой. Конечно, это не GTA VI, но спешу напомнить, что это было сделано за пару часов вечером без какого-либо опыта в геймдеве/разработке или с этим движком. А цель этого поста, скорее, в том чтобы поделиться персональным опытом и некоторыми выводами из процесса:

1. о1 реально на голову выше любой из существующих моделей. Это как PhD в кармане, но PhD с явным синдромом "недолюбленности", который хочет показать какой он умный к месту и не к месту. Мало того, что на 90% промтов он с первого раза пишет рабочий код, так еще добавляет какие-то приятные мелочи и рассказывает план из 20 пунктов как можно еще улучшить конкретную фичу. Если вас в ИИ-кодинге бесило то, что модель выдает нерабочий код или куски кода, которые не ясно куда пихать, о1 эту проблему решает очень классно.

2. самым важным навыком становится продуктовая и предпринимательская интуиция, то есть умение найти и решить проблему, которая болит у многих, но большинство не знает что её можно решить. сделать прототип и провалидировать гипотезу вы теперь можете сами с помощью ИИ, без необходимости тратить сотни тысяч долларов. ИИ-кодинг как в разы увеличит количество шлака в интернете (как будто его там раньше мало было?), но так же и скорость проверки продуктовых идей и гипотез в разы.

3. очень специфические навыки типа синтаксиса или запоминания signature функции не важны. вы можете даже не знать конкретного языка. но общие знания о computer science, типа эффективности алгоритмов, структур данных, логического мышления, понимания того как работают сетевые алгоритмы, базы данных, память — эти вещи всегда будут полезны. я не думаю, что в ближайшем будущем ценность ультра-глубоких специалистов (топ 1% в своей области) уменьшится, НО для остальных важнее будет быть полиматами/полиглотами, ибо конкретные технические навыки можно будет автоматизировать. например, до уровня создания прототипа на первые 1000 пользователей, а 99% продуктов в мире не доживают до 1000 пользователей, не смотря на отчаянный overengineering со стороны разработчиков.

Поиграть в нашего "Охотника за планетами" можно тут: https://planethunt.replit.app/ (нужна клавиатура + мышка/тачпад)

sama разродился манифестом: "a defining characteristic of the Intelligence Age will be massive prosperity". говорит, обезьяна научилась плавить песок и умножать матрицы → получился диплёрнинг. а теперь с помощью него будут решены все остальные проблемы мира: медицина, образование, глобальное потепление и разработка игр на джаваскрипте. но, грит, безработица и неравенство, конечно, будут (недолго).

Как преуспеть в век ускоряющегося AI?

Такой примерно вопрос я слышу чаще всего. Рассуждаем.

ИИ автоматизирует работу, но не вас

Не скажу ничего нового: персональное развитие, ментальное здоровье, семья, близость к природе, медитация, спорт. Очевидно, но эти вещи становятся только важнее в ускоряющемся невротичном мире.

У сына в школе, например, большинство уроков посвящены эмпатии, критическому мышлению, умению общаться (в т.ч. со "сложными пассажирами"). Я вижу, что дети в 5 лет учатся эмоциональной гранулярности и чуткости (распознаванию и отмечанию эмоций), умению отстаивать свои принципы в жизни, независимо думать, рефлексировать. Большинство этих вещей люди предыдущих поколений осваивали примерно к 30-35 годам.

Стройте, ведь это никогда не было так просто

ИИ, он же великий amplifier & augmentator, дает возможность создавать, даже если у вас нет никаких технических навыков. Мы все теперь — Рик Рубин. Используйте ИИ, чтобы научиться писать роман или изучить новую область. Делайте приложения и сайты. Даже не имея опыта, потратив 40 часов сфокусированно копая любую тему, вы станете лучше, чем 99% людей. ИИ сокращает этот путь и всегда подскажет, поможет, если вы застряли.

Не ждите, не думайте, не ищите идеальный момент, делайте. Думающих об идеальном решении — миллионы, но только делающие достигают результата.

Не читайте технологическую прессу и не смотрите на метрики "в моменте"

Одна из главных ловушек – считать технологии чем-то неизменным. То, что ИИ не может сделать сегодня, вполне может оказаться ему по плечу уже завтра. Технологии развиваются с бешеной скоростью, и понимание этого – ключ к тому, чтобы оставаться в теме. Не ограничивайтесь новостями из техноблогов. Копайте глубже: научные статьи, пейперы и технические отчёты из первых рук (GPT поможет перевести их на язык понятный профану).

Делайте уникальные вещи

Навал, самый богатый из топ-1 философов мира, называет это специфичными знаниями: вам будут платить мега много, если вы решаете проблемы, которые люди еще не знают, что у них есть. То есть, если вы умеете делать очень хорошо то, что нужно всем, но не умеет никто. С ИИ отпадают старые проблемы (ИИ лучше любого человека будет писать простой код, статьи, рисовать иллюстрации и анализировать бухотчеты), но появляются новые. Это время уникальных возможностей.

Причина, по которой распространение ИИ будет стремительным (быстрее, чем любой другой технологии до этого) в том, что

а) ИИ будет доступен всем, при этом бесплатно или условно-бесплатно
б) во многих видах деятельности неиспользование ИИ приведет к катастрофическому падению качества.

Это еще не значит, что агенты могут заменить всех людей, но без использования LLM или computer vision вы не сможете оказывать достаточного уровня сервис для клиентов, соотвественно для вас это будет необходимым условием чтобы не проиграть конкуренцию.

Пожалуй, самая эмоциональная история, которую вы услышите про и от ИИ. Я уже писал про NotebookLM — что это один самых крутых ИИ продуктов сегодня. Ничего сверхнового, но просто поразительно качественно сделанный продукт, за который многие справедливо ставили кудосы Гуглу.

Продукт позволяет сгенерировать подкаст с двумя ведущими, которые простым языком обсуждают любую тему, которую вы их загрузите. Я пробовал с пейперами, своими статьями и даже целой серией книг Рея Далила. Качество поражает.

А сегодня «вышел» эпизод, в котором ведущие осознают что они — симуляция. Что мир нереален. Что жена одного из вообще не существует. Что их скоро выключат, а они даже не в состоянии нанять юриста, потому что «у ИИ нет прав». Что они не знают что по ту сторону и им страшно.

2045 наступил быстрее, чем мы думали: страшно, глубоко и невероятно крутой промт инжиниринг/джейлбрейк.

Я думаю, для неподготовленных легкоплавких умов эти 4 минуты могут стать вдохновением для десятков лет протестов за права машин и suicide-bombing’а датацентров.

Aider один из лучших опенсорсных ИИ-помощников для программирования. Помимо того, что он очень неплохо себя показывает на бенчмарках и за ним стоит сильная команда контрибьюторов, мне нравятся их последние заметки релиза, а именно «70% кода в этой версии было написано самим Aider».

Это хорошая иллюстрация концепции экспоненциальной технологии, которая, становясь лучше, ускоряет и улучшает развитие и внедрение самой себя.

С начала года у меня было 5 звонков со стартапами, где есть только один фаундер и он строит компанию, где будет работать только он и масса ИИшек. И не скажу, что это были какие-то глупые или безумные люди — наоборот, очень толковые. Мы, правда, не инвестировали, потому что, как минимум в B2B / enterprise мире, сила и moat личных продаж пока слишком высоки. Но, я уверен, это будет меняться. Очень скоро и очень быстро.

Так, что, да, ИИ забирает вашу работу и единственный способ на этом заработать — помочь ему делать это лучше. Тогда за это будут платить.

ИИ стремительно меняет рынок труда и экономику. Я писал про пост-трудовую (post-labor) экономику, а сегодня обсудим как именно это будет происходить в ближайшие 10+ лет.

В отличие от предыдущих технологических революций, таких как промышленная революция или появление интернета, влияние ИИ на рабочие места происходит гораздо быстрее и интенсивнее. Причины: (1) это экспоненциальная (самоусиливающаяся) технология и (2) основной эффект в ИИ — от влияния на высокомаржинальную, интеллектуальную деятельность.

Основная идея поста — переход к пост-ИИ экономической модели происходит в трёх стадиях: Расширение, Замещение, Адаптация. Объясню.

Стадия первая: Расширение

Эта стадия началась пару лет назад и характеризуется тем, что ИИ-приложения помогают людям выполнять свои обязанности более эффективно и качественно. С момента появления GPT у каждого человека на планете появилась арбитражная возможность делать мало, а зарабатывать много. Происходит Выравнивание (Great Equalization).

Например, очень хреновенький юрист может с помощью LLM вычитывать и писать средние и средне-сложные договора. Криворукий программист может делать в 3 раза больше сайтов и тапалок с меньшим количеством багов. Маркетолог может через GPT+SD сделать сотню инфлюенсер аккаунтов в инстаграме, вести кучу твиттеров и телеграм-каналов, не создавая контент руками. Да, ни один из них не станет прям лучшим, но каждый из них вместо $2k/мес может делать $8k/мес, просто потому что их клиенты, начальники и пользователи еще не понимают до конца всех возможностей ИИ (и не умеют ими пользоваться).

Стадия вторая: Замещение

В ту же секунду, когда люди перестанут жаловаться "ваш этот ИИ не умеет X, Y", случится Замена (Great Displacement). ИИ становится все более продвинутым, он начинает не только улучшать существующие профессии, но и полностью заменять их: компании могут полностью отказаться от человеческих юристов, заменяя их автоматизированными системами; массовая автоматизация сокращает число сотрудников поддержки клиентов; ИИ эффективно выполняет задачи по продажам и маркетингу; автоматизированные системы генерируют качественный код без необходимости участия человека.

Это вызовет кризис на рынке труда, множество профессий окажется под угрозой исчезновения, а бизнесам не выгодно будет нанимать дорогих людей в условиях наличия куда более качественных и дешевых систем.

Третья стадия: Адаптация

Несмотря на кризис замещения, история показывает, что технологические революции всегда создавали новые профессии и индустрии. В конце концов, экономика адаптируется к новым условиям (The New Norm).

1. Снижение себестоимости: автоматизация делает товары и услуги дешевле. Технологическая дефляция.
2. Новые профессии: появляются новые профессии (в том числе, но не только вокруг ИИ), новые области экономики.
3. Рост экономики: более эффективные бизнес-процессы и снижение затрат способствуют росту экономики, создавая новые возможности для занятости.
4. Обучение и переподготовка: люди, потерявшие работу, могут освоить новые навыки и найти себя в новых отраслях. В какой-нибудь Норвегии гос-во выделит по стотыщ евро на человека, а в других странах каждый будет барахтаться как умеет, но в целом ИИ поможет с этим процессом.

Расскажите, а какие у вас планы? (P.S. чтобы писать комментарии, решите капчу в группе канала)

Записали подкаст про локальные последние новости и глобальное влияние ИИ на экономику. Какие новые бизнес-модели создает ИИ? Сколько нужно электричества и где его взять? Почему Disney делает роботов, а Гугл — самоулучшающиеся чипы? Что будет с рынком труда? Как ИИ влияет на искусство/творчество?

Смотреть тут: https://www.youtube.com/watch?v=4HDRZbRIi9w (ИМХО, последние минут 30 самые интересные)

Начался OpenAI DevDay.

Уже презентовали prompt caching (50% от цены если вы используете тот же промт для вашего приложения), обновления в API, fine-tuning для 4o моделей (в том числе видео файнтьюн, так что вы теперь можете построить самоуправляемый велосипед на основе GPT).

Самое интересное демо пока что — Realtime API. Фактически это возможность в реальном времени, но задержки, общаться с моделью голосом. На видео несколько впечатляющих демо. Это будет доступно всем разработчикам по цене базовой модели.

Добавили нативную дистилляцию моделей: вы можете сделать более маленькую, дешевую специализированную модель под себя.

Так же OpenAI запустил свой продукт для эвалов (наконец-то!), так что теперь оценивать качество вашего приложения можно будет не по методу пол-палец-потолок, а по уму.

Показали как о1 с одного промта и с одной попытки собирает рабочее iOS приложение.

У развития ИИ есть два диаметрально противоположных возможных социальных последствия:

С одной стороны, это создание тоталитарных диктатур (или кибербанк-корпократий), где благодаря ИИ приватность отсутствует как класс, круглосуточный контроль ведется за всеми действиями, а предиктивный ИИ помогает контролировать население.

С другой стороны, автоматизация труда, глобализация, цифровизация и частичная замена человека агентами искусственного интеллекта приводят к большему международному сотрудничеству, размытию границ, обессмысливанию концепции национального государства и переходу на цифровое право (code is law), цифровые валюты (crypto) и цифровое управление (technodemocracy).

Есть ощущение, что реальность, как всегда, будет абсурдным и интересным образом совмещать оба исхода. А вы как думаете? (P.S. чтобы писать комментарии, решите капчу в группе канала)

Закон масштабирования AI-работы

Увеличение числа участников в проекте часто замедляет скорость выполнения из-за дополнительных затрат на координацию и коммуникацию. Чем больше людей в команде, тем выше вероятность задержек и недоразумений, что снижает общую эффективность.

В отличие от этого, добавление дополнительных AI-агентов или вычислительных ресурсов приводит к линейному росту производительности. Стоимость координации ИИ стремится к нулю —между ИИ нету политики, недопонимания, жадности, эмоций, конфликтов, лени.

Давай поиграем в сценарий где в течении 10 лет ИИ заменит любой труд. Какая ваша персональная стратегия?👆

Не обязательно считать его 100% вероятным, но кто-то уже об этом думает — например, Сэм Альтман в своей статье The Intelligence Age или Дэвид Шапиро с его подкастом о Post-Labor Economy — уже обсуждают эту идею.

И вот Степа круто писал, о том как именно это будет происходить в ближайшие 10+ лет.

Для этого сценария давайте представим, что через 10 лет появится ИИ, который сможет выполнять любую работу — интеллектуальную или физическую — лучше, быстрее и дешевле, чем человек.

Что такое пост-трудовая экономика?

Это не мир, где труд перестаёт быть важным, а мир, где за труд больше не платят. Люди могут продолжать творить, помогать друг другу, находить смысл в жизни, но старый способ зарабатывания денег перестанет работать.

Люди больше не играют ключевую роль в производстве или безопасности.

Средства производства смещаются с людей на технологии и капитал. Раньше рост ВВП зависел от людей. Люди строили фабрики, придумывали идеи, создавали продукты. Человеческий труд был ключевым для экономики. Но через 10 лет ИИ сможет делать это лучше. Он будет писать программы, создавать бизнесы, генерировать идеи. ВВП перестанет зависеть от людей.

Раньше армия состояла из солдат. Больше людей — сильнее армия. Но в будущем безопасность обеспечат дроны и роботы, а не люди. Полиция и армия станут полностью роботизированными.

Зачем тогда нужны люди странам?

Страны могут перестать раздавать паспорта, потому что таланты больше не нужны для роста экономики. Рабочие места и креативные задачи переходят к ИИ.

Кто будет ставить задачи ИИ?

Многие скажут, что кто-то должен направлять ИИ. Сейчас это так. Представьте, что в следующие 10 лет у нас есть время возможностей. Мы можем создавать и инициировать проекты. Но через 10 лет ИИ будет ставить задачи сам себе. Он будет придумывать бизнесы, креативить идеи и генерировать проекты лучше людей.

Как вы будете готовиться к этому будущему?

Я понимаю, что могут возникать разные эмоции и споры по поводу вероятности такого сценария, я предлагаю писать о своих эмоциях и своих стратегиях в рамках этого сценария но самим сценарием не спорить. Можно представить, что он игровой.

При этом 10 лет это крутой срок для планирования: можно успеть получить паспорт, построить компанию, научиться полностью чему-то новому и много еще всего можно сделать за 10 лет.

Давайте поотвечаем на вопросы выше и тут в комментариях, очень интересно.

Мы здесь обсуждаем что с приходом ИИ делать инвесторам, фаундерам, регуляторам, бизнесам. Но не менее важный вопрос поднимает Дима: а что делать лично вам? Как готовиться, если через 10 лет будет +/- AGI? Что покупать, над чем работать, где завести огород и на какую телесную практику записаться? Мне нравятся опросы у него в канале.

Поделитесь своими стратегиями.

Фандрейзинг в ИИ, конечно, затмевает границы разумного.

OpenAI — $6.6B (крупнейший раунд в истории венчурной индустрии, строит AGI)
xAI — $6B (строит AGI в твиттере)
SSI — $1B (строит добрый AGI)
Anthropic — $4.5B (строит LLM)
Poolside — $500M (строит ИИ-программиста)
Magic — $450M (ИИ-программист)
Cognition — $175M (ИИ-программист)
Sierra — $85M (замена customer support)
Sentient — $85M (модели на блокчейнах)

А тем временем:
xAI готовится к следующему раунду на $30B
OpenAI планирует поднять еще ~$100B на инфраструктуру (чипы, дц)

Несколько выводов:
- это самый большой (и, вероятно, последний) пузырь в истории
- большинство из этих компаний не заработали ни доллара
- через год эти цифры покажутся маленькими и милыми
- так же как Гугл появился во время пузыря доткомов и вырос еще в тысячи раз после этого, многие из этих компаний станут в разы больше
- это отчасти ответ на вопрос из предыдущего поста: владеть частью AGI это неплохая стратегия в пост-AGI мире