Уезжаю в отпуск, хочу оставить вас с этим двумя видео:

1. Arthur C. Clarke, предсказавший сегодняшний день в интервью в 1964 году

2. Doug Engelbart, автор знаменитой «Матери всех презентаций», показавший в 1968 году почти все ключевые компоненты персональных компьютеров, которые станут массовыми в течении следующих 40 лет.

Желаю, чтобы в 2024 году мы делали вещи, которые существенно улучшат жизнь цивилизации на многие десятилетия вперед.

Появление vision+LLM моделей дало толчок массовому развитию UI автопилотов или «самоуправляемых компьютеров» — агентов, которые могут на основе ваших команд взаимодействовать с интерфейсом и достигать целей (например, забронировать билет на самолет или зарегистрироваться на сайте).

А сегодня появился первый пример этой же идеи, но примененной к мобильным интерфейсам. Автономные агенты могут за вас использовать приложения, писать посты и письма, редактировать файлы и фотографии, оставлять или читать отзывы, ну и в целом использовать любое рандомное приложение из аппстора.

Siri здорового человека.

Пост главных фейлов, открытий и событий этого года.

Главным событием года для меня стала потеря денег, несколько сотен тысяч долларов. И это бы ничего, ибо благодаря своей глупости или мошенникам я в прошлом терял десятикратно большие суммы. Но здесь речь идет о чужих деньгах, инвестициях в нашу компанию. С одной стороны, мы постарались сделать все максимально грамотно: быстро пивотились если не находили быстрых признаков pmf, приняли очень своевременное решение закрыть компанию когда стало понятно что выбранный нами рынок не созреет достаточно быстро и вернули чуть меньше половины рейза обратно инвесторам (что оказалось верным решением, потому что большинство конкурентов спустя почти год так и не построили коммерчески успешных продуктов). С другой стороны, ты никогда не знаешь — а может стоило приложить чуть больше упорства и фокуса или, наоборот, с самого начала нужны было выбирать совершенно другую стратегию. Ах, сослагательные наклонения. В любом случае, это был самый эмоционально сложный момент последнего года.

Благодаря описанной выше ситуации я смогу на 100% сфокусироваться на теме генеративного ИИ, LLM’ок, что было главным плюсом и успехом последнего года. Для тех, кто не в курсе, 11 лет назад, моей первой работой в Сан Фране был стартап, занимающийся NLP (машинное обучение для работы с естественным языком), а как раз через несколько лет работы там, в 2013, я случайно попал на SF Bitcoin Meetup и это определило следующие 10 лет моей карьеры. Так вот, за эти 10 лет, благодаря феерическому развитию AI/ML в целом и трансформерам в частности, случился прямо-таки квантовый скачок. Я построил неколько десятков прототипов и продуктов используя LLM, запустил codex.town, провел больше 30 вебинаров и лекций, поработал с классными большими клиентами, помогая им внедрять ИИ в корпоративные бизнес-процессы, а так же поучаствовал в запуске нескольких стартапов, чьи продукты стали возможными благодаря появлению мощных LLM’ок.

Но самое удивительное это та большая картина, в которую сейчас начинают укладываться все те вещи, на которыми я работал последние ~12 лет:
- искусственный интеллект: технология, помогающая экспоненциально увеличить количество интеллекта на планете и делегировать когнитивные задачи;
- крипта и веб3: технология, помогающая создать программируемые рынки, системы мотиваций (incentives);
- self-sovereign identity: технология, помогающая создать программируемые и децентрализованные институты.

В своё время я назвал амальгаму этих трендов “программируемой экономикой”, но сегодня все больше людей называют это “e/acc”. Я еще подробно распишу как эти вещи связаны и дополняют друг друга, но главный персональный вывод заключается в том, что именно эти технологические тренды — это то, над чем я твердо решил что буду работать следующее десятилетие; это то что я считаю наиболее важным для экономики, общества, цивилизации в целом; и это те вещи, от которых я получаю неимоверный кайф и радуюсь от возможности заниматься именно этим.

Началась любимая пора — это когда в течение дня больше не-звонков, чем звонков. А это значит, самое время прочитать и послушать все то, о чем мечтал целый год. Long-form контент сильно недооценен в эру твиттера и youtube shorts, но при этом он все так же незаменим.

В этом посте мы собираем ссылки на лучшие книги, длинные подкасты, онлайн курс, который вы/мы хотим осилить за праздники. Я начну:

1. Почти дочитал книгу The Power Law — лучшее описание истории венчурного капитала и Долины (суть одно) на примере всем известных персонажей и компаний (от Рока и Фейрчайлда до Цукербринов и последних трендов)

2. Почти прошел курс от huggingface про современный NLP и трансформеры. Лучшее место чтобы начать с основ современного ИИ, с примерами, коллабами, но ужасным французским акцентом.

3. Заказал книгу Understanding Deep Learning (вышла 2 недели назад). Говорят, лучшее интро в современный DL.

Следующими шагами планирую курс по Deep RL, дочитать Governing the Commons, найти что-то не слишком уж хардкорное чтобы понять FHE / криптографию на решетках. Еще интересны книги про рынки (особенно, монетарные) и как они работают, но я пока не знаю что лучшее на эту тему читать, кроме Broken Money.

Делитесь своими вишлистами, рекомендациями, запросами.

О главном тренде 2024 и дальше

В ближайшие годы на планете произойдет взрыв совокупного количества доступного интеллекта. Над любой задачей, работой, в любой профессии теперь кроме вас будут еще работать десятки агентов, чат ботов и умных ассистентов.

На мой взгляд, есть небольшой шанс, что в течение следующих 5 лет потребность в экономике исчезнет. Из них, 80% вероятность из-за появления AGI и, соответственно, сверх-достатка и избытка; 20% — из-за цивилизационного шока (rogue AI, nuclear war, whatever).

Так же есть большой шанс, что в течение 5 лет данный технологический тренд будет крупнейшим по эффекту на экономику, по сравнению со всеми предыдущими (железная дорога, нефть, полупроводники, интернет, крипта).

В обоих случаях разумной стратегией сейчас является инвестировать.

1. ИИ изменяет структуру бизнесов, и теперь даже довольно далеки от ИТ бизнесы смогут быть куда более эффективны в использовании капитала, потому что для оказания услуги или создания продукта вам нужно меньше людей, а ведь payroll является главной статьей расходов для почти любой компании.

2. ИИ создает новые типы продуктов и бизнесов, большинство из которых так же являются не сильно требовательными к капиталу: у софтверных компаний нет капитальных издержек, а железо все равно берется в аренду в зависимости от использования и следовательно объема выручки.

Инвестировать имеет смысл как в компании напрямую создающие ИИ-продукты (включая небольшие команды или соло разработчиков, где часто достаточно чека в десятки тысяч), так и в бизнесы, которые наиболее выиграют от внедрения ИИ и сокращения костов, включая консалтинг, юрфирмы, фитнес приложения, коучинговые сервисы и эдтех — те, из них, кто принял стратегию ИИфикации себя как можно раньше и понимает как это делать.

Я лично не очень верю, что этот тренд будет последним, но я уверен что объем value для мировой экономики будет еще больше, чем триллионы долларов, созданные на волне semiconductors или consumer internet.

Конечно, билдить не менее важно (и куда более интересно), но скорость изменений и масштаб (широта) эффекта настолько огромна, что захватить значительную часть этого тренда все равно не получится. Скорость и обьем микро-бизнесов, которые за год-два могут стать единорогами (благодаря скорости дистрибуции и всей инфраструктуре для стартапов созданной за последние 40 лет) будет невероятной.

Продолжу парад экспатов: Михаил Жуховицкий рассказывает о плюсах закрытого поселка в Египте, George Verbitsky про Бали.

Для начала небольшой дисклеймер: это отзыв условно «опытного» экспата, прожившего совокупно почти 10 лет в разных местах, типа Bay Area/СФ, Берлина, Саппоро, Тель Авива. Поэтому всякие мелочи первой эмиграции, типа неожиданно отличающихся языка, бюрократии и налогов в новой стране, я опущу.

Живу в Португалии уже почти год, поэтому собрался список как плюсов, так и минусов.

+ Фантастический климат, близок к идеальному. 300+ солнечных дней в году, зимой тепло, летом не жарко (дома нет кондиционера и не возникало желания установить)
+ Океан всегда рядом, сёрф споты в 10 минутах, красивое побережье
+ Небольшие, но горы в 10 минутах езды в другую сторону от океана, масса хайкинговых трейлов (люблю хайкать и слушать книги по несколько часов)
+ Низкие налоги, 20% flat на 10 лет, но со следующего года это вроде как отменяют (у кого уже есть — останется)
+ Масса доступного образования. В радиусе 15 минут езды у меня 7 международных школ с Американской или Британской системой на выбор. Плюс всякие Монтессори садики.
+ Активная тусовка по моей теме (стартапы, VC, web3). Не такая большая как в СФ, но активнее, чем Берлин.
+ Гигабитный интернет за довольно скромные деньги
+ Все дешево по сравнению с Лондоном/Амстердамом/Нью-Йорком. В любую точку в пределах города на такси стоит 3 евро. Парковка стоит центы.
+ Все говорят на идеальном английском (в отличии от Испании, например).
+ В отличии от Германии, все работает целыми днями и в выходные. Можно в 11 вечера поехать в гипермолл или заказать еды утром первого января. Особенно важно для тех кто живет в Германии: доставка из Амазона приезжает не к фрау Мюллер через три дома, а К ВАМ ДОМОЙ!
+ Качество воздуха! В Лиссабоне прям сразу ощущается, что воздух более загазованный, но у нас прям кайф.
+ Португальцы. Они не шумные и орливые, как американцы или испанцы. Не душные, как немцы. Не озлобленные на весь мир (как многие в СНГ) и умеют радоваться. Любят иностранцев, но при этом не «душа нараспашку».
+ Личные предпочтения: вино, портвейн, осьминоги, Азорские стейки. Все это за копейки в ближайшем Ашане.

+/- Самое простое из всех в моем опыте получение ВНЖ и паспорт ЕС, кому надо, через 5 лет. Но при этом жутко медленная бюрократия, у меня процесс занял 8 месяцев, но я никуда не торопился и отсутствие документов никак не мешало.
+/- Не конфликтующая ни с кем неимперия. С одной стороны любители патриотического угара расстроятся, но при этом стана занята не мировым господством или борьбой с соседями, а получением удовольствия от себя.
+/- Португальский всё-таки желательно знать. Но он простой, на 95% общий вокабуляр с испанским, который ИМХО самый простой язык для изучения. Но фонетика сильно другая.
+/- Я бы не рассматривал Лиссабон для жизни: грязновато, тесновато, нет парковок, холмы. Но зато Greater Area, а особенно Кашкаиш прямо идеальное для меня место. До Лиссабона ~25 минут на машине, но я туда езжу раз в 2 месяца в среднем.
+/- Общеевропейский тренд на социализм. Мне ближе американская система. Но зато за копейки можно получить очень качественную медицину (по рейтингам выше чем в Германии, в ДЕСЯТКИ раз быстрее прием, есть частные клиники, новое оборудование вообще везде).

- Дорогие машины, в среднем нужно будет заплатить налог в 20-25% от стоимости автомобиля в ЕС, просто чтобы получить местные номера. Не Израиль, но все равно.
- Дорогая недвижка. В Кашкаише дом стоит от $2М, а новый и классный скорее $5М. То есть, не дешевле, чем та же Германия или США. Не думаю, что будет падать, потому что это главное направление для пенсионеров из UK/DE.

Одна из больших проблем в ИИ — это нейминг, который уходит корнями в более чем полвека истории.

Нейронные сети, к сожалению, могут натолкнуть людей без опыта их применения на мысль как будто это как-то связано с нейронной активностью в мозгу. В реальности же подбор параметров и гиперпараметров модели с последующей относительно принимитивной линейной алгеброй (это когда умножают цифры записанные в форме столбиков или квадратиков, пусть даже высоких размерностей) не имеет ничего общего с принципом работы биологических нейронов.

Отсюда и массовая истерия, непонимание и наделение ИИ моделей почти что антропоморфными (а в последнее время все больше divine, божественными) свойствами. Отсюда и мифы про то что модель можно обучить просто разговаривая с ней, как с ребенком. Или о всезнании и обязательном желании истреблении человечества. Или о том, что способности ИИ ограничены тем, что физически может уметь человеческий мозг.

С одной стороны мы имеем пример очень классного нейминга — крипта — которая действительно в своей сути является практическим применением криптографии. С другой — не менее важные по своему применению, но совершенно конфузящие неподготовленную аудиторию нейронные сети.

UPD. lol, fake news

UPD. Сейчас онлайн висят два твита: от официального аккаунт SEC и от Гари Гэнслера, председателя SEC с противоположными заявлениям. Кто кого взломал разобраться не представляется возможным.

GPTs store + Bitcoin ETF
Хорошего вечера!

Бумеры-дегены торгуют биткоин выше $50к (1 акция в этом ETF = 1/1000 BTC)

Больше миллиарда залили уже за 40 минут с открытия рынка.

Только лишь за сегодня ДАО Optimism распределило больше $100M между open source & public good проектами в виде безусловных грантов.

В отличии от большинства грантовых программ, здесь деньги получили действительно полезные и активно используемые проекты с открытым кодом, а не профессиональные охотники за грантами.

Полные результаты тут.

Заметил «Бритву VC»: чем больше красоты, дизайна, текстов, слайдов в деке, тем меньше реальной дифференциации и крутости в продукте, компании, команде.

О пост-правде и пост-иерархии

Вы заметили что инициативы «притормозим развитие ИИ», let alone «остановим» полностью проиграли аксерелерационизму? Примерно так я и предсказывал год назад, когда все это начиналось. Но речь не обо мне, а о том что дальше.

Заморозка или остановка прогресса возможна либо при тотальном контроле и диктатуре, либо в более мягкой но таком же по эффекту иге консерваторов-регуляторов.

Их мир уже продолжительное время рушится: сначала благодаря пост-информационной эре, затем благодаря пост-агентной. Расшифрую.

В до-информационную эпоху (до ~2000 года) в мире существовали относительно признанные иерархии и авторитет. Где-то — кровавый диктатор, где-то — Нью-Йорк Таймс, но именно они решали что сегодня в моде и как нужно думать о вещах. Информация была редка, а глубокий анализ производился только профессиональными медиа компаниями. В отсутствие альтернатив, их точка зрения принималась как минимум разумной. У государств и корпораций был полный контроль, подтвержденный еще и физической силой.

Но за четверть века произошли куда более сильные изменения, чем общество в состоянии переварить. Любой школьник теперь пишет длинные статьи с анализом гео-политической стратегической стабильности, самый непримечательный Акакий Акакиевич может сам того не осознавая и даже не пытаясь запустить волну стотысячных протестов через твиттер или тикток. Правда потеряла место за столом и уступила его постоянным волнам эмоций, придуманных нарративов, неподтверждаемых фактов. А вместе с этим и исчез авторитет институтов. А с ним и контроль.

Важно: мир находится уже не в старом иерархическом состоянии, но еще и не успел адоптироваться к новому, сетевому. И ему бы дать 20-30 лет чтобы просто научиться жить в этой системе, но хрен там плавал.

Генеративный ИИ в сотни раз снизил стоимость создания любого контента, вне зависимости от политического лагеря. И это финальный, фатальный удар, который децелы, жрецы иерархий, не ожидали.

Если с социальными сетями еще можно бороться: одного СЕО мощно отхлестать по щекам на заседании конгресса, другого блогера и «распространителя фейков» на 25 лет в лагеря за полярным кругом, тут подбанить, там подблочить, тут срок, там штраф. И проблемы вроде как нет. (Что-то я не вижу постов про войну в Украине, всем ссыкотно стало)

А вот с ИИ сложнее: юр лица у него нет, в конгресс нейронку не вызовешь, штрафовать агентов бесполезно, паспорт не отнимешь, а лица у них нет — бить некуда. Еще через год большинство таких моделей (мое предсказание) будет тренироваться в расрпделенных кластерах GPU, вне юрисдикций и с оплатой в крипте.

Крч, тяжела и неказиста жизнь типичного децела. Но и нас тоже ждут любопытные потрясения. Allons!

Крипта и машинное обучение это две стороны одной медали.

Крипта скрывает данные, используя числа (например, точки на эллиптическиой кривой) как замки для конфиденциальной информации.

Машинное обучение открывает знания, находя ключи (веса и смещения) от публичных данных (сета для обучения).

Первая защищает, второе — открывает.

Крипта, венчурный капитал и новая норма

Вы наверняка замечали что правила рынка в ИТ в целом и в крипте сильно отличаются. Я расскажу как именно, почему, но, самое главное, чему мы можем из этого научиться?

Например, проект на стадии пре-продукта в каком-нибудь саасе или дейтинге может привлекать деньги по оценке $5 или $10 млн, и то в первую очередь из-за команды. В крипте это легко будет оценка $30 или $40M, даже на текущем рынке. Проект с менее чем тысячью пользователей может иметь FDV (отдаленный аналог капитализации) в $200-300М долларов. Проекты без выручки без особого роста пользователей имеют FDV в $2-3B. Это не укладывается ни в какие классические бенчмарки.

Главная причина: скорость события ликвидности (экзита). VC, вложив в очередной L1 супер протокол с 5 консенсусами (да, я видел и такие) может получить х10 на свои инвестиции скинув токены через 6-12 месяцев. Даже если проект будет полностью провальным. Более того, фаундеры и некоторые ритейл инвесторы тоже заработают. И продолжат это делать еще долгие годы. Например, EOS и LUNA имеют капитализацию в $800 и $700 млн соотвественно, хотя фаундер первого уже лет 5 как забил на проекта, а вся команда второго либо в тюрьме, либо делает что-то другое. В 2022 NFT сгенерировали $25B оборота, а сегодня этот рынок почти исчез.

Ленивый и глупый скажет что “крипта это скам”, но у этих феноменов есть более глубокая причина. Да, это все пузырь. Но в этом пузыре мало что сможет остановить BTC и ETH от еще десяти- или более кратного роста, странно ведь? Плюс, пузырь лопался не раз, и каждый раз ситуация повторялась: ICO, NFT, GameFi.

Еще, из простых ответов: “инвесторы верят в децентрализацию”. Мол, бенчмарк и андрисен так сильно верят в замещение протоколами nation states и глобальных банков и в то, что эти протоколы из миллиарда вырастут в триллионы, когда станут обслуживать мировую экономику. Грубо говоря, что история с полупроводниками, интернетом и PC повторится: от кучки энтузиастов технология вырастет до 5+ млрд. Вероятно, но я бы мешал инвесторов и пророков. Их дело делать ставки, а не читать звезды.

А теперь самое интересное: чему нам нужно учиться у этого феномена? Предлагаю свой список.

1. Правила венчура меняются (еще раз). В 1960-х VC не входили в сделку меньше чем за 40%; в 80-х в большинстве сделок фонд требовал замену СЕО компании на “своего человека” (e.g. Apple). В целом индустрия становится все более благоприятной для фаундера, потому что именно фаундер, а не инвестор будет тем, кто построит крутое своими руками. Но сама возможность токенизацию сдвигает кривую фронтира инсентивов, и мы все еще в поиске рыночного равновесия (уже близко, чувствую возмущения в Силе я).

2. Желание людей гемблить неостановимо. Хомяк в любом случае понесет всю свою зарплату на слив. Будь то онлайн казино, ICOшник из Дубая с инстаграм-тёлкой на привязи или ваш мощно-ботанский прорывной проект.

3. Все это, безусловно, следствие изменений в монетарных политиках. Но с 2015 мы прошли период безудержной содомии, пандемии и зажимания булок, а феномен сохраняется. Значит, он агностичен к циклу.

4. В конечном счете, это новый design space для компаний (ДАО, протоколы), инсентивов (early unlocks, instant liquidity) и бизнес-моделей. Регуляция и само-регуляция это первый шаг, но он неизбежен (если не мы, то они). А вот применение этих уроков на большее количество больших по объёму рынков (ИИ, роботика, новые виды энергии) — это уникальная возможность для следующего поколения фаундеров и инвесторов.

Чатботы от крупных компаний замедляются в росте в декабре. Думаю, причина в том, что остальной аудитории не очень понятно как и, главное, зачем им нужен ИИ асисстент. Это проблема

а) удобства интерфейса и модальностей ввода-вывода (снял видео, получил аудио/видео-инструкцию как поменять колесо у машины)

б) более специализированных юзкейсов: тот же GPT но с преднастроенными промтами и RAG'ами для юристов будет пользоваться большим доверием.

Общий вывод в том, что хоть нам всем и кажется что генеративный ИИ получил 100% проникновение в жизнь каждого, в реальности мы еще не прошли и 10%. Немыслимые состояния и империи будут созданы в процессе!

Вау, это фантастика.

Если вы хотели понять как именно работают LLM, но за 20 минут и чтобы это было красиво, то вот: https://bbycroft.net/llm

Пили чай с Женей Курышевым, и он сказал очень интересную мысль:

Предприниматели — это волшебники 21 века: они целыми днями только и делают что разговаривают и производят жесты руками, а в результате из этого появляются миллиарды долларов ценности, летают ракеты, работают роботы, миллионы людей получают товары, рилсы, музыку, кино.

На фото — вид из окошка

Быть crypto-native — это получать удовольствие от того как мы тестируем в продакшене новую итерацию мировой финансовой системы на кучке деген-стратегий, жипегов котов, мемкоинов и щиткоинов.

Социальные сети (децентрализованный контент) уничтожили традиционные медиа, если сравнить выручку интернет и трад-медиа-бизнесов. И это вне зависимости от того, кто считает что он делает более расово верную работу. Социальные сети предоставили продукт, который решает ту же проблему (доступ к информации) лучше, удобнее, дешевле для пользователя. И пользователь проголосовал своим кошельком, временем, преданностью, лояльностью (никто сегодня не будет защищать ни Fox, ни NYT, но люди любят свои уютные сабреддиты, дискорды, тг-группы).

То же самое крипта делает с банками и биржами.

То же самое сетевые государства сделают с традиционными.