Я писал, что есть те, кто идут в технологии ради прогресса, а есть те, кто ради хайпа. Но есть еще одна грань этого феномена.

Вот берём крипту, ДАО или ИИ. С поверхности это можно рассматривать просто как новые рынки, как способность создавать более качественные, крутые, дешевые и эффективные продукты. Способ удешевления решения работ (JTBD) и способ создания более эффективных бизнесов.

Но большинство по-настоящему крутых людей в этих областях, которых я знаю — они тут не ради продуктов и бизнесов. Они видят в технологиях долгожданный способ изменения мира. Где бизнес может быть одним из инструментов, но не обязательно.

Веб3 позволяет избавиться от неэффективных ручных иерархических институтов, типа государств, корпораций. ИИ позволяет убрать из процесса принятия решений, особенно коллективных, личные эмоции, мотивации, коррупцию, жадность. Биткоин помогает построить экономику, в которой ни один человек или организации не решает правила игры за закрытыми дверям (олды вспомнят SegWit митинг на Consensus-2017). ДАО позволяет создавать тесные, искренние сообщества, где люди делают то, что по-настоящему любят, помогают и выручают друг друга в сложных ситуациях, совместно растут.

Это далеко не все преимущества, и не обязательно что все этом лучится прям завтра. Но именно это, а не желание грязно разбогатеть (пусть и упорно работая) двигает прогресс и самых талантливых людей в индустрии.

Новый подкаст! Мы поговорили с Андреем Великим, основателем Allbridge и легендарных криптохомяков.

В этом подкасте мы обсуждаем как Allbridge взломали и украли больше $500,000, и как команде удалось вернуть эти деньги. Так же говорим о приватности и регуляции в крипте, будущих трендах и вспоминаем историю рынка крипты в перспективе.

Смотреть: https://youtu.be/Nq2yBOaZESw
Слушать: https://podcasters.spotify.com/pod/show/cryptoessay/episodes/ep-e25v15d

Дано: AGI грядёт; человеческий труд не потеряет смысл, но потеряет ценность (потому что не будет ничего, что человек может делать на равне с машиной); маржинальная стоимость товаров и услуг стремится к нулю.

Наивное предположение: ну, раз так, значит будет UBI и государство всем раздаст денег.

Реальность (по мнению экспертов Твиттера): никаких бесплатных денег не будет. Производителям все равно будет нужен рынок сбыта. Товары действительно будут дешевле, но платить за них вы будете не зарплатой (ведь вы теперь permanently безработный), а активами — акциями Теслы и Биткоинами.

Вывод: у вас есть буквально 2-3 года, пока еще существует экономика, чтобы грязно разбогатеть в получить все деньги мира. После случится снепшот и экономическое неравенство будет сохранено на тысячи поколений вперед.

Одна эта логика для многих оправдывает мошенничество, инфобизнес, продажу токенов, ибо перед лицом смерти Экономики (очевидно, неизбежным) любая копеечка — последняя.

Агенты выросли.

Месяц назад многие впервые столкнулись с Auto-GPT и громко возмущались что, мол, агенты ваши эти ничего не умеют, только производят видимость разумных рассуждений.

Но люди не понимают, что та версия ИИ, которую они используют сегодня, это самое худшее (в смысле примтивное и простое), что они увидят в жизни. Это примерно как кошелек Mist для эфира (в 2015 - единственный, ужасный, требовал часов 8 синхронизации прежде чем отправить транзакцию). А вот пара примеров в каком направлении развиваются агенты:

GPT-Engineer, набравший умопомрачительные 25к звездочек на гитхабе, умеет писать код. Фишка этого агента в том, что он придирчиво и детально начнет спрашивать вас о том что конкретно вы хотите видеть в финальном приложении или сайте. Благодаря более детальному ТЗ, код в результате получается куда более точный и почти всегда работает (по моему опыту).

GPT-Author может написать вам книгу в 10-15 глав + красивую обложку за ~$1,5. Книги в общем и целом получаются нормальные, но пока что не Стивенсон или Достоевский. Как известно посадив миллион GPT-обезьян за печатные машинки, в итоге вы получите что-то, что продастся тиражом "Войны и Мира". Я делал много литературного контента через GPT, и абсолютно могу вам гарантировать, что он в состоянии создавать интересные сеттинги, героев, сюжетную арку — но высокое литературное качество требует от человека чуть больше, чем нажатие одной кнопки (пока).

P.S. Если помните, мы решили отменить платный курс по GPT потому что это позор, но зато я решил сделать бесплатные живые вебинары, домашние задания и (закрытое или открытое, пока не решил) сообщество с менторством и персональной помощью. Цель — сделать лучше, качественнее, понятнее, полезнее, чем любой курс за деньги. Причина — ИИ больше, чем что-либо сегодня влияет на мир; я хочу помочь стать экспертами многим.

В пятницу я проведу вебинар про промт-инжиниринг и про то, как раскрыть возможности GPT на 100%. Поговорим о всех типах и техниках промтинга, рассмотрим сотню (literally) ультра-полезных примеров НЕ ИЗ ТВИТТЕРА, расскажу как работает GPT изнутри очень простым языком. Записываться, как всегда, тут (кому-то требуется VPN).

Внезапно выяснилось, что если обучать нейронки не на двачерах с реддита, а на качественных очень тщательно курируемых учебниках, то их производительность вырастет в разы.

phi, новая модель, превосходит по качеству GPT в области написания кода и некоторых других задачах, при этом имеет в сто раз меньше параметров и обьем данных для тренировки.

Я уже писал, что GPT мало кто понимает изнутри. Но мы точно знаем, что это очень неэффективная архитектура, которая вследствие довольно случайных решений разработчиков смогла интернализировать все знания и «понятийное поле» всех языков человечества, сохранив их в форме весов нейронов модели. И это нифига не оптимальный способ кодирования всей информации о мире, а так же операций с этой информацией.

Так что в будущем модели будут куда более компактные, работающие локально, при этом имеющие куда более высокую производительность.

Кстати, напоминаю, что мы делаем серию бесплатных живых вебинаров и (закрытое или открытое, пока не решил) сообщество с менторством и персональной помощью. Цель — сделать лучше, качественнее, понятнее, полезнее, чем любой курс за деньги. Причина — ИИ больше, чем что-либо сегодня влияет на мир; я хочу помочь стать экспертами многим.

В пятницу я проведу вебинар про промт-инжиниринг и про то, как раскрыть возможности GPT на 100%. Поговорим о всех типах и техниках промтинга, рассмотрим сотню (literally) ультра-полезных примеров, расскажу как работает GPT изнутри очень простым языком. Записываться, как всегда, тут (кому-то требуется VPN).

Ровно 6 лет назад. И до сих пор люди пытаются привязать токен к обычной централизованной компании (которая обречена потом всю жизнь вместо продукта заниматься исключительно безуспешными попытками не дать токену обнулиться).

Тот факт, что пирамиды вроде LUNA и FTX рухнули и казино вроде Yield Farming и GameFi окончательно победили своих бедных посетителей, а регуляторы возбудились на этом фоне и начали спешно беспорядочно метаться — ничего из этого не играет существенной роли в реальности.

Смысл крипты и веб3 — создание институтов, а не создание продуктов. От того что ты добавишь голосование и токен в сервис такси, доставки еды и на форум, они не станут от этого лучше. Институты не поддаются регуляции, потому что это социальный консенсус относительного того как работает мир.

Аргументы скептиков все те же, что и шесть лет назад: «я токенизировал маршрутку и не стал миллиардером и еще мне штраф пришел, крипта скам» или «почему Паша (Дуров) разбогател на крипте, а я бомж?». Но цель крипты не ваше личное обогащение. Даже не в том чтобы создавать бизнес-модели продуктов, которые работают прекрасно и без крипты. Даже не в том, чтобы под этим соусом запустили CBDC-говно.

Напоминаю, что завтра в 17:00 CET (18:00 МСК, 16:00 Лондон) пройдет вебинар в рамках серии уроков и воркшопов об ИИ для работы, бизнеса, творчества и инвестиций.

Завтра будет вводный урок про промтинг. Мы поговорим о том ​как работает GPT? Что такое токен, трансформер, архитектура нейронных сетей, контекст, температура, векторные эмбединги — всё простыми словами. Обсудим что такое промтинг и как стать профессионалом в этой области? Все это вместе с десятками разных практических и работающих примеров, так как автоматическая генерация промтов, контракты и договоры,​ код, маркетинговые материалы, финансовые документы, сказки, стихи и рассказы, продажи.

Во второй части вебинара (в другой день) будут примеры advanced промтинга, сложные стратегии и ещё больше живых примеров. В общей сложности у меня 100+ слайдов и в целом в них я расскажу почти все, что вы узнаете в других курсах о промтинге.

Бесплатно, регистрация тут (может требоваться VPN)

Marc Andreessen, VC в a16z (фонд на $35 млрд, больше только у Sequoia), web3-максималист + зарождал инет браузером Netscape (куплен AOL за $4 млрд в 1999), на борде Fb, дал интервью #368 на 3 часа “AI спасет мир” Lex Fridman (AI ученый в США из РФ/Украины):

LLM/языковые нейронки
- Все становится диалоговым, пусть мы и просим иногда URL’ы, инет начал с каталогов, потом 20 лет поиск, а AI дает новые пути взаимодействия со знанием, хз будет ли Google через 5-10 лет. Они 15 лет строили графы/выдачу ответов без кликов, а тут нагрянули LLM
- Люди хотят LLM без цензуры, но кто их будет выпускать, хакеры? Новые LLM будут использовать в тч диалоги с ними самими и это вопрос на $1 трлн: улучшат ли synthetic data LLM (тк signal is already there), но есть же океан возможных диалогов, которые не изучить на людях (типа как люди обсуждают учебники экономики в Твиттер, но мы это в 1000x ускорим)
- Глюки LLM? Это когда нам не нра, а когда нра - называем creativity=) Le Cun считает глюки не убрать, а отрасль верит, что засолвят
- Biase’ы? Идея Wikipedia я думал бред, но сработало же в выработке нейтрального тона (тыщи лет люди считали “вот она, истина”, но она же все время “плывет”..)

Золотая лихорадка
- Еще вопросы на трлн’ы $: побьют ли малые модели большие? Будут ли 2-3 god-level модели на весь мир? Идут дебаты оставить ли open source AI законным/regulatory capture от лоббистов. Победят техгиганты или стартапы (да, IBM придумали базы данных, но Oracle построил Larry Ellison; почему GPT сделали OpenAI, а не DeepMind/Гугл)? Битва гигантов (много GPU + sophistiction) vs. пробующие радикальные идеи стартапы - оба подхода дают успехи: и перфекционизм Apple, и incremental lean hackers как стартапы
- Роль фаундеров излишне романтизировали, нервно + крутые фаундеры часто с опытом своей индустрии, или год всесторонне изучали идею

Инет
- В 1989 в универе увидел быстрый инет+суперкомпы Cray = дало инсайты что грядет (а все думали, что ПК, emails - это для nerdy прогеров) и щас 5 млрд людей онлайн. Много вспоминает про Apple I, TCP IP драйвера в Win 3.1, роль JPEG в эпоху модемов, HTML, JavaScript (написан за лето), SSL (шифры были военной технологией) + “autistic” языки программирования
- Браузер = единое окно в мир на ПК, за ним что угодно + развивается во времени. Аппы = на телефонах, но и там соблазн лепить супераппы, как Маск в Twitter или китайцы
- Похоже, мы идем к open source everything, не только AI, тк productivity boost - он ваще, 1000x отдельному кодеру. Software - это современный философский камень

AI спасет мир
- Написал эссе (вот саммари Гершуни): страх AGI - просто мы христиане, ждем Апокалипсис + порождаем культы + саморадикализуемся. Это религиозные, не testable гипотезы. Von Neumann считал надо сразу ударить по СССР ядерной бомбой, ибо 3ья мировая неизбежна. А по факту, ядерное оружие убрало риски 3ей мировой. И даже где у нас и есть прогнозные модели - ну вы помните спектр жутких прогнозов про корону и policy makers избыточно полагались на этих [псевдо]-ученых, 8 млрд людей замоделить..
а
- Intelligence - это сбор, обработка, синтез инфо, и к чему не приложишь - все улучшает (умные люди во всех сферах жизни имеют лучшие outcomes - похоже, это гены, что печаль), но тут на сцене и появляется AI - на благо всех - каждому нарастит IQ
- Generative AI/фэйки? Ставишь другой AI - охранять своего ребенка=)
- Зарегулировать AI сложно, особенно с open source/люди кто делают прорывы есть где угодно/модель GPT уже тренят на мощном ПК итд
- Страхи неравенства от AI = неомарксизм, в реальности automation невероятно увеличил душевой ВВП, секрет всех CEO, что техногиганты хотят продать AI каждому на Земле
- Переучивание из-за новых работ больно, но уже 300 лет так живем, а луддиты были и будут

Китай? Их публичный AI план себе+миру: слежка, social score = 100% авторитаризм + Digital Silk Road

Благотворительность? Ларри Пейдж хочет все $ передать Маску

Книги? Читает про историю, US, политику, Ленина, French revolution, Рим, Грецию

Смысл жизни? Satisfaction/being useful, но я за imbalanced life/крен в productivity

Запись вебинара о том зачем нужен GPT, как работает GPT и основах промтинга доступна на Youtube.

Тайм-коды:
0:03 -- Что здесь происходит? Что такое codex town? Что будет сегодня?
5:00 -- В чем ценность GPT для каждого человека. Примеры и кейсы
29:00 -- Как работает GPT?
32:25 -- Как работает embbedding? Что такое "поле смыслов"?
46:32 -- Как была создана модель GPT-3?
54:50 -- Отличие модели GPT и продукта ChatGPT
55:39 -- Системный промпт
59:09 -- Температура
1:02:00 -- Контекст и "память"
1:06:15 -- Завершение

Больше информации, запись на мероприятия: www.codex.town

Буду благодарен если пошарите ссылку с друзьями или сообществами, которым это может быть интересно.

Запись на следующий вебинар.

Следующим этапом после того как мы отойдем от шока языковых моделей будут "always-on" агенты.

В особняке за $100M в Сан Матео прошел хакатон от AGI House на тему автономных агентов. Мы выжали из него самый сок, специально для вас.

От скептиков вы услышите: "я потратил 10 часов на этот ваш Auto-GPT и ничего, кроме внятно звучащей простыни текста, там нет". Причина такого искажения — в том, что люди смотрят на прошлые эксперименты (в основном, не сильно удачные), но игнорируют то, что строится уже сегодня или будет построено завтра.

Вот что кажется неизбежным в течении ближайших месяцев:

1. Плеяда крайне специализированных агентов со своим собственным инстурментарием. Вместо генерации текста по любому поводу и без — смесь вызова API, детерменированных функций и кода, написания кода и продвинутого промтинга (про это будем говорить на следующем вебинаре в пятницу).

2. Скамота и вчерашние криптотрейдеры, конечно, будут пытаться выжать из вас деньги под соусом агентов. Особенно, если вы хомяк или фонд. Но это не может позитивно или негативно влиять на мощь технологии.

3. Команда из NVIDIA показала Майнкрафт-агента, который прошел игру используя только диалог нескольких агентов (GPT-4 пишет код для автоматизации действий персонажа, GPT-3.5 критикует, в виде Embedding'ов хранится библиотека уже выученных навыков агента). Они называют это agent lifelong learning. Звучит как очень верная архитектура для еще более полезных агентов.

4. Создание агентов часто даже не требует программистов. Один промт для того, чтобы сгенерировать код агента. Второй, третий и вплоть до миллионного — чтобы задать его поведение. У вас не просто будут тысячи агентов, не уступающих человеку-ассистенту в телефоне, вы будете создавать таких сами по необходимости и бесплатно. "Создай мне агента, который напишет всем моим друзьям по поводу планов на выходные, проанализирует ответы, согласует время, забронирует время. А еще — обнови свой код, если кто-то из друзей придумает для тебя новый функционал".

5. Самые популярный кейсы, которые все пилят: медицина (консультация, сбор информации, расшифровка диагноза), юриспруденция (обучение агента на нормах права, корпоративных документах, стандартных процессах), наука (агенты для формулирования и проверки научных гипотез). Ну, не считая, прикладных ассистентов типа "найди инфу в интернете, сравни, купи, напиши текст".

Можно пойти у хомяка рейзить или инфобизнес корпоратам втюхать (кстати, сделаю для вашей компании индивидуальный курс), но можно и вместе пилить/рассуждать/тестировать как будет выглядеть мир, где у каждого в кармане тысяча агентов. Для этого и хотелось сделать codex.town

TL;DR Чат - отвратительный UX. Модель сама должна задавать себе промты, зная что происходит в твоей жизни. Приватно имея доступ к сообщениям, действиям, словам, медицинским показателям, календарю, пожеланиям в реальном времени.

Для тех, кто фигачит дизлайки как не в себя: речь о том, что для нормисов и плебса чат это слишком сложный когнитивно нагруженный интерфейс. Никто не хочет придумывать промты и копипастить файлы чат. Все хотят, чтобы прямо в почте/экселе/слаке автоматически было предложение сделать работу. "О, у тебя 10 новых сообщений, давай я сам пойду отвечу на них, а вот это одно — оно от босса — тут я тебе придумаю ответ, но ты проверь перед отправкой, а то мало ли чо"

Где можно найти криптовалютные советы от профессионалов, без лишнего шума, манипуляций, курсов, "приваток" и псевдосигналов? Дело непростое - качественные каналы с ответственным отношением к делу в русскоязычном пространстве можно пересчитать по пальцам.

Мы решили создать свой. Наша команда, deltatheta/yieldfort, работает на фондовом рынке с 2007 года и в области криптовалюты с 2017 года. В прошлом году мы запустили биржу для децентрализованной торговли опционами на криптовалюту, а сейчас мы запускаем структурные продукты для Bitcoin/Ethereum с фиксированной доходностью - https://yieldfort.com/. На канале подробно рассказываем о нашем проекте, рынках опционов и трендах на основе реальных данных, а не на гаданиях и лунном календаре. Будем рады поделиться всем, что знаем, в обмен на ваше внимание и критику.

Сегодня, например, мы обсудим, что такое спотовая и фьючерсная торговля, а также расскажем о наших опасениях по крупнейшей экспирации опционов 30 июня, в эту пятницу.

#партнерский_пост

GPT наконец становится полезен для реальных приложений и сложных продуктов. Как использовать GPT в реальной жизни, чтобы выжать из него максимум?

На последнем уроке в пятницу мы разбирали что такое промтинг, эмбединг и контекст. Только лишь промтингом вы добьетесь интересного чата, но не приложения, которое принесет вам миллиарды. Сегодня разберемся как использовать GPT в реальной жизни для более интересных кейсов.

Основной тезис — любой инструмент работает именной для своей задачи. Обычно при создании AI-powered бизнесов таких задач четыре:

1. Мне нужно персонализировать опыт под пользователя. Подбирать товары, музыку, контент, стиль общения под запросы пользователя. Для этого необходимо записывать историю чата, а затем использовать её для генерации ответов и индивидуального опыта. [как]

2. Для генерации текстовых ответов достаточно использовать базовую модель не усложняя процесс внешними данными и поиском по ним. Например, для анализа сентимента текста, рерайтинга, проверки, получения ответов на общие вопросы лучше всего справится именно базовая модель.

3. Для до-обучения модели (на самом деле никакого обучения не происходит) проще всего использовать эмбеддинги своих собственных данных. Процесс такой: генерируете эмбединг из текста (например, внутренние документы корпорации), сохраняете в chroma/pinecone, при запросе пользователя ищете с помощью ANN релеватный кусок текста и загружаете в контекст модели чата. В итоге модель будет генерировать фактический ответ пользователю на основе приватной информации. [как]

4. Для задач типа "скажи какая сейчас погода" или "посчитай результат уравнения" нейронные сети вообще почти бесполезны. Куда проще вызвать готовый API и получить детерминированный, четкий и, самое главное, правильный ответ. Для этого необходимо использовать function calling, который с этой недели доступен всем пользователям OpenAI Platform. [как]

В эту пятницу будет следующий урок курса — поговорим о продвинутых методах промтинга.

Я уже четыре месяца экспериментирую с AI для образования. Это невероятно мощная и вполне готовая технология.

Если мы не умрем все, то через 20 лет планета изменится до неузнаваемости, потому что ни одна из прошлых технологий в образовании никогда не могла дать столь стремительного прироста в знаниях у миллиардов людей почти что забесплатно.

1. AI меняет парадигму класса. Лекции и освоение нового материала теперь могут происходить дома, в телефоне или компьютере. Тьютор автоматически адаптируется под язык, культуру и уровень знаний ребенка. Он не вещает «в даль», а ведет интерактивный диалог, использует сразу несколько модальностей, таких как голос, видео, картинки (подготовленные или сделанные на лету), текст. Может в реальном времени проверять знания через эссе, упражнения, тесты и разговор. Все это будет стоить ~ 0,05$ за час уникального лекционного материала используя модель GPT-3,5-turbo.

2. Класс / семинар становится местом применения знаний на практике. Студенты вместе с учителем получат наибольшую ценность не от чтения нового, а от практической работы, обсуждения, социализации и вырабатывания практик совместной деятельности.

3. AI (такой как GPT-4) имеет почти полную картинку знаний человечества и может из коробки рассказать как о школьном курсе алгебры или литературы, так и сгенерировать полный научных ссылок и терминов текст на основе новых исследований в области микологии или квантовой элетродинамики. (Я сделал сайт , где вы можете убедиться сами). Но, кроме этого, через эмбединги вы всегда можете «дообучить» (а вернее «добавить в мозг») AI новую информацию. Например, корпоративный тренинг по этике и безопасности шашлычного бизнеса и давать это всем сотрудникам. AI будет неизменно точно отвечать на фактические вопросы используя именно ваши данные.

Ну, а пока что я веду бесплатный публичный курс про ИИ, промтинг и кейсы использования. Сегодня будет очередная лекция про продвинутые методы промтинга и управления ИИ. (Для регистрации у может требоваться VPN)

Публикую запись вчерашнего вебинара, где мы обсудили:
1:40 -- что такое хороший промт?
10:20 -- практические примеры
14:40 -- промт для создания промта
19:12 -- Zero-shot
28:29 -- Few-shot
33:00 -- Роли
35:30 -- Кейс: создание агента технический поддержки
44:40 -- Reason + Act
53:29 -- Chain of thought
58:38 -- Самосогласованность
1:00:10 -- Tree of thought
1:03:00 -- Function Calling

Запись доступна на Youtube и Spotify. Там же — предыдущие уроки и семинары курса. Следующий вебинар про AI+web3 в следующую пятницу. Запись там же. Детали на codex.town