Не прошло недели, а в ChatGPT выкатили новую фичу. По сути, это просто возможность задать системный промт внутри чата. Как работает системный промпт мы обсуждали на втором семинаре codex.town. Скорость доставки команды OpenAI впечатляет. Делать по фиче в неделю в продукте на 200М MAU это тебе не стартап пилить.

Тем не менее, для сложных кейсов, в которых генеративный ИИ заменяет или значительно автоматизирует работу высокооплачиваемых сотрудников не будет достаточно чата. Вместо это будут нужны сложные workflow и циклы из многих LLM агентов.

Как бы вы не плевались мол «Auto-GPT ничего внятного не умеет», но самом деле агенты это очень круто и это не хайп. Просто, если целью является автоматизировать работу всех джуниор разработчиков, маркетологов или юристов в мире, то странно ожидать что первая версия продукта, созданная за три недели, сразу же решит эту проблему. Но все будет. Технология уже на это способна, а продукты не заставят себя ждать.

Завтра на вебинаре я расскажу о том что такое автономные агенты и на что они способны. А еще мы попробуем своими руками сделать примитивного агента. А на следующей неделе будет делать более сложных и функциональных агентов на Langchain.

А еще, согласно вашим голосам в канале, следующей темой будет «как делать fine-tuning open source моделей». Мы обучим бесплатную LLaMa 2 на ваших данных под ваш юзкейс.

Закончился Париж (EthCC). Результатом стало несколько крупных анонсов от лидера рынка. Компании, у которых есть пользовали (UNI, 1INCH, AAVE, GNO) чувствуют себя хорошо, а остальные скорбят.

Я знаю, что огромное количество подписчиков канала сейчас в Париже, поэтому буду рад от вас услышать что же обсуждалось на сайд-эвентах.

Формальные результаты красиво суммированы тут:
— Новый Uniswap, с агрегатором дексов и своим собственным 1inch Fusion
— Евро-криптовая карточка от Gnosis (😘)
— Lens сделал профили аккаунтами через 6551
— Chainlink запустил мост

…плюс запуски новых проектов и классический трындеж на тему того, что Account Abstraction это круто, zkSync лучшие, а Polygon переименовал токен.

Что я пропустил?

В преддверии сегодняшнего вебинара (17:00 CET), AI сочинил, спел и сделал арранжировку гимна нашего проекта

Агенты захватывают мир

Выкладываю запись последнего, и одного из самых классных, уроков codex.town, где мы поговорили о том как работают автономные агенты, для чего они нужны, что они умеют и куда будут развиваться дальше. А на воркшопе мы делаем нашего первого автономного агента, который мы дообучаем на наших данных, учим его искать информацию в интернете и делать сложные логические выводы.

Пока мы разговаривали, легендарный особняк то ли в Милбрей, то ли в Бернингейме, полчаса на Сан-Франа, собрал в себе умнейших и талантливейших на хакатоне про автономных агентов от AGIHouse. Вот что это из этого вышло:

— RealChar, агент, который находит в реальном времени информацию о человеке и его голосом озвучивает ответы на вопросы (победитель)
— High Flyers, агент, который автоматически регистрируется в 90+ программах frequent fliers за пользователя
— KubeGPT, агент-девопс, который разворачивает и управляет инфраструктурой контейнеров в вашем бизнесе
— BookGraph, агент, который делает визуальное представление всех тем и их связей из любой книги
— Lumos, агент, который занимается закупками, сравнением цены и планированием продаж для малого бизнеса (второе место)
— Better Domain, агент, который придумывает за вас домены (третье место)
— Create your own food, агент, который говорит вопросы (а не ответы) про ваши данные
— SyncMate, агент, который находит наиболее интересных/релеватных людей из больших публичных чатов под ваш запрос (на основе умений, личности, веры
— FormBlaster, агент, который автоматически подается в сотни акселераторов и фондов с вашим стартапом
— M&A Auto redline, агент-редлайнер, который находит странности и узкие места в больших юридических документах
— Skateboard, агент, который умеет добавить новый функционал в существующий большой репозиторий (например, заменить весь OpenAI на Langchain)
— Medscribe, агент, который записывает текстом то, что говорит врач и дает рекомендации что делать дальше (например, выписывает рецепт на препарат)
— Moonshot, агент, который анализирует рынок акций и генерирует правильные стратегии для трейдинга
— CampAIgn, агент, который находит целевых участников для доната политическим компаниям и общается с ними

Пока участники хакатона заняты тем что отбиваются от назойливых a16z, которые пытаются все-таки уговорить их взять денег, мы продолжаем строить агентов.

На следующей неделе на вебинаре будем делать более сложные агентов, которые умеют использовать несколько инструментов, создавать своим собственные функции и другое. Записывайтесь тут (VPN). Оставляя донейшен, вы помогаете и дальше делать эти вебинары регулярными, публичными и бесплатными. Если вы видите ценность — consider donating.

Об основании стартапов

Придумать идею для продукта легко, учитывая квадриллион нерешенных проблем в мире, интернете, веб3 и, особенно, в ИИ. Итерациями, общением с клиентами и здравым смыслом (когда ты строишь не то что нравится тебе, а твоего клиенту) от идеи можно дойти до работающего продукта.

Но ни то, ни другое не является основанием для создания стартапа. Допустим, у меня есть знания, умения и даже валидация от рынка на тему того как и какой именно продукт построить. Скажем, ИИ-тьютора или генеративную игру или Автономного агента для бизнеса. Ничего ничего из этого не является разумным и внятным основанием делать компанию. Запилить такой продукт может любой дурак. Итерировать value prop и найти правильную позицию, PMF может любой, кто это делал хотя бы раз. А создать лидера на рынке сможет только один из тысяч аналогичных как под копирку компаний.

Потому что мобильная игра это не в меньшей мере про performance marketing чем про геймплей, SaaS это не меньше про sales organization чем про сокращение костов клиентам, коммерция это не меньше про саппорт и логистику чем про выбор товаров и цену. И именно соединение этих абсолютно необходимых вещей это самое сложное.

Ты можешь быть единственным в мире, абсолютно гениальным билдером и продуктологом, но без умения конвертировать миллионы долларов бюджета (тысячи - легко) в ROI-positive user acquisition ты не сможешь делать успешную компанию с конмьюмерским приложением. Обратное тоже верно. Но делая «средненько, нормально так» результат будет нулевой. Бизнес - мир непропорционально чувствительных к изначальным параметрам функций.

То же самое в принципе касается и солопринерства. Это красивый миф, но на деле либо ты инфоцыганишь с фотками успешного успеха, либо понимаешь необходимость создания все-таки нормальной компании.

Помните мы тут угорали по SSI?
С ним все хорошо, но вот забава…

Одним из value props SSI казался тот факт, что у юзера в его персональном data store будут лежать все его данные и автоматически оттуда браться при заполнении форм. Так, что пользователю больше никогда в жизни не придется заполнять форму онлайн.

А реальности же, в отличии от этого формата, где требуется стандартизация и интеграция как от поставщиков, так и от потребителей данных, мы получили более простую и мощную систему: AI-ассистентов, которые так же имеют достаточно к персональным данным (think on-device Apple-GPT) и сами заполняют и отправляют формы. Но интеллектуальные помощники могут так же понять куда какие данные вставлять или как им поменять пол формат формы.

Играл с Клодом, случайно придумал новый юзкейс для LLM. Отправляешь ему книгу на какую-то тему — в данном случае книжка про Product Management от фаундера Intercom — и просишь его рассказать что делать. На удивление, Клод секунды за 4 очень хорошо понимает основные идеи книги и пересказывает их, перекладывая на твою собственную задачу.

Результат как будто поговорил с Des Traynor, только бесплатно и он глубоко вник в суть моей гениальной ИИ-идеи (на скриншоте).

Пишете книги? Пишите так, чтобы LLM было удобно их читать. В данном случае, главное ограничение в том что Claude берет файлы до 10 мб и не понимает mobi/epub формат.

Кстати, записывайтесь на очедной воркшоп по созданию автономных агентов, который пройдет в эту пятницу!

Сегодня за утро несколько раз подряд столкнулся с очень похожими проблемами у тех кто строит ИИ-приложения. Я вижу очень часто, что получив новые технологии, люди пытаются применить их везде где нужно и где не нужно.

В частности, сегодня крайне распространена идея про то что, мол, если хочешь сделать LLM приложение умнее — используй векторные эмбединги. Или даже хуже: что векторные базы данных это каким образом способ сделать LLM умнее. Но это не так. Это просто способ хранить и искать по данным, используя семантику, а не лексику. То есть, когда мне нужно найти в тексте определенную мысль или смысл, но я не знаю какими конкретно словами (или на каком языке) она там сформулирована.

Эмбединги не расширяют контекст модели и не помогают ей знать больше, чем она знает и так. И в 95% случаев вам вообще не нужна векторная база данных, потому что релевантные данные у вас уже и так лежат с постгресе, в архиве почты или на сайте. Вам просто нужно взять их и передать в контекст LLM в качестве инпута. Берем информацию из базы данных, скармливаем в контекст, задаем вопрос, повторяем. База данных стоит в ~100 раз дешевле, работает быстрее, геморроя меньше, инструментов для работы больше. Чем не профит?

То же самое верно для операций на основе ответа LLM. Допустим, Лама сказала что вам нужно пойти в спортзал чтобы похудеть. Можно конечно пытаться триллионом промтов добиться чтобы она в нужный момент напомнила, не забыла свои собственные слова и логику рассуждений. А можно просто выгрузить результат в типизированном и заранее строго отформатированном виде и затем работать с ним, как с любыми другими данными в рамках классической строго детерминированной парадигмы, где вы четко понимаете что ожидать на входе и на выходе. Никаких стохастических неожиданностей. И проще в тысячу раз.

Кстати, записывайтесь на очередной воркшоп по созданию автономных агентов, который пройдет в эту пятницу!

Возможно, вы забыли что за пределами ИИ и веб3 есть реальный мир, но там тоже происходит кое-что интересное. Вчера вышла статья, которая взорвала интернет: учёные из Кореи впервые в истории смогли создать сверхпроводник, который работает при комнатной температуре.

Пишут, что они смогли создать материал практически из говна и палок, используя пылесос и печь. Если все правда, то это открывает какие-то фантастические перспективы от создания массовых квантовых компьютеров и ненагревающихся классических чипов (то есть, в разы более эффективных процессоров). Так же это значит, что можно будет в промышленном масштабе создать систему распределения электроэнергии без потерь в процессе передачи на длинные расстояния (триллионы киловатт-часов ежегодно в мире). А так же в разы более дешевые поезда на магнитной подушке и МРТ.

Короче, пушка, будем наблюдать. Авторы заверяют, что это прорыв не меньше чем ИИ.

День unsolicited и неаргументированных мнений по поводу веб3:

1. Слишком много проектов делают инфраструктуру, но спроса на неё такого пока нет. ZkSync & Optimism вполне хватит для вашего аппчейна. Blockspace проблема на ближайшие годы решена. Агрегации ликвидности — пока нет.

2. Можно подводить итоги войны чейнов. Биткоин и эфир, очевидно победили. Централизованные чейны (TON, LUNA) погибают. «Убийцы» эфира (AVAX, NEAR, DOT) имеют очень интересные моменты в технической реализации но не показали зачем они нужны. Cosmos экосистема кажется единственной где есть реальная активность, но встраивание ее в EVM мир вопрос времени.

3. Веб3 развивается быстрее чем когда-либо. Лучшие предприниматели кого я знаю начинают делать веб3 проекты. В подавляющем случае без токенов — токенов там нет и не планируется в ближайшем будущем. Именно у таких проектов, которые решают огромные боли, самые высокие шансы на успех. Смотрите как Твиттер прекрасно решил проблему борьбы с дезинформацией (community notes) или вознаграждением авторов (вы получаете процент от рекламы, показанной рядом с вашими твитами). И без токенов. И это только начало.

4. Самая большая возможность в крипте остаётся той же, что была в 2015 — создание нецензурируемой надгосударственной и значительно более дешевой системы сохранения и денежных переводов.

Напоминаю, что сегодня пройдёт очередной воркшоп по автономным ИИ-агентам, где мы сделаем своего собственного умного помощника по дому, научимся структурировать данные и построим ботов, которые сами умеют декомпозировать и приоритизировать сложные задачи.

Запись: Lu.ma/codextown

Запись вебинара: https://youtu.be/WJs5RuMbgb0

На следующей неделе будем учиться запускать бесплатные модели, типа LLaMa через пользовательский интерфейс и дообучать модель, чтобы сделать её более токсичной. Навыков программирования не нужно.

Регистрация и детали тут: https://lu.ma/codextown (может требоваться VPN)

Результат первого дня отпуска:

Залог счастливой и успешной жизни — это тонкий баланс дисциплины и умения отъебаться от себя.

В эту пятницу пройдёт легендарный вебинар codex.town для тех, кто хочет профессионально научиться использовать LLM для бизнеса (навыков программирования не требуется).

Мы научимся использовать визуальный интерфейс для запуска сотен других моделей - проигрывающих или превосходящих GPT. Например, это нужно если вы не хотите платить за токены OpenAI, натренировать свою собственную модель или работать с приватными данными, типа медицинских или ответа на личные сообщения и почту. Рассмотрим 6 различных бесплатных инструментов для этого: text-generator-ui, h2o-llmstudio, fastchat gpt4all, lmstudio, MLCChat. Научимся дообучать эти нейронки с помощью механизма LoRA и оценивать результат.

Воркшоп проведет Майк Fluff — он реально очень круто шарит в этой теме и запустил уже не один довольно крутой продукт в области генеративных сетей. Регистрация, как обычно, тут: https://lu.ma/codextown (если не работает, значит включите VPN)

Забавно: пока лучшие лаборатории мира пытаются повторить эксперимент LK-99, анон из твиттера с аниме-аватаркой живущий в России рассказал что у него получилось и показал как. Это еще не доказательство повторяемости эксперимента, но отличный пример как работает наука в век твиттера.

На рынке предсказаний Manifold вероятность повторимость синтеза LK-99 превысила 50% (последние несколько дней была на уровне 20-30%). Это некий crowd wisdom сигнал, что последние эксперименты были вполне реальными, обстоятельными и независимыми.

Тут интересен сам феномен рынков предсказаний. Я считаю, что это наиболее недооцененный продукт в крипте и его полезность нам только предстоит раскрыть. Мы увидим сотни очень умных и классных применений и тысячи хитрых стратегий трейдинга. Которые, в отличии от большинства токенов, дают теоретико-игровой net benefit самому рынку и тем, кто использует эти данные.

Кстати, на днях наткнулся на очень крутой пример рынка предсказаний (Wingman), который делает основатель AppInTheAir Байрам Аннаков. В этом продукте вы можете купить акции вероятности того что некоторый рейс прилетит вовремя или будет задержан. Крутая штука и для гемблеров-трейдеров и для путешественников. Почитать об истории создания продукта можно тут. (Это не реклама, Байрам действительно архи-крут)

Недавно я писал о том, что в веб3 мире появляется все больше проектов, которые решают реальные боли. Если вы используете крипту как средство платежа в своем бизнесе/фрилансе, вам наверняка надоело копировать адреса кошельков, менять валюты по 20 минут и не понимать, что у вас происходит с финансами? Недавно узнал о компании, которая закрывает эту боль.

Transfer - бесплатный инструмент для выставления инвойсов/счетов в крипте, с помощью которого вы можете отправить ссылку на счет в любой валюте за 20 секунд и хранить всю аналитику в одном месте, даже если у вас много кошельков и менеджеров. Ваши клиенты могут оплатить счет в любой валюте (кросс-чейн и кросс-токен свопы интегрированы прямо в страницу оплаты). С помощью Transfer вы также можете быстро проводить собственные платежи сотрудникам/фрилансерам/партнерам.

Не нужно спрашивать сети, не нужно отправлять тестовый платеж, не нужно бояться ошибок при копировании адресов кошелька, хранить кошельки в Google Spreadsheets и т.д. И не нужно делиться своими приватными ключами!

Зарегистрируйтесь, попробуйте выставить инвойс за 20 секунд и убедитесь, как это может ускорить вашу работу. До сентября 2023 года бесплатно: app.gotransfer.money

Кстати, Transfer сейчас нанимает сотрудников (разработчики, маркетологи). По всем вопросам писать на @transfer_support.

#партнерский_пост

Sneak peek открытых и бесплатных моделей, который мы разберем завтра на вебинаре. Каждую из них при желании можно докрутить уровня примерно gpt-3.5 или даже круче, но при этом они абсолютно бесплатны, могут запускаться локально (данные остаются у вас) и могут быть натренерованы на ваши нужды. Завтра рассмотрим способы запуска всех этих моделей через UI (без программирования, версионности питона и даже терминала).

Регистрация: https://lu.ma/codextown

Новое видео: Открытые LLM сетки и их обучение

Рассматриваем инструменты для работы с открытыми и бесплатными LLM и сами модели. Разбираемся в способах дообучения и затачивания моделей под ваши нужды. Обсудили как работает и зачем нужен портал Huggingface, посмотрели с практической стороны на модели Llama, BLOOM, Vicuna, Falcon, Open-Assistant. Поговорили о методах обучения моделей, таких как LoRA, RLHF, Soft prompting, fine-tuning.

Записаться на мероприятия и вступить в сообщество: http://codex.town

Ссылка на презентацию: https://docs.google.com/presentation/d/1JO1uLqMnYUS7orTLQQh8LH2_aKnnmeG_/edit?usp=sharing&ouid=111260393669728804774&rtpof=true&sd=true