Telegram Web Link
Mistral выкатил Лё Платформу, которая доступна по API. Их новая модель Mistral-medium практически на равне с GPT-4 (а Mistral-small выложена в открытый доступ и бьёт GPT-3.5 по всем бенчам).

Вопрос: что же тогда там в Mistral-large? Потенциально, первая полностью публичная модель, превосходящая GPT-4.
Оказывается, GPT меньше работает в декабре (статистически значимый результат), потому что, вероятно, он научился этому в ходе тренировки, заметив, что люди в сезон праздников пишут меньше текста в интернете.
Вот тут СЕО Mistral очень точно, ёмко (и без мата!) высказался на тему EU AI Act.

Не буду перепечатывать твит на русском, но в суть в этой фразе: «the computation of some linear transformations, based on a certain amount of calculation, is now considered dangerous»

Дабы быть ясным, добавлю от себя:

🟩 Регуляция это не абсолютное зло. Правила снижают стоимость координации, транзакционные издержки и повышают эффективность экономики.

🟪 EU AI ACT — наспех собранное, популистское и необдуманное предложение, целью которого были политические очки, а не развитие инноваций или защита граждан

🟨 Данный (и большинство других, включая крипто) закон выгоден только текущим лидерам. Тем, кто может нанять армию юристов и делать что захотят. Он тормозит прогресс и лишь кормит compliance отделы.

⬛️ Чиновники, медиа и регуляторы всегда будут топить за отсутствие изменений. Они готовы заморозить мир в моменте и остановить само время, потому что любое изменение системы устройства общества (а именно это неизбежно является следствием прогресса) — для них страх, смерть, ужас.
Последний вебинар в этом году про взлом, prompt injection, jailbreak и безопасность LLM пройдет в эту пятницу. По многочисленным просьбам, только сегодня вы можете зарегистрироваться бесплатно. Но регистрируйтесь только если точно сможете присутствовать.

Регистрация: https://lu.ma/codextown (может требоваться VPN)
Мои друзья сделали, пожалуй, лучший сервис про интеграцию нейронок через no-code (поддерживается больше 1500 разных сеток в удобном редакторе). Сегодня глобальный запуск проекта. Наша цель на сегодня — поддержать мощным лойсом на продактханте: https://www.producthunt.com/posts/scade-pro (в конкурентах новая сетка для генерации картинок от Гугла, так что надо поднажать)

Пост не рекламный.
Впервые новое научное знание было создано с помощью LLM (а не просто AI-assisted software).

Буквально месяц назад читал комментарий на канале что «LLM никогда не смогут делать научные открытия, чертовы стохастические попугаи», а сегодня Гугл публикует в Nature статью, что они сделали открытие в математике используя LLM.

Метод довольно универсален и я ожидаю решение новых задач из математики именно таких способом в ближайшее время.

Ребята из DeepMind использовали LLM для написания, изменений и оценки кода, который стремится максимально эффективно решить открытые задачи в математике. Для того используется, по их заявлениям «medium-sized LLM», то есть, я думаю между 20 и 70 млрд параметров. Что важно, алгоритм FunSearch не просто находит ответ на задачу, а создаёт код для внедрения решения в реальные процессы. В частности, они решили задачу оптимизации «упаковки» объектов в минимальное количество контейнеров, задачу циклических графов, и задачу нахождения максимального сета, в котором точки не лежат на прямой.
Показательно про скорость бизнес-прогресса (и сумасшедшую маржиналость) в ИИ.

В начале этой недели Mistral выпустили новую модель Mixtral MoE и предложили доступ по API по цене $2 за миллион токенов.

В тот же день together.xyz предложили доступ к этой же модели за $0.6 за миллион токенов.

Через два дня abacus.ai предложили то же самое за $0.3 за миллион токенов.

Напомню, что модель gpt-3.5-turbo, которая имеет идентичную производительность, 9 месяцев назад стоила больше $20 за миллион токенов.

При этом, за это время практически ничего не изменилось в стоимости или производительности GPU, то есть это исключительно оптимизация на уровне софта и, вероятно, сокращение маржинальности.
Наконец-то полезные автономные агенты.

Я сделал обзор и показал как написать свой собственный плагин в новом фреймворке для автономных агентов от Microsoft — TaskWeaver.

В отличии от Autogen, данный фреймворк заточен на решение аналитических задач через написание кода и взаимодействие агентов. Область применения уже, но именно поэтому качество сильно выше. Плюс, это легко встроить в ваши существущие бизнес-процессы, например, для ETL или анализа данных, решения сложных задач без навыков программировния, автоматизации процессов.

Я написал свой простенький плагин, который умеет получать и анализировать данные о цене крипты через CoinMarketCap API. Например, теперь я могу на естественном языке попросить агента "возьми историческую цену биткоина и построй ARIMA модель и сгенерируй визуализированный график с прогнозом". Агенты напишут, проверят, если нужно исправят и исполнят код, положат результат аккуратно в папочку рядом.

Видео: https://www.youtube.com/watch?v=hljOFJLYDPg
В этом докладе Виталик одновременно показывает главное преимущество Биткоина (нецензурируемость) и путь (который должна будет пройти вся индустрия, и не факт что быстро) как сохранить и усилить эти же самые качество в Эфира.

Куда важнее, чем все эти ETF, RWA, CBDC и L2-щитлееры.
e/acc
Показательно про скорость бизнес-прогресса (и сумасшедшую маржиналость) в ИИ. В начале этой недели Mistral выпустили новую модель Mixtral MoE и предложили доступ по API по цене $2 за миллион токенов. В тот же день together.xyz предложили доступ к этой же…
Любопытно, что финальный босс для экспоненциального роста интеллекта на планете и перехода к программируемой экономике это не софт и даже не чипы, а энергия, которая исторически была крайне неэластична в предложении. Но график ниже дает надежду.

Сегодня 80% энергии генерируется медленно наращиваемыми невозобновляемыми источниками энергии, но при этом стоимость производства и установки, например, солнечных панелей падает примерно в 10 раз за десять лет. Одновременно с этим стоимость производства батарей упала примерно в 6 раз, а их обьем вырос в 500+ раз за последние 10 лет. Благодаря электромобилям, в том числе.

Вопрос в том когда экспонента превратится в логистическую кривую.
Пока твиттер наслаждается legally binding предложением от бота купить машину за $1, у нас прошел вебинар про способы атаки на LLM и как от них защищаться.

«Как взломать LLM?» смотреть тут: https://youtu.be/o4QuKZtirsI?si=3konbsZqf-8lOGPd

P.S. Ожидаем юридических прецедентов: LLM-суды, LLM-прокуроры, LLM-лагеря
Игорь из Сиолошной сделал топовый разбор папируса (теперь всегда буду использовать это слово) от Гугла про FunSearch. Тут простым понятным каждому языком написано как работает алгоритм, какие открытые задачи в математике он решил и что из этого следует.

Первая серия данного сюжета тут: https://www.tg-me.com/cryptoEssay/1586
Статья на Хабре: https://habr.com/ru/companies/ods/articles/781138/

Я кайфанул читать.
ИИ в Сторителлинге

Один из первых моих проектов, как только я получил заветный ключик GPT-3, было создание интеграктивной мультиплеерной книги. Я назвал это "объединение искусственного и коллективного интеллекта". Это игра с набором внутренних миров, в котором игроки (держатели токенов через snapshot) могут голосовать токенами за параметры того как мир меняется со временем. А сюжет эволюции мира пишет LLM.

При грамотном промтинге сюжетной арки, стиля, сеттинга и контекста LLM в состоянии создавать очень интересные истории. А последний пример от Bard меня вообще так впечатлил, что пришлось сделать пост в канале.

Сейчас, кстати, проходит хакатон на эту же тему с призовым фондом $18,000. В рамках хакатона можно сделать такой же или похожий проект через API Story3 (сервис интерактивных историй, где через микротранзакции можно продавать twists — сюжетные повороты в рамках большого рассказа). Вы можете создать своё собственное приложение с микротранзакционной моделью монетизации используя комбинацию LLM'ок, агентов, подготовленных промтов для создания действительно увлекательных сюжетов. Story3, кстати, сделал Шурик Агапитов, основатель Xsolla.

Генеративные книги, рассказы, игры, сериалы (в идеале, вместе с генеративным голосом, картинками, музыкой, видео) и любая комбинация из вышеперечисленных, на мой взгляд, создаёт новые направления в индустрии развлечений, так что, если у вас есть время на праздниках, очень рекомендую попробовать.
Уезжаю в отпуск, хочу оставить вас с этим двумя видео:

1. Arthur C. Clarke, предсказавший сегодняшний день в интервью в 1964 году

2. Doug Engelbart, автор знаменитой «Матери всех презентаций», показавший в 1968 году почти все ключевые компоненты персональных компьютеров, которые станут массовыми в течении следующих 40 лет.

Желаю, чтобы в 2024 году мы делали вещи, которые существенно улучшат жизнь цивилизации на многие десятилетия вперед.
This media is not supported in your browser
VIEW IN TELEGRAM
Появление vision+LLM моделей дало толчок массовому развитию UI автопилотов или «самоуправляемых компьютеров» — агентов, которые могут на основе ваших команд взаимодействовать с интерфейсом и достигать целей (например, забронировать билет на самолет или зарегистрироваться на сайте).

А сегодня появился первый пример этой же идеи, но примененной к мобильным интерфейсам. Автономные агенты могут за вас использовать приложения, писать посты и письма, редактировать файлы и фотографии, оставлять или читать отзывы, ну и в целом использовать любое рандомное приложение из аппстора.

Siri здорового человека.
Пост главных фейлов, открытий и событий этого года.

Главным событием года для меня стала потеря денег, несколько сотен тысяч долларов. И это бы ничего, ибо благодаря своей глупости или мошенникам я в прошлом терял десятикратно большие суммы. Но здесь речь идет о чужих деньгах, инвестициях в нашу компанию. С одной стороны, мы постарались сделать все максимально грамотно: быстро пивотились если не находили быстрых признаков pmf, приняли очень своевременное решение закрыть компанию когда стало понятно что выбранный нами рынок не созреет достаточно быстро и вернули чуть меньше половины рейза обратно инвесторам (что оказалось верным решением, потому что большинство конкурентов спустя почти год так и не построили коммерчески успешных продуктов). С другой стороны, ты никогда не знаешь — а может стоило приложить чуть больше упорства и фокуса или, наоборот, с самого начала нужны было выбирать совершенно другую стратегию. Ах, сослагательные наклонения. В любом случае, это был самый эмоционально сложный момент последнего года.

Благодаря описанной выше ситуации я смогу на 100% сфокусироваться на теме генеративного ИИ, LLM’ок, что было главным плюсом и успехом последнего года. Для тех, кто не в курсе, 11 лет назад, моей первой работой в Сан Фране был стартап, занимающийся NLP (машинное обучение для работы с естественным языком), а как раз через несколько лет работы там, в 2013, я случайно попал на SF Bitcoin Meetup и это определило следующие 10 лет моей карьеры. Так вот, за эти 10 лет, благодаря феерическому развитию AI/ML в целом и трансформерам в частности, случился прямо-таки квантовый скачок. Я построил неколько десятков прототипов и продуктов используя LLM, запустил codex.town, провел больше 30 вебинаров и лекций, поработал с классными большими клиентами, помогая им внедрять ИИ в корпоративные бизнес-процессы, а так же поучаствовал в запуске нескольких стартапов, чьи продукты стали возможными благодаря появлению мощных LLM’ок.

Но самое удивительное это та большая картина, в которую сейчас начинают укладываться все те вещи, на которыми я работал последние ~12 лет:
- искусственный интеллект: технология, помогающая экспоненциально увеличить количество интеллекта на планете и делегировать когнитивные задачи;
- крипта и веб3: технология, помогающая создать программируемые рынки, системы мотиваций (incentives);
- self-sovereign identity: технология, помогающая создать программируемые и децентрализованные институты.

В своё время я назвал амальгаму этих трендов “программируемой экономикой”, но сегодня все больше людей называют это “e/acc”. Я еще подробно распишу как эти вещи связаны и дополняют друг друга, но главный персональный вывод заключается в том, что именно эти технологические тренды — это то, над чем я твердо решил что буду работать следующее десятилетие; это то что я считаю наиболее важным для экономики, общества, цивилизации в целом; и это те вещи, от которых я получаю неимоверный кайф и радуюсь от возможности заниматься именно этим.
Началась любимая пора — это когда в течение дня больше не-звонков, чем звонков. А это значит, самое время прочитать и послушать все то, о чем мечтал целый год. Long-form контент сильно недооценен в эру твиттера и youtube shorts, но при этом он все так же незаменим.

В этом посте мы собираем ссылки на лучшие книги, длинные подкасты, онлайн курс, который вы/мы хотим осилить за праздники. Я начну:

1. Почти дочитал книгу The Power Law — лучшее описание истории венчурного капитала и Долины (суть одно) на примере всем известных персонажей и компаний (от Рока и Фейрчайлда до Цукербринов и последних трендов)

2. Почти прошел курс от huggingface про современный NLP и трансформеры. Лучшее место чтобы начать с основ современного ИИ, с примерами, коллабами, но ужасным французским акцентом.

3. Заказал книгу Understanding Deep Learning (вышла 2 недели назад). Говорят, лучшее интро в современный DL.

Следующими шагами планирую курс по Deep RL, дочитать Governing the Commons, найти что-то не слишком уж хардкорное чтобы понять FHE / криптографию на решетках. Еще интересны книги про рынки (особенно, монетарные) и как они работают, но я пока не знаю что лучшее на эту тему читать, кроме Broken Money.

Делитесь своими вишлистами, рекомендациями, запросами.
О главном тренде 2024 и дальше

В ближайшие годы на планете произойдет взрыв совокупного количества доступного интеллекта. Над любой задачей, работой, в любой профессии теперь кроме вас будут еще работать десятки агентов, чат ботов и умных ассистентов.

На мой взгляд, есть небольшой шанс, что в течение следующих 5 лет потребность в экономике исчезнет. Из них, 80% вероятность из-за появления AGI и, соответственно, сверх-достатка и избытка; 20% — из-за цивилизационного шока (rogue AI, nuclear war, whatever).

Так же есть большой шанс, что в течение 5 лет данный технологический тренд будет крупнейшим по эффекту на экономику, по сравнению со всеми предыдущими (железная дорога, нефть, полупроводники, интернет, крипта).

В обоих случаях разумной стратегией сейчас является инвестировать.

1. ИИ изменяет структуру бизнесов, и теперь даже довольно далеки от ИТ бизнесы смогут быть куда более эффективны в использовании капитала, потому что для оказания услуги или создания продукта вам нужно меньше людей, а ведь payroll является главной статьей расходов для почти любой компании.

2. ИИ создает новые типы продуктов и бизнесов, большинство из которых так же являются не сильно требовательными к капиталу: у софтверных компаний нет капитальных издержек, а железо все равно берется в аренду в зависимости от использования и следовательно объема выручки.

Инвестировать имеет смысл как в компании напрямую создающие ИИ-продукты (включая небольшие команды или соло разработчиков, где часто достаточно чека в десятки тысяч), так и в бизнесы, которые наиболее выиграют от внедрения ИИ и сокращения костов, включая консалтинг, юрфирмы, фитнес приложения, коучинговые сервисы и эдтех — те, из них, кто принял стратегию ИИфикации себя как можно раньше и понимает как это делать.

Я лично не очень верю, что этот тренд будет последним, но я уверен что объем value для мировой экономики будет еще больше, чем триллионы долларов, созданные на волне semiconductors или consumer internet.

Конечно, билдить не менее важно (и куда более интересно), но скорость изменений и масштаб (широта) эффекта настолько огромна, что захватить значительную часть этого тренда все равно не получится. Скорость и обьем микро-бизнесов, которые за год-два могут стать единорогами (благодаря скорости дистрибуции и всей инфраструктуре для стартапов созданной за последние 40 лет) будет невероятной.
2024/10/02 06:21:20
Back to Top
HTML Embed Code: