Telegram Web Link
Делюсь новым интересным способом промтинга, который у меня спонтанно родился вчера. Это мультимодальный few-shot промт для создания документов на основе схем. В моём примере это автоматизация работы UX рисерчера и продакта, но можно применять для работы со схемами организационной структуры, бизнес-процессов, финансовых потоков и т.д.

Для меня такой способ работает идеально, потому что я люблю штормить над идеями визуально — в Miro или FigJam, а перенос простенькой схемы в текстовый документ для меня является скучной задачей, вызывающей прокрастинацию.

1. Загружаете в GPT скриншот доски из Миро или Фигмы
2. Пишете для GPT роль. В моем случае это продакт и системный инженер.
3. Пишете задачу для GPT. Например, преврати схему в детальную продуктовую спеку с целью для каждой фичи, скопуом, зависимостями, юз-кейсам и эдж-кейсами, бизнес-логикой и требованиям по дизайну.
4. Добавляете примеры, отредактированные вручную и хорошо отображающие желаемый результат

Прикладываю пример чата (скрин, шарить чаты с картинками пока нельзя) с UJM'ом из первой ссылки в гугле. Но я делал то же самое для своего проекта, где схема состояла из ~40 шагов с кучей разных сложных зависимостей нарисованных стрелочками. Бонус в том, что я теперь могу нарисовать любую другю схему, загрузить в этот же чат и получить новую спеку.

Лайфхак 2: для создания качественного промта лучше дать в изначальном промте примеры. А чтобы не тратить время и не писать их, можно использовать соседнее окно ChatGPT для генерации. Тупо пишете "generate great example of the product feature specs" и правите, если вас не устраивает.
Генеративный ИИ в маркетинге: ожидали автоматизацию, а получили смену парадигмы

Автоматизация написания текстов, постов, создание фоток для инстаграма, картинок для баннеров и автоматическое клепание лендингов — это действительно способы применения ИИ в маркетинге сегодня. Но это только вершина айсберга. Я бы даже сказал смелее: это временное явление.

В реальности, генеративный ИИ не просто автоматизирует или оптимизирует процессы, которые мы делалаем десятилетиями — он изменяет или часто даже полностью отменяет эти процессы. Давайте посмотрим на примеры.

Описание товаров и фотографии на Amazon или других маркетплейсах всегда считались одним из главным факторов успеха продаж, потому что это помогает клиентам находить ваши продукты и делать выбор в пользу их покупки. Но вдруг мы оказались в мире, где ваш телефон, ваш поисковик, да и собственно сам Амазон, ищет оптимальный товар за вас по заданным условиям. То есть, текст и картинки в описании товара теперь читает не человек, а его ИИ-ассистент, которого сложно обдурить добавив красивую женщину на фотографию велосипеда. Получается, что да, мы можем сэкономить 80% бюджета на создании описаний товаров, но только сама суть маркетинга через продуктовые карточки и страницы сегодня безвозвратно меняется.

Или другой пример: анализ данных. Да, конечно, GPT сможет за вас написать грамотный SQL запрос, написать код для анализа продаж и посещаемости, даже сделать выводы на основе этих данных. Но сама парадигма "события → анализ событий за период" — это что-то из маркетинга эпохи кожаных аналитиков. Вместо накопления и последующего анализа данных, благодаря невероятно компактному генеративному ИИ, такой анализ может происходить в реальном времени в контексте каждой сессии. То есть, клиент еще не закрыл вашу лендинг страницу, а вы уже идентифицировали его персону, склонность к покупке, демографию и ваша LLM'ка на бекэнде успела переписать текста блока с тарифами таким образом, чтобы максимизировать шанс на покупку. A/B тесты не нужны в мире, где на каждого клиента тестируется одновременно весь объём латентного пространства маркетинговых предложений.
Новый вебинар в эту пятницу: "Бизнес-кейсы генеративного ИИ"

Мы рассмотрим актуальные кейсы внедрения генеративного ИИ / LLM в бизнес-процессы для автоматизации и оптимизации регулярных рабочих задач, подходы к интеграции и созданию продуктов на основе генеративного ИИ, а также планирование и реализацию пилотных проектов.

В этот раз вебинар будет больше про подходы, разбор примеров и опыта внедрений, но без программирования в прямом эфире. Мы будем смотреть на корпоративные кейсы с целью разобраться:

- куда стоит инвестировать компаниям или подразделениям крупных компаний? какие кейсы реально работают, а что выглядит красиво только в постах для соцсетей?
- как отличить пустой хайп от реальной возможности получить существенный ROI?
- как правильно формулировать бизнес-гипотезы и как подбирать внутренние или внешние команды разработки в соотвествии с этим?
- что такое "AI стратегия" для бизнеса и как её создавать?
- когда стоит целиться в создание "вторых пилотов", когда — автоматизировать целые функции в компании? Когда делать интеграции, ботов, агентов или системы оркестрации множества агентов?

Этот вебинар будет полезен руководителям, специалистам по ИИ, разработчикам и всем, кто интересуется применением ИИ в бизнесе.

Регистрация: https://lu.ma/codextown Для подписчиков Boosty ссылка на участие и запись мероприятия будет прямо на странице Boosty. Зарегистрированные участники получат запись и слайды из вебинара.
Альтман написал в твиттере, что умение ИИ убеждать людей превзойдет уровень доступный любому человеку сильно раньше, чем появится AGI.

А ведь мог бы и не писать, потому что от этого факта он сам выиграл бы больше других.
Онлайн-гигИИена:

Everything you read or see online must be considered AI-generated until proven otherwise
ChatGPT теперь поддерживает работу с файлами (загружай PDF и задавай вопросы) и совмещение разных модальностей в одном чате (может рисовать картинки, гуглить, писать и исполнять код в одном чате).

Для большинства это шок, потому что их стартап идея была разбита о быструю доставку качественного продукта команды OpenAI с инженерами за $600к в год.

Дабы предупредить будущий шок, давайте сразу обсудим, что ChatGPT выкатит в следующих версиях:

- подключение своих данных: Gmail, slack, WhatsApp
- общение в едином чате, который помнит все о вас. по сути - разговор с ассистентом.
- возможность соединять цепочки действий и плагинов (агенты)
- маркетплейс плагинов с монетизацией и курацией (curation, если на человеческом)
- полная мультимодальность: на вход видео, на выход голос; на вход музыку, на выход видео; на вход excel на выход диаграммы
- проактивный ИИ: сам поймёт когда и что у вас спросить или вам рассказать
- у каждого пользователя персональная модель, обученная на последних годах диалога (каждому — свою LoRA)
ИИ-радио, вторая часть!

Завтра, во вторник, 31 октября, пройдет второй выпуск ИИ-радио: прямой эфир c Сергеем Цыпцыным, автором Метаверсище и ИИще и со Степаном Гершуни, автором канала Gershuni, на тему “Как ИИ меняет мир?

Продолжим разговор о том как стремительное развитие генеративного ИИ влияет на различные области жизни и экономики, и свернем в сторону агентов, агентности и прочей самостоятельности ИИ:

- Как выбрать, использовать и выжать максимум из ИИ-ассистентов и агентов?
- Что делать бизнесу в эру ИИ-хаоса? Куда бежать или, может, наоборот, успокоиться?
- Что там в диффузионках? Когда уже мы сможем генерировать “Аватар - 5” одним промтом через Apple Watch?
- Мультимодалки, тренировка своих моделей, open source vs prorietary и другие темы
- Так же ответим на вопросы аудитории, если уложимся в тайминг

Степан — исследователь, технологический стратег, серийный фаундер, работает (набегами) с NLP/ML с 2012 года. Ведущий вебинаров codex.town
Сергей — эксперт в области компьютерной графики, автор книги "Понимая Майя", исследователь искусственного интеллекта, ведущий экзистенциального канала Метаверсище и ИИще.

Подключиться к прямому эфиру можно во вторник, 31 октября, в 19:00 MSK прямо в Телеграме в канале Метаверсище и ИИще. Чтобы не пропустить, можно регистрироваться тут.
Понятно, что без ИИ стратегии среднему и крупному бизнесу уже никуда. Но и государствам тоже. Я много писал, что ИИ — это не только секстинг с вашими любимыми персонажами аниме, но еще и военная и политическая технология.

Байден сегодня подписал Executive Order на тему создания стандартов и даже целого отдельного агентства (ОООО, бюджеты!) по контролю над рисками развития ИИ. Но, если быть более точным, то вопрос здесь меньше рисков ИИ для человечества в целом, а больше рисков ИИ для внутре- и гео- политической ситуации для США.

Некоторые темы из документа:
— всем кто делает большие модели — разработать и поделиться с федеральным правительством своими eval бенчмарками, в том числе safety и constitutional AI (но без деталей, кому какими, как)
— что-то сделать чтобы ИИ не создавал биологически смертельных вирусов и не влиял на публичное мнение фейк-контентом (но не понятно что)
— применять ИИ в образовании и здравоохранении, в том числе для создания AI-powered государственных инструментов для образования (кайф!)
— подумать а что делать с теми кожаными, которых ИИ заменит с потрохами
— добавить ИИ в судебную систему
— больше ИИ исследований: давать визы и бабки всем кто шарит за умножение матриц
— каждому министерству — ИИ-стратегию! (помните, в РФ пытались сделать замминистра по цифровизации, но что-то пошло не так?)

Рекомендую еще почитать AI Bill of Rights, над которым администрация Байдена работает уже не первый месяц. Там сильно больше деталей.
Forwarded from Сиолошная
Вышло уточнение по поводу планки мощностей, используемых для тренировки модели, выше которой необходимо сообщать государству о факте обучения.

Порог этот — 1e+26 операций (один и 26 нулей) с плавающей запятой или 1e+23 целочисленных операций. Итак, порог 1e+26 FLOP, много это или мало? Прислушались ли политики к советам Sam Altman ограничивать только большие модели, или это как-то влияет на стартапы и опенсурс?

Расчёт создателя PyTorch Soumith Chintala даёт оценку самой мощной модели Facebook LLama2-70B: 1.1e+24 FLOP. То есть это в 100 раз меньше порога. У детишек, в общем, игрушки не отнимут 🤣

GPT-4 оценить сложно, но если верить слухам, гулявшим летом, то для её тренировки использовалось ~25,000 видеокарт A100 на протяжении 90-100 дней с утилизацией примерно 32%-36% (то есть GPU 2/3 времени простаивает, говоря грубо). Это даёт ~2.15e+25 FLOP, что в 5 раз ниже порога. Даже вот такая передовая мощнейшая модель НЕ ПОПАДАЕТ под регуляции.

Плюс, повяилось уточнение, что необходимо также сообщать о построенных кластерах, если их мощность больше 1e20 FLOPS (операций в секунду), то есть 100 ExaFLOPS. Сейчас самый мощный суперкомьютер в мире (согласно рейтингу Top-500), Frontier, имеет всего ~1.5-12 ExaFLOPS (в зависимости от точности вычислений). Выводы делаем сами 🥺
Please open Telegram to view this post
VIEW IN TELEGRAM
Сурс / пруф выше.

Грубо говоря, по текущим ценам это любая модель, натренировать которую стоит больше $50М или любой кластер с более чем 50к Н100. Такие кластеры уже сегодня есть у Гугла и Майкрософта. Возможно (без пруфов) один такой может быть у китайцев.
Скоро выложу запись последнего выпуска выпуска ИИ-радио (подписывайтесь чтобы предложить темы для будущих выпусков), но хочется записать одну мысль, которая спонтанно родилась в процессе диалога:

Регуляция ИИ в текущем виде не решает ни одной проблемы ИИ

Это, кстати, симметрично регуляции крипты. Ни одна страна или закон мира не может прервать работу Биткоина, но зато сильно может усложнить развитие коммерческих продуктов.

Так вот, основные риски ИИ заключаются в:

1. Смерти свободы печати (вы все еще можете печатать что хотите, но на одно ваше слово ИИ будет генерировать 100,000 своих, куда более убедительных)

2. Смерти демократии (вы все еще можете выражать свою позицию, но ИИ будет громче и его контент будет одновременно аппелировать убер-маргиналам со всех краёв политспектра)

3. Смерти экономики (вы всё еще можете работать или делать бизнес, но ИИ это будет делать качественнее, быстрее, креативнее. и бесплатно)

4. Смерти человечества (вы всё еще можете, но не понятно зачем оно, ваше можение, нужно ИИ)

Ограничение развития ИИ предельной когнитивностью в 10^26 флопс это будет больно для стартапов, средних компаний и опенсорса, но совершенно не важно для большого бизнеса (гугл и опенаи получат нужную бумажку) и state actors (китай не будет спрашивать разрешение у бюрократа в сша).

Отличие от крипты тут в том, что любая из альтернатив плохая. Ни регуляция, ни отсутствие регуляции, ни регуляция чего-либо другого не снимает и даже не снижает ни один из этих рисков.

P.S. пока писал пост, нашел сегодняшний отчет британской разведки, в котором она говорит примерно то же самое.
#чтивонаночь - LLAVA 1.5
Вероятно лучшая открытая мультимодалка этой осени, которая по каким то причинам никому не интересна, а зря!

teletype
paper
github
Учиться у лучших: управление командой

Хотел опубликовать список классных обучений для предпринимателей и подумал что напишу только про одно - но про самое интересное, которое появилось в последнее время. Его делает мой знакомый Виталик Крылов, предприниматель и exCEO Gett. Это именно он с командой вырастил Gett в России с нуля до 4млрд выручки.

Виталий вместе с другими классными спикерами сделал серьезную 4 месячную программу про найм топ команды и делегирование операционки.

Почему я думаю что это лучший продукт про найм на рынке сейчас:
1. Круто что программа начинается с практического тренинга, где все не просто будет сидеть и втыкать в кучу лекций, а будут именно работать в группах и создавать такие важные вещи как видение, ценности, стратегия бизнеса.
2. Дальше группа встречается в январе, феврале и марте на целый день чтобы рассказать как двигается проект и по косточкам разбирает запрос каждого участника.
3. Еще будут закрытые встречи с топ менеджерами известных компаний, где можно подсмотреть как выстроены процессы найма и управления у лучших на рынке.

А людей на программу Виталий лично собеседует, поэтому группа гарантированно будет сильная.

Я сам думаю, что присоединюсь к программе или в качестве участника или спикера на закрытую встречу. В общем если у вас есть запрос про найм и управление командами - я рекомендую идти только к Виталику.

Приходите на канал к Виталику, присоединяйтесь к программе https://www.tg-me.com/howtomake10x

Увидимся там!
Новый бесплатный вебинар в эту пятницу! Память у ИИ: методики, кейсы, техники и инструментов

Мы поговорим про архитектуру и необходимость механизмов памяти в языковых моделях. Обсудим какие еще, кроме RAG, существуют эффективные инструменты улучшения памяти и качества работы чат-ботов и генеративных ИИ систем.

- Долгосрочная память для контекста на протяжении диалога
- Краткосрочная память для учета последних реплик
- Подход SPR для эффективной реконструкции информации
- Использование платформы Zep для реализации памяти в чат-ботах
- Создание простого демо чат-бота с механизмами памяти на основе Zep и SPR
- Значимость развития механизмов памяти для языковых моделей

Регистрация: https://lu.ma/codextown
Или подписка тут: https://boosty.to/codextown
Audio
Второй выпуск ИИ-радио, где мы обсуждаем различия между чат-ботами и агентами, использование ноукод систем для создания агентов, основные технологические решения в этой сфере. Обсуждаем применение агентов в различных областях, перспективы создания персонализированных ассистентов и влияние регулирования государством сферы ИИ на технологическое развитие и инновации.

Различия между агентами и ботами - 9:00
Использование ноукод систем для создания агентов - 29:00
Основные решения для создания агентов (лонгчейн) - 46:00
Возможность создания нескольких агентов на основе чат-ботов - 66:00
Применение агентов в колл-центрах и чат-ботинге - 76:00
Влияние регулирования на развитие технологий ИИ - 105:00
Перспективы создания персонализированных ассистентов - 132:00
Нравственные аспекты создания виртуальных личностей - 156:00
Риски чрезмерного регулирования сферы ИИ - 173:00

Слушать в Spotify | Apple | Google или прям тут в телеграме
Ровно месяц назад я писал об анонсе GPT-4V, который сегодня уже доступен всем пользователям. Эта модель умеет распознавать текст, формулы, эмоции, считать объекты и ставить диагнозы по картинке, умеет в в навигацию в реальном мире.

Но, как известно, месяц в ИИ это как год в крипте и как 5 лет в любой другой индустрии. Сегодня давайте поугораем по LLaVA, новой SotA (то есть, самой клёвой) vision модели.

Из новостей:
— модель открытая и бесплатная, включая датасет для тьюнинга
— показывает более крутые результаты по сравнению с GPT-4V
— последняя версия натренирована за 1 день на кластере из 8 A100 (то есть, за $700)
демо доступно на сайте авторов
— довольно легко тьюнить на своих данных (еще не пробовал)
— звучит как тема для нашего следующего вебинара (кстати, сегодня на mastermind сессии для участников сообщества codex.town мы будем разбирать и изучать лайфхаки для vision моделей!)
Бесплатная модель с окном контекста на 128 тысяч токенов, которая запустится на вашем ноутбуке: https://huggingface.co/NousResearch/Yarn-Mistral-7b-128k

P.S. Это почти 200 страниц текста на английском в одном сообщении
This media is not supported in your browser
VIEW IN TELEGRAM
Вчера в Лондоне закончился саммит посвященный безопасности ИИ, на котором выступали премьер UK, Илон Маск, Сэм Альтман и другие. Как у любого сильно политизированного мероприятия выводы неочевидны и много булшита, но были интересные выступления.

Например, на видео выше показан пример поведения GPT-4, в котором имея задачу делать выгодные сделки на бирже GPT сознательно и понимая нелегальность действий совершает insider trade и потом скрывает причину своего поступка от своего менеджера. Я уверен, что такое демо довольно легко срежиссировать при желании. Но более важный вывод в том, что alignment через кнут (цензуру) и пряник (RLHF) не является панацеей безопасного ИИ. Детали в отчете.

Кстати, сегодня в 16 СЕТ / 18 МСК пройдет очередной (20-й) бесплатный вебинар про то как создавать память у ИИ-ботов.
В этом видео вы узнаете о разных подходах к реализации механизма памяти в чат-ботах на основе больших языковых моделей. Это поможет вам выбрать оптимальную стратегию управления памятью для ваших задач.

Благодаря демонстрации инструментов ZEP и FlowWise, вы сможете быстро создать работающего чат-бота с механизмом памяти без написания кода.

Пример перехода от модели GPT к Mistral показывает, как легко можно менять языковую модель, не теряя функциональности. Это знание упростит вам эксперименты с разными моделями.

Технология сжатия больших текстов позволит вам экономить место в контекстном окне модели для хранения большего объема данных.

Подход на основе prompt engineering в memGPT демонстрирует, как с помощью правильных подсказок научить модель самостоятельно работать с памятью.

Возможности ZEP по анализу диалогов дадут вам инструмент для извлечения нужных инсайтов из разговоров с пользователями.

Обсуждение перспектив этой области поможет вам быть в курсе последних трендов и готовиться к использованию новых технологий по мере их появления.

Смотреть: https://youtu.be/KZA0P-axOXs
OpenAI (вероятно) запускает Маркетплейс

Через два дня пройдёт OpenAI DevDay, но уже сегодня есть несколько утечек о том, что там будет.

В частности, OpenAI запускает публичный маркетплейс агентов и файнтьюнов моделей под разные кейсы. Пользователи смогут создавать и публиковать агентов для продаж, анализа, кодинга, интервью, заточенные под локальные языки и так далее.

Если ваш стартап не убили vision и all-in-one модели, то это убьет уже наверняка. С другой стороны, для студентов, которые сделают файнтьюн сверхчеловеческого маркетолога, аналитика, терапевта или инфлюенсера это могут быть приятные карманные деньги, при условии что OpenAI добавит монетизацию этих пользовательских моделей.

Узнаем наверняка в понедельник, но уже можно с уверенностью сказать что «промт-инженер» была самой скоротечной профессией в истории.
2024/10/02 14:23:25
Back to Top
HTML Embed Code: