В этом видео вы узнаете о разных подходах к реализации механизма памяти в чат-ботах на основе больших языковых моделей. Это поможет вам выбрать оптимальную стратегию управления памятью для ваших задач.
Благодаря демонстрации инструментов ZEP и FlowWise, вы сможете быстро создать работающего чат-бота с механизмом памяти без написания кода.
Пример перехода от модели GPT к Mistral показывает, как легко можно менять языковую модель, не теряя функциональности. Это знание упростит вам эксперименты с разными моделями.
Технология сжатия больших текстов позволит вам экономить место в контекстном окне модели для хранения большего объема данных.
Подход на основе prompt engineering в memGPT демонстрирует, как с помощью правильных подсказок научить модель самостоятельно работать с памятью.
Возможности ZEP по анализу диалогов дадут вам инструмент для извлечения нужных инсайтов из разговоров с пользователями.
Обсуждение перспектив этой области поможет вам быть в курсе последних трендов и готовиться к использованию новых технологий по мере их появления.
Смотреть: https://youtu.be/KZA0P-axOXs
Благодаря демонстрации инструментов ZEP и FlowWise, вы сможете быстро создать работающего чат-бота с механизмом памяти без написания кода.
Пример перехода от модели GPT к Mistral показывает, как легко можно менять языковую модель, не теряя функциональности. Это знание упростит вам эксперименты с разными моделями.
Технология сжатия больших текстов позволит вам экономить место в контекстном окне модели для хранения большего объема данных.
Подход на основе prompt engineering в memGPT демонстрирует, как с помощью правильных подсказок научить модель самостоятельно работать с памятью.
Возможности ZEP по анализу диалогов дадут вам инструмент для извлечения нужных инсайтов из разговоров с пользователями.
Обсуждение перспектив этой области поможет вам быть в курсе последних трендов и готовиться к использованию новых технологий по мере их появления.
Смотреть: https://youtu.be/KZA0P-axOXs
OpenAI (вероятно) запускает Маркетплейс
Через два дня пройдёт OpenAI DevDay, но уже сегодня есть несколько утечек о том, что там будет.
В частности, OpenAI запускает публичный маркетплейс агентов и файнтьюнов моделей под разные кейсы. Пользователи смогут создавать и публиковать агентов для продаж, анализа, кодинга, интервью, заточенные под локальные языки и так далее.
Если ваш стартап не убили vision и all-in-one модели, то это убьет уже наверняка. С другой стороны, для студентов, которые сделают файнтьюн сверхчеловеческого маркетолога, аналитика, терапевта или инфлюенсера это могут быть приятные карманные деньги, при условии что OpenAI добавит монетизацию этих пользовательских моделей.
Узнаем наверняка в понедельник, но уже можно с уверенностью сказать что «промт-инженер» была самой скоротечной профессией в истории.
Через два дня пройдёт OpenAI DevDay, но уже сегодня есть несколько утечек о том, что там будет.
В частности, OpenAI запускает публичный маркетплейс агентов и файнтьюнов моделей под разные кейсы. Пользователи смогут создавать и публиковать агентов для продаж, анализа, кодинга, интервью, заточенные под локальные языки и так далее.
Если ваш стартап не убили vision и all-in-one модели, то это убьет уже наверняка. С другой стороны, для студентов, которые сделают файнтьюн сверхчеловеческого маркетолога, аналитика, терапевта или инфлюенсера это могут быть приятные карманные деньги, при условии что OpenAI добавит монетизацию этих пользовательских моделей.
Узнаем наверняка в понедельник, но уже можно с уверенностью сказать что «промт-инженер» была самой скоротечной профессией в истории.
Даже если вдруг новость о запуске маркетплейса GPT не правда или, допустим, это случится не послезавтра а через 2 месяца, вот еще доказательство почему «промт-инжиниринг» умер.
В этой статье авторы доказывают, что обратная связь от пользователей и проактивные вопросы от LLM дают более точный результат чем, пусть даже сложный промтинг.
Единственный кейс где это не так — это гипотетический сценарий, когда кто-то изобретет формальный язык для промтов, который будет больше похож на Python, чем на английский. Но пока я ничего похожего не встречал.
Вместе с предыдущим постом, очень простой вывод: если уникальность вашего продукта и бизнеса это промтинг агентов или файнтьюнинг моделей, то ваш продукт не имеет конкурентного преимущества.
В этой статье авторы доказывают, что обратная связь от пользователей и проактивные вопросы от LLM дают более точный результат чем, пусть даже сложный промтинг.
Единственный кейс где это не так — это гипотетический сценарий, когда кто-то изобретет формальный язык для промтов, который будет больше похож на Python, чем на английский. Но пока я ничего похожего не встречал.
Вместе с предыдущим постом, очень простой вывод: если уникальность вашего продукта и бизнеса это промтинг агентов или файнтьюнинг моделей, то ваш продукт не имеет конкурентного преимущества.
This media is not supported in your browser
VIEW IN TELEGRAM
Лайв демо первой модели от команды xAI Илона Маска. Следим за развитием событий. Пока, судя по бенчмаркам, ничего сверхъестественного, но команда работает только 5 месяцев.
Обещают мультимодальность, обучение на данных из твиттера в реальном времени, удивительное (?) чувство юмора.
Модель имеет 33В параметров (или около того, точно не ясно), но при этом по их заявлениям показывает себя наравне с LLaMa2 70B.
Обещают мультимодальность, обучение на данных из твиттера в реальном времени, удивительное (?) чувство юмора.
Модель имеет 33В параметров (или около того, точно не ясно), но при этом по их заявлениям показывает себя наравне с LLaMa2 70B.
Forwarded from Сиолошная
Недели 3 назад в MIT был AI Event, куда позвали много клёвых людей рассказать, чем они занимаются и к чему идут. Среди них был и Jan Leike, напомню, тимлид команды Superalignment в OpenAI (напару с Ilya Sutskever). Если вы не знаете, что такое Superalignment, или просто пропустили, то рекомендую посмотреть две мои лекции: раз и два. Вкратце — как мы будем контролировать намерения AI систем, которые умнее людей? Как избежать того, что они нас не будут обманывать?
Вот с этого таймкода начинается интересное, где по сути делается анонс работ, проводимых в OpenAI (некоторые из которых будут публично доступны в виде полноценных статей).
Тут приводятся примеры на основе кодовой базы. Вот попросили вы написать миллион строк кода для решения какой-то проблемы. Человек не сможет это всё отвалидировать с высокой уверенностью и в краткие сроки. Как быть?
— Jan напрямую говорит: наша задача сейчас — натренировать несколько GPT-4, которые будут искать все баги в коде, которые им известны. Самая сложная часть тут — это "которые им известны". Когда модель пропускает ошибку по глупости, это не так страшно, как если бы она намеренно её пропустила. Если правильно помню более ранние рассказы Jan'а, то делаться это будет с помощью генерации багов в правильном коде (исходя из предпосылки, что раз модель может и написать код корретно, и изменить его, то она точно должна находить этот изменённый кусок).
— Второе направление работы: easy-to-hard generalization. Это когда мы оцениваем работу алгоритмов на простых и поддающихся нашему мозгу задачах (поиск багов в 10 строчках), и можем быть уверены, что они и будут продолжать работать на миллионе строк, и при этом поведение модели не изменится. Сейчас проверяется на паре маленькая модель <-> большая модель, как аналог системы человек <-> суперинтеллект
— Тестирование моделей, которые притворяются помощниками, но на самом деле имеют другую цель. Тут OpenAI тренируют модели, которые намеренно незаалайнены как надо, и пытаюсят понять, как это можно выявить автоматически. Ахахаха, тут главное в результате эксперимента не создать Skynet...
— Автоматическая интерпретируемость, или как модели могут объяснять и анализировать самих себя (aka МРТголовного мозга весов модели). Про это писал тут (GPT-4 объясняет работу GPT-2), и ещё недавно Anthropic про то же рассказывали.
С кодом, наверное, не всё так понятно для многих читателей, но можете заменить "миллион строк кода" на "2000-страничная книга с научными открытиями", и смысл не изменится.
А, ну и да, решить проблему Супералаймента OpenAI хотят до конца лета 2027го🚬
Вот с этого таймкода начинается интересное, где по сути делается анонс работ, проводимых в OpenAI (некоторые из которых будут публично доступны в виде полноценных статей).
Тут приводятся примеры на основе кодовой базы. Вот попросили вы написать миллион строк кода для решения какой-то проблемы. Человек не сможет это всё отвалидировать с высокой уверенностью и в краткие сроки. Как быть?
— Jan напрямую говорит: наша задача сейчас — натренировать несколько GPT-4, которые будут искать все баги в коде, которые им известны. Самая сложная часть тут — это "которые им известны". Когда модель пропускает ошибку по глупости, это не так страшно, как если бы она намеренно её пропустила. Если правильно помню более ранние рассказы Jan'а, то делаться это будет с помощью генерации багов в правильном коде (исходя из предпосылки, что раз модель может и написать код корретно, и изменить его, то она точно должна находить этот изменённый кусок).
— Второе направление работы: easy-to-hard generalization. Это когда мы оцениваем работу алгоритмов на простых и поддающихся нашему мозгу задачах (поиск багов в 10 строчках), и можем быть уверены, что они и будут продолжать работать на миллионе строк, и при этом поведение модели не изменится. Сейчас проверяется на паре маленькая модель <-> большая модель, как аналог системы человек <-> суперинтеллект
— Тестирование моделей, которые притворяются помощниками, но на самом деле имеют другую цель. Тут OpenAI тренируют модели, которые намеренно незаалайнены как надо, и пытаюсят понять, как это можно выявить автоматически. Ахахаха, тут главное в результате эксперимента не создать Skynet...
— Автоматическая интерпретируемость, или как модели могут объяснять и анализировать самих себя (aka МРТ
С кодом, наверное, не всё так понятно для многих читателей, но можете заменить "миллион строк кода" на "2000-страничная книга с научными открытиями", и смысл не изменится.
А, ну и да, решить проблему Супералаймента OpenAI хотят до конца лета 2027го
Please open Telegram to view this post
VIEW IN TELEGRAM
Хочу поделиться каналом Миши Образование, которое мы заслужили и его постом-подборкой с постами об ИИ.
Кроме этого, Миша освещает новости в мире образования, кейсы лидеров индустрии и пишет авторские тексты. Кстати, он тот еще технокарт от мира образования, который с командой Skyeng с помощью платформы, моделирования прогресса и рекомендательных систем смог поднять скорость освоения материала учениками в 2020 году на 26,5%!
Мой топ публикаций на канале, который стоит прочитать каждому:
▪️Образование - одна из главных инвестиций. Но как определить ее окупаемость?
▪️ChatGPT научился искать информацию в интернете и после 2021 года
▪️Какие курсы детского онлайн-образования востребованы в 2023 году
Кроме этого, Миша освещает новости в мире образования, кейсы лидеров индустрии и пишет авторские тексты. Кстати, он тот еще технокарт от мира образования, который с командой Skyeng с помощью платформы, моделирования прогресса и рекомендательных систем смог поднять скорость освоения материала учениками в 2020 году на 26,5%!
Мой топ публикаций на канале, который стоит прочитать каждому:
▪️Образование - одна из главных инвестиций. Но как определить ее окупаемость?
▪️ChatGPT научился искать информацию в интернете и после 2021 года
▪️Какие курсы детского онлайн-образования востребованы в 2023 году
GPT-4-turbo не хотите?
До мега эвента OpenAI еще много часов, а интернет полон спекуляций. Например, в реддите гуляет скриншот новых цен на модели.
Среди прочего, здесь видно что модель GPT-4-turbo будет стоить в 3 раза дешевле, чем сейчас и будет иметь окно контекста в 128 тысяч токенов (больше чем у Клода) и уметь в распознавание картинок.
А еще появится API для интерпретатора кода.
До мега эвента OpenAI еще много часов, а интернет полон спекуляций. Например, в реддите гуляет скриншот новых цен на модели.
Среди прочего, здесь видно что модель GPT-4-turbo будет стоить в 3 раза дешевле, чем сейчас и будет иметь окно контекста в 128 тысяч токенов (больше чем у Клода) и уметь в распознавание картинок.
А еще появится API для интерпретатора кода.
Подключайтесь завтра к очередному выпуску ИИ-радио на тему "ИИ нам судья", где мы обсудим актуальные вопросы взаимодействия искусственного интеллекта и общества.
В гостях Александр Гамбарян. Адвокат, больше четверти века защищающий людей от государства. Основатель legal tech стартапа. Гик. Обладатель черного пояса по Айкидо и Иайдо.
— Регулирование ИИ: зачем это нужно, кто стоит за процессом, когда приходит время ужесточать правила и как это воплощается в жизнь. Откроем завесу саммитов регуляции ИИ, где формируется будущее технологий.
— Юридическая сингулярность: куда движется технология и как за ней поспевает законодательство.
— Децентрализованный ИИ: возможно ли регулирование в условиях отсутствия централизации?
— Как ИИ изменяет ландшафт рынка труда и структуру профессий. Обсудим, какие сферы наиболее уязвимы и кто может чувствовать угрозу от замены человека машиной.
— Как ИИ влияет на экономические структуры и баланс производственных сил в условиях автоматизации.
— Анархия и роботы: как роботам найти своё место в условиях спонтанных анархических отношений.
— Защита граждан от государства: в эпоху, когда искусственный интеллект может стать прокурором, научимся защищаться от тоталитаризма цифровой эры.
Будем разбираться как жить в мире, где ИИ уже не просто инструмент, а полноценный участник (и даже больше!) социума.
Для подключения просто переходите по ссылке на канал Gershuni. Ваши вопросы можете писать в комментариях прямо под этим постом. Начало в 16:00 UTC / 19:00 MSK.
В гостях Александр Гамбарян. Адвокат, больше четверти века защищающий людей от государства. Основатель legal tech стартапа. Гик. Обладатель черного пояса по Айкидо и Иайдо.
— Регулирование ИИ: зачем это нужно, кто стоит за процессом, когда приходит время ужесточать правила и как это воплощается в жизнь. Откроем завесу саммитов регуляции ИИ, где формируется будущее технологий.
— Юридическая сингулярность: куда движется технология и как за ней поспевает законодательство.
— Децентрализованный ИИ: возможно ли регулирование в условиях отсутствия централизации?
— Как ИИ изменяет ландшафт рынка труда и структуру профессий. Обсудим, какие сферы наиболее уязвимы и кто может чувствовать угрозу от замены человека машиной.
— Как ИИ влияет на экономические структуры и баланс производственных сил в условиях автоматизации.
— Анархия и роботы: как роботам найти своё место в условиях спонтанных анархических отношений.
— Защита граждан от государства: в эпоху, когда искусственный интеллект может стать прокурором, научимся защищаться от тоталитаризма цифровой эры.
Будем разбираться как жить в мире, где ИИ уже не просто инструмент, а полноценный участник (и даже больше!) социума.
Для подключения просто переходите по ссылке на канал Gershuni. Ваши вопросы можете писать в комментариях прямо под этим постом. Начало в 16:00 UTC / 19:00 MSK.
Если вы вдруг пропустили презентацию OpenAI, то кратко результат: все сливы оказались правдой.
— GPT-4-turbo
— 128K контекст
— Fine-tuning GPT-4
— Обновили знания до апреля 2023
— Whisper V3
— Маркеплейт ваших собственных моделей
— В API: vision, gpt-4 в 3 раза дешевле, приятные фишки для разработчиков, больше лимиты, быстрее апиха, интерпретатор работает через API
— Синтез голоса
— Вы можете создавать своих агентов прямо в ChatGPT с базой знаний, вызовом функций, действиями
— GPT Store для агентов (с revenue sharing разработчикам)
Подробно обсуждаем все новинки в codex town community в среду на мастермаинде.
— GPT-4-turbo
— 128K контекст
— Fine-tuning GPT-4
— Обновили знания до апреля 2023
— Whisper V3
— Маркеплейт ваших собственных моделей
— В API: vision, gpt-4 в 3 раза дешевле, приятные фишки для разработчиков, больше лимиты, быстрее апиха, интерпретатор работает через API
— Синтез голоса
— Вы можете создавать своих агентов прямо в ChatGPT с базой знаний, вызовом функций, действиями
— GPT Store для агентов (с revenue sharing разработчикам)
Подробно обсуждаем все новинки в codex town community в среду на мастермаинде.
e/acc
Если вы вдруг пропустили презентацию OpenAI, то кратко результат: все сливы оказались правдой. — GPT-4-turbo — 128K контекст — Fine-tuning GPT-4 — Обновили знания до апреля 2023 — Whisper V3 — Маркеплейт ваших собственных моделей — В API: vision, gpt-4 в…
А теперь выводы.
1. OpenAI превзошел большинство (все, что я видел) ожидания. Это реально х100 анонс, который даст толчок тысячам новых практических кейсов и убьет тысячи горе-ИИ-стартапов. Модели учатся видеть, слышать, играть, петь, веселить, продавать и все это экспоненциально усиливается между ними. Мир невероятных возможностей.
2. Очередное подтверждение, что мир, такой каким мы его знаем, закончился, и экономика тоже. Подробнее поговорим завтра на ИИ-радио, но бизнес, стартапы, работа, зарплата — все эти вещи закончатся сильно раньше, чем появится ASI и нам будет угрожать физическое истребление.
1. OpenAI превзошел большинство (все, что я видел) ожидания. Это реально х100 анонс, который даст толчок тысячам новых практических кейсов и убьет тысячи горе-ИИ-стартапов. Модели учатся видеть, слышать, играть, петь, веселить, продавать и все это экспоненциально усиливается между ними. Мир невероятных возможностей.
2. Очередное подтверждение, что мир, такой каким мы его знаем, закончился, и экономика тоже. Подробнее поговорим завтра на ИИ-радио, но бизнес, стартапы, работа, зарплата — все эти вещи закончатся сильно раньше, чем появится ASI и нам будет угрожать физическое истребление.
Media is too big
VIEW IN TELEGRAM
Пилю тут ассистента с помощью только что вышедшего Assistant API.
Но удивило меня вот что: GPT-4-turbo нереально быстрый. Это видео в реальном времени. В первый час релиза модели.
В первом комментарии рассказ, который ИИ написал меньше чем за 10 секунд.
Но удивило меня вот что: GPT-4-turbo нереально быстрый. Это видео в реальном времени. В первый час релиза модели.
В первом комментарии рассказ, который ИИ написал меньше чем за 10 секунд.
Media is too big
VIEW IN TELEGRAM
Сегодня в интернете выходной! Сегодня весь интернет пилит ассистентов и делает чат-ботов со зрением благодаря новейшим фичам GPT.
Делюсь первыми результатами.
Society of Codex.towns
Я взял концепцию society of mind / society of agents и применил к нашему с вами проекту. На первом видео показан диалог двух агентов: хейтера и сторонника идеи создания трайбов / приватных сообществ, объединенных общей темой технологий. Построено с помощью вчера вышедшего Assistant API. Оба ассистента хранят контекст беседы (тред), могут возвращаться к ней в будущем. Для решения более сложных задач попробую добавить сюда несколько десятков ролей.
CodexTownGPT
Денис сделал внутреннего помощника для закрытой группы, который умеет отвечать на вопросы по базе знаний, создавать профили новых участников, находить необходимые ресурсы типа примеров кода, записей вебинаров, статей. Пример на скриншоте в предыдущем сообщении.
P.S. Я вижу будущее образования именно таким: ИИ-тьютор помогает вам найти лучший (и бесплатный!) теоретический контент по теме (разработка, предпринимательство, искусство), помогает понять и отвечает на вопросы, создает и проверяет задания и кейсы. А тесно интегрированное сообщество, ваш личный трайб, помогает вам применить эти знания на практике и развиваться в команде единомышленников.
Делюсь первыми результатами.
Society of Codex.towns
Я взял концепцию society of mind / society of agents и применил к нашему с вами проекту. На первом видео показан диалог двух агентов: хейтера и сторонника идеи создания трайбов / приватных сообществ, объединенных общей темой технологий. Построено с помощью вчера вышедшего Assistant API. Оба ассистента хранят контекст беседы (тред), могут возвращаться к ней в будущем. Для решения более сложных задач попробую добавить сюда несколько десятков ролей.
CodexTownGPT
Денис сделал внутреннего помощника для закрытой группы, который умеет отвечать на вопросы по базе знаний, создавать профили новых участников, находить необходимые ресурсы типа примеров кода, записей вебинаров, статей. Пример на скриншоте в предыдущем сообщении.
P.S. Я вижу будущее образования именно таким: ИИ-тьютор помогает вам найти лучший (и бесплатный!) теоретический контент по теме (разработка, предпринимательство, искусство), помогает понять и отвечает на вопросы, создает и проверяет задания и кейсы. А тесно интегрированное сообщество, ваш личный трайб, помогает вам применить эти знания на практике и развиваться в команде единомышленников.
Запилил Джуна-С-Глазами.
Я рисую на доске схему, дизайн или пишу текст от руки, а мой авто-джун может оцифровывать и превращать любые мои дикие идеи в код за пару секунд. Смотрите демо.
Вот что я уже попробовал:
- превратить мои каля-маля схемы в маркетинговый план
- написать код на основе картинки
- сделать питч на основе схемы продукта
- сделать описание / caption для любой фотографии в стиле инстаграма
- и другие кейсы, обсудим завтра на мастермаинде
Я рисую на доске схему, дизайн или пишу текст от руки, а мой авто-джун может оцифровывать и превращать любые мои дикие идеи в код за пару секунд. Смотрите демо.
Вот что я уже попробовал:
- превратить мои каля-маля схемы в маркетинговый план
- написать код на основе картинки
- сделать питч на основе схемы продукта
- сделать описание / caption для любой фотографии в стиле инстаграма
- и другие кейсы, обсудим завтра на мастермаинде
Media is too big
VIEW IN TELEGRAM
Галочка, ты сейчас умрешь!
Чувак из твиттера сделал приложение, которое
1. Делает скриншоты игры, отправляет их в GPT Vision API
2. GPT пишет комментарии по игре
3. TTS озвучивает голосом
4. Голос накладывается обратно на видео
Получился ИИ-комментатор, который понимает что происходит в игре и комментирует в реальном времени.
Сегодня-завтра выложу видео в codex.town о том как это сделать за ~50 строчек кода.
Чувак из твиттера сделал приложение, которое
1. Делает скриншоты игры, отправляет их в GPT Vision API
2. GPT пишет комментарии по игре
3. TTS озвучивает голосом
4. Голос накладывается обратно на видео
Получился ИИ-комментатор, который понимает что происходит в игре и комментирует в реальном времени.
Сегодня-завтра выложу видео в codex.town о том как это сделать за ~50 строчек кода.