Запись воркшопа о том как сделать своего собственного ИИ агента с долгосрочной памятью (как за бесплатно получить функционал StackAI стоимостью $900/мес) опубликована в Boosty.
В рамках вебинара мы разобрали:
— что такое ИИ агенты?
— какие есть методы "дообучения" ИИ?
— для каких бизнес кейсов подходит долгосрочная память? как они работают?
— как сделать свой собственный прототип за $0 и за 15 минут?
— как хранятся данные в векторых БД и как с ними работать?
— как сделать из этого публичный интерфейс?
— как изменять функционал агента, добавляя папки с документами или скейпинг вебсайтов?
В следующих частях покажу как связать с ботом, но, самое интересное, это будет поговорить о том как строить семантический слой приложений. Записать данные в векторную базу и их оттуда достать - легко. А вот создать агента, который умеет использовать десятки инструментов для работы с таблицами, аудио, длинными и короткими текстами, named entity, стилям — вот тут уже попахивает сид раундом на $3М.
В рамках вебинара мы разобрали:
— что такое ИИ агенты?
— какие есть методы "дообучения" ИИ?
— для каких бизнес кейсов подходит долгосрочная память? как они работают?
— как сделать свой собственный прототип за $0 и за 15 минут?
— как хранятся данные в векторых БД и как с ними работать?
— как сделать из этого публичный интерфейс?
— как изменять функционал агента, добавляя папки с документами или скейпинг вебсайтов?
В следующих частях покажу как связать с ботом, но, самое интересное, это будет поговорить о том как строить семантический слой приложений. Записать данные в векторную базу и их оттуда достать - легко. А вот создать агента, который умеет использовать десятки инструментов для работы с таблицами, аудио, длинными и короткими текстами, named entity, стилям — вот тут уже попахивает сид раундом на $3М.
Несколько источников одновременно раскрыли инсайды о следующей, пока непубличной, модели от OpenAI. От техно-мистиков из e/acc твиттера до потаённых нор Реддита, инфа сходится в следующем:
— новая модель, наследник GPT-4, называется «Арракис»
— модель имеет модальность «все ко всему», то есть на вход получает видео/фото/текст/звук и выдает так же любую из них
— значительно лучше GPT-4 и сравнима с топовыми экспертами-людьми во многих областях (цитата: «внутри OpenAI мы достигли AGI», что бы это не значило)
— имеет функционал автономного агента, умеет создавать для себя инструменты и пользоваться ими
— выйдет в 2024
Авторы этих постов за последние годы до анонсов в СМИ уже предсказывали точный функционал и дату появления продуктов компании, поэтому, хоть и звучит мутновато, инфа относительно credible.
— новая модель, наследник GPT-4, называется «Арракис»
— модель имеет модальность «все ко всему», то есть на вход получает видео/фото/текст/звук и выдает так же любую из них
— значительно лучше GPT-4 и сравнима с топовыми экспертами-людьми во многих областях (цитата: «внутри OpenAI мы достигли AGI», что бы это не значило)
— имеет функционал автономного агента, умеет создавать для себя инструменты и пользоваться ими
— выйдет в 2024
Авторы этих постов за последние годы до анонсов в СМИ уже предсказывали точный функционал и дату появления продуктов компании, поэтому, хоть и звучит мутновато, инфа относительно credible.
God tier пейпер про рассуждения и логику у LLM. Разобрал для вас все существующие способы сделать ИИ умнее. Если вы делаете AI продукт, приклейте эту картинку себе на монитор.
Авторы сделали компексный разбор всех существующих механизмов и способов добиться повторяемых и глубоких логических рассуждений от LLM (на картинке). Вот краткий обзор научной мысли в направлении обучения LLM рассуждениям.
Prompt engineering
— Одноэтапные, несколько примеров с цепочками мысли получаемые через CoT промт
— Многоэтапные, разбиение на подзадачи, последовательные промты
Оптимизация процессов
— Самооптимизация, калибровка с помощью дополнительных модулей или другой "проверяющей" LLM
— Ансамблевая оптимизация, когда LLM задает один и тот же вопрос многим клонам самой себя и потом выбирает самый популярный вариант
— Итеративная оптимизация, автоматический файн-тьюнинг LLM на сгенерированных примерах
Внешние механизмы
— Физические симуляторы, имитация процессов через мультимодальность
— Интерпретаторы кода, написание кода самой LLM для достижения результата рассуждений
— Обучение инструментам, внедрение вызовов внешних инструментов через агентов
Дополнение знаниями
— Неявные знания, извлечение из LLM через промтинг
— Явные знания, поиск релевантных знаний во внешних корпусах типа RAG
В целом промты позволяют активировать в LLM способности к логическому мышлению и рассуждениям. Комбинация стратегий промтов и знаний (RAG) это главная идея для улучшения рассуждений.
Авторы сделали компексный разбор всех существующих механизмов и способов добиться повторяемых и глубоких логических рассуждений от LLM (на картинке). Вот краткий обзор научной мысли в направлении обучения LLM рассуждениям.
Prompt engineering
— Одноэтапные, несколько примеров с цепочками мысли получаемые через CoT промт
— Многоэтапные, разбиение на подзадачи, последовательные промты
Оптимизация процессов
— Самооптимизация, калибровка с помощью дополнительных модулей или другой "проверяющей" LLM
— Ансамблевая оптимизация, когда LLM задает один и тот же вопрос многим клонам самой себя и потом выбирает самый популярный вариант
— Итеративная оптимизация, автоматический файн-тьюнинг LLM на сгенерированных примерах
Внешние механизмы
— Физические симуляторы, имитация процессов через мультимодальность
— Интерпретаторы кода, написание кода самой LLM для достижения результата рассуждений
— Обучение инструментам, внедрение вызовов внешних инструментов через агентов
Дополнение знаниями
— Неявные знания, извлечение из LLM через промтинг
— Явные знания, поиск релевантных знаний во внешних корпусах типа RAG
В целом промты позволяют активировать в LLM способности к логическому мышлению и рассуждениям. Комбинация стратегий промтов и знаний (RAG) это главная идея для улучшения рассуждений.
#ИИ_для_жизни
Часто просят рассказывать о том как я использую ИИ в своей жизни и работе. Заметил, что последние недели >50% моей работы делается с помощью ИИ-инструментов. Помимо стандартного набора вкладок, которые открыты всегда (Claude, ChatGPT plus, MJ Discord, perplexity, локальный quivr), хочу поделиться всякими интересными продуктами и лайфхаками, которые будут полезны для вас.
Записал для вас видео о том как сделать аналитику по рынкам и продуктовые исследования на основе подкастов. И все это абсолютно бесплатно.
По моим грубым оценкам такой подход экономит ~90% времени на исследование новых рынков или сфер, давая при этом 80% результата и инсайтов. Промты, исходники, ссылки, детали этого и других проектов публикую в бусти.
https://youtu.be/qbeUt-ai22M
Часто просят рассказывать о том как я использую ИИ в своей жизни и работе. Заметил, что последние недели >50% моей работы делается с помощью ИИ-инструментов. Помимо стандартного набора вкладок, которые открыты всегда (Claude, ChatGPT plus, MJ Discord, perplexity, локальный quivr), хочу поделиться всякими интересными продуктами и лайфхаками, которые будут полезны для вас.
Записал для вас видео о том как сделать аналитику по рынкам и продуктовые исследования на основе подкастов. И все это абсолютно бесплатно.
По моим грубым оценкам такой подход экономит ~90% времени на исследование новых рынков или сфер, давая при этом 80% результата и инсайтов. Промты, исходники, ссылки, детали этого и других проектов публикую в бусти.
https://youtu.be/qbeUt-ai22M
ИИ меняет структуру экономики. Для кого-то (подписчиков Gershuni в первую очередь!) это гигантская возможность добиться небывалых высот и внутренней гармонии; для других — риск остаться без работы или с 1/10 от своей зарплаты. Давайте разберём на конкретных примерах, цифрах и данных что нас ждёт.
80% всех профессий и работ в США изменяться благодаря LLM; в каждой из них как минимум 10% задач будут автоматизированы (выполняться с минимальным участием человек без потери качества) с помощью ИИ. А для 19% всех сотрудников в экономике автоматизация затронет более 50% ежедневных задач. [источник]
Великий Уравнитель в действии: чем выше уровень образования и оклад, тем больше автоматизации появится в профессии. Для бариста, сантехника или парикмахера уровень почти нулевой; для аналитика Wall Street или юрисконсульта — очень высокий. Для профессий с средней з/п в $30k/год задачи подверженные автоматизации составляют около 5% (по разным моделям); для з/п от $80k — это 50%.
Всего, учитывая текущий уровень развития технологий LLM, авторы ожидают автоматизацию ~15% всех задач в экономике (без потери качества) и до 47% учитывая не просто ChatGPT, а новые продукты созданные на основе LLM.
Авторы статьи приходят к выводу, что LLM это технология общего назначения (типа как электричество) и большинство кейсов применения еще просто не появились или находятся на очень ранней стадии. Со временем, технология будет улучшаться и эти цифры поменяются.
Запомните, дети: сегодня мы используем самую тупую, никчемную и примтивную версию generative AI за всю нашу жизнь.
80% всех профессий и работ в США изменяться благодаря LLM; в каждой из них как минимум 10% задач будут автоматизированы (выполняться с минимальным участием человек без потери качества) с помощью ИИ. А для 19% всех сотрудников в экономике автоматизация затронет более 50% ежедневных задач. [источник]
Великий Уравнитель в действии: чем выше уровень образования и оклад, тем больше автоматизации появится в профессии. Для бариста, сантехника или парикмахера уровень почти нулевой; для аналитика Wall Street или юрисконсульта — очень высокий. Для профессий с средней з/п в $30k/год задачи подверженные автоматизации составляют около 5% (по разным моделям); для з/п от $80k — это 50%.
Всего, учитывая текущий уровень развития технологий LLM, авторы ожидают автоматизацию ~15% всех задач в экономике (без потери качества) и до 47% учитывая не просто ChatGPT, а новые продукты созданные на основе LLM.
Авторы статьи приходят к выводу, что LLM это технология общего назначения (типа как электричество) и большинство кейсов применения еще просто не появились или находятся на очень ранней стадии. Со временем, технология будет улучшаться и эти цифры поменяются.
Запомните, дети: сегодня мы используем самую тупую, никчемную и примтивную версию generative AI за всю нашу жизнь.
#ИИ_для_жизни
Сегодня расскажу о продукте Rewind.
Rewind записывает все, что просиходит на вашем компьютере. Все приложения, сайты, звонки, видео и звук. А потом позволяет суммаризировать и искать по этой информации.
Например, я могу спросить "на прошлой неделе, не помню в какой день, я созванивался на тему организации закрытого ИИ-чата. какие форматы подписок мы обсуждали и в чем плюсы/минусы каждой?". Или: "я в понедельник читал в телеге про Padle теннис (не помню ни канал, ни время), найди мне этот пост". Или я могу подключиться на звонок, уйти делать зарядку, а Rewind мне расскажет все что из сказанного касается персонально меня. Rewind запоминает не только текст, но и голос, видео и даже текст с картинок (поисковик по мемам!).
Штука, которая изменила мою жизнь и экономит 5+ часов каждую неделю на поиск или анализ информации. У меня Rewind запущен 24/7 и пишет абсолютно все, но вы можете заблокировать ему доступ к каким-то приложениям.
В следующий раз когда залипнете на 15 минут поисков и вспоминаний с мыслью "где-то это было, не помню где" — знайте, что в мире уже есть десятки тысяч (а скоро — миллионов) людей, у которых такой боли больше нет.
Сегодня расскажу о продукте Rewind.
Rewind записывает все, что просиходит на вашем компьютере. Все приложения, сайты, звонки, видео и звук. А потом позволяет суммаризировать и искать по этой информации.
Например, я могу спросить "на прошлой неделе, не помню в какой день, я созванивался на тему организации закрытого ИИ-чата. какие форматы подписок мы обсуждали и в чем плюсы/минусы каждой?". Или: "я в понедельник читал в телеге про Padle теннис (не помню ни канал, ни время), найди мне этот пост". Или я могу подключиться на звонок, уйти делать зарядку, а Rewind мне расскажет все что из сказанного касается персонально меня. Rewind запоминает не только текст, но и голос, видео и даже текст с картинок (поисковик по мемам!).
Штука, которая изменила мою жизнь и экономит 5+ часов каждую неделю на поиск или анализ информации. У меня Rewind запущен 24/7 и пишет абсолютно все, но вы можете заблокировать ему доступ к каким-то приложениям.
В следующий раз когда залипнете на 15 минут поисков и вспоминаний с мыслью "где-то это было, не помню где" — знайте, что в мире уже есть десятки тысяч (а скоро — миллионов) людей, у которых такой боли больше нет.
Классный канал про работу с продуктом, но на примере живого нецифрового бизнеса.
Ребята за 2 года построили с нуля крупнейшую сеть self-service кофеен в России, с 2022 года развивают ту же бизнес-модель в Грузии и Дубае. Основатель и СЕО компании уже 1,5 года каждый день рассказывает обо всех инсайтах и факапах на пути к цели в 50 000 точек по всему миру.
Интересно про грамотную сборку и быстрый тест гипотез, команду, постановку целей и мотивацию, открыто и честно про факапы, ещё интереснее — про то, как при всём этом кайфовать от жизни и просто быть счастливым.
Ребята масштабируются через привлечение инвестиций — предлагают инвестировать в кофейни в Дубае из любой точки мира. Сами всем управляют, инвесторы только получают часть прибыли каждый месяц или квартал в рублях, долларах или крипте. Доходность — 24,9% годовых в долларах, остальные цифры в канале.
Подписывайтесь, если интересно изучить или просто понаблюдать за тем, как ребята из России дизраптят старый добрый рынок кофе с собой)
#партнерский_пост
Ребята за 2 года построили с нуля крупнейшую сеть self-service кофеен в России, с 2022 года развивают ту же бизнес-модель в Грузии и Дубае. Основатель и СЕО компании уже 1,5 года каждый день рассказывает обо всех инсайтах и факапах на пути к цели в 50 000 точек по всему миру.
Интересно про грамотную сборку и быстрый тест гипотез, команду, постановку целей и мотивацию, открыто и честно про факапы, ещё интереснее — про то, как при всём этом кайфовать от жизни и просто быть счастливым.
Ребята масштабируются через привлечение инвестиций — предлагают инвестировать в кофейни в Дубае из любой точки мира. Сами всем управляют, инвесторы только получают часть прибыли каждый месяц или квартал в рублях, долларах или крипте. Доходность — 24,9% годовых в долларах, остальные цифры в канале.
Подписывайтесь, если интересно изучить или просто понаблюдать за тем, как ребята из России дизраптят старый добрый рынок кофе с собой)
#партнерский_пост
Рассказываю как использовать ИИ для создания команды ИИ-агентов, которые будут выполнять ваши личные и бизнес-задачи, такие как создание контента, написание кода, анализ данных. Полное видео доступно на ютубе, а полный код и инструкция по запуску в бусти.
YouTube
Команда ИИ-агентов работает на вас!
✅ Я публикую все промты, исходники, ссылки и детали этого и других проектов в Boosty: https://boosty.to/codextown
Подписывайтесь и получите эксклюзивный доступ к закрытому контенту, который поможет ускорить ваш рабочий процесс и стать на шаг впереди конкурентов:…
Подписывайтесь и получите эксклюзивный доступ к закрытому контенту, который поможет ускорить ваш рабочий процесс и стать на шаг впереди конкурентов:…
В любой ИИ-тусовке дискурс глобально сводится к двум партиям:
1. Радикал-акселерационисты: «кожаные — это переходный период, с помощью которого AGI создает сам себя из атомов». Нам на смену приходит новая форма жизни. Закат Homo Sapiens и рассвет чего-то нового, куда более масштабного и могущественного, чем мы. Наша цель — самоотдача ради ускорения Пришествия.
2. Старики кричащие на облака: «машина не в состоянии быть более креативной, эмпатийной, умной чем человек». Мы — богоизбранный народ, только эволюция и органика может дать действительно полноценную жизнь и интеллект. Наша задача — сохранить наш мир.
Важно понимать, что эти примеры — крайности, к которым относится по 1% участников дискурса. Остальные где-то внутри спектра.
А где здесь вы?
1. Радикал-акселерационисты: «кожаные — это переходный период, с помощью которого AGI создает сам себя из атомов». Нам на смену приходит новая форма жизни. Закат Homo Sapiens и рассвет чего-то нового, куда более масштабного и могущественного, чем мы. Наша цель — самоотдача ради ускорения Пришествия.
2. Старики кричащие на облака: «машина не в состоянии быть более креативной, эмпатийной, умной чем человек». Мы — богоизбранный народ, только эволюция и органика может дать действительно полноценную жизнь и интеллект. Наша задача — сохранить наш мир.
Важно понимать, что эти примеры — крайности, к которым относится по 1% участников дискурса. Остальные где-то внутри спектра.
А где здесь вы?
Claude открыл API, цены радуют.
GPT4-32k
60$/миллион токенов промта
120$/миллион токенов генерации
Claude2-100k
11$/миллион токенов промта
32$/миллион токенов генерации
GPT4-32k
60$/миллион токенов промта
120$/миллион токенов генерации
Claude2-100k
11$/миллион токенов промта
32$/миллион токенов генерации
О хайпе
В крипту ломились миллионы, думая что для них это способ изменить свою жизнь. А именно: грязно разбогатеть с минимальными усилиями.
AI изучают и тестируют те же миллионы, думая что это способ изменить свою жизнь.
Только в крипте 99% хомяков всегда теряют свои вложения. А AI для 99% людей окажет существенное влияние на их благополучение, карьеру, умение приспосабливаться к новому миру.
Не говорю, что крипта/веб3 менее важны или чем-то хуже. Просто типичного хомяка «покупаю ради иксов»/«взял кредит, купил сигналы»/«продам квартиру, куплю обезьяну» там ничего кроме лишения всех накоплений не ждало и не ждёт.
UPD. Речь не о том, что идея крипты скам. Там тысячу умнейших и любимейших людей и крутых проектов. А о том, что для хомяка (типичного пользователя) крипта — это про то как побыстрее отдать деньги более беспринципным и хитрым.
Под разумными идеями (децентрализация финансовой системы и социальных институтов) хомякам продают TON и LUNA. А они покупают, потому что хотят ламбу, и пелена жадности застилает сознание.
В крипту ломились миллионы, думая что для них это способ изменить свою жизнь. А именно: грязно разбогатеть с минимальными усилиями.
AI изучают и тестируют те же миллионы, думая что это способ изменить свою жизнь.
Только в крипте 99% хомяков всегда теряют свои вложения. А AI для 99% людей окажет существенное влияние на их благополучение, карьеру, умение приспосабливаться к новому миру.
Не говорю, что крипта/веб3 менее важны или чем-то хуже. Просто типичного хомяка «покупаю ради иксов»/«взял кредит, купил сигналы»/«продам квартиру, куплю обезьяну» там ничего кроме лишения всех накоплений не ждало и не ждёт.
UPD. Речь не о том, что идея крипты скам. Там тысячу умнейших и любимейших людей и крутых проектов. А о том, что для хомяка (типичного пользователя) крипта — это про то как побыстрее отдать деньги более беспринципным и хитрым.
Под разумными идеями (децентрализация финансовой системы и социальных институтов) хомякам продают TON и LUNA. А они покупают, потому что хотят ламбу, и пелена жадности застилает сознание.
В этом видео я расскажу вам, как команда ИИ-агентов могут придумывать, валидировать бизнес-идеи, и даже сделают за вас MVP. Это простая демка, целью которой является показать куда похожие технологии будут развиваться в ближайшем будущем. Я публикую все промты, исходники, ссылки и детали этого и других проектов в Boosty.
Вася Суманов, с которым мы делали интервью в начале года, опубликовал большую статью по своей концепции Value Capturing Theory.
Недавно вышел выпуск рассылки токен инжинирингового сообщества, где изложены детали.
Грубо говоря, это периодическая таблица экономических систем создания и удержания ценности в цифровых протоколах.
Если цель веб3 — это создание программируемой экономики, то VCT это самый точный из мне известных фреймворков для структурирования всех способов создания и удержания ценности. Статья делает обзор разных проектов и протоколов и определяет источник создаваемой ценности, механизм удержания ценности и способы имплементации для каждого из них.
Будет полезно тем, кто работает в веб3 (но не продавцам обещаний и фантиков) и тем, кому интересно переложить модель программируемой экономики и финансов на некоторый гипотетический мир будущего, где генерация и обмен ценностью происходит уже не только между людьми и протоколами, но и автономными агентами.
Недавно вышел выпуск рассылки токен инжинирингового сообщества, где изложены детали.
Грубо говоря, это периодическая таблица экономических систем создания и удержания ценности в цифровых протоколах.
Если цель веб3 — это создание программируемой экономики, то VCT это самый точный из мне известных фреймворков для структурирования всех способов создания и удержания ценности. Статья делает обзор разных проектов и протоколов и определяет источник создаваемой ценности, механизм удержания ценности и способы имплементации для каждого из них.
Будет полезно тем, кто работает в веб3 (но не продавцам обещаний и фантиков) и тем, кому интересно переложить модель программируемой экономики и финансов на некоторый гипотетический мир будущего, где генерация и обмен ценностью происходит уже не только между людьми и протоколами, но и автономными агентами.
Интернет всполошился. Вчера вышел 166-страничный репорт о возможностях GPT-4V. Оказалось, что GPT не только помножил на ноль почти все продукты в области NLP за последние годы, но и с ноги ворвался в Computer Vision, где сидели бородатые завсегдатаи, пили пиво и были уверены что "уж нас-то ваши эти трансформеры не тронут" (с).
Оказалось, что помимо простого "опиши что на картинке" GPT имеет глубокое понимание визуального и текстового контекста. Умеет определять темпоральный контекст. Знает как распознать и корректно идентифицировать эмоции людей. Прекрасно решает взиуальные логические задачи. Ставит корректные диагнозы по КТ и МРТ снимкам. Может дообучаться, в том числе на few-shot примерах прямо в промте. Анализирует графики. Распознает ингредиенты в блюде. Распознает конкретных людей. Понимает схемы, диаграммы, формулы, в том числе нарисованные от руки. Умеет выполнять навигацию по графическим элементам дизайна. Умеет принимать решения о навигации робота в реальном мире по двухмерной фотографии.
Но, главное, это вообще не какая-то другая модель. Это часть GPT-4 и, соотвественно, все что уже работает внутри GPT (промтинг, RAG, агенты) автоматически работает и для GPT-4V.
Для меня этот пейпер звучит как дикая фантастика 20-летней перспективы. Если бы OpenAI не анонсировал, что продукт будет доступен всем через месяц. А многие в твиттере уже имеют к нему доступ.
Вот тут Леша из Ai Happens рассказывает о примерах для бизнеса, а Сергей из Метаверсище и ИИще про кейсы в психологии и эмоциальном интеллекте.
Оказалось, что помимо простого "опиши что на картинке" GPT имеет глубокое понимание визуального и текстового контекста. Умеет определять темпоральный контекст. Знает как распознать и корректно идентифицировать эмоции людей. Прекрасно решает взиуальные логические задачи. Ставит корректные диагнозы по КТ и МРТ снимкам. Может дообучаться, в том числе на few-shot примерах прямо в промте. Анализирует графики. Распознает ингредиенты в блюде. Распознает конкретных людей. Понимает схемы, диаграммы, формулы, в том числе нарисованные от руки. Умеет выполнять навигацию по графическим элементам дизайна. Умеет принимать решения о навигации робота в реальном мире по двухмерной фотографии.
Но, главное, это вообще не какая-то другая модель. Это часть GPT-4 и, соотвественно, все что уже работает внутри GPT (промтинг, RAG, агенты) автоматически работает и для GPT-4V.
Для меня этот пейпер звучит как дикая фантастика 20-летней перспективы. Если бы OpenAI не анонсировал, что продукт будет доступен всем через месяц. А многие в твиттере уже имеют к нему доступ.
Вот тут Леша из Ai Happens рассказывает о примерах для бизнеса, а Сергей из Метаверсище и ИИще про кейсы в психологии и эмоциальном интеллекте.