Недавно креативный класс обиделся на рекламу нового айпада Apple, те извинились, и скандал начал затихать. Но не успел сделать это окончательно, как начал разгораться новый: на сей раз причиной стала реклама уже Adobe. Причем безо всяких метафор, очень лапидарная, по сути — просто иллюстрация функционала (она-то и показана в начале поста). Но нервным фотографам хватило и этого. Совсем не революционная фишка замены фона на сгенерированный по тексту триггернула тех, кто зарабатывает фотографией объектов на реальных фонах.
“Adobe seems keen to advance its AI to the point where it can sell businesses content creation that is as easy as typing short strings of words into a text box.”
Это, конечно, правда — и у Adobe нет особого выбора: не они, так другие сделают; фишка очевидно массово востребована в эпоху электронной торговли продавцами всех калибров.
Интересно, кто обидится следующим.
https://www.fastcompany.com/91129330/adobe-photographers-controversial-ad-ai-tech-vs-creatives
“Adobe seems keen to advance its AI to the point where it can sell businesses content creation that is as easy as typing short strings of words into a text box.”
Это, конечно, правда — и у Adobe нет особого выбора: не они, так другие сделают; фишка очевидно массово востребована в эпоху электронной торговли продавцами всех калибров.
Интересно, кто обидится следующим.
https://www.fastcompany.com/91129330/adobe-photographers-controversial-ad-ai-tech-vs-creatives
Forwarded from Denis Sexy IT 🤖
Мне кажется ироничным, что люди так боятся АИ-фейков, что в итоге купились на фейки сделанные людьми же
Почти все скандальные скриншоты, где очевидно, что ответ сильно навредит пользователю – фейки, которые невозможно повторить используя Ai Overview фичу от Google
Делаются такие фейк в Хроме, в режиме Dev Tools, интересно как Google с этим справится – по сути просто троллинг корпорации интернетом
UPD. Пруф про фейки от NY Times:
>One manipulated screenshot appeared to show Google saying that a good remedy for depression was jumping off the Golden Gate Bridge, citing a Reddit user. Ms. Levin, the Google spokeswoman, said that the company’s systems never returned that result.
Почти все скандальные скриншоты, где очевидно, что ответ сильно навредит пользователю – фейки, которые невозможно повторить используя Ai Overview фичу от Google
Делаются такие фейк в Хроме, в режиме Dev Tools, интересно как Google с этим справится – по сути просто троллинг корпорации интернетом
UPD. Пруф про фейки от NY Times:
>One manipulated screenshot appeared to show Google saying that a good remedy for depression was jumping off the Golden Gate Bridge, citing a Reddit user. Ms. Levin, the Google spokeswoman, said that the company’s systems never returned that result.
Популярный и толковый одновременно обзор смелых стартапов, рассчитывающих потеснить Nvidia на поле, где она себя чувствует царем: на рынке чипов для ИИ-разработки и применений.
Подходы бодрого молодняка разнятся, но логика близка: Nvidia капитализирует свой опыт в разработке и производстве графических карт. Но что, если забыть об этом наследстве и проектировать чип сугубо под специфику современных ИИ-моделей с нуля?
Так возникают, например, громадных размеров чипы от Cerebras размером с хорошую тарелку, в которых на кристалле объединены 900 000 ядер плюс память. Выигрыш в скорости обмена данными по сравнению с со скоростью обмена между картами колоссален.
Groq, про которого я тут однажды уже писал, исповедует свой подход к маршрутизации, оптимизированной конкретно под LLM… Ну и так далее.
Обзор интересный и позволяющий надеяться, что кажущаяся монополия в области чипов не состоится: слишком велик спрос и альтернативные разработки не страдают от отсутствия поддержки.
Другое дело с производством, и тут, увы, всё намного печальней.
https://www.economist.com/business/2024/05/19/can-nvidia-be-dethroned-meet-the-startups-vying-for-its-crown
Подходы бодрого молодняка разнятся, но логика близка: Nvidia капитализирует свой опыт в разработке и производстве графических карт. Но что, если забыть об этом наследстве и проектировать чип сугубо под специфику современных ИИ-моделей с нуля?
Так возникают, например, громадных размеров чипы от Cerebras размером с хорошую тарелку, в которых на кристалле объединены 900 000 ядер плюс память. Выигрыш в скорости обмена данными по сравнению с со скоростью обмена между картами колоссален.
Groq, про которого я тут однажды уже писал, исповедует свой подход к маршрутизации, оптимизированной конкретно под LLM… Ну и так далее.
Обзор интересный и позволяющий надеяться, что кажущаяся монополия в области чипов не состоится: слишком велик спрос и альтернативные разработки не страдают от отсутствия поддержки.
Другое дело с производством, и тут, увы, всё намного печальней.
https://www.economist.com/business/2024/05/19/can-nvidia-be-dethroned-meet-the-startups-vying-for-its-crown
The Economist
Can Nvidia be dethroned? Meet the startups vying for its crown
A new generation of AI chips is on the way
Очередной раз можно убедиться, что лучше один раз увидеть, чем сто раз услышать и прочитать. Про применения робособачек и летающих дронов в боевых условиях написано много, но вот китайцы выпустили официальный ролик с недавних учений, и на нем робособачки не только ведут разведку в помещениях и на местности, но и несут на себе адаптер, в который устанавливается автомат — и отлично из этого автомата поражают мишени. И привычные БПЛА тоже могут оснащаться подвесом, в котором устанавливается автомат, а не только сбрасываемые боеприпасы. Документальной картинки стрелкового роя в воздухе и стрелковой стаи на земле еще нет, но понимаешь, что это вопрос времени. И это не та фантастика, которую очень хотелось увидеть в реальности. Но что поделать.
https://futurism.com/the-byte/video-china-rifle-robot-dog
https://futurism.com/the-byte/video-china-rifle-robot-dog
THE_BYTE.
Video Shows China's Rifle-Equipped Robot Dog Opening Fire on Targets
China has released video footage of its gun-toting robot dogs, and it's about as scary as you were probably imagining.
Развитие дисплеев для AR и VR очков наряду к концепцией spatial computing привело к появлению очевидного нового класса устройств — безэкранные ноутбуки. Штука не массовая, но кому часто приходится летать и пытаться нормально работать на полноразмерном ноутбуке в салоне эконом-класса — тот оценит!
Концепция дошла до уровня приема предзаказов на устройства Spacetop G1 с обещанием доставки в октябре.
Казалось бы, несложно заменить экран на крышке на экран в очках — но на деле все сложней и интересней, потому о целая статья по ссылке, а не просто короткая новостная заметка.
https://www.wired.com/story/sightful-spacetop-g1-augmented-reality-laptop/
Концепция дошла до уровня приема предзаказов на устройства Spacetop G1 с обещанием доставки в октябре.
Казалось бы, несложно заменить экран на крышке на экран в очках — но на деле все сложней и интересней, потому о целая статья по ссылке, а не просто короткая новостная заметка.
https://www.wired.com/story/sightful-spacetop-g1-augmented-reality-laptop/
WIRED
The Spacetop G1 Arrives This Fall. We Try the AR Laptop With No Screen
Sightful’s augmented reality computer now has a pimped design and better specs—and it’s finally available for preorder.
Вот вам под выходные немножко технооптимизма:) Меня обзывают оголтелым технооптимистом — но до Винода Хослы (почти моего ровесника, кстати) мне далеко. И он не диванный эксперт и мечтатель: успешный и предприниматель, и инвестор, он не просто треплется —
он делает и финансирует. Весьма успешно. Он на протяжении 40 лет успешно практикует то, что декларирует: вместо типичных для «экспертов» тупых экстраполяций — парадоксальные, но выполнимые сценарии.
За 10 минут своей зажигательной TED-речи он рассказывает и о ИИ для всех (в учебе, медицине, творчестве), и о городах без автотранспорта, и о миллиардах человекоподобных и универсально умелых роботов… И еще много о чем: 12 красивых идей.
Поднимите себе настроение:)
https://www.ted.com/talks/vinod_khosla_12_predictions_for_the_future_of_technology
он делает и финансирует. Весьма успешно. Он на протяжении 40 лет успешно практикует то, что декларирует: вместо типичных для «экспертов» тупых экстраполяций — парадоксальные, но выполнимые сценарии.
За 10 минут своей зажигательной TED-речи он рассказывает и о ИИ для всех (в учебе, медицине, творчестве), и о городах без автотранспорта, и о миллиардах человекоподобных и универсально умелых роботов… И еще много о чем: 12 красивых идей.
Поднимите себе настроение:)
https://www.ted.com/talks/vinod_khosla_12_predictions_for_the_future_of_technology
Ted
12 predictions for the future of technology
Techno-optimist Vinod Khosla believes in the world-changing power of "foolish ideas." He offers 12 bold predictions for the future of technology — from preventative medicine to car-free cities to planes that get us from New York to London in 90 minutes —…
Эксперимент, который несколько лет назад привлек мое внимание, сейчас повторили в более строгих условиях и на большей выборке.
Суть дела: дать человеку механический шестой палец на руке с управлением от датчиков, скажем, где-то под пяткой ноги. Никаких ИИ и инвазивных операций.
Смысл: изучить, насколько быстро и насколько массово мозг людей справится с изменением телесной архитектуры и начнет использовать новые расширенные возможности тела на рефлекторном уровне.
Выборка: 596 людей разного возраста, образования и т.д.
Результат: лишь 13 из 596 не сумели освоиться с новой телесной возможностью. Исследователи очередной раз подтвердили, что мозг легко справляется; так что технологические расширения наших тел (например, экзоскелеты всех сортов) могут быть вполне массовыми и легко осваиваемыми. Хотя, следуя моде, авторы в основном обсуждают, что во всех таких устройствах инклюзивность должна быть заложена by design, а не то, насколько легко и просто стать киборгом:)
https://www.inverse.com/health/third-thumb-study
Суть дела: дать человеку механический шестой палец на руке с управлением от датчиков, скажем, где-то под пяткой ноги. Никаких ИИ и инвазивных операций.
Смысл: изучить, насколько быстро и насколько массово мозг людей справится с изменением телесной архитектуры и начнет использовать новые расширенные возможности тела на рефлекторном уровне.
Выборка: 596 людей разного возраста, образования и т.д.
Результат: лишь 13 из 596 не сумели освоиться с новой телесной возможностью. Исследователи очередной раз подтвердили, что мозг легко справляется; так что технологические расширения наших тел (например, экзоскелеты всех сортов) могут быть вполне массовыми и легко осваиваемыми. Хотя, следуя моде, авторы в основном обсуждают, что во всех таких устройствах инклюзивность должна быть заложена by design, а не то, насколько легко и просто стать киборгом:)
https://www.inverse.com/health/third-thumb-study
Inverse
This Wild Study Gave People An Extra Thumb — And Watched Them Thrive
A new study gave people a third thumb and had them do basic tasks. The finding could change the way we see robotics.
Я уже ссылался на TEDовскую лекцию Мустафы Сулеймана, Microsoft AI CEO, в которой он призывает найти более адекватное описание ИИ, чем просто “еще один инструмент”. Там он предлагал слово species, существа (хотя и цифровые) — и это вызвало многочисленные гневные отповеди 🙂
Но вот еще человек из важнейшей в разработке ИИ компании, Anthropic, во многом не разделяющей взглядов и подходов Microsoft, в подкасте говорит, что создание современных моделей куда больше похоже на выращивание растений или воспитание животных, чем на инженерного типа разработку софта прежних времен. И, конечно, в каменты приходят очередные “эксперты” с неумными отповедями.
Но тренд формируется интересный, как и неожиданное единодушие:)
https://www.youtube.com/watch?v=jqdoauxvKUM
(Ссылка на пост про лекцию Сулеймана)
https://www.tg-me.com/techsparks/4471
Но вот еще человек из важнейшей в разработке ИИ компании, Anthropic, во многом не разделяющей взглядов и подходов Microsoft, в подкасте говорит, что создание современных моделей куда больше похоже на выращивание растений или воспитание животных, чем на инженерного типа разработку софта прежних времен. И, конечно, в каменты приходят очередные “эксперты” с неумными отповедями.
Но тренд формируется интересный, как и неожиданное единодушие:)
https://www.youtube.com/watch?v=jqdoauxvKUM
(Ссылка на пост про лекцию Сулеймана)
https://www.tg-me.com/techsparks/4471
YouTube
Seeing into the A.I. black box | Interview
Josh Batson, a researcher at the A.I. startup Anthropic, joins us to explain how an experiment that made the chatbot Claude obsessed with the Golden Gate Bridge represents a major breakthrough in understanding how large language models work.
(this is a…
(this is a…
Красивый креативный эксперимент Гугла — в коллаборации с художниками. Отчасти это и демонстрация того, как художники, которые хотят использовать новые инструменты, а не бороться с ними, могут работать по-новому. Задача, за которую взялись четверо художников состояла в графическом переосмыслении “Алисы в стране чудес” - и заодно сравнении результата с каноническими иллюстрациями. Использовалась модель Imagen2, но участникам проекта дали доступ к еще разрабатываемому инструменту StyleDrop. Он позволял авторам настроить модель на работу в их собственном стиле.
В итоге получился интерактивный проект Infinite Wonderland, в котором читатель может кликать на любой абзац текста - и получать иллюстрацию к нему в стиле каждого из художников-участников.
Сам проект можно пощупать здесь — но в зависимости от географии возможности поиграться будут разные. А периодически он просто глючит и подгружает заранее сгенеренные картинки невпопад -- но хотя бы честно об этом предупреждает.
В итоге получился интерактивный проект Infinite Wonderland, в котором читатель может кликать на любой абзац текста - и получать иллюстрацию к нему в стиле каждого из художников-участников.
Сам проект можно пощупать здесь — но в зависимости от географии возможности поиграться будут разные. А периодически он просто глючит и подгружает заранее сгенеренные картинки невпопад -- но хотя бы честно об этом предупреждает.
Fast Company
Styledrop is Google's protoype AI image tool for creative work - Fast Company
Designers trained an AI model to produce images in their own style, showing how the perceptions of AI tools within the industry are evolving.
Один из художников, принимавших участие в эксперименте Гугла из предыдущего поста, заметил: “Ultimately, yes, we’re gonna have this democratization of image-making” — но при этом без тени осуждения.
Многих же других представителей креативного класса эта перспектива пугает. Вот снова отметились музыканты. На днях руководитель Spotify в связи с отчетом о хорошей (более миллиарда евро) прибыли в первом квартале 2024, написал: Today, with the cost of creating content being close to zero, people can share an incredible amount of content.
Дальше он ушел в обсуждение того, как это скажется на создании произведений на века — но музыканты вцепились в точное по сути, но обидное для них утверждение о стремящейся к нулю стоимости производства контента. Our art is not your fucking 'content' — возмутились музыканты. Для них это, безусловно, так. Но, боюсь, начальство Спотифая гораздо лучше представляет и не слишком идеализирует своих пользователей.
Многих же других представителей креативного класса эта перспектива пугает. Вот снова отметились музыканты. На днях руководитель Spotify в связи с отчетом о хорошей (более миллиарда евро) прибыли в первом квартале 2024, написал: Today, with the cost of creating content being close to zero, people can share an incredible amount of content.
Дальше он ушел в обсуждение того, как это скажется на создании произведений на века — но музыканты вцепились в точное по сути, но обидное для них утверждение о стремящейся к нулю стоимости производства контента. Our art is not your fucking 'content' — возмутились музыканты. Для них это, безусловно, так. Но, боюсь, начальство Спотифая гораздо лучше представляет и не слишком идеализирует своих пользователей.
MusicRadar
Musicians outraged as Spotify CEO claims the "cost of creating content" is "close to zero": "Our albums took hundreds of hours…
Daniel Ek's comments arrive as Spotify reports record profits of over €1bn in Q1 2024
В видео по ссылке нет ничего сенсационного, но так уж наша память и мозги устроены, что не знаешь заранее что и как отзовется. Когда-то я прошел довольно любопытный маршрут по Великой китайской стене и должен заметить, что это совсем не легкая прогулка, опыт ходьбы по горным тропам там оказывается совсем не лишним. Потому робот, упрямо и неутомимо топающий по Стене, вдруг вызвал неожиданные чувства — от зависти до сочувствия ;)
Ну а так-то да, норм маркетинг, это действительно впервые в мире :))
https://youtu.be/nx2YO3twZYs
Ну а так-то да, норм маркетинг, это действительно впервые в мире :))
https://youtu.be/nx2YO3twZYs
YouTube
Meet XBot-L, the first humanoid robot to climb the Great Wall
As the old adage goes, one cannot claim to be a true man without a visit to the Great Wall of China.
XBot-L, a full-sized humanoid robot developed by Robot Era, recently acquitted itself well in a walk along sections of the Great Wall.
Robot Era staff took…
XBot-L, a full-sized humanoid robot developed by Robot Era, recently acquitted itself well in a walk along sections of the Great Wall.
Robot Era staff took…
Хороший термин, и логичное направление развития, а то уж слишком многие зациклились на разговорных способностях моделей и foundation models считают языковыми, пусть даже с мультимодальным входом:) И говоря про автономных агентов, часто подразумевают их способности договариваться о чем-то. Но вот предложена концепция фундаментальных агентов — foundation agents as a transformative shift in the learning paradigm of agents, которые обучаются на датасетах интерактивных данных, не обязательно человекочитаемых и вербальных. Эти агенты определяются как generally capable agents across physical and virtual worlds. Учитывая любимую тему Дженсена Хуанга про general artificial robotics, воплощенный и вполне наделенный здравым смыслом и практическим жизненным опытом ИИ (уже больше чем ИИ, конечно) становится все ближе.
Сама статья - https://arxiv.org/abs/2405.17009
Ее популярный пересказ-обсуждение — https://venturebeat.com/ai/how-foundation-agents-can-revolutionize-ai-decision-making-in-the-real-world/
Сама статья - https://arxiv.org/abs/2405.17009
Ее популярный пересказ-обсуждение — https://venturebeat.com/ai/how-foundation-agents-can-revolutionize-ai-decision-making-in-the-real-world/
Forwarded from Denis Sexy IT 🤖
Наткнулся на интересный пейпер прошлой недели на любимую тему:
Межвидовая коммуникация и АИ
Есть такой алгоритм Wav2Vec2 от Facebook AI — он позволяет переводить нашу речь в текст. Алгоритм работает намного лучше многих альтернатив, так как не требует много размеченных данных и работает напрямую с аудио дорожками, не пытаясь их сначала конвертировать в текст для обработки. Вместо этого, Wav2Vec2 сам находит важные характеристики звука (тон, звуки, паузы и тп), после чего распознает речь.
Так вот, ученые взяли этот алгоритм и применили к лаю домашних песиков и в итоге решили четыре ML-задачи: распознавание конкретных собак, идентификацию породы, классификацию пола и привязку лая к контексту — модель может сама связать вокализации собаки с контекстом, в котором они были произведены (например, агрессивный лай на незнакомца, игривый лай и т.д.). Это важно, потому что у нас наконец-то есть эффективный способ разметки и обработки собачьих звуков.
Самое прикольное, что Wav2Vec2 обученный сначала на ЧЕЛОВЕЧЕСКОЙ РЕЧИ помогает решать эти задачи еще точнее — это довольно странная и клевая находка.
Короче, если исследование подтвердят другие желающие — то нас ждет зарождение стартапов в области переводчиков с собачьего, котячьего (в этих я не уверен), птичьего и тп и тд. Исследователи готовы поделиться собранным датасетом, если написать им на почту (есть в пейпере)
Сам пейпер тут:
https://arxiv.org/abs/2404.18739
Межвидовая коммуникация и АИ
Есть такой алгоритм Wav2Vec2 от Facebook AI — он позволяет переводить нашу речь в текст. Алгоритм работает намного лучше многих альтернатив, так как не требует много размеченных данных и работает напрямую с аудио дорожками, не пытаясь их сначала конвертировать в текст для обработки. Вместо этого, Wav2Vec2 сам находит важные характеристики звука (тон, звуки, паузы и тп), после чего распознает речь.
Так вот, ученые взяли этот алгоритм и применили к лаю домашних песиков и в итоге решили четыре ML-задачи: распознавание конкретных собак, идентификацию породы, классификацию пола и привязку лая к контексту — модель может сама связать вокализации собаки с контекстом, в котором они были произведены (например, агрессивный лай на незнакомца, игривый лай и т.д.). Это важно, потому что у нас наконец-то есть эффективный способ разметки и обработки собачьих звуков.
Самое прикольное, что Wav2Vec2 обученный сначала на ЧЕЛОВЕЧЕСКОЙ РЕЧИ помогает решать эти задачи еще точнее — это довольно странная и клевая находка.
Короче, если исследование подтвердят другие желающие — то нас ждет зарождение стартапов в области переводчиков с собачьего, котячьего (в этих я не уверен), птичьего и тп и тд. Исследователи готовы поделиться собранным датасетом, если написать им на почту (есть в пейпере)
Сам пейпер тут:
https://arxiv.org/abs/2404.18739
arXiv.org
Towards Dog Bark Decoding: Leveraging Human Speech Processing for...
Similar to humans, animals make extensive use of verbal and non-verbal forms of communication, including a large range of audio signals. In this paper, we address dog vocalizations and explore the...
За 20 лет в Яндексе к разным его мероприятиям имел разной степени близости отношение. Оказалось, однако, что большой фестиваль для молодежи, которая интересуется технологиями, мы ни разу не делали. Приятно поиметь отношение к первому такому событию, пусть и в роли спикера, а не организатора. Там такой лайн-ап, что в нем оказаться почетно:)
YoungCon — не просто увеселительно-просветительское мероприятие. Для тех, кто хочет в Яндекс (или куда-то еще, но хочет попробовать яндексовое собеседование на своей шкуре) там такую возможность предоставят, и вы реально впечатлитесь, КАК ИМЕННО :)) И многие по итогам получат интересные офферы :)
В любом случае, будет круто, весело и очень нескучно; если не вам, то, возможно, друзьям, знакомым или родственникам, поделитесь с ними (у фестиваля есть и впечатляющая онлайновая часть, так что не только с москвичами имеет смысл делиться). Ну, а я там буду в своем репертуаре: немножко про будущее, которое выглядит все страньше и которое будут строить как раз те, кто соберется с нами 27 июня.
Сайт фестиваля https://yandex.ru/youngcon/
Форма для регистрации — https://clck.ru/3B6opv
YoungCon — не просто увеселительно-просветительское мероприятие. Для тех, кто хочет в Яндекс (или куда-то еще, но хочет попробовать яндексовое собеседование на своей шкуре) там такую возможность предоставят, и вы реально впечатлитесь, КАК ИМЕННО :)) И многие по итогам получат интересные офферы :)
В любом случае, будет круто, весело и очень нескучно; если не вам, то, возможно, друзьям, знакомым или родственникам, поделитесь с ними (у фестиваля есть и впечатляющая онлайновая часть, так что не только с москвичами имеет смысл делиться). Ну, а я там буду в своем репертуаре: немножко про будущее, которое выглядит все страньше и которое будут строить как раз те, кто соберется с нами 27 июня.
Сайт фестиваля https://yandex.ru/youngcon/
Форма для регистрации — https://clck.ru/3B6opv
Forwarded from Dendi Math&AI (Денис Димитров)
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
⚡Вышла новая китайская модель для генерации видео по тексту 可灵 (или просто Kling)!
Выпустила её Kuaishou Technology — китайская компания, которая разрабатывает одноимённую платформу для коротких видео (и довольно популярна в Китае).
Как заявляют авторы:
👉 модель представляет собой Diffusion Transformer (DiT), работающий в латентном пространстве закодированных видео (при этом при обучении DiT берутся видео разного разрешения и соотношения сторон);
👉 в качестве автоэнкодера видео используется специально обученный 3D VAE;
👉 модель может генерировать Full HD видео (разрешение 1920 х 1080) длинной до 2 минут с частотой 30 кадров в секунду (время, за которое модель генерирует такое видео, авторы не уточняют); при этом Sora за один проход умеет генерировать только минутное видео.
Как водится в последнее время, авторы Kling утверждают, что модель способна отлично имитировать физические характеристики реального мира и создавать видеоролики, соответствующие законам физики (что сейчас так или иначе является целью каждой команды, которая создает собственные text-to-video модели). Хотя всё ещё видны артефакты генерации (даже на представленных черри-пиках).
Концептуально в этом подходе к генерации видео нет ничего нового по сравнению с последними сравнимыми по качеству моделями такими как Sora (OpenAI), Vidu (Tsinghua University and ShengShu Technology), Veo (DeepMind). Очень большую роль играют и значимо влияют на финальное качество:
👉 данные, на которых обучалась модель, их количество и, самое главное, качество (в случае Kling эта информация неизвестна - как и в случае большинства других моделей генерации видео);
👉 количество compute, затраченного на обучение (то есть фактически спецификация и размер кластера и время обучения); в частности, авторы Kling специально подчёркивают большую отдачу (с точки зрения финального качества модели) от масшабирования архитектуры и процесса оптимизации её обучения.
Модель Kling закрытая, есть только статья с примерами в блоге и ссылка на бета-тестирование (правда чтобы в нём поучаствовать, нужен китайский номер 😄)
@dendi_math_ai
Выпустила её Kuaishou Technology — китайская компания, которая разрабатывает одноимённую платформу для коротких видео (и довольно популярна в Китае).
Как заявляют авторы:
👉 модель представляет собой Diffusion Transformer (DiT), работающий в латентном пространстве закодированных видео (при этом при обучении DiT берутся видео разного разрешения и соотношения сторон);
👉 в качестве автоэнкодера видео используется специально обученный 3D VAE;
👉 модель может генерировать Full HD видео (разрешение 1920 х 1080) длинной до 2 минут с частотой 30 кадров в секунду (время, за которое модель генерирует такое видео, авторы не уточняют); при этом Sora за один проход умеет генерировать только минутное видео.
Как водится в последнее время, авторы Kling утверждают, что модель способна отлично имитировать физические характеристики реального мира и создавать видеоролики, соответствующие законам физики (что сейчас так или иначе является целью каждой команды, которая создает собственные text-to-video модели). Хотя всё ещё видны артефакты генерации (даже на представленных черри-пиках).
Концептуально в этом подходе к генерации видео нет ничего нового по сравнению с последними сравнимыми по качеству моделями такими как Sora (OpenAI), Vidu (Tsinghua University and ShengShu Technology), Veo (DeepMind). Очень большую роль играют и значимо влияют на финальное качество:
👉 данные, на которых обучалась модель, их количество и, самое главное, качество (в случае Kling эта информация неизвестна - как и в случае большинства других моделей генерации видео);
👉 количество compute, затраченного на обучение (то есть фактически спецификация и размер кластера и время обучения); в частности, авторы Kling специально подчёркивают большую отдачу (с точки зрения финального качества модели) от масшабирования архитектуры и процесса оптимизации её обучения.
Модель Kling закрытая, есть только статья с примерами в блоге и ссылка на бета-тестирование (правда чтобы в нём поучаствовать, нужен китайский номер 😄)
@dendi_math_ai