🪄 Introducing daVinci-MagiHuman: The Performance-Level Audio-Video Generative Foundation Model Proudly open-sourced and jointly developed by SII GAIR Lab & Sand.ai, it sets a new standard for multimodal AI. ⏳ 1/6
Видео модели
daVinci MagiHuman Генератор Видео из Текста/Изображения с Синхронизацией Аудио
Создавайте видео с daVinci MagiHuman - моделью аудио-видео с открытым исходным кодом на 15B от Sand.ai и SII GAIR Lab. Генерируйте синхронизированное видео и аудио из текста или изображений с лучшей синхронизацией губ на 7 языках. До 1080p, 5-10 секунд. Однопоточная архитектура Transformer, видео 5с 256p всего за 2 секунды на одном H100.
/video/text-to-videoПубличная
Галерея текста в видео daVinci MagiHuman
Ощутите кинематографическую мощь генерации видео из текста daVinci MagiHuman. Создавайте потрясающие видео с синхронизированным звуком на основе подробных текстовых описаний, с ведущей в отрасли синхронизацией губ на 7 языках.
AI Video
Дождливая ночь в Токио
Женщина в красном пальто идёт по неоновой аллее Токио дождливой ночью, с мерцающими отражениями.
Prompt
“Rainy night in a neon-lit Tokyo alley, a woman in a red coat walks slowly under an umbrella. Reflections shimmer on wet cobblestones. Handheld camera follows her from behind, bokeh street lights, cinematic color grade, moody atmosphere.”
Live PipelineTake 01 / 01
Галерея daVinci MagiHuman: изображение в видео
Превратите статичные изображения в динамичные видео с daVinci MagiHuman. Оцените безупречное преобразование изображения в видео с реалистичной мимикой, естественными движениями тела и синхронизированной по губам озвучкой.
Source Feeds01 Inputs
Pipeline
00%
Program · On AirAI · Generated
Output
Transcript · 01
Ведущий подкаста говорит
Видео daVinci MagiHuman на YouTube
Смотрите демонстрации и обзоры сообщества, демонстрирующие возможности генерации аудио-видео daVinci MagiHuman
- daVinci-MagiHuman: Fast Audio-Video Synthesis - AI Research Roundup
- 达芬奇最新开源模型，革命Seedance2.0 DaVinci-MagiHuman：开源音视频生成新标杆，5秒视频2秒出，还能说6种语言！ - XIAOXIAO LI
- LTX 2.3, Veo и Sora больше не нужны? Тестируем daVinci-MagiHuman - ServerFlow AI Lab - R&D в области ИИ и LLM
- Ai动画224-化繁为简！daVinci-MagiHuman，快速音视频生成基础模型的单流架构，支持多国语言，音画同步，音色参考-T8 Comfyui教程 - T8star-Aix
Видео daVinci MagiHuman на YouTube
Смотрите демонстрации и обзоры сообщества, демонстрирующие возможности генерации аудио-видео daVinci MagiHuman
daVinci MagiHuman Популярные отзывы в X
Узнайте, что говорят о daVinci MagiHuman в X (Twitter)
daVinci-MagiHuman is a 15B single-stream Transformer, trained from scratch to generate synced video+audio with self-attention only—no cross-attention or multi-stream paths. It is open-source, supports 6 languages, beats Ovi/LTX, and runs on one H100.
I have been testing open source daVinci-MagiHuman, a single-stream 15B Transformer trained from scratch that jointly generates video + audio. 5s 1080p video in 38s on a single H100, about 1 minute on newer gaming Nvidia GPUs By @SII_GAIR + @SandAI_HQ
daVinci-MagiHumanという新しい動画生成モデルがオープンで出た。これがLTX-2.3よりもすごいとかいう話。特にオーディオ生成がいい感じらしい。さらに多言語対応してて日本語の音声も対応してると書かれてる。開発したGAIRってのは上海イノベーション研究所内の研究ラボらしい reddit.com/r/StableDiffus…
映像と音声を同時生成のオープンソースモデル「daVinci-MagiHuman」が登場 ・OSS界隈ではトップクラスの性能 ・日中英韓独仏の6言語対応 ・音声認識誤り率14.6% クローズドのSeedance 2.0に対抗。デモの感じは精度が高そう H100で5秒間の1080p動画を38秒で生成したらしい
動画生成AIはオープンソースでも戦えるか？ daVinci-MagiHuman は、動画と音声をシングルストリームの15B Transformerで同時生成する完全オープンソースモデル。 Ovi 1.1に80.0%、LTX 2.3に60.9%勝率。 H100で1080pの5秒の動画を38.4秒で生成。日本語にも対応！ 詳細は🧵
DaVinci-MagiHuman for ComfyUI. - 15B-param single-stream model runs in ~6GB VRAM via block-level swapping; - 8-step distillation; github.com/mjansrud/Comfy…
daVinci-MagiHuman. We have another fast single-stream audio-video 15B foundation model by @SandAI_HQ > no separate pathways or cross-attention modules. > just raw self-attention doing all the heavy lifting. > wins 80% vs Ovi 1.1, 60% vs LTX 2.3; > native multilingual realistic
Reel · Specifications
Что такое daVinci MagiHuman
Открытая аудио-видео модель Sand.ai с 15B параметрами и лучшей синхронизацией губ
- · 0115BПараметры
- · 021080pМакс. Разрешение
- · 037Поддерж. Языков
- · 042сСкорость 256p
daVinci MagiHuman — это однопоточный Transformer с 15 миллиардами параметров, совместно генерирующий синхронизированное видео и аудио из текста или изображений, достигая лучшей в отрасли синхронизации губ с уровнем ошибок слов 14,6% на 7 языках.
Reel · Capabilities
Мощные функции daVinci MagiHuman
Откройте для себя передовые возможности, которые делают daVinci MagiHuman исключительным для генерации аудио-видео
- Feature 01 / 08
Совместная Генерация Аудио-Видео
Генерируйте синхронизированное видео и аудио за один проход с помощью единой однопоточной архитектуры Transformer только с self-attention, без отдельного аудио-конвейера.
- Feature 02 / 08
Лидирующая Синхронизация Губ
Уровень ошибок слов 14,6% для синхронизации губ, значительно превосходя Ovi 1.1 (40,45%) и LTX 2.3 (19,23%) в бенчмарках точности речи.
- Feature 03 / 08
Поддержка Речи на 7 Языках
Генерируйте видео с синхронизированной речью на английском, китайском (мандаринском и кантонском), японском, корейском, немецком и французском с естественным произношением.
- Feature 04 / 08
Сверхбыстрая Генерация
Создавайте 5-секундное видео 256p всего за 2 секунды на одном GPU H100. 8-шаговая дистилляция DMD-2 без classifier-free guidance при сохранении качества.
- Feature 05 / 08
Двойной Режим Ввода
Создавайте видео из текстовых промптов или анимируйте статичные изображения. Оба режима поддерживают настраиваемые соотношения сторон, разрешения и длительность от 5 до 10 секунд.
- Feature 06 / 08
Суперразрешение до 1080p
Генерируйте видео в 256p, 540p, 720p или 1080p через конвейер суперразрешения в латентном пространстве без дополнительных затрат на декодирование-кодирование VAE.
- Feature 07 / 08
Открытый Код Apache 2.0
Полностью открытый исходный код под лицензией Apache 2.0 с полным стеком включая базовые веса, дистиллированную модель, модель суперразрешения и код инференса для неограниченного коммерческого использования.
- Feature 08 / 08
Превосходство в Генерации Людей
Специализация на генерации цифровых людей с выразительной мимикой, реалистичными движениями тела и последовательным сохранением персонажей между кадрами.
FAQ
Часто Задаваемые Вопросы
Распространённые вопросы о генерации аудио-видео daVinci MagiHuman
Остались вопросы?
daVinci MagiHuman поддерживает два основных режима: Текст-в-Видео (генерация видео с синхронизированным аудио из текстовых промптов) и Изображение-в-Видео (анимация статичных изображений с опциональным аудио). Оба режима поддерживают настраиваемые соотношения сторон (16:9 альбомный, 9:16 портретный), разрешения до 1080p и длительность от 5 до 10 секунд.
daVinci MagiHuman поддерживает синхронизированную генерацию речи на 7 языках: английский, китайский (мандаринский), кантонский, японский, корейский, немецкий и французский. Модель достигает уровня ошибок слов 14,6% для синхронизации губ, значительно превосходя Ovi 1.1 (40,45%) и LTX 2.3 (19,23%).
daVinci MagiHuman поддерживает несколько разрешений: 256p (самое быстрое), 540p (суперразрешение), 720p и 1080p (суперразрешение). Длительность видео настраивается от 5 до 10 секунд с шагом в 1 секунду. Поддерживаются альбомный (16:9) и портретный (9:16) форматы.
На одном GPU NVIDIA H100 daVinci MagiHuman генерирует 5-секундное видео 256p примерно за 2 секунды. Для более высоких разрешений: 540p занимает около 8 секунд, 1080p — около 38,4 секунд. Эта скорость достигается благодаря 8-шаговой дистилляции DMD-2 без classifier-free guidance.
Да, daVinci MagiHuman полностью открыт под лицензией Apache 2.0 от Sand.ai и SII GAIR Lab. Доступен полный стек, включая базовые веса модели, дистиллированную модель, модель суперразрешения и код инференса для неограниченного коммерческого использования.
daVinci MagiHuman выделяется уникальной однопоточной архитектурой Transformer, использующей только self-attention (без cross-attention или многопоточных путей), что позволяет совместно генерировать аудио и видео в одной модели. Достигает лучшей точности синхронизации губ (14,6% WER), поддерживает 7 языков и показывает 80% побед против Ovi 1.1 в человеческой оценке.
Как использовать daVinci MagiHuman Текст в Видео
Генерируйте видео с синхронизированным аудио из текстовых описаний
Напишите ваш промпт
Введите подробное описание желаемого видео. Укажите субъект, действие, содержание речи и желаемый язык для лучших результатов синхронизации губ.
Как использовать daVinci MagiHuman Изображение в Видео
Анимируйте статичные изображения в видео с синхронизированным аудио
Загрузите изображение
Загрузите референсное изображение человека или сцены для анимации. daVinci MagiHuman превосходен для контента с людьми с реалистичной мимикой и движениями тела.
Pricing · Choose Yours
Цены
Выберите подходящий для вас план. Никаких скрытых комиссий, никаких сюрпризов.
Одноразово поддерживает оплату криптовалютой (BTC, USDT, ETH, 350+) · Одноразово также поддерживает оплату через T-Bank, YooMoney, SberPay, Visa/Mastercard/Mir
Месячная оплата