🪄 Introducing daVinci-MagiHuman: The Performance-Level Audio-Video Generative Foundation Model Proudly open-sourced and jointly developed by SII GAIR Lab & Sand.ai, it sets a new standard for multimodal AI. ⏳ 1/6
Videomodelle
daVinci MagiHuman Text/Bild zu Video Generator mit Audio-Synchronisation
Erstellen Sie Videos mit daVinci MagiHuman - einem 15B Open-Source Audio-Video-Grundmodell von Sand.ai und SII GAIR Lab. Generieren Sie synchronisiertes Video und Audio aus Text oder Bildern mit branchenführender Lippensynchronisation in 7 Sprachen. Bis zu 1080p Auflösung, 5-10 Sekunden. Single-Stream-Transformer-Architektur, 5s 256p Video in nur 2 Sekunden auf einer H100.
/video/text-to-videoÖffentlich
daVinci MagiHuman Text to Video Gallery
Experience the cinematic power of daVinci MagiHuman text-to-video generation. Create stunning videos with synchronized audio from detailed text descriptions, featuring industry-leading lip sync across 7 languages.
AI Video
Rainy Tokyo Night
A woman in a red coat walks through a neon-lit Tokyo alley on a rainy night with shimmering reflections.
Prompt
“Rainy night in a neon-lit Tokyo alley, a woman in a red coat walks slowly under an umbrella. Reflections shimmer on wet cobblestones. Handheld camera follows her from behind, bokeh street lights, cinematic color grade, moody atmosphere.”
Live PipelineTake 01 / 01
daVinci MagiHuman Image to Video Gallery
Transform your static images into dynamic videos with daVinci MagiHuman. Experience seamless image-to-video conversion with realistic facial expressions, natural body motion, and synchronized lip-synced audio.
Source Feeds01 Inputs
Pipeline
00%
Program · On AirAI · Generated
Output
Transcript · 01
Podcast Host Speaking
daVinci MagiHuman YouTube Videos
Sehen Sie sich Community-Demonstrationen und Bewertungen an, die die Audio-Video-Generierungsfunktionen von daVinci MagiHuman zeigen
- daVinci-MagiHuman: Fast Audio-Video Synthesis - AI Research Roundup
- 达芬奇最新开源模型，革命Seedance2.0 DaVinci-MagiHuman：开源音视频生成新标杆，5秒视频2秒出，还能说6种语言！ - XIAOXIAO LI
- LTX 2.3, Veo и Sora больше не нужны? Тестируем daVinci-MagiHuman - ServerFlow AI Lab - R&D в области ИИ и LLM
- Ai动画224-化繁为简！daVinci-MagiHuman，快速音视频生成基础模型的单流架构，支持多国语言，音画同步，音色参考-T8 Comfyui教程 - T8star-Aix
- New OpenSource Video Model, #1 Image generator, Seedance 2.0 Drop, replit and lovable in danger - AI Research
daVinci MagiHuman YouTube Videos
Sehen Sie sich Community-Demonstrationen und Bewertungen an, die die Audio-Video-Generierungsfunktionen von daVinci MagiHuman zeigen
daVinci MagiHuman Beliebte Bewertungen auf X
Sehen Sie, was die Leute über daVinci MagiHuman auf X (Twitter) sagen
daVinci-MagiHuman is a 15B single-stream Transformer, trained from scratch to generate synced video+audio with self-attention only—no cross-attention or multi-stream paths. It is open-source, supports 6 languages, beats Ovi/LTX, and runs on one H100.
I have been testing open source daVinci-MagiHuman, a single-stream 15B Transformer trained from scratch that jointly generates video + audio. 5s 1080p video in 38s on a single H100, about 1 minute on newer gaming Nvidia GPUs By @SII_GAIR + @SandAI_HQ
daVinci-MagiHumanという新しい動画生成モデルがオープンで出た。これがLTX-2.3よりもすごいとかいう話。特にオーディオ生成がいい感じらしい。さらに多言語対応してて日本語の音声も対応してると書かれてる。開発したGAIRってのは上海イノベーション研究所内の研究ラボらしい reddit.com/r/StableDiffus…
映像と音声を同時生成のオープンソースモデル「daVinci-MagiHuman」が登場 ・OSS界隈ではトップクラスの性能 ・日中英韓独仏の6言語対応 ・音声認識誤り率14.6% クローズドのSeedance 2.0に対抗。デモの感じは精度が高そう H100で5秒間の1080p動画を38秒で生成したらしい
動画生成AIはオープンソースでも戦えるか？ daVinci-MagiHuman は、動画と音声をシングルストリームの15B Transformerで同時生成する完全オープンソースモデル。 Ovi 1.1に80.0%、LTX 2.3に60.9%勝率。 H100で1080pの5秒の動画を38.4秒で生成。日本語にも対応！ 詳細は🧵
DaVinci-MagiHuman for ComfyUI. - 15B-param single-stream model runs in ~6GB VRAM via block-level swapping; - 8-step distillation; github.com/mjansrud/Comfy…
daVinci-MagiHuman. We have another fast single-stream audio-video 15B foundation model by @SandAI_HQ > no separate pathways or cross-attention modules. > just raw self-attention doing all the heavy lifting. > wins 80% vs Ovi 1.1, 60% vs LTX 2.3; > native multilingual realistic
Reel · Specifications
Was ist daVinci MagiHuman
Sand.ais 15B Open-Source Audio-Video-Grundmodell mit erstklassiger Lippensynchronisation
- · 0115BParameter
- · 021080pMax Auflösung
- · 037Unterstützte Sprachen
- · 042s256p Geschwindigkeit
daVinci MagiHuman ist ein 15-Milliarden-Parameter Single-Stream-Transformer, der gemeinsam synchronisiertes Video und Audio aus Text oder Bildern generiert und mit einer Wortfehlerrate von 14,6% in 7 Sprachen branchenführende Lippensynchronisation erreicht.
Reel · Capabilities
daVinci MagiHumans leistungsstarke Funktionen
Entdecken Sie die fortschrittlichen Fähigkeiten, die daVinci MagiHuman zur Audio-Video-Generierung auszeichnen
- Feature 01 / 08
Gemeinsame Audio-Video-Generierung
Generieren Sie synchronisiertes Video und Audio in einem Durchgang mit einer einheitlichen Single-Stream-Transformer-Architektur nur mit Self-Attention, ohne separate Audio-Pipeline.
- Feature 02 / 08
Branchenführende Lippensynchronisation
Wortfehlerrate von 14,6% bei der Lippensynchronisation, deutlich besser als Ovi 1.1 (40,45%) und LTX 2.3 (19,23%) in Sprachgenauigkeits-Benchmarks.
- Feature 03 / 08
7-Sprachen-Sprachunterstützung
Generieren Sie sprachsynchronisierte Videos in Englisch, Chinesisch (Mandarin und Kantonesisch), Japanisch, Koreanisch, Deutsch und Französisch mit natürlicher Aussprache.
- Feature 04 / 08
Ultraschnelle Generierung
Erstellen Sie ein 5-Sekunden-256p-Video in nur 2 Sekunden auf einer einzelnen H100-GPU. 8-Schritte-DMD-2-Destillation ohne Classifier-Free-Guidance bei gleichbleibender Qualität.
- Feature 05 / 08
Doppelter Eingabemodus
Erstellen Sie Videos aus Textprompts oder animieren Sie Standbilder. Beide Modi unterstützen konfigurierbare Seitenverhältnisse, Auflösungen und Dauern von 5-10 Sekunden.
- Feature 06 / 08
Super-Auflösung bis 1080p
Generieren Sie Videos in 256p, 540p, 720p oder 1080p über eine Latent-Space-Super-Resolution-Pipeline ohne zusätzlichen VAE-Decode-Encode-Overhead.
- Feature 07 / 08
Open Source Apache 2.0
Vollständig unter Apache 2.0 Lizenz open-source mit komplettem Stack inklusive Basisgewichte, destilliertes Modell, Super-Resolution-Modell und Inferenzcode für uneingeschränkte kommerzielle Nutzung.
- Feature 08 / 08
Menschenzentrierte Exzellenz
Spezialisiert auf digitale Menschengenerierung mit ausdrucksstarker Mimik, realistischer Körperbewegung und konsistenter Charaktererhaltung über Frames für professionelle Talking-Head-Inhalte.
FAQ
Häufig Gestellte Fragen
Häufige Fragen zur Audio-Video-Generierung mit daVinci MagiHuman
daVinci MagiHuman unterstützt zwei Hauptmodi: Text-zu-Video (Videos mit synchronisiertem Audio aus Textprompts) und Bild-zu-Video (Animation von Standbildern mit optionalem Audio). Beide Modi unterstützen konfigurierbare Seitenverhältnisse (16:9 Querformat, 9:16 Hochformat), Auflösungen bis 1080p und Dauern von 5-10 Sekunden.
daVinci MagiHuman unterstützt synchronisierte Sprachgenerierung in 7 Sprachen: Englisch, Chinesisch (Mandarin), Kantonesisch, Japanisch, Koreanisch, Deutsch und Französisch. Das Modell erreicht eine Wortfehlerrate von 14,6% für Lippensynchronisation, deutlich besser als Ovi 1.1 (40,45%) und LTX 2.3 (19,23%).
daVinci MagiHuman unterstützt mehrere Auflösungen: 256p (schnellste), 540p (Superauflösung), 720p und 1080p (Superauflösung). Die Videodauer kann von 5 bis 10 Sekunden in 1-Sekunden-Schritten konfiguriert werden. Quer- (16:9) und Hochformat (9:16) werden unterstützt.
Auf einer einzelnen NVIDIA H100 GPU generiert daVinci MagiHuman ein 5-Sekunden-256p-Video in etwa 2 Sekunden. Für höhere Auflösungen: 540p dauert etwa 8 Sekunden und 1080p etwa 38,4 Sekunden. Diese Geschwindigkeit wird durch 8-Schritte-DMD-2-Destillation ohne Classifier-Free-Guidance erreicht.
Ja, daVinci MagiHuman ist vollständig unter Apache 2.0 Lizenz von Sand.ai und SII GAIR Lab open-source. Der komplette Stack ist verfügbar, einschließlich Basismodellgewichte, destilliertes Modell, Superauflösungsmodell und Inferenzcode für uneingeschränkte kommerzielle Nutzung.
daVinci MagiHuman zeichnet sich durch seine einzigartige Single-Stream-Transformer-Architektur aus, die nur Self-Attention verwendet (kein Cross-Attention oder Multi-Stream), was gemeinsame Audio-Video-Generierung in einem einzigen Modell ermöglicht. Es erreicht die beste Lippensynchronisation (14,6% WER), unterstützt 7 Sprachen und erzielt eine 80% Gewinnrate gegen Ovi 1.1 in menschlicher Bewertung.
Wie man daVinci MagiHuman Text zu Video verwendet
Generieren Sie Videos mit synchronisiertem Audio aus Textbeschreibungen
Schreiben Sie Ihren Prompt
Geben Sie eine detaillierte Beschreibung des gewünschten Videos ein. Fügen Sie Subjekt, Aktion, Sprachinhalt und gewünschte Sprache für optimale Lippensynchronisation hinzu.
Wie man daVinci MagiHuman Bild zu Video verwendet
Animieren Sie Standbilder zu Videos mit synchronisiertem Audio
Laden Sie Ihr Bild hoch
Laden Sie ein Referenzbild der Person oder Szene hoch. daVinci MagiHuman glänzt bei menschenzentrierten Inhalten mit realistischer Mimik und Körperbewegung.
Pricing · Choose Yours
Preise
Wählen Sie den Plan, der zu Ihnen passt. Keine versteckten Gebühren, keine Überraschungen.
Einmalig unterstützt Krypto-Zahlung (BTC, USDT, ETH, 350+)
Monatliche Abrechnung