{
    "kind": 30023,
    "id": "b85b03935393df3db730370c4ae40b75a98f92a7d6a5afe5df296fa4a014461e",
    "pubkey": "c1baf4f74cd829963828b1da8d73e52cc94caa6d8dc944f7ca450a75c4b3311f",
    "created_at": 1792923316,
    "tags": [
        [
            "title",
            "Portr\u00e4tanimation mit KI: Diffusion Transformer l\u00f6sen SadTalker und LivePortrait nur teilweise ab"
        ],
        [
            "d",
            "welche-technologien-definieren-aktuell-den-stand-der-technik"
        ],
        [
            "summary",
            "Stand der Technik bei KI-Portr\u00e4tanimation: Diffusion Transformer wie Hallo3, OmniHuman-1 und HunyuanVideo-Avatar, Mehrpersonen- und Langvideo-Modelle, und warum LivePortrait nicht einfach abgel\u00f6st ist."
        ],
        [
            "published_at",
            "1792923316"
        ]
    ],
    "content": "Den Stand der Technik bei KI-Portr\u00e4tanimation bilden nach den Methodenpapieren von 2024 und 2025 Modelle auf Basis von Diffusion Transformern (DiT). Sie ersetzen den Ansatz von SadTalker (2022), der \u00fcber 3D-Bewegungskoeffizienten arbeitet. LivePortrait (2024) ist dagegen nicht einfach \u00fcberholt, weil es eine andere Aufgabe l\u00f6st. Alle Angaben unten stammen aus den Abstracts der arXiv-Preprints, abgerufen am 25.10.2026. Es sind Eigenaussagen der Autoren, keine unabh\u00e4ngige Vergleichsstudie.\n\n## Der Architekturwechsel f\u00fchrt von 3D-Koeffizienten \u00fcber Keypoints zu Diffusion Transformern\n\nSadTalker ([arXiv:2211.12194](https://arxiv.org/abs/2211.12194), 22.11.2022) erzeugt aus Audio und einem einzelnen Bild ein sprechendes Gesicht. Daf\u00fcr lernt es 3D-Bewegungskoeffizienten. Die Autoren nennen als Probleme fr\u00fcherer Ans\u00e4tze unnat\u00fcrliche Kopfbewegung, verzerrte Mimik und ver\u00e4nderte Identit\u00e4t.\n\nLivePortrait ([arXiv:2407.03168](https://arxiv.org/abs/2407.03168), 03.07.2024) setzt auf implizite Keypoints und verzichtet bewusst auf Diffusion. Ziel ist eine Balance aus Effizienz und Kontrolle, dazu kommen Module f\u00fcr Stitching und Retargeting.\n\nDie neueren Modelle bauen auf transformerbasierten Videomodellen auf:\n\n- Hallo3 ([arXiv:2412.00733](https://arxiv.org/abs/2412.00733), 01.12.2024) beschreibt sich als erste Anwendung eines vortrainierten transformerbasierten Videomodells f\u00fcr Portr\u00e4tanimation. Es soll nicht-frontale Ansichten, dynamische Objekte und Hintergr\u00fcnde beherrschen.\n- OmniHuman-1 ([arXiv:2502.01061](https://arxiv.org/abs/2502.01061), 03.02.2025) nutzt ein DiT-Framework und skaliert die Trainingsdaten, indem es bewegungsbezogene Bedingungen mischt (Omni-Conditions).\n- HunyuanVideo-Avatar ([arXiv:2505.20156](https://arxiv.org/abs/2505.20156), 26.05.2025) nutzt ein MM-DiT und zielt auf Dynamik bei gleichbleibendem Charakter, Emotionsabgleich mit dem Audio und mehrere Figuren.\n\n## Der Gegenstand wandert vom Gesicht zum ganzen Menschen, zu mehreren Personen und zu langen Videos\n\nDie Modelle von Mai bis August 2025 erweitern, was animiert wird:\n\n- MultiTalk ([arXiv:2505.22647](https://arxiv.org/abs/2505.22647), 28.05.2025) verarbeitet mehrere Audiospuren und ordnet sie der richtigen Person zu. Bisherige Methoden, so die Autoren, konzentrierten sich auf Einzelpersonen.\n- InfiniteTalk ([arXiv:2508.14033](https://arxiv.org/abs/2508.14033), 19.08.2025) nennt sich Sparse-Frame-Video-Dubbing. Klassisches Dubbing beschr\u00e4nke sich auf die Mundregion. Neu sei, Mimik und K\u00f6rper passend zum Audio zu erzeugen.\n- Wan-S2V ([arXiv:2508.18621](https://arxiv.org/abs/2508.18621), 26.08.2025) animiert audiogesteuert Charaktere in Filmszenen, mit Interaktion, K\u00f6rper- und Kamerabewegung.\n\nDie Aufgabe hei\u00dft damit nicht mehr \u201eMund zum Ton bewegen\u201c, sondern Personen in ganzen Szenen glaubhaft agieren lassen.\n\n## LivePortrait ist nicht abgel\u00f6st, weil es eine andere Aufgabe l\u00f6st\n\nNach den Abstracts lassen sich zwei Aufgaben trennen. Die Einordnung stammt aus den Abstracts, nicht aus einer \u00dcbersichtsstudie:\n\n| Aufgabe | Modelle |\n|---|---|\n| Audio zu Video | SadTalker, Hallo3, OmniHuman-1, HunyuanVideo-Avatar, MultiTalk, InfiniteTalk, Wan-S2V |\n| Video zu Video (Reenactment mit Treibervideo) | LivePortrait |\n\nDer LivePortrait-Abstract nennt zwar auch Audio, Text oder Generierung als m\u00f6gliche Treiber. Der Schwerpunkt liegt aber auf Effizienz und Kontrolle beim Retargeting. Ein Beleg daf\u00fcr, dass LivePortrait vollst\u00e4ndig abgel\u00f6st wurde, fand sich nicht. Wer ein Treibervideo hat und wenig Rechenaufwand will, findet im Dossier keinen Grund, den Ansatz f\u00fcr \u00fcberholt zu erkl\u00e4ren.\n\n## Was die Quellen nicht belegen\n\n- **Zeitraum:** Die Papiere stammen aus 2024 und 2025. Was bis Oktober 2026 danach erschien, wurde nicht erfasst.\n- **Qualit\u00e4tsvergleich:** Aussagen wie \u201ebesser als\u201c beruhen auf Selbstmessungen mit eigenen Benchmarks. Eine unabh\u00e4ngige Studie mit einheitlichen Metriken (Lippensynchronit\u00e4t, FID/FVD, Identit\u00e4tserhalt) wurde nicht gefunden.\n- **Rechenaufwand:** LivePortrait nennt Effizienz als Designziel, DiT-Modelle bauen auf gro\u00dfe Videomodelle auf. Laufzeit- und VRAM-Zahlen wurden nicht erhoben.\n- **Verf\u00fcgbarkeit:** Ob Gewichte und Lizenz offen sind oder ein Modell nur als Dienst l\u00e4uft, wurde nicht gepr\u00fcft. F\u00fcr OmniHuman-1 gibt es eine unbest\u00e4tigte Angabe, dass es nur \u00fcber Dienste nutzbar ist.\n- **Neuere Namen:** Zu OmniHuman-1.5 und EchoMimicV3 kursieren Angaben aus Zweitquellen und Vermarkterseiten. Sie wurden nicht gegen Prim\u00e4rquellen gepr\u00fcft und hier nicht \u00fcbernommen.\n- **Recht und Kennzeichnung:** Deepfake-Kennzeichnung und EU AI Act Artikel 50 wurden nicht recherchiert.\n- **Suchnachfrage:** F\u00fcr das Thema liegt keine gemessene Suchnachfrage vor.\n\n## Synthetische Portr\u00e4ts brauchen einen Herkunftsnachweis\n\nJe realistischer animierte Portr\u00e4ts werden, desto wichtiger wird nachvollziehbare Herkunft. Zwei Artikel auf dieser Seite behandeln das f\u00fcr Bilder: [Wie du beweisen kannst, dass ein Bild dir geh\u00f6rt](https://stevennoack.de/artikel/bild-signatur-pipeline-erklaert/) erkl\u00e4rt Signierung per unsichtbarem Stempel und Fingerabdruck, [Deine Bilder sprechen nicht. Noch nicht.](https://stevennoack.de/artikel/bilder-metadaten-branding/) zeigt, wie Metadaten Urheberschaft tragen. Beide betreffen Standbilder, nicht Video. Ob und wie sich das auf generierte Videos \u00fcbertragen l\u00e4sst, behandeln die Quellen dieses Artikels nicht.\n\n## Lokal oder als Dienst: eine offene Frage mit Parallele zur Cloud-KI-Debatte\n\nOb sich die neuen Modelle lokal betreiben lassen, ist nicht belegt. Die Abw\u00e4gung zwischen lokalem Betrieb und Cloud-Dienst beschreibt der Artikel [Zwei Wege, ein Interface](https://stevennoack.de/artikel/zwei-wege-ein-interface/) f\u00fcr Sprachmodelle. F\u00fcr Portr\u00e4tanimation fehlen die Angaben zu Gewichten, Lizenzen und Hardwarebedarf.\n\n## Was dieser Text nicht leistet\n\nEr ist ein Quellen\u00fcberblick \u00fcber acht Methodenpapiere, kein Test der Modelle und keine Kaufempfehlung. Er ersetzt weder eine Benchmark-\u00dcbersicht noch eine Lizenzpr\u00fcfung.",
    "sig": "6bd60f701bebf7cc80208972dd226868cbf8d8799c10931342a3c82e49bb5fe6147d794baa71aabf29b84663a8222f54a700b418463a793ea5e17fe07e664632"
}