# Porträtanimation mit KI: Diffusion Transformer lösen SadTalker und LivePortrait nur teilweise ab

2026-10-25 · Steven Noack · https://stevennoack.de/artikel/welche-technologien-definieren-aktuell-den-stand-der-technik/

Den Stand der Technik bei KI-Porträtanimation bilden nach den Methodenpapieren von 2024 und 2025 Modelle auf Basis von Diffusion Transformern (DiT). Sie ersetzen den Ansatz von SadTalker (2022), der über 3D-Bewegungskoeffizienten arbeitet. LivePortrait (2024) ist dagegen nicht einfach überholt, weil es eine andere Aufgabe löst. Alle Angaben unten stammen aus den Abstracts der arXiv-Preprints, abgerufen am 25.10.2026. Es sind Eigenaussagen der Autoren, keine unabhängige Vergleichsstudie.

## Der Architekturwechsel führt von 3D-Koeffizienten über Keypoints zu Diffusion Transformern

SadTalker ([arXiv:2211.12194](https://arxiv.org/abs/2211.12194), 22.11.2022) erzeugt aus Audio und einem einzelnen Bild ein sprechendes Gesicht. Dafür lernt es 3D-Bewegungskoeffizienten. Die Autoren nennen als Probleme früherer Ansätze unnatürliche Kopfbewegung, verzerrte Mimik und veränderte Identität.

LivePortrait ([arXiv:2407.03168](https://arxiv.org/abs/2407.03168), 03.07.2024) setzt auf implizite Keypoints und verzichtet bewusst auf Diffusion. Ziel ist eine Balance aus Effizienz und Kontrolle, dazu kommen Module für Stitching und Retargeting.

Die neueren Modelle bauen auf transformerbasierten Videomodellen auf:

- Hallo3 ([arXiv:2412.00733](https://arxiv.org/abs/2412.00733), 01.12.2024) beschreibt sich als erste Anwendung eines vortrainierten transformerbasierten Videomodells für Porträtanimation. Es soll nicht-frontale Ansichten, dynamische Objekte und Hintergründe beherrschen.
- OmniHuman-1 ([arXiv:2502.01061](https://arxiv.org/abs/2502.01061), 03.02.2025) nutzt ein DiT-Framework und skaliert die Trainingsdaten, indem es bewegungsbezogene Bedingungen mischt (Omni-Conditions).
- HunyuanVideo-Avatar ([arXiv:2505.20156](https://arxiv.org/abs/2505.20156), 26.05.2025) nutzt ein MM-DiT und zielt auf Dynamik bei gleichbleibendem Charakter, Emotionsabgleich mit dem Audio und mehrere Figuren.

## Der Gegenstand wandert vom Gesicht zum ganzen Menschen, zu mehreren Personen und zu langen Videos

Die Modelle von Mai bis August 2025 erweitern, was animiert wird:

- MultiTalk ([arXiv:2505.22647](https://arxiv.org/abs/2505.22647), 28.05.2025) verarbeitet mehrere Audiospuren und ordnet sie der richtigen Person zu. Bisherige Methoden, so die Autoren, konzentrierten sich auf Einzelpersonen.
- InfiniteTalk ([arXiv:2508.14033](https://arxiv.org/abs/2508.14033), 19.08.2025) nennt sich Sparse-Frame-Video-Dubbing. Klassisches Dubbing beschränke sich auf die Mundregion. Neu sei, Mimik und Körper passend zum Audio zu erzeugen.
- Wan-S2V ([arXiv:2508.18621](https://arxiv.org/abs/2508.18621), 26.08.2025) animiert audiogesteuert Charaktere in Filmszenen, mit Interaktion, Körper- und Kamerabewegung.

Die Aufgabe heißt damit nicht mehr „Mund zum Ton bewegen“, sondern Personen in ganzen Szenen glaubhaft agieren lassen.

## LivePortrait ist nicht abgelöst, weil es eine andere Aufgabe löst

Nach den Abstracts lassen sich zwei Aufgaben trennen. Die Einordnung stammt aus den Abstracts, nicht aus einer Übersichtsstudie:

| Aufgabe | Modelle |
|---|---|
| Audio zu Video | SadTalker, Hallo3, OmniHuman-1, HunyuanVideo-Avatar, MultiTalk, InfiniteTalk, Wan-S2V |
| Video zu Video (Reenactment mit Treibervideo) | LivePortrait |

Der LivePortrait-Abstract nennt zwar auch Audio, Text oder Generierung als mögliche Treiber. Der Schwerpunkt liegt aber auf Effizienz und Kontrolle beim Retargeting. Ein Beleg dafür, dass LivePortrait vollständig abgelöst wurde, fand sich nicht. Wer ein Treibervideo hat und wenig Rechenaufwand will, findet im Dossier keinen Grund, den Ansatz für überholt zu erklären.

## Was die Quellen nicht belegen

- **Zeitraum:** Die Papiere stammen aus 2024 und 2025. Was bis Oktober 2026 danach erschien, wurde nicht erfasst.
- **Qualitätsvergleich:** Aussagen wie „besser als“ beruhen auf Selbstmessungen mit eigenen Benchmarks. Eine unabhängige Studie mit einheitlichen Metriken (Lippensynchronität, FID/FVD, Identitätserhalt) wurde nicht gefunden.
- **Rechenaufwand:** LivePortrait nennt Effizienz als Designziel, DiT-Modelle bauen auf große Videomodelle auf. Laufzeit- und VRAM-Zahlen wurden nicht erhoben.
- **Verfügbarkeit:** Ob Gewichte und Lizenz offen sind oder ein Modell nur als Dienst läuft, wurde nicht geprüft. Für OmniHuman-1 gibt es eine unbestätigte Angabe, dass es nur über Dienste nutzbar ist.
- **Neuere Namen:** Zu OmniHuman-1.5 und EchoMimicV3 kursieren Angaben aus Zweitquellen und Vermarkterseiten. Sie wurden nicht gegen Primärquellen geprüft und hier nicht übernommen.
- **Recht und Kennzeichnung:** Deepfake-Kennzeichnung und EU AI Act Artikel 50 wurden nicht recherchiert.
- **Suchnachfrage:** Für das Thema liegt keine gemessene Suchnachfrage vor.

## Synthetische Porträts brauchen einen Herkunftsnachweis

Je realistischer animierte Porträts werden, desto wichtiger wird nachvollziehbare Herkunft. Zwei Artikel auf dieser Seite behandeln das für Bilder: [Wie du beweisen kannst, dass ein Bild dir gehört](https://stevennoack.de/artikel/bild-signatur-pipeline-erklaert/) erklärt Signierung per unsichtbarem Stempel und Fingerabdruck, [Deine Bilder sprechen nicht. Noch nicht.](https://stevennoack.de/artikel/bilder-metadaten-branding/) zeigt, wie Metadaten Urheberschaft tragen. Beide betreffen Standbilder, nicht Video. Ob und wie sich das auf generierte Videos übertragen lässt, behandeln die Quellen dieses Artikels nicht.

## Lokal oder als Dienst: eine offene Frage mit Parallele zur Cloud-KI-Debatte

Ob sich die neuen Modelle lokal betreiben lassen, ist nicht belegt. Die Abwägung zwischen lokalem Betrieb und Cloud-Dienst beschreibt der Artikel [Zwei Wege, ein Interface](https://stevennoack.de/artikel/zwei-wege-ein-interface/) für Sprachmodelle. Für Porträtanimation fehlen die Angaben zu Gewichten, Lizenzen und Hardwarebedarf.

## Was dieser Text nicht leistet

Er ist ein Quellenüberblick über acht Methodenpapiere, kein Test der Modelle und keine Kaufempfehlung. Er ersetzt weder eine Benchmark-Übersicht noch eine Lizenzprüfung.