Reallusion präsentiert iClone AccuFACE, einen KI-basierten Gesichts-Tracker, der präzise Gesichtsanimationen in hoher Qualität und in Echtzeit liefert. AccuFACE kann Gesichtsausdrücke nahtlos von Webcams, GoPros oder vorhandenen Videodateien erfassen. Durch die Integration von Nvidia RTX GPU-beschleunigter KI-Technologie revolutioniert AccuFACE die Gesichtserkennung, da keine teure Hardware erforderlich ist und keine Abonnementgebühren anfallen. Dank der Synergie zwischen iClone und Character Creator ist die Erstellung neuer IP-Charaktere für professionelle Gesichtsanimationen nun ein Kinderspiel.
“AccuFACE ist eine revolutionäre Lösung für die Erfassung von Gesichtsausdrücken, die sowohl mit Live-Video als auch mit aufgezeichnetem Video funktioniert. Jetzt sind Kosten und geografische Einschränkungen kein Hindernis mehr, und Schauspieler und Sprecher können von jedem Ort der Welt aus zusammenarbeiten. - John Martin, Vizepräsident Marketing, Reallusion
Erfassen Sie Gesichtsausdrücke aus beliebigen Videoquellen
AccuFACE ist ein videobasiertes KI-Tool zur Erfassung von Gesichtsausdrücken aus allen Arten von Videomaterial. Für Live-Webcams ist AccuFACE die erste Wahl und bietet Kompatibilität mit eigenständigen USB-Webcams oder Laptops mit integrierten Webcams. Die Software bietet eine optimale Tracking-Auflösung von 720p und eine flüssige Bildfolge von 30 Bildern pro Sekunde. Darüber hinaus ermöglicht die Software das einfache Drehen oder Spiegeln der Aufzeichnung, so dass auch mobile Videoübertragungen von montierten Helmkameras möglich sind.
Somit entfällt die kostspielige Anschaffung spezieller Mocap-Ausrüstung, und die Nutzer können mit handelsüblichen Kameras oder Mobiltelefonen aufzeichnen. Alternativ lassen sich Gesichtsanimationen auch direkt aus aufgezeichneten Videos erfassen. Mit AccuFACE können Produktionsstudios nahtlos mit professionellen Schauspielern und Synchronsprechern aus der ganzen Welt zusammenarbeiten. Dadurch können Animationen unabhängig von Ausrüstung, Zeit und Ort produziert werden, was eine flexible und effiziente Lösung für die Erstellung von Inhalten darstellt.
AccuLIPS: Optimierung der Lippensynchronisation und Unterstützung mehrerer Sprachen
Die integrierte AccuLIPS-Engine ermöglicht komplexe Lippen- und Zungenbewegungen, an denen andere Gesichts-Mocap-Systeme scheitern. Durch die Extraktion von Textdaten aus der Stimme generiert AccuLIPS eine zusätzliche Visem-Spur und sorgt so für eine präzise Lippensynchronisation.
Durch das Hinzufügen geeigneter Textskripte wird die Genauigkeit der Lippenerkennung verbessert. AccuLIPS kann durch das Umgehen der Sprache-zu-Text-Erkennung auch für andere Sprachen als Englisch eingesetzt werden, und es stehen kostenlose Tools zur Verfügung, um nicht-englische Textdateien in ihre romanischen Entsprechungen umzuwandeln.
AccuFACE erfasst außerdem synchronisierte Audiodaten und Gesichtsanimationen und ermöglicht so die schnelle Erstellung von stimmsynchronisierten Animationen unter Verwendung von Audiodaten von Webcams, Mikrofonen oder aufgezeichneten Videos. Unabhängig davon, ob die Framerate des Quellmediums auf 24, 30 oder 60 fps eingestellt ist, erzeugt die AccuFACE-Engine konsistente audio-synchrone Animationen basierend auf der jeweiligen Quell-Framerate.
Vollspektrum-Kalibrierung und Mocap-Optimierung
Durch die Definition einer neutralen Ausgangsbasis und die Anpassung der Augenbrauenbewegungen zur Erzielung optimaler Ergebnisse kann AccuFACE dazu verwendet werden, die Ausdrucksmöglichkeiten des Darstellers zu verbessern. Die Kalibrierungsprofile können leicht gespeichert und in der gleichen Mocap-Konfiguration wiederverwendet werden. Die Vielseitigkeit der Kalibrierungen im LIVE- und VIDEO-Modus ermöglicht außerdem eine mühelose Ausrichtung zwischen Live-Darstellern und die Erfassung von Kalibrierungsbildern aus mehreren Videodateien. Die Software bietet ein umfassendes Toolkit zur Bewältigung typischer Mocap-Herausforderungen für das Gesicht und ermöglicht dem Künstler, fehlerfreie Animationen zu erstellen.
Timecode-basierte Aufzeichnung von Animationen im Vollbildformat, unabhängig von der Computerleistung. Erfassen Sie saubere Gesichtsanimationsdaten mit bis zu 60 fps ohne Bildausfälle.
Weitere Funktionen
“AccuFACE ist eine revolutionäre Lösung für die Erfassung von Gesichtsausdrücken, die sowohl mit Live-Video als auch mit aufgezeichnetem Video funktioniert. Jetzt sind Kosten und geografische Einschränkungen kein Hindernis mehr, und Schauspieler und Sprecher können von jedem Ort der Welt aus zusammenarbeiten. - John Martin, Vizepräsident Marketing, Reallusion
Erfassen Sie Gesichtsausdrücke aus beliebigen Videoquellen
AccuFACE ist ein videobasiertes KI-Tool zur Erfassung von Gesichtsausdrücken aus allen Arten von Videomaterial. Für Live-Webcams ist AccuFACE die erste Wahl und bietet Kompatibilität mit eigenständigen USB-Webcams oder Laptops mit integrierten Webcams. Die Software bietet eine optimale Tracking-Auflösung von 720p und eine flüssige Bildfolge von 30 Bildern pro Sekunde. Darüber hinaus ermöglicht die Software das einfache Drehen oder Spiegeln der Aufzeichnung, so dass auch mobile Videoübertragungen von montierten Helmkameras möglich sind.
Somit entfällt die kostspielige Anschaffung spezieller Mocap-Ausrüstung, und die Nutzer können mit handelsüblichen Kameras oder Mobiltelefonen aufzeichnen. Alternativ lassen sich Gesichtsanimationen auch direkt aus aufgezeichneten Videos erfassen. Mit AccuFACE können Produktionsstudios nahtlos mit professionellen Schauspielern und Synchronsprechern aus der ganzen Welt zusammenarbeiten. Dadurch können Animationen unabhängig von Ausrüstung, Zeit und Ort produziert werden, was eine flexible und effiziente Lösung für die Erstellung von Inhalten darstellt.
AccuLIPS: Optimierung der Lippensynchronisation und Unterstützung mehrerer Sprachen
Die integrierte AccuLIPS-Engine ermöglicht komplexe Lippen- und Zungenbewegungen, an denen andere Gesichts-Mocap-Systeme scheitern. Durch die Extraktion von Textdaten aus der Stimme generiert AccuLIPS eine zusätzliche Visem-Spur und sorgt so für eine präzise Lippensynchronisation.
Durch das Hinzufügen geeigneter Textskripte wird die Genauigkeit der Lippenerkennung verbessert. AccuLIPS kann durch das Umgehen der Sprache-zu-Text-Erkennung auch für andere Sprachen als Englisch eingesetzt werden, und es stehen kostenlose Tools zur Verfügung, um nicht-englische Textdateien in ihre romanischen Entsprechungen umzuwandeln.
AccuFACE erfasst außerdem synchronisierte Audiodaten und Gesichtsanimationen und ermöglicht so die schnelle Erstellung von stimmsynchronisierten Animationen unter Verwendung von Audiodaten von Webcams, Mikrofonen oder aufgezeichneten Videos. Unabhängig davon, ob die Framerate des Quellmediums auf 24, 30 oder 60 fps eingestellt ist, erzeugt die AccuFACE-Engine konsistente audio-synchrone Animationen basierend auf der jeweiligen Quell-Framerate.
Vollspektrum-Kalibrierung und Mocap-Optimierung
Durch die Definition einer neutralen Ausgangsbasis und die Anpassung der Augenbrauenbewegungen zur Erzielung optimaler Ergebnisse kann AccuFACE dazu verwendet werden, die Ausdrucksmöglichkeiten des Darstellers zu verbessern. Die Kalibrierungsprofile können leicht gespeichert und in der gleichen Mocap-Konfiguration wiederverwendet werden. Die Vielseitigkeit der Kalibrierungen im LIVE- und VIDEO-Modus ermöglicht außerdem eine mühelose Ausrichtung zwischen Live-Darstellern und die Erfassung von Kalibrierungsbildern aus mehreren Videodateien. Die Software bietet ein umfassendes Toolkit zur Bewältigung typischer Mocap-Herausforderungen für das Gesicht und ermöglicht dem Künstler, fehlerfreie Animationen zu erstellen.
- Kalibrierung im LIVE-Modus: Passen Sie die Gesichtsparameter des Charakters über einen einfachen, geführten Prozess an den Live-Darsteller an und erhalten Sie unmittelbares Feedback für die weitere Feinabstimmung der Animation.
- Kalibrierung im VIDEO-Modus: Wenn es schwierig ist, die idealen Kalibrierpositionen aus einer einzigen Videoquelle zu erhalten, ermöglicht AccuFACE die flexible Suche nach Kalibrierbildern in mehreren Videodateien.
- Stärkenausgleich: Individuelle Anpassung der Stärke an den Akteur und Angleichung der Ausdrucksintensität.
- Smooth-Filter: Eliminierung unerwünschter Schwankungen in den Trackingdaten, die durch zu große Trackingwinkel, übermäßige Haarabdeckung oder ungleichmäßige Beleuchtung und Schattenbildung verursacht werden.
- Rauschunterdrückung: AccuFACE bietet ein umfassendes Toolkit zur Bewältigung häufiger Herausforderungen und bringt Künstler dem Ziel einer erstklassigen Animation einen Schritt näher.
- Anti-Interferenz: Bereichsübergreifende Interferenzen und Cross-Triggering können zu einer verwaschenen Mimik führen. Die AccuFACE-Interferenzunterdrückung kann unerwünschte Kopf-, Stirn- und Mundbewegungen reduzieren.
Timecode-basierte Aufzeichnung von Animationen im Vollbildformat, unabhängig von der Computerleistung. Erfassen Sie saubere Gesichtsanimationsdaten mit bis zu 60 fps ohne Bildausfälle.
Weitere Funktionen
- Verstärkung oder Abschwächung der vom AccuFACE-Tracker gesendeten Blendshape-Signale für das Gesicht.
- Multi-Level-Aufnahme zum Überlagern oder Ersetzen ausgewählter Gesichtsanimationen.
- Kompatibel mit dem CC3+ Face Rig Standard von Character Creator, Tools und Pipeline für die Charaktererstellung.
- Zugang zum Reallusion Ökosystem für digitale menschliche und stilisierte Charaktere.
- iClone Motion LIVE ermöglicht die Synchronisierung von AccuFACE mit Body Mocap und Datenhandschuhen für Live-Performance am ganzen Körper.
