De Zweedse sciencefiction-avonturenfilm Watch the Skies maakt gebruik van een techniek genaamd visual dubbing om de lipbewegingen van de acteurs aan te passen aan de nagesynchroniseerde Engelse dialogen – zonder ook maar één scène opnieuw te hoeven filmen.
Dit is te danken aan het in Los Angeles gevestigde AI-filmbedrijf Flawless en hun technologie TrueSync, die de volledige acteerprestatie analyseert, met deep learning een driedimensionale representatie van het gezicht maakt, en vervolgens de mondbewegingen in de originele beelden aanpast in de postproductie.
Hoewel TrueSync al een paar jaar bestaat, werd de technologie eerder vooral gebruikt om grove taal te vervangen. In de PG-13-versie van de Britse survival-horrorfilm Fall uit 2022 (geregisseerd door Flawless-CEO Scott Mann), werden bijvoorbeeld 35 scheldwoorden vervangen door mildere termen als “fricking”, zonder dat er scènes opnieuw gefilmd hoefden te worden.
Ditmaal wordt de technologie voor het eerst ingezet om een hele film visueel na te synchroniseren. Watch the Skies, die in 2022 in Zweden uitkwam onder de naam UFO Sweden, volgt een tiener die samen met een UFO-watchersclub op zoek gaat naar haar vermiste vader, van wie ze vermoedt dat hij door buitenaardse wezens is ontvoerd. De originele Zweedse acteurs hebben hun eigen rollen in het Engels ingesproken, waarbij hun Zweedse accent behouden bleef.
TrueSync werkt volledig in postproductie en vereist geen heropnames of speciale apparatuur. De technologie bevat bovendien een rechtenbeheersysteem om te garanderen dat de AI-bewerkingen alleen plaatsvinden met toestemming van de betrokken artiesten. Daarnaast kan het volgens Flawless tot wel 50% besparen op de kosten van traditionele nasynchronisatie of heropname.
Watch the Skies draait vanaf 9 mei in bioscopen in de VS.
De Duitse club van nasynchroniseerders heeft werkelijk al de noodklok geluid. Dat is daar echt een carrière, je status valt samen met die van de acteur die je ‘doet’ en die lopen ook premières af en voelen zich dan de artist. Nou die worden dus als eerste beroepsgroep volledig door dit TrueSync en AI totaal overbodig.
Paul van Gorcum kon tenminste nog prima acteren (hij leeft nog hoor, maar nu echt met pensioen).
Iets om te gebruiken bij journaal in makkelijke taal. Of denkt het journaal dat mensen met problemen met Nederlands de ondertiteling wel goed kunnen lezen?