Nieuwe techniek kan video's maken van een enkele foto

In het A.I. onderzoekscentrum van Samsung in Moskou zijn ze er in geslaagd om met behulp van kunstmatige intelligentie bewegende beelden te maken vanuit een enkele foto.

Bewegende foto's
Bewegende foto's

Hoewel de techniek voor zogenaamde 'deepfake' video's niet nieuw is (zoals deze van Barack Obama), is deze nieuwe techniek toch wel bijzonder. De reeds bestaande technologie is vaak afhankelijk van vele uren (bewegend) bronmateriaal en 3D-modellen van de persoon om een realistische video te maken. Om de zogenaamde 'Talking Heads' te maken is in principe slechts één foto nodig, al zorgen meerdere foto's wel voor een beter resultaat.

Maar hoe werkt de techniek dan precies? In het kort komt het er op neer dat het neurale netwerk van de A.I. computer moet worden gevoed. Daarin wordt een foto geplaatst waarop de computer de belangrijkste kenmerken van een gezicht markeert (neus, ogen, mond, kaaklijn etc.). Vervolgens gaat de computer op zoek naar videos via de VoxCeleb 2 Dataset, een database van Youtube video's van bekende mensen om zo de juiste bewegingen voor het nieuwe beeld te vinden. Tot slot worden de bewegingen uit die video's vertaald naar het eerder gemaakte 'masker' van de foto om zo de foto te laten bewegen. In onderstaande video wordt het gehele proces uitgelegd:


Om aan te tonen hoe goed het systeem eigenlijk werkt hebben de onderzoekers de techniek ook uitgetest op foto's van wijlen beroemdheden als Albert Einstein, Salvador Dali en Marilyn Monroe. Ook hebben ze de techniek toegepast op bekende schilderijen zoals de 'Mona Lisa' en 'Meisje met de parel', al waren hierbij de resultaten wel wat wisselend.

De paper (PDF) noemt de techniek vooral bruikbaar in praktische zaken zoals videobellen en special effects voor films. Er gaan echter ook genoeg geluiden op hoe de techniek voor verkeerde zaken kan worden gebruikt zoals valse politieke boodschappen verspreiden of om beroemdheden in pornofilms te laten 'meedoen'. Daarnaast kunnen dergelijke technieken er ook voor zorgen dat zelfs videobewijs bij misdrijven twijfelachtig wordt.

Beroemdheden door de AI bewerkt
Beroemdheden door de AI bewerkt