Nederland is een exportland als het gaat om nieuwe tv-formats, maar loopt ook voorop in broadcasttechnologie. Op het Media Park, bij de opnames van de virtuele zang- en danswedstrijd ‘Avastars’, komen die twee elementen samen. De technologie van de NEP Group is daarbij cruciaal. “De combinatie van motion capture en AR maakt het uniek voor tv”, zegt Max van den Camp, Product Specialist Graphics and Augmented Reality van NEP.
Avastars is bedacht door John de Mol van Talpa Entertainment Productions die al vele jaren met het idee rondliep. Het gaat om een zang-en danswedstrijd waarin acht kandidaten tegen elkaar strijden. Dat is op zich niet een nieuw idee, maar deze kandidaten zijn niet van vlees en bloed, maar een virtueel supertalent: een avastar.
Achter deze avastars schuilen bekende namen uit de zangwereld, onder wie Ben Saunders, Lisa Loïs en Dwight Dissels. Elke zanger vormt samen met een professionele danser één Avastar die live on stage optreedt. Met motion capture technologie kunnen de bewegingen van de danser worden ‘overgebracht’ op de Avastar. Een camera registreert de mimiek en mondbewegingen van de zanger.
Het is een nieuw format in de tv-wereld waarvoor ingewikkelde nieuwe technologie moest worden ontwikkeld. Dat heeft ook even geduurd. De afgelopen twee jaar heeft Talpa Entertainment Productions samen met NEP hard gewerkt aan de realisatie van het programma.
Een grote uitdaging
Technisch gezien was dat een behoorlijke uitdaging, legt Max van NEP uit. “Het moeilijkste voor ons was om de motion capture technologie te integreren in onze bestaande augmented reality workflow. AR is iets dat wij in grote televisieprogramma’s vaker doen. En dat beheersen we goed. Maar juist die motion capture technologie daar bovenop leggen en het normale opnameproces grotendeels intact laten, dat was de grootste uitdaging. Dat heeft te maken met de tijd die de computer nodig heeft om de data te verwerken en naar een videoplaatje te brengen.”
Wat maakt Avastars nu zo uniek? Max: “Motion capture technologie wordt veel gebruikt in de game- en filmindustrie. Ze nemen dan dingen op die meer als leidraad dienen voor hetgeen ze uiteindelijk gaan maken. Ze weten altijd van tevoren wat ze gaan doen. Dat is dus helemaal anders dan bij Avastars. Dat is een real-time situatie waarin werkelijk alles kan gebeuren en alles moet werken. Want als een danser hier bedenkt een handstand te gaan doen, dan moet onze techniek daar klaar voor zijn.”
Om dit allemaal te realiseren, is er veel rekenkracht van computers nodig. NEP maakt daarbij gebruik van het eigen datacenter op het Media Park. “Hier in de studio zit de afstandsbediening van de kit”, vertelt Max. “De echte rekenkracht staat een stukje verderop. Dat is eigenlijk ook wel weer uniek, wat we aan technologie op het Media Park hebben staan. Heel veel mensen die realiseren zich niet wat hier allemaal verborgen zit. Dat is ook weer een leuke innovatie van NEP geweest, de remote productie. En die gebruiken we nu ook voor Avastars.”
Ook het crossmediale maakt Avastars bijzonder, zegt Max. Social media bijvoorbeeld is een belangrijk onderdeel. “Dat werd er in het verleden in veel programma’s een beetje bij gedaan. Nu is het een onderdeel van het format. Avastars wordt ook live gestreamd op TikTok, waarbij je ook achter de schermen kan meekijken. Zowel de uitzending als de dansers en zangers op de workstage zijn daar te zien. Ook zijn influencers heel stevig betrokken bij het programma. Op die manier is het groter dan alleen lineaire televisie.”
Wereldwijde samenwerking
Voor het ontwikkelen van de technologie is veel gebruik gemaakt van de knowhow in de wereldwijde NEP Group, zegt Max. “We hebben samengewerkt met collega–bedrijven in het VK en de VS, die in de game– en filmbusiness zitten. Zij hebben veel ervaring met motion capture. Zij hebben dus veel kennis van dat puzzelstukje en wij van het andere puzzelstukje, de broadcasttechniek. De uitdaging was om dat samen te brengen. Voor hen is het broadcastdeel en dat real-time live, de ‘live on tape workflow’ zoals we die bij Avastarsgebruiken, nieuw.”
Dat ‘live on tape’ maakt Avastars bijzonder, legt Max uit. “Soortgelijke shows zijn al eerder geproduceerd. Die werden opgenomen en later in de postproductie werden de puntjes op de i gezet. Maar dat is niet schaalbaar. We kunnen dit nu live inzetten in een productieproces dat niet heel sterk afwijkt van het traditionele productieproces. Dat zorgt ervoor dat we dus een zang en danswedstrijd met virtuele supertalenten kan doen. Wat schaalbaar is over de wereld. Dat is altijd het doel geweest van dit project.”
De schaalbaarheid van Avastars is een belangrijk onderdeel van het format. Dat is ook heel interessant voor NEP, geeft Max toe. “Dit is ook exact de reden waarom wij dit innovatieve partnership met Talpa Entertainment Productions zijn aangegaan. Het ontwikkelen van deze techniek is een vrij kostbaar proces. Als je dat voor één project zou doen, is dat waanzin. We willen natuurlijk graag dat het internationaal wordt verkocht.”
Deuren gaan open
Maar er wordt ook nagedacht over nieuwe toepassingen van de Avastars-technologie in bijvoorbeeld andere genres zoals sport en nieuws. Max: “Hoe en wat, dat weet ik nog niet. Maar ik denk wel we met dit project hebben laten zien is dat je de motion capture techniek bij de broadcast kunt brengen. Er zijn veel nieuwe mogelijkheden. Dit is nu entertainment, maar je kan bijvoorbeeld in het nieuws mensen heen en weer teleporteren. Van locatie A naar B. De mogelijkheden zijn legio. We kunnen nu echte mensen in digitale mensen veranderen. Daarmee is opnieuw een deur opengezet.”
Ideeën zijn er genoeg, zowel bij NEP als bij Talpa Entertainment Productions, zegt Max Van den Camp. “We hebben nu met Avastars de basis gelegd voor een innovatief partnership. We waren natuurlijk allang partner in die zin dat we een hele goede klant–leverancier relatie hebben met Talpa. Met Avastars gaan we een stapje verder, juist omdat techniek steeds vaker het onderscheidend vermogen kan brengen in formatontwikkeling en in de content voor de kijker. Daarmee willen we onze gezamenlijke innovatieve kracht versterken.”
