Zo krijgt AVROTROS met AI-labeling meer inzicht in kijkcijfers

Hoe zorg je dat makers databewuste keuzes kunnen maken? Bij AVROTROS heb ik dit jaar gewerkt aan een innovatief project waarbij we AI inzetten om televisie-uitzendingen automatisch te labelen. Met deze labeling weten we precies wanneer welk onderwerp wordt besproken en welke gast in beeld is. Door deze data te koppelen aan kijkcijfers, krijgen redacties direct inzicht: bij welke onderwerpen haken kijkers af en wat houdt hun aandacht vast?

Om te begrijpen waarom dit zo waardevol is, is het goed om te kijken naar de huidige situatie. Televisiebedrijven hebben veel inzicht in kijkgedrag. Ze weten hoeveel mensen een uitzending hebben gezien, weten hoeveel kijkers er per minuut zijn en ze kunnen zelfs zien wat er op concurrerende zenders gebeurt.

Het enige wat ze niet weten is wat er in de uitzending gebeurt als ze in de kijkcijfercurve een flinke stijging of daling zien. Fanatieke makers leggen dan soms het draaiboek naast de cijfers of openen de uitzending in NPO Start. Maar door deze hoge drempel gaan ook waardevolle inzichten verloren. Dat moet toch beter kunnen?

Ik liep al langer rond met het idee om uitzendingen te labelen (soms deed ik het labelen ook handmatig), maar door de recente AI-ontwikkelingen werd het nu echt haalbaar. Hoe handig zou het zijn om niet een grafiek met een simpel lijntje te zien, maar een grafiek zoals onderstaande? Elke kleur in de grafiek is een onderwerp in de uitzending, zodat je direct ziet of een onderwerp goed aansluit bij de doelgroep. Ik diende een innovatieproject in bij NPO Innovatie en we schakelden AI-hulp in van Xebia.

Uitdagingen met labeling: van video naar bruikbare data

Het omzetten van video naar gestructureerde data is complexer dan je denkt. Video’s bevatten veel ‘ruis’: irrelevante informatie die je niet wil meenemen in je analyse. Daarnaast is er geen vast signaal als een nieuw onderwerp start en ook de introductie van gasten verschilt. Voor een mens is dit allemaal logisch te volgen, maar voor AI is het een flinke uitdaging.

Onderwerpen automatisch detecteren

Voor dit project hebben we een systeem opgezet dat automatisch herkent welke onderwerpen wanneer worden besproken. Door slim gebruik van verschillende AI-modellen (bijvoorbeeld Gemini) bereiken we hierin een accuraatheid van 86 procent ten opzichte van handmatige labeling. Overigens betekent die resterende veertien procent niet dat die labeling altijd fout is, want je kunt alsnog begrijpen wat er in de uitzending gebeurt.

Interessant genoeg bleek dat het gebruik van alleen audio vaak al voldoende is. Niet alleen een mooie kostenbesparing, maar ook een voorbeeld van hoe eenvoudige oplossingen soms het beste werken.

Wie is er in beeld?

Een tweede uitdaging was het herkennen van personen in beeld. Dit bleek complexer dan het detecteren van onderwerpen. Niet alleen moet het systeem relevante personen onderscheiden van mensen op de achtergrond, ook moeten ze correct geïdentificeerd worden als ze in verschillende shots voorkomen.

Door verschillende AI-modellen te combineren en specifieke filters toe te passen, komen labels van personen voor 90 procent overeen met de handmatige labeling.

Hoewel we blijven kijken hoe we de onderwerps- en persoonsherkenning kunnen blijven verbeteren, is het uiteraard wel de vraag hoeveel tijd en geld je wil besteden aan die laatste procenten. Als alternatief hebben we een webapp waarin je resultaten kan inzien en waar nodig corrigeren. Deze ‘human-in-the-loop-aanpak’ zorgt ervoor dat het systeem betrouwbaar blijft én dat we situaties kunnen signaleren die we structureel kunnen verbeteren.

Toekomst

Het systeem draait nu elke nacht in de cloud voor enkele programma’s waarmee we nu testen. Deze labeling voor de kijkcijfers zie ik overigens als een begin van iets groters. Je zet een uitzending om in bouwstenen, en daarmee kun je veel verschillende dingen bouwen. Wie weet dat je over een tijdje de onderwerpen van een uitzending aan AI doorgeeft en dat je dan de ideale uitzendingsmix terugkrijgt.

Maar één ding staat vast: AI en data zijn een copiloot, geen automatische piloot. De maker blijft verantwoordelijk en beslist uiteindelijk zelf hoe deze inzichten worden toegepast.

Wil je meer weten over dit project? Stuur mij een bericht. Ben je benieuwd naar de innovatieprojecten van collega’s van andere omroepen, neem dan een kijkje bij NPO Innovatie.

Ook interessant

Eerder schreef ik op mijn blog over hoe ons zelfgemaakte dataplatform Pandora koude data omzet in een menselijk verhaal.