• Super Vision
  • Posts
  • Wat je moet weten over aanbevelingen - Super Vision #10

Wat je moet weten over aanbevelingen - Super Vision #10

November 04, 2021

Hi, ✋🏻Deze week ga ook ik even meta, met een aantal aanbevelingen over aanbevelen. Niet omdat -en dit weet jij natuurlijk allang, mijn beste lezer- het promoten van content nogal negatief kan uitpakken (bij de producten van Meta bijvoorbeeld). Wel omdat zogeheten recommendation algoritmes negatief in het nieuws komen de laatste tijd; filter bubbels, misinformatie, fabeltjes fuik... een weekje (inter)nationale media volgen en ... volle kaart!

Het is allemaal te kort door de bocht EN niet helemaal fair.

Met deze editie hoop ik nuance en opheldering te brengen in het denken over en toepassen van recommendation systems. Ik heb een aantal aanbevelingen voor als je meer wilt weten over aanbevelingen en machine learning; zowel binnen de journalistiek, voor content creators en voor marketeers. Tot slot heb ik een aantal suggesties voor lees-, kijk- en luistervoer - zie Recommended Learning.

Ik kan het je aanraden: lees deze editie (het is een beetje een long-read geworden), geef me expliciete feedback, en beveel deze nieuwsbrief zoveel mogelijk aan binnen je netwerk 😉

Veel leesplezier, Laurens!

Volgende week: De top 5-meest-geklikte-links uit m'n nieuwsbrieven tot nu toe.

1. Dit moet je weten over aanbevelingen:

Om kort te gaan: aanbevelingen helpen ons om om te gaan met een teveel aan informatie. Mensen vinden aanbevelingen daarom fijn: ze verminderen de complexiteit van het alledaagse leven, zijn een filter voor de zogenoemde infodemie en verminderen onze keuzestress.

Pain relievers

Als je bekend met user-centred design methoden (zoals service design, business design, design thinking), dan ken je wellicht ook het value proposition canvas. Belangrijkste twee activiteiten hierbij zijn het in kaart brengen van de pains en gains van je gebruikers. Als je de wensen, behoeften, frustraties en pijnpunten kent van je publiek -gebruikers, lezers, luisteraars, swipers, kijkers- dan kun je ze beter 'bedienen'. Aanbevelingssystemen zijn pain relievers.

Gain creators

Iets aanbevelen op basis van bijvoorbeeld ervaring, autoriteit, of complementariteit doen verkopers al jaren. Met hun kennis 'helpen' ze mensen die de noodzaak van het andere product (nog) niet beseffen, die meer willen horen van hetzelfde muzikale genre of eerdere films van regisseur X willen zien.

En die bubbel dan?

"Ja maar ...", roep je vast nu. Wel, uit diverse onafhankelijke onderzoeken van het IVIR (UvA) en de Media Monitor / Commissariaat voor de Media blijkt dat het negatieve effect van die dingen niet groot is - althans, niet in Nederland / de meeste Europese landen. Een conclusie uit de Mediamonitor (2019):

Het onderzoek laat zien dat bijna niemand in Nederland volledig in een filterbubbel zit. Nieuwsgebruikers maken in ruime mate gebruik van nieuws dat niet door algoritmes wordt aanbevolen. Ook binnen algoritmische aanbevelingssystemen hebben zij toegang hebben tot een divers aanbod aan nieuws en informatie. Mensen die geïnteresseerd zijn in nieuws gaan door het gebruik van sociale media juist meer nieuws gebruiken. Hierdoor verhoogt de diversiteit van hun nieuwsgebruik alleen maar.

We moeten ophouden 'die ene term' te blijven gebruiken. En niet omdat het angsten laat bestaan of verder aanwakkert, maar juist ook omdat de term innovatie op dit gebied in de weg zit. Het IVIR-onderzoek zegt hierover:

A real risk of the reigning filter bubble rhetoric is the development of ill-conceived prejudices against digital technologies that help to sort and order online information.

In the worst case, concerns about filter bubbles will discourage media companies in Europe from exploring new ways of distributing content and using algorithms and personalized recommendations as a way to better inform users, to offer better (and monetizable) services, and to compete with highly personalized non-news platforms for the attention of consumers.

Wat dan wel de uitdaging is? In hetzelfde onderzoek staat:

The challenge is deploying algorithmic filtering of information in a way that promotes diversity instead of reducing it, better informs citizens instead of simply selling more advertising, and ultimately re-establishing trust in the media as trusted recommenders of what is worth knowing

Wat die uitdaging betreft is er goed nieuws. Dit jaar is een onderzoek gestart door de Universiteiten van Zurich en Amsterdam naar hoe recommender systems media professionals, publiek en het vertrouwen in de journalistiek beinvloeden. Onder de titel de rol van 'news recommendation systems in digital democracies', probeert men daar grip op te krijgen en, om lekker meta te blijven:

Furthermore, we aim to develop evidence-based recommendations on how such recommendation systems could be constructed and (re)programmed in order to meet the various normative requirements of an enlightened, pluralistically informed public.

Even geduld nog: in de zomer van 2024 volgen de resultaten 😱.

2. Hoe werkt digitaal aanbevelen eigenlijk?

Digitale aanbevelingssystemen - in jargon 'recommender systems' (RecSys) werken conceptueel gezien in drie stappen. Informatie wordt:

  1. verzameld

  2. geordend

  3. gerangschikt.

Expliciete en impliciete signalen

De eerste generaties digitale recommenders werkten vooral met expliciete voorkeuren. De gebruiker geeft ze zelf aan, waarop het systeem vervolgens eerste aanbevelingen doet. Denk hierbij aan de 'My news' secties die veel web & mobile apps van nieuwstitels aanboden, nadat je wat secties of katernen had aangevinkt.

Nieuwere generaties werken met signalen die voortkomen uit de interacties van de gebruiker met de applicatie. Denk aan clicks, scroll depth en aankoop- of download-geschiedenis. Deze impliciete signalen vormen de zogeheten input voor de algoritmische agents die de persoonlijke aanbeveling maken voor individuele gebruikers. Deze agents werden voor het eerst op grote schaal succesvol toegepast in commerciele context, bij Amazon en Netflix bijvoorbeeld.

Drie smaken

Er zijn grofweg drie soorten aanbevelingen:

  1. Collaborative filtering; wat Spotify met Discover Weekly doet. Mensen die veel dezelfde nummers luisteren als jij, luisteren ook naar deze artiest / dit nummer waar jij nog niet naar hebt geluisterd (althans, op Spotify dan).

  2. Inhoudsgeorienteerd filteren: kijkt naar kenmerken die zowel met jou -de gebruiker- als met de inhoud te maken hebben. Eigenschappen van beiden worden meegenomen.

  3. Knowledge-based aanbevelen: gebaseerd op metadata, zoals aangegeven voorkeuren en details over de artikelen of de producten. Dit type wordt voor zogeheten cold-start problemen ingezet: wanneer er nog geen gebruikersgedrag is (die impliciete signalen en expliciete voorkeuren) en geen gegevens over nieuwe artikelen of nieuwe producten.

Schaal en snelheid

Dat online aanbevelingssystemen zo succesvol bij Amazon en Netflix werken, komt door de schaal en snelheid waarvoor zij de recommenders inzetten. Je beste vrienden kun je prima van filmtips voorzien. Doe je dit voor alle 22-jarige, niet-studerende Vlaamse liefhebbers van romcoms, dan is dat handmatig en gepersonaliseerd al een stuk lastiger. Het wordt nagenoeg onmogelijk als je ook al die expliciete en impliciete voorkeuren (browse-gedrag, aankopen over tijd, bekeken items en bijv. ratings) wil meenemen om voor iedere, individuele gebruiker tot een gepersonaliseerd aanbod te komen.

Doel van de recommender

Om het systeem echt waardevol te laten zijn, dien je deze te optimaliseren voor het juiste doel. Wie er verzamelt, ordent en rangschikt is daar zelfs nog ondergeschikt aan. Het business model van de aanbeveler is de belangrijkste voorwaarde voor het doel, en het opstellen van de KPI's helpen om de werking van het aanbevelingssysteem te toetsen.

In het begin van Web 2.0 dachten we met folksonomies de macht bij the crowd -the folks- te leggen: iedereen kon met Flickr foto's van metadata voorzien door zelf tags (keywords) toe te voegen. Voor Twitter is de user-generated # een belangrijk principe om informatie mee te ordenen. Welke hashtags veel gebruikt worden, worden weer gerangschikt in de Trending Topics. Je kunt zelf wel bedenken welk doel Flickr had, Twitter heeft en waar Netflix en Amazon voor optimaliseren. Bij de grote nieuwsuitgevers worden de recommenders geoptimaliseerd voor clicks: zijn de aanbevelingen relevant en de pushnotificaties goed gepersonaliseerd dan zal de lezer blijven en terugkeren. En een blijvende lezer = een betalende lezer.

3. Wie zijn de recommenders?

Als het gaat om recommenders in media context, dan is er een belangrijk onderscheid te maken als je kijkt naar de business goals van de verschillende spelers. Het verschil tussen aanbevelingen van platforms en aanbevelingen van producenten/uitgevers?

  • Platforms verkopen publieken aan adverteerders, via content.

  • Producenten -Netflix, Spotify, Videoland, journalistieke uitgevers- verkopen (nieuws)content aan het publiek.

Het verhelderend onderscheid dat hier gemaakt wordt, komt o.a. van onderzoeker Balázs Bodó in het onderzoeksrapport 'Selling News to Audiences – A Qualitative Inquiry into the Emerging Logics of Algorithmic News Personalization in European Quality News Media'

In distinction to the “platform logic of personalization”, which uses personalization to produce engagement and sell audiences to advertisers, [European quality news media] have developed a “news logic of personalization”, which uses personalization to sell news to audiences.

Bodó behandelt in het rapport een aantal factoren die het nou juist zo complex maken om als contentmakers (journalisten, redacties en uitgevers) na te denken over recommenders:

1. Long-term audience loyalty

We found that rather than focusing on increasing short-term user engagement, European quality news media try to use news personalization to increase long-term audience loyalty.

2. Verhouding publiek - redactie:

First, personalization relies on the quantification of audiences, linking personalization to the decades-old debates on how newsrooms should reconcile readers’ demands with editors’ journalistic mission and editorial judgement.

3. Journalistieke afwegingen expliciteren

[...] Algorithms require the formalization of editorial decisions on news and entertainment value, serendipity, diversity, social relevance and importance into specific algorithmic arrangements. How to conceptualize these dynamic, subjective and often deliberately weakly defined considerations in the language of computer science poses challenges?

4. Data, privacy, cookies

Zowel platforms als uitgevers hebben voor hun verschillende doelen en business modellen dezelfde (soort) data nodig:

[...] The same technologies and data that are used to personalize news are used to deliver online advertising. Therefore, at least on the surface, news personalization and free, ad-financed news production are intrinsically linked.

5. Potpourri van personalisaties

Zowel de platforms als de nieuwsuitgevers personaliseren hun aanbod. De echokamer en cacafonie die daardoor ontstaat is een resultaat dat niemand voorzien noch ontworpen heeft; net zoals een file als natuurverschijnsel te beschouwen is.

Conclusie

Er zijn grofweg twee manieren waarop nieuwsorganisaties deze complexe realiteit te lijf gaan:

1. Tight coupling:

News organizations respond to the uncertainties of the field by being more responsive to the demands of their customers (readers and advertisers) and adjust their resources (such as the size and composition of the newsroom) and their practices (such as what and how they publish) to the demands of their customers.

2. Loose coupling:

they “maintain and demonstrate the accepted forms and practices that have brought them institutional legitimacy”

4. Recommenders in de praktijk

Een interessante praktijkcasus in 'Selling news to audiences' komt van een Nederlandse publieke omroep. Ze leek vooraf een duidelijk en logisch doel te hebben geformuleerd voor het aanbevelings-algoritme (inclusief KPI's). In de praktijk bleek deze echter onwenselijk uit te pakken:

[...] the Dutch public service broadcaster wanted people to watch recommended videos to the end, so it parameterized its algorithm accordingly. Human editors realized that this KPI led the algorithm to recommend only short videos, which have a higher chance of being watched till the end.

RecSys

Als je bovenmatig geinteresseerd bent in digitale, online aanbevelingssystemen ('RecSys'), dan start je zoektocht hier:

The ACM Conference on Recommender Systems (RecSys) is the premier international forum for the presentation of new research results, systems and techniques in the broad field of recommender systems

De laatste conferentie vond afgelopen september in Amsterdam plaats. Voor die conferentie diende o.a. ook AI'ers van RTL een paper in. Deze handelt over experimenten met het aanbevelingssysteem van Videoland. En wat blijkt ook hier: het doel en de soorten signalen die je meeneemt om een aanbeveling op te baseren, zijn essentieel. In de paper schrijven de RTL'ers over gepersonaliseerde lijstjes en expliciete data:

The first experiments indicated that users who would see the strip [Top 10 items for each user, red.] would consume 30 minutes more video content on average per month. There are additional signals that can be exploited: explicit likes and dislikes that could be combined with the completion rate.

Even verderop wordt het doel van de Videoland-recommender beschreven:

What do we optimise for? Videoland is a subscription-based service. With our recommender system, we therefore seek to optimise user retention in the long run.

Aanbevelingen voor aanbevelingen; JournalismAI (Polis LSE)

Journalisten

Understanding and anticipating audience needs is one of the clear areas where AI can support a news media business and, in particular, the newsroom attempting to win new audiences and retain existing users or convert them to more engaged users, or even paying subscribers.

JournalismAI heeft met hun Collab-project een aantal aanbevelingen voor AI-based aanbevelingen in een handig rapport gevat:

📑versie | 📺versie

MAGAM

Voor de verschillende platforms van Microsoft, Amazon, Google, Apple en Meta zijn dagelijks wereldwijd tienduizenden data scientists en machine learning engineers met recommenders aan het werk.

Microsoft Start werkt op basis van machine learning en kunstmatige intelligentie. Je voegt je interesses en locatie toe aan de app, of begint zelfs gewoon met het klikken op een artikel. Vervolgens schotelt Start je nieuws voor van "meer dan duizend wereldwijde uitgevers", schrijft het bedrijf.

Start-ups

De voornoemde spelers krijgen nu ook concurrentie van start-ups als Mohi -'recommendations from people you trust'- en SmartNews

“There is a difference between what you want to eat and what you need to eat,” Hamamoto said to Rest of World. “So in the same sense, in terms of news, what you want to know and what you need to know are different.”

Deze Japanse start-up probeert in de VS 'het nieuws algoritme' te fixen en mensen uit hun 'filter bubbles te krijgen'. (Hun waarde na de laatste investeringsronde wordt geschat op 2 miljard dollar, 🦄) In een achtergrondartikel op Rest of World staat:

The company styles itself as diverging from the received wisdom in American media: that polarization sells. SmartNews has developed a news-recommendation algorithm that promises to serve its readers a personalized, but politically balanced range of stories.

Academici

Al een tijdje volg ik via Google Scholar Alerts het werk van een aantal gepromoveerde Nederlandse en Vlaamse AI'ers die in de media werken. Ik volg niet hun werk zelf, maar de papers waarin hun werk geciteerd wordt. (Onderwerpen en personen volgen via Google Scholar Alerts is overigens echt een niche-aanrader 😛). Wat blijkt: in de AI-scene wereldwijd wordt veel toegepast onderzoek gedaan om recommenders verder te verbeteren. Hier is zo'n paper waarin een tool wordt beschreven:

An Unbiased Learning To Rank Algorithm Toolbox

✅ Dit was 'm weer voor deze week!

Recommended learning

Menselijke tip van Remy Gieling, www.ai.nl :

Tip van computational journalist Nick Diakopoulos: How to think about metrics and how editorial criteria can be encoded into the curation algorithms that your own news organization might be developing

Menselijke tip van Tessel Bogaard (Data scientist, NRC Media):

How do news organizations design and implement algorithmically personalized news services? 16 in-depth interviews with professionals working in European public service broadcasting and...

Tip uit de nieuwsbrief van JournalismAI: