• Super Vision
  • Posts
  • ChatGPT, de laminaatvloer van de literatuur

ChatGPT, de laminaatvloer van de literatuur

Hi đź‘‹ lezer,

"Beloof je dat de komende nieuwsbrief niet deels wordt geschreven door ChatGPT? Na minder dan een week is dat trucje al sleets geworden... ;-) "

Dit mailde Vriend van de Brief Frank me afgelopen maandag 🤭. Ik waardeer dit soort betrokkenheid enorm en ben het ook met Frank eens. Daarom beloof ik bij deze, mijn beste lezer, dat niets in deze brief is geschreven door die nieuwste generatie chatbot van OpenAI.

Wat er wel in deze brief zit (en in alle andere edities)?

Longtime-lezers kennen inmiddels het perspectief waarmee ik de zaken benader. Als het om AI gaat, krijg je van mij wekelijks een enigszins genuanceerd verhaal, althans, dat hoop ik. In ieder geval geen hijgerig hallelujah of knee-jerk doemscenario.

Al is het door de snelheid waarmee alleen al dit jaar de een na de andere nieuwe AI-toepassing is opengesteld voor gebruik, niet altijd eenvoudig om afstand te nemen en binnen zeven dagen te reflecteren op alles wat voorbijraast.

Enfin, met Super Vision onderzoek ik samen met jou de mogelijkheden en beperkingen van AI; die waaier aan nieuwe technologie als toepassing binnen de creatieve sector.

Noem me een creatief-constructivistische realtechnoloog. Voor AI zelf en technologie ben ik niet bang. Wel voor hoe mensen er over denken en er (niet) mee om (willen/kunnen) gaan.

Ik kwam een passende spreuk tegen:

'It is easier to fix an algorithm than it is to change people’s minds.'

(Aan het eind van de brief weet je van wie deze uitspraak is...)

Deze week: profeten, wetenschappers en pragmatici

Ik wil je, wellicht zwevende tussen overenthousiast en apocalyptisch maar kritisch-nieuwsgierige lezer, deze week helpen je horses te holden wat betreft meningsvorming over de nieuwste generaties AI-generatie.

Want ken je die mop van de profeet, de onderzoeker en het algoritme die een nieuwsbrief binnenlopen? Die mop vertel ik deze week, in vier aktes:

  1. De onderzoeker - De invloed van algoritmes op het journalistieke proces.

  2. Het algoritme - Wat ChatGPT (en andere generatieve AI) nooit zullen leren (en waarom dat door hun bouwers komt en niet door jou!).

  3. De profeet - In welke val we iedere keer trappen bij nieuwe AI.

  4. De pragmatist - "All models are wrong. Some are useful.”

Veel inhoud- & leesplezier! ⏱ 11 minuten

Laurens.

Ps. Als er een ding is dat generatieve tekst-AI niet kan is het wel het produceren van onvoorspelbaar woordgebruik. Of Engels en Nederlands door elkaar schrijven in een enkele zin, zo blijkt uit onderzoek (đź”’)

1. De onderzoeker - Hannes Cools

Invloed van algoritmes op het journalistieke proces

Iets waar geen chatbot tegenop kan is het werk van Hannes Cools. Hij promoveerde afgelopen vrijdag met onderzoek naar 'How algorithms are augmenting the journalistic institution'

Cools is inmiddels postdoc onderzoeker bij het AI, Media & Democracy Lab van de Universiteit van Amsterdam.

Ik interviewde hem eerder al voor het boek The Art of AI. Op dat moment zat hij bij de Washington Post voor zijn promotieonderzoek. Hij bezocht verder nieuwsredacties in het Verenigd Koninkrijk, Duitsland en Belgie.

Cools' proefschrift richt zich op 'journalist-algorithm interaction and enhances our understanding of how these tools are reshaping rather than reinventing the journalistic institution.'

TL;DR: Cools' conclusies omtrent algo's in de journalistiek

Vorige week mailde Hannes me een aantal conclusies uit zijn dissertatie om met jou te delen. #nieuwekennis #publiekdomein.

In zijn eigen woorden:

  1. Ja, tools zijn alsmaar meer aanwezig op redacties. Ik heb dit vastgesteld bij redacties in België, Duitsland, de UK en de VS, en bij sommige redacteuren/redactrices blijft er een krampachtige houding merkbaar in hoeverre deze tools (als metricsystemen) gebruikt moeten worden.

  2. Er is een gebrek aan algoritmische kennis binnen redacties. De personen die de algoritmen ontwikkelen zijn meestal ingenieurs of data scientists die geen (voldoende) band hebben met de journalistiek. Er is een discrepantie tussen wat ik de technologisten noem en de journalisten.

  3. Autonomie en agency moeten bij de journalisten blijven. Zo niet, dan zal het wantrouwen jegens die tools toenemen.

  4. Nieuwsorganisaties moeten een beter evenwicht vinden in het gebruik van algoritmen.

  5. Uit onderzoek bij De Standaard, De Morgen, De Tijd, Het Nieuwsblad en Het Laatste Nieuws (maar ook bij andere redacties in de VS/VK) blijkt dat tools meestal top-down worden ontwikkeld en geïmplementeerd. Daarnaast is het zo dat redacties heel snel zich op nieuwe tools richten maar dat vaak doen zonder de nodige kennis. Dat maakt het structureel soms riskant, daar er weinig vragen gesteld worden óf die technologieën wel nodig zijn.

  6. Er is een gebrek aan transparantie over hoe redacties bepaalde tools gebruiken naar het publiek toe. Daar wordt vaak te weinig over gereflecteerd.

👉🏽 Meer weten over het onderzoek van Hannes Cools of zijn proefschrift? Vind Hannes hier en lees zijn proefschrift daar.

2. Wat ChatGPT (en andere generatieve AI) nooit leren

In de titel noem ik ChatGPT het laminaat van de literatuur. Ik doel hiermee op de vloervorm die lijkt op hout, zich meestal voordoet als hout en ook deels uit hout bestaat. Maar is het hout?

'Laminaat bestaat uit een aantal lagen die op elkaar zijn gelijmd. De bovenste laag is een slijtvaste laag van kunststof, meestal melaminekunststof en aluminiumoxide (ook wel korund genoemd). Daaronder zit de decorlaag waar bedrukt papier in zit. De decorlaag geeft de laminaatvloer zijn unieke uiterlijk.'

Een vrij goede weergave eigenlijk van hoe generatieve AI werkt en hoe wij er naar kijken - of het nu gaat om beeld, tekst of welk mediumtype dan ook.

Het zijn taalsystemen; geen denkers, gesprekspartners of schrijvers.

Besef je goed dat generatieve tekst-AI:

  • Is getraind op bestaande teksten, zinnen en woorden. Daardoor kan het nooit meer produceren dan de som der data-delen. Het resultaat is een recombinatie van bestaande woorden en zinnen. En die zijn voornamelijk cliche, voorspelbaar en statistisch het meest waarschijnlijk (probabilistisch) en lijken daardoor logisch en kloppend.

  • Primair gericht is op het produceren van tekst, in plaats van begrijpen of redeneren op basis van vraag en inhoud.

  • Deze modellen zijn goed in tekst, niet in het begrijpen van taal, het voeren van gesprekken of het nabootsen van intelligentie.

Dat de inhoud coherent lijkt en de zinnen grammaticaal kloppen, bevestigt vooral hoe knap dit soort systemen tekst kunnen reproduceren die passend is bij de initiele tekstprompt: de startvraag of -commando.

Wat mist bij interacties met AI-chatbots

In dit artikel van Brandeis Marshall, schrijver van het boek 'Data Conscience' wordt haarfijn uitgelegd waarom chatbots en tekstgeneratoren als GPT-3 eigenlijk nooit perfect zullen werken, zolang ze alleen 'talig' zijn en als oplossing voor een computing-probleem zijn ontwikkeld.

Zo oordeelt Marshall dat

'There’s a consistent history of AI-teams trying to digitize our language to glorious failure. Yet, they keep approaching what they deem as problems the same way — strictly through the computational lens. They’ve generated algorithmic waste, environmental residue from the electronic/compute power and misinformation proliferation.

No common sense in AI

Wat we moeten beseffen volgens haar is dat de 'common sense' die bij taal en communicatie hoort, zich niet in computermodellen laat vatten. Daar heb je namelijk begrip van het volgende voor nodig:

  1. Designing digital communication systems come with more than computing problems, but with social ones.

  2. GPT-3 was supposed to be the answer to making natural language processing faster, better, easier and require minimal human intervention. It’s led to more people trying to solve nuanced social realities with an algorithmic-based approach. That algorithm can’t decide nuance or understand situational awareness.

Op Fastcompany las ik over resultaten van ChatGPT die bovenstaande bevestigen. Het gaat mis wanneer

  • Je vraagt naar een esoterisch onderwerp;

  • Je het taken geeft die feitelijke nauwkeurigheid vereisen, zoals het nieuws verslaan;

  • Je wilt dat het vooroordelen wegneemt;

  • Je de allerlaatste data en cijfers nodig hebt.

Met andere woorden, zo schrijft de tester:

'Als je een analyse wilt van het covid-19 beleid van verschillende landen in 2020, is ChatGPT wellicht geschikt. Maar als je het weer op dit moment wilt weten? Google maar gewoon.'

3. In welke val we iedere keer trappen met de intrede van nieuwe technologie

'At its birth, every new technology ignites a Tech Panic Cycle. '

Dit is een van de belangrijkste take-aways uit een recent fijn stuk over de betekenis van AI-generated art van Kevin Kelly. Hij is een van de oprichters van het Amerikaanse magazine Wired (nog altijd mijn lijfblad). Kelly is een techno-utopist pur sang.

De eerste drie levels van Kelly's Tech Panic Cycle gaan ongeveer zo:

  1. Don’t bother me with this nonsense. It will never work.

  2. OK, it is happening, but it’s dangerous, ’cause it doesn’t work well.

  3. Wait, it works too well. We need to hobble it. Do something!

Veel mensen zitten nu, met al die nieuwe AI-toepassingen, op Level 2 of 3.

Volgens Kelly heeft het geen zin om dit soort systemen te verbannen of om als schrijver, maker, kunstenaar je werk uit de trainingsdata te laten verwijderen:

'Some artists want assurances that their own work not be used to train the AIs. But this is typical of Level 3 panic—in that it is, at best, misguided. The algorithms are exposed to 6 billion images with attendant text. If you are not an influential artist, removing your work makes zero difference. A generated picture will look exactly the same with or without your work in the training set. But even if you are an influential artist, removing your images still won't matter. Because your style has affected the work of others—the definition of influence—your influence will remain even if your images are removed. Imagine if we removed all of Van Gogh’s pictures from the training set. The style of Van Gogh would still be embedded in the vast ocean of images created by those who have imitated or been influenced by him.'

4. "All models are wrong. Some are useful.”

Naast een nieuwe attitude (zie verderop) om te kijken naar AI, hebben we ook gereedschap nodig, zoals detectoren voor fake- of synthetische content. Zo smoren we ongewenste toepassingen van generatieve AI (zoals plagiaat, misleiding, oneigenlijk commercieel gewin en andere wetsovertredingen) in de kiem, sporen we ze op en bestraffen we ze eventueel.

👉🏽 Tekstdetector 

Analyseer real (menselijke) or fake (synthetische) Engelstalige teksten met de GPT Output Detector Demo van OpenAI.

👉🏽 Beelddetector

Misschien kende je InVid/WeVerify al. Daar zit nu ook de tool VERA bij, om beeld mee te verifiëren:

VERification Assisted by AI. R&D & innovation co-funded by the HorizonEU. Continuing WeVerify work. And much more!

Mentaliteit: progress over perfection

Belangrijker nog is een mentaliteitsverandering. In The Economist las ik over twee nieuwe boeken die ons een nieuw, interessant perspectief kunnen bieden. Orly Lobel, schrijver van The Equality Machine, stelt dat:

“We need to cut through the utopian/dystopian dualism. The goal should be progress, not perfection."

Het is eenzelfde soort kijk en meer werkbare aanpak van het toepassen van AI die we eerder al vernamen bij David Graus.

Het tweede boek dat The Economist behandelt is 'Escape from Model Land'. Wat ik daar uit meeneem is het besef dat het perfecte model simpelweg niet te realiseren valt. Vind ik wel een bevrijdend idee, eerlijk gezegd:

'Yet rather like the full-scale map of an empire imagined by the writer Jorge Luis Borges, a perfect model of the teeming world will always be beyond reach.

The task is to ensure that the abstractions correspond to reality as far as is humanly possible. “All models are wrong,” runs a venerable saying. “Some are useful."'

De dubbelrecensie eindigt met deze alinea:

'Both these books exhibit a healthy realism about data, algorithms and their limitations. Both recognise that making progress involves accepting constraints, whether in law or coding. Their reflections offer the basis for a constructive agenda.

As Ms Lobel puts it: “It’s always better to light a candle than to curse the darkness."'

Je gekozen fundament

Soms accepteren we laminaat voor wat het daadwerkelijk is. Heb je de smaak, het budget en de tijd dan is eiken wellicht te prefereren (of beton of marmoleum voor anderen).

Laat de keuze voor je AI-vloer in ieder geval een bewuste zijn. En zo niet, dan hebben we altijd nog een AI-model om je nieuw inzicht te geven. Om af te sluiten met een wijsheid van schrijfster Orly Lobel:

'It is easier to fix an algorithm than it is to change people’s minds.'

âś… Zo, een hele brief weer!