Super Vision #6: Bias in AI

HišŸ–šŸæ. Dit is de eerste Super Vision waarin ik een van de grote drie 'gevaren' van AI behandel. Deze keer is dat bias, oftewel: vooroordelen of vooringenomenheid. En laat ik direct een statement maken:

Zowel data als AI-systemen kennen geen vooroordelen.

Als dit in gaat tegen alles wat je tot nu toe denkt of gelezen hebt, dan zitten we meteen goedšŸ˜‰! Want in deze editie maak ik duidelijk wat dan wel het probleem met bias en AI is, hoe anderen dit oplossen (waaronder een beautymerk) en geef ik vijf tips om zelf bias aan te pakken. Ik heb ook weer een AI-Uitagenda. Veel debias-plezier!

Volgende week: šŸŽ„Video & AI.

Het echte probleem met AI en bias...

Stel: jij en ik ontwikkelen samen een AI-model dat foto's van ruiterstandbeelden genereert op commando, vergelijkbaar met wat DALL-E kan. Hiervoor voeden we ons systeem met duizenden afbeeldingen van dergelijke standbeelden van over de hele wereld. Wanneer het model is getraind, geven we het de volgende opdracht:

> Genereer 100 ruiterstandbeelden

Retorische vraag: hoeveel van die beelden zullen een vrouw op een paard tonen, denk je?!

Maarten de Rijke, AI professor aan de Universiteit van Amsterdam en zijn (destijds) promovendus David Graus schreven in 2016 al een opiniestuk in NRC, getiteld Wij zijn racisten, daarom Google ook, over de echte bias in AI; het is volgens hen een reflectie van onszelf:

Het idee van een algoritme als een statische verzameling instructies die door een machine wordt uitgevoerd is misleidend. In de context van, bijvoorbeeld, Facebooks nieuwsfeed, Googles zoekresultaten, of aanbevelingen van Netflix wordt een machine niet verteld wat te doen, maar verteld om te leren wat te doen. De systemen leren van subjectieve bronnen: onszelf, onze voorkeuren, ons interactiegedrag. Het leren van subjectieve bronnen zorgt vanzelfsprekend voor subjectieve uitkomsten.

1. Wat is bias?

Van de meeste vooroordelen ben je je niet bewust, de zogeheten unconscious bias. Ieder mens bezit ze. Je hebt ze al van jongs af aan, en ze helpen je te overleven. Handig in een groep met mensen waar je van afhankelijk bent of met wie je vaak te maken hebt. Maar onhandig, vervelend, oneerlijk, pijnlijk of zelfs levensbedreigend voor alle andere mensen die minder op jou lijken. Wake up call: al die andere mensen zijn in de meerderheid šŸ˜œ. En zo zijn jouw unconscious bias uiteindelijk ook gevaarlijk voor jezelf en de uitwerking van je AI-toepassing. Er worden in dit artikel maar liefst 19 soorten bias onderscheiden. Ben benieuwd welke je allemaal herkent bij jezelf.

Als je weleens onderzoek doet, ken je het begrip ook in die context. De bekendste vormen van bias hierbij zijn:

  1. selection bias: doelgroep van een onderzoek bestaat uit huisdierenbezitters maar alleen eigenaren van honden zijn geselecteerd om deel te nemen.

  2. confirmation bias: het onderzoek is ontworpen om aannames te bevestigen en/of de onderzoeker gaat op zoek naar resultaten die de eigen aannames onderschrijven.

  3. interviewer bias: werkt twee kanten op; sociaal wenselijke antwoorden van de interviewee of juist vooringenomenheid bij de interviewer.

  4. respons bias en non-respons bias: bij een klant-tevredenheidsonderzoek bijvoorbeeld reageren vaak alleen de ontevreden klanten.

In data:

  • outlier of extreme data bias - je onderzoekt de beleving van Fortnite-gamers wereldwijd en hebt onder je honderd respondenten elf 82-jarige spelers.

In design:

  • design bias: zuurstofsaturatiemeters die ontwikkeld en getest zijn door witte mannen en vrouwen werken niet goed bij zwarte mensen. Crash test dummies (nee, niet de band) waren tot voor kort gebaseerd op Westerse mannenlichamen.

Kort gezegd: bias die niet adequaat wordt geadresseerd resulteert in gemankeerd of onbruikbaar onderzoek. En nu je weet dat er verschillende soorten bias bestaan, kun je niet anders dan er rekening mee houden. Bedenk bij je volgende project eens: welke niet-gebruikelijke bedrijvenĀ zal ik dit keer bellen? Hoe kom ik dit keer bij andere voorbeelden uit? Welke personen kan ik ook interviewen? Welke 'vervelende' designers zal ik om feedback vragen?

2. Waar kom je bias in AI tegen?

Je hebt er waarschijnlijk al tig keer over gelezen. Hier de bekendste voorbeelden:

  • zwarte mannen die vaker en harder worden gestraft in de VS door mede op AI-gebaseerde uitspraken van rechters;

  • videosollicitatie-systemen die niet op inhoud selecteren;

  • Aziatische en Afro-American vrouwen die minder goed geĆÆdentificeerd worden door gezichtsherkenningsoftware.

Wie leest over biasĀ &Ā AIĀ komt ook de volgende begrippen tegen: Fairness, accuracy & trust (FAT), Responsible AI, Explainable AI en Ethical AI. Bekende AI'ers die zich hiervoor hard voor maken zijn o.a. Joy Buolamwini van de Algorithmic Justice League, Lorena Jaume-PalasĆ­ van Algorithm Watch en Timnit Gebru, ex-Google Ethical AI. Deze personen, hun initiatieven en ander onderzoek hieromtrent richten zich allemaal op dezelfde vraag:

Hoe zorgen we ervoor dat mensen in hun (dagelijks) leven niet oneerlijk worden behandeld, gediscrimineerd of anderszins belemmerd door tussenkomst van geautomatiseerde systemen?

En wanneer dat wel het geval is: hoe gaat wie dan waar mee om?

  • Wie is er verantwoordelijk?

  • Hoe helpen we ontwikkelaars van AI-toepassingen: researchers, developers, designers, journalisten, marketeers?

  • Welke aandacht besteden we hieraan in het onderwijs?

  • Wie verzorgt toezicht: nationale regeringen, de EU, ngo's?

  • Wie helpt de burger, de zorgconsument, de verzekerde, de autorijder?

Verschillende stakeholders nemen ondertussen al hun verantwoordelijkheid...

3. Wie werken er aan de-biasing?

Face detection Model Card - Google

Universiteiten, onderzoeksinstituten & non-profits

Onderzoek in academische kringen, zoals in Nederland bij de TUe levert methodes op zoals Fair Match, van promovendus Masoud Mansoury:

"Het idee is om de zichtbaarheid te verbeteren van items van hoge kwaliteit, die een lage zichtbaarheid hebben in de oorspronkelijke set van aanbevelingen".

De Duitse non-profit Algorithm Watch onderzoekt en bericht over misstanden rondom het gebruik van AI bij bedrijven en overheden. En in zowel Vlaanderen als Nederland trekken verschillende universiteiten en onderzoeksinstituten met elkaar op.

Big Tech

Twitter schreef een wedstrijd uit -de Algorithmic Bias Bounty Challenge - om bias in hun algoritmes aan te laten tonen door buitenstaanders:

Finding bias in machine learning (ML) models is difficult, and sometimes, companies find out about unintended ethical harms once theyā€™ve already reached the public. We want to change that.

Google heeft een Model Card set die je gebruikt met je team bij het ontwikkelen van machine learning toepassingen:

Model cards [...] help investigate issues like unfair bias. For instance, does a model perform consistently across a diverse range of people, or does it vary in unintended ways as characteristics like skin color or region change? Model cards can bring clarity to these kinds of disparities, encouraging developers to consider their impact on a diverse range of people from the start of their appā€™s development processā€”and keep them in mind throughout.

Start-ups

Een bedrijf als Hugging Face, dat datasets aanlevert, doet dat op een bijzondere manier a la een Tony Chocolonely for AI. Hun datasets proberen ze zo divers, inclusief en unbiased mogelijk te maken. Hoofd data governance Margaret MitchellĀ (ex-Google Ethical AI) vertelt in een interview met Morning Brew over haar missie:

MB: What do you personally want to have accomplished in the responsible-AI space?

MM: One year from now, I want it to be a norm that people provide documentation for datasets and for models. [...] We see companies across the board starting to use things like model cardsā€”so Facebook, Salesforce, Nvidia, OpenAI, Allen AI, various papersā€”weā€™re really seeing a rise in responsible, value-aligned documentation [...]

Merken & adverteerders:

Campagne van Olay in de VS: #decodethebias

Beautymerk Olay (voorheen Oil of Olaz) heeft in de VS een campagne lopen met de hashtag #decodethebias. In bovenstaande commercial roept eerdergenoemdeĀ Joy Buolamwini op om de bestaande (beauty) bias in algoritmes aan te pakken terwijl ze en passant gezichtscreme gebruikt. #faceanything

Individuen

Een interessant element dat Margaret Mitchell in het voornoemde interview oppert is de 'right to contestation': mensen moeten de manier waarop ze gerepresenteerd worden in datasets en modellen kunnen aanvechten:

[F]iguring out how to allow contestation brings with it a whole bunch of research questions: How do you remove training data from a model? How do you even find the data that someone would contest?

4. Wat kun jij doen?

Totdat bedrijven deze nieuwe bestĀ FAT AI practices toepassen, teams actief naar vooroordelen in hun ontwerp en data omzien en een fairness-waakhond is ingesteld, kun je alvast het volgende doen:

Tip 1: Behandel AI als een tussenpersoon.

Net zoals je dat bij journalisten, opiniemakers en consultants doet (of zou moeten doen), betogen De Rijke en Graus in hun opiniestuk dat je AI-aanbevelingssystemen als gepersonaliseerde tussenpersonen moet zien:

Het succes van moderne zoek- en aanbevelingssystemen is voor een belangrijk deel te danken aan hun gebrek aan neutraliteit. Zie het daarom als een gepersonaliseerde informatietussenpersoon. Net als traditionele informatietussenpersonen (journalisten, artsen, opiniemakers) geeft het een standpunt weer door informatie te filteren en te rangschikken. En net als bij traditionele tussenpersonen doet men er verstandig aan om een tweede of derde mening te vragen als het er werkelijk toe doet.

Tip 2: Doe zelf een bias-quiz of vooroordelentest!

Verplaats je eens in een werkgever of manager en ervaar op welke basis je mensen wel of niet inhuurt, aanneemt of in je team wil:

Onbewust hebben we allemaal vooroordelen. Werkgevers net zo goed. Ontdek hoe je voorkomt dat ze bijvoorbeeld het sollicitatieproces beĆÆnvloeden.

Journalist of mediamaker? Doe dan deze quiz eens:

Can AI help you deal with bias in your newsroom?

Tip 3: Vraag een expert om hulp

Zoek contact met deze Vlaamse AI denkers en makers, via het Kenniscentrum Data & Maatschappij. Voor juridische, ethische en maatschappelijke aspecten van artificiƫle intelligentie en datatoepassingen.

Number of male and female persons quoted and mentioned - AIJOproject.com

Tip 4. Doe een content-, model- of data-analyse

šŸ‘‰šŸ½ Het AIJOproject heeft tools en uitleg beschikbaar om gender bias in inhoud te analyseren. Te gebruiken voor zowel tekst (Natural Language Processing) als beeld (Computer Vision).

Je kunt ook een zogeheten disparate impact analyse doen. Met deze analysemethode kijk je bijvoorbeeld naar leeftijd: levert het model even nauwkeurige resultaten op voor 18-35 jarigen als 65+'ers? Uiteraard geldt hier ook: context bepaalt welke impact wenselijk is.

AI Fairness 360 Demo data

šŸ‘‰šŸ½ AI Fairness 360 (IBM) heeft video's, artikelen, tutorials, code en andere handige manieren om bias in AI tegen te gaan. Probeer de demo en check zelf of en hoe biased de data is voor het model 'to predict a criminal defendantā€™s likelihood of reoffending:

Parity.ai evalueert voor bedrijven het risico van hun AI-modellen

Tip 5: Laat een 'algorithmic audit' doen

Een interessante ontwikkeling vind ik de opkomst van algorithmic auditing: gespecialiseerde bedrijven zoals Parity.ai helpen andere organisaties om hun AI-toepassingen op fairness, accuracy en responsibility te toetsen. Al komen ze nu nog uit Silicon Valley, je kunt je voorstellen dat straks, wanneer ieder zichzelf respecterende organisatie met zo'n audit als keurmerk wil pronken (#algowashing), er meer partijen nodig die deze toetsing voor hun rekening nemen. #nieuwebanendankzijAI

Lees deze twee artikelen van MIT Technology Review en The Markup als je meer wilt weten over algorithmic auditing.

āœ… Dit was 'm weer. Volgende week: video & AI.

AI-Agenda

In deze talkshow gaat het over de vraag hoe AI op verantwoorde wijze ingezet kan worden in de media. Met o.a. Maaike Harbers (Lector Artificial Intelligence & Society, Hogeschool Rotterdam) en Daan Odijk (Data Science Manager, RTL)

Check Genesis door Tanja Vujinovic, The Spirit Machine door Jeroen van der Most en Gabrielle Ras of LAWKI_Alive

Who owns AI in an international ecosystem? How can we make diversity and inclusion a business imperative? What impact is AI having in the workplace?

Deze Zweedse machine learning engineer, werkzaam voor de (nieuws)uitgever Schibstedt, vertelt over algorithmic literacy, bias in data en human bias op redacties. Ze deelt ook inzichten hoe we deze biases kunnen voorkomen.