Hi lezer, 👋

Vorige keer opende ik deze nieuwsbrief (‘Moe van AI?’) met een poll met de semi-lollige vraag hoe moe je bent van AI. De meeste antwoorden gingen naar ‘beyond moe’, met direct daarachter ‘zit er lekker in hoor’. Fijn om jullie pols te hebben.

Bereid je voor deze editie maar voor op een verhaal dat je hartslag verhoogt…

Steve Jobs predikte magie en gaf ons de iPhone. Elon Musk probeert onze hersenen op computers aan te sluiten met zijn bedrijf Neuralink. Maar Sam Altman, de CEO van OpenAI, het belangrijkste AI-bedrijf van dit moment, spant toch wel de kroon als hij zegt dat hij met de ontwikkeling van algemene kunstmatige intelligentie (AGI) niets minder dan de gehele mensheid wil redden.

We weten inmiddels allemaal dat we de tech-elite niet zomaar na moeten papegaaien en hun diensten niet argeloos kunnen gebruiken. Maar dat er een heel ander gevaar schuilt in de recente AGI-queeste is misschien minder bekend. De AGI-ontwikkeling is namelijk niet gestoeld op plat commercieel gewin, oldskool Californisch libertarisme of ongebreideld kapitalisme, maar gebaseerd op radicale en controversiële overtuigingen.

Waar de motivatie om AGI te verwezenlijken werkelijk vandaan komt, lees je in deze brief.

Deze brief: zeven controversiële AI-ideologieën

Dat uitspraken als die van Sam Altman in verbinding staan met de handelingen van cryptofraudeur Sam-Bankman Fried, jouw gebruik van ChatGPT en zelfs met 19e eeuwse rassenleer, ontdekte ik recentelijk door het werk van de AI-ethici en onderzoekers Timnit Gebru en Emile Torres.

(Noot: bij het schrijven van deze brief leun ik zwaar op onderzoek van ethisch AI’er en ex-Googler Timnit Gebru en haar collega Emile P. Torres, wiens paper over dit onderwerp op dit moment in review is. Grote delen van de brief zijn soms letterlijke vertalingen uit de presentatie ‘Eugenics and the promise of Utopia through AGI’ en tweets van Gebru en Torres over dit onderwerp.)

Het is op meerdere manieren problematisch dat we de nieuwste AI-snufjes en het jargon van zogeheten TESCREALists (ik leg dit zo allemaal uit) gebruiken zonder te weten waar we eigenlijk aan bijdragen. Namelijk: het verwezenlijken van racistische, controversiële en nogal radicale doelen van een kleine groep (invloed)rijke Amerikaanse witte mannen.

Laten we daarom beginnen met de twee belangrijke zaken in dit verhaal: eugenetica en het acronym TESCREAL. We eindigen de brief met een vraag: welke AGI sta jij eigenlijk straks voor?

Veel lees- en huiverplezier ⏱️ Leestijd: 20 minuten

Laurens, auteur van The Art of AI

Ps. Geen tijd voor de volle 2900 woorden? Lees dan alleen dit:

Live-event: Donderdag 25 mei: Artificial Well Being

Kom meepraten tijdens AI for Good #4 over Artificial Well Being, op donderdagavond 25 mei in Felix Meritis, Amsterdam. Sinds vorig jaar organiseer ik deze avond, steeds weer over een ander thema waarop we de impact van AI onderzoeken. Kom ook. Er zal ook een toffe interactieve, analoge generatieve AI-installatie zijn 😃. Kaarten reserveer je hier:

1. Eugenetica

Misschien zegt eugenetica je vaag wel iets. Het is kortweg een achterhaald, racistisch idee om betere mensen te maken. Weet je voldoende, sla dan het volgende blok gerust over.

2. TESCREAL

In een veelbeluisterd podcastinterview met Lex Fridman zegt Sam Altman (OpenAI) op een gegeven moment het volgende:

Hou deze uitspraak even goed in je achterhoofd.

Nu we weten wat eugenetica is, waar het vandaan kwam en wat het doel was, maken we een sprongetje naar die nieuwe term TESCREAL.

Zeven ‘ismen’ als ideologische basis voor het bereiken van AGI

TESCREAL staat voor een verzameling ‘ismen’: transhumanisme, extropisme, singularisme, cosmisme, rationalisme, effectief altruïsme (EA) en longtermisme. Deze ideologische groepen blijken veel invloed te hebben op de doelen en denkbeelden van belangrijke AI-denkers, bouwers en investeerders uit Silicon Valley.

Hier een kort overzicht van de kenmerken per isme :

1.Transhumanisme:

Dit is een filosofische beweging, opgericht door Julian Huxley in 1940. Het houd zich bezig met de vraag hoe technologie kan worden gebruikt om de menselijke conditie te verbeteren, hoe we ‘humanity’ kunnen ‘transcenden’. Transhumanisten zijn geïnteresseerd in het gebruik van technologieën zoals nanotechnologie, genetische modificatie en kunstmatige intelligentie om menselijke (cognitieve) capaciteiten te verbeteren en de grenzen van de menselijke levensduur te verlengen.

2.Extropianisme

Extropianen vormden in 1993 de eerste georganiseerde transhumanistische beweging. Vijf principes zijn fundamenteel voor extropianen:

1. grenzeloze expansie

2. zelf-transformatie

3. dynamisch optimisme

4. intelligente technologie

5. spontane orde

3. Singularitarianisme

Dit is een term die werd bedacht door de wiskundige en futuroloog Vernor Vinge. Ray Kurzweil en Eliezer Yudkowsky zijn op dit moment de ‘leading advocates’ van het singularisme. ‘De singulariteit’ verwijst naar het idee dat er een moment zal komen waarop kunstmatige intelligentie zo geavanceerd is dat het een 'singulariteit' bereikt, een punt waarop mens en machine geheel samensmelten. Kurzweil verwacht dit singulariteitsmoment in 2045.

Een ander aspect van de singulariteit is dat er een ‘intelligentie explosie’ plaatsvindt, met opeenvolgende zelfverbetering van kunstmatige systemen net zolang tot ze ’superintelligent’ zijn.

4. Kosmisme 

Dit is een beweging die zich bezighoudt met de relatie tussen de mensheid en het universum als geheel. Cosmisten zijn geïnteresseerd in de mogelijkheid van ruimtekolonisatie en het gebruik van technologie om de mensheid te helpen zich verder uit te breiden in het universum. Ben Goertzel schreef ‘The Cosmist Manifesto’ in 2010 waarin, net als bij de singularisten, mens en machine zullen ‘mergen’, en er ‘mind uploading technologies’ bestaan.

Even checken: voel je de link (🙀) al met dat ene Neura-bedrijf van Elon Musk…?!

5. Rationalisme

Rationalisten geloven in de kracht van de rede en de wetenschap om kennis te vergaren en problemen op te lossen. Ze hechten waarde aan kritisch denken en empirisch bewijs en proberen hun overtuigingen te baseren op rationele argumenten. Een belangrijk platform voor Rationalisten is lesswrong.com. Ook hier is de al eerder genoemde singularitaan Eliezer Yudkowsky een belangrijke denker voor de aanhangers.

6. Effective Altruism (EA)

Richt zich op het maximaliseren van welzijn. Iemands acties in deze eindige wereld moeten bijdragen aan ‘the most possible good’. Effectieve altruïsten richten zich op het identificeren van de meest effectieve manieren om anderen te helpen en gebruiken wetenschappelijke methoden en data om hun acties te informeren.

7. Longtermism

Longtermisten richten zich op de lange lange lange termijn toekomst van de mensheid (lees: ‘miljoenen, miljarden, triljarden jaren verder dan vandaag’) en streven ernaar om beslissingen te nemen die de toekomstige generaties ten goede zullen komen. Longtermisten vragen overigens om de effecten van EA-acties in de eerstkomende honderd (of zelfs duizend) jaar simpelweg te negeren; gewoon te kortdag. ‘Post-human’ worden is een belangrijk component voor longtermisten, ‘to fulfill our longterm potential’.

Vier redenen voor een bundel

Gebru muntte de bundelterm TESCREAL om de queeste naar AGI beter te kunnen duiden en te bekritiseren. Ze geeft vier redenen waarom een aantal ideologieën en hun aanhangers bij elkaar horen:

Reden 1. Eugenetica als basis

Alle zeven ismen, zo zegt Gebru, zijn terug te voeren op die eugeneticaleer. Ze observeert sinds de jaren ‘90 een ‘tweede golf van de eugenetica’, waarbij voortplantingsbeleid (IQ-test voor selectie, sterilisatie) niet langer nodig bleek om dezelfde doelen te bereiken; met genetische manipulatie en biotechnologie hoefden aanhangers niet langer generaties te wachten op ‘betere mensen’; met de nieuwe middelen zouden we vrijwel instant die designerbabies gaan maken. TESCREALISTS voegen daar nu met AGI een nieuw instrument aan toe om de boel verder te versnellen.

Reden 2: Gelijkenis in inhoud en overlap in tijd

De TESCREAL-gemeenschappen overlappen elkaar zowel door de tijd heen als inhoudelijk, ook vandaag de dag nog. Alle extropianen waren transhumanisten; de belangrijkste kosmist, Nikolai Fyodorovich Fyodorov, was ook transhumanist; veel rationalisten zijn transhumanisten, singularisten, longtermisten en EA's. Het longtermisme werd weer opgericht door transhumanisten en EA's; enzovoorts. De sociologische overlapping is groot. Velen die zich identificeren als een van de letters in "TESCREAL" identificeren zich ook als anderen.

Reden 3: Onverbloemd techno-utopisme

De wereldbeelden van de zeven ideologieën zijn onderling verbonden. Aan allen ligt een soort techno-utopisme ten grondslag met daaraan toegevoegd het gevoel dat men werkelijk de wereld redt. Steeds weer wordt er gesproken over "de wereld redden". Dat zie je terug bij transhumanisten, rationalisten, longtermists en Effectieve Altruïsten. Je hoort het ook terug in de uitspraken van Sam Altman.

Een ander voorbeeld van techno-utopisme komt van Luke Muehlhauser, die voor de EA-organisatie Open Philanthropy werkt en leiding geeft aan hun "grantmaking on AI governance and policy". Vroeger werkte hij voor het door Peter Thiel gefinancierde Machine Intelligence Research Institute (MIRI). Thiel is naast een vroege investeerder van o.a. Meta, ook onderdeel van de zogenaamde PayPal Maffia, het bedrijf dat Thiel o.a. met Elon Musk oprichtte.

Aan datzelfde MIRI is ook de eerder genoemde Eliezer Yudkowsky gelieerd. Deze AI-wetenschapper zette onlangs zijn handtekening niet onder de brief die riep om een pauze in AI-ontwikkeling. Nee, Yudkowsky gaat zelfs verder en roept op ‘to shut it all down’. Op zijn eigen blog schreef hij: ‘Sluit alles af. We zijn niet voorbereid. We zijn niet op weg om binnen afzienbare tijd klaar te zijn. Als we hiermee doorgaan zal iedereen sterven, ook kinderen die hier niet voor gekozen hebben en niets verkeerd hebben gedaan. Stop ermee.’

Zie hier een terugkerend thema in het narratief van de AGI-ontwikkelaars: catastrofale, apocalyptische gebeurtenissen zijn onvermijdelijk. Daarover zo meer.

Recept en boodschappenlijst van een TESCREAList

De visie van menig TESCREAList bevat de volgende stappen en ingrediënten om het doel te bereiken:

1. de natuurlijke wereld onderwerpen,

2. economische productiviteit maximaliseren,

3. digitaal bewustzijn creëren,

4. het toegankelijke universum koloniseren,

5. computers ter grootte van een planeet bouwen waarop virtual-reality werelden vol met 10^58 digitale mensen draaien, en "astronomische" hoeveelheden van "waarde" ontstaan, door uitbuiting, plundering en kolonisatie.

Laat punt 5 maar even op je inwerken…

Existentieel risico

TESCREAListen beseffen overigens dat dezelfde technologie die nodig is om hun Utopia te creëren ook ongekende risico's inhoudt voor ons voortbestaan. Daarom zit er, zoals bij de meeste religies, ook een apocalyptisch element in hun visie: de technologie die ons zou kunnen "redden" zou ons ook kunnen vernietigen. Daarom introduceerden transhumanisten en longtermisten het woord "existentieel risico".

Niettemin is de utopie die zij zich voorstellen zo verleidelijk goed dat zij geloven dat het de moeite waard is om de hele menselijke soort in gevaar te brengen door door te gaan met AGI-onderzoek en ontwikkeling. Want stel je eens voor: eeuwig leven! Oneindig plezier! Bovenmenselijke mentale vaardigheden!

Om te stellen dat dit geen verzinsels zijn, wijzen Torres en Gebru naar de "Brief uit Utopia", een canoniek stuk van de longtermistische literatuur, geschreven door transhumanist Nick Bostrom, een van origine Zweedse filosoof die werkt aan de Universiteit van Oxford.

Reden 4: invloed en rijkdom

De vierde reden is de meest beangstigende: de TESCREAL-ideologieën zijn invloedrijk onder AI-onderzoekers. En aangezien AI onze wereld op steeds diepgaandere manieren vormgeeft, volgt daaruit dat onze wereld steeds meer gevormd wordt door TESCREALisme!

Elon Musk, bijvoorbeeld, noemt het longtermisme "een nauwe match met mijn filosofie", en retweette een van de oprichtingsdocumenten van het longtermisme van Bostrom, die op zijn beurt door Rationalisten en EA's wordt gelauwerd.

Een cryptofraudeur als de bekende Sam Bankman-Fried doneerde, volgens Time Magazine, meer dan 160 miljoen dollar aan Effective Altruism-doelen en -organisaties.

Musk's bedrijf Neuralink is in wezen een transhumanistische organisatie die hoopt "de transhumane evolutie op gang te brengen." Transhumanisme wordt door filosofen letterlijk geclassificeerd als een vorm van zogenaamde "liberale eugenetica."

Sam Altman, die OpenAI leidt, erkent dat het belangrijk is om AGI goed te krijgen omdat er "sterrenstelsels" op het spel staan. Dat is een verwijzing naar de hierboven geschetste TESCREAL-visie: koloniseren, onderwerpen, uitbuiten en maximaliseren.

"Meer is beter," schrijft William MacAskill. Hij wordt gezien als de OG, het boegbeeld van zowel de Effective Altruism beweging als het longtermisme. In een artikel uit november 2022 noemt NRC-journalist Jurrien Hamer ook diezelfde bezwaren tegen het longtermisme-denken:

‘[...] het is een filosofie die poogt te berekenen welke scenario’s het meeste welvaart opleveren. Dat leidt soms tot conclusies waar je jeuk van krijgt. Zo betoogt MacAskill dat het onze plicht is om zoveel mogelijk mensen voort te brengen, en uiteindelijk het gehele sterrenstelsel te koloniseren: ‘We zouden moeten hopen dat toekomstige beschavingen een forse omvang hebben. Als toekomstige mensen voldoende welvaart creëren, zal een beschaving die twee keer zo groot is, ook twee keer zo goed zijn. Praktisch is dit een moreel argument voor menselijke bewoning van andere planeten - ‘space settlement’. [..] Het idee van welvaartsmaximalisatie is in de filosofie grondig bekritiseerd, omdat het met zulke redeneringen aantrekkelijk wordt individuen op te offeren in dienst van een enorme hoeveelheid potentieel geluk.’

De risico’s van vandaag

Gebru en Torres wijzen erop dat met de AI-race ”to benefit for all humankind" steeds grotere LLM's worden gecreëerd (zoals de GPT’s die onder de motorkap van AI-chatbots zitten). Die race en modellen brengen ondertussen diepgaande schade toe aan echte mensen in het hier en nu, op onze planeet:

• Het bestendigen van bestaande vooroordelen en maatschappelijke ongelijkheid die nu ingebakken zijn in de huidige AI-modellen en -toepassingen.

• ‘Het concentreert de macht verder in de handen van een paar witte kerels - de tech elite,’ schrijft Torres.

• Het ontwikkelen en trainen van de AGI-modellen brengt een enorme ecologische voetafdruk met zich mee:

Torres op Twitter:

“Deze visie wordt ons, ondemocratisch, opgedrongen door een klein aantal superrijke, supermachtige mensen in de technologie-industrie die echt geloven dat ons een techno-utopische wereld van onsterfelijkheid en "overtreffende gelukzaligheid en verrukking" (citaat van Bostrom) te wachten staat.

Erger nog, TESCREALists gebruiken vaak de taal van ’social justice’ om te beschrijven wat ze doen: het gaat om "benefits for all humankind", zeggen ze, terwijl AI in de praktijk, vandaag, mensen pijn doet. Er is absoluut NUL reden om te geloven dat als ze eenmaal "AGI" hebben gemaakt (als het al mogelijk is), dit op de een of andere manier zal gebeuren.”

Het TESCREAL utopisme dat al dit werk drijft, vertegenwoordigt op geen enkele manier hoe de meeste mensen willen dat de toekomst eruit ziet. ‘

Gebru’s voorstel is, gek genoeg, dezelfde als die van Eliezer Yudkowsky. Ze zegt: laten we helemaal stoppen met het ontwikkelen van AGI (of wat dat ook zou moeten zijn) en ons vooral richten op het voorkomen van de schade die AI nu al in de praktijk aanricht.

#nietmijnAI

Mijn standpunt zal ondertussen geen verrassing meer zijn: ik vind het eufemistisch gezegd geen fijn idee als we door bovenstaande te doen, zonder het te weten, in kleine stapjes bijdragen aan de door Elon Musk zo gewilde Marskolonisering of het kunnen ‘gebruiken’ van complete planeten als supercomputers om digitale mensen te maken die volgens een paar witte mannen beter zijn dan jij of ik, en dat allemaal in dienst van een wereld hier tien miljoen jaar vandaan.

Samengevat

Misschien blijf je na dit stuk met meer vragen achter dan dat je antwoorden hebt gekregen.

Mijn vraag is nu: welke A(G)I-doelen zie jij wel als wenselijk voor de toekomst en hoe wil je de huidige toepassingen (blijven) gebruiken?

Ik hoop dat ik duidelijk heb gemaakt dat (en hoe) jij en ik bijdragen aan het verwezenlijken van een aantal bedenkelijke AGI-doelen, die een kleine groep (invloed)rijke mannen met elkaar proberen te bereiken. Het leek me wel zo fair dat jij en ik, wanneer we in zee gaan met Big AI-bedrijven (ja, de opvolgers al dan niet evoluties van Big Tech), goed snappen wat de rules of engagement zijn en waar die regels op gebaseerd zijn.

Als herhaling, samengevat, werken we aan TESCREAL-AGI mee als we:

• Deze (hun) tools blijven gebruiken;

• ons enthousiasme over hun modellen blijven verspreiden;

• onbewust hun verhalen (narratief) overnemen. Verhalen die alarmistisch, existentialistisch en daarmee vaak religieus van aard zijn. Denk aan termen als geloof, bewustzijn, singulariteit, superintelligentie, catastrofale gebeurtenissen, een apocalyps, existential risks, uitroeiing van de mensheid;

• het napapegaaien, nastreven en zelfs ook geloven in die vaag geformuleerde, beloofde ‘benefits for all humankind’.

Hoe geëngageerd je zelf bent (of kunt en wilt zijn) laat ik aan jou. Je weet in ieder geval waar ik sta.

✅ Pfoe… Dat was ‘m. Fijne zaterdag nog!

—

Doneren kan nog altijd, 31 lezers gingen je al voor.

Deze nieuwsbrief schrijft zichzelf niet (en wil dat ook niet). Oftewel: dit kost tijd en geld. #schoorsteenroken #bijdebakker. Ben jij al een tijdje geabonneerd en/of wil je de brief extra waarderen? Doe mij dan het equivalent van een blikje cola zero cadeau:

Belangrijkste links die ik heb geraadpleegd voor deze brief:

Talk van Timnit Gebru

Tweetdraadje van haar collega:

Emily Bender, mede-criticus van TESCREAL en de AGI-queeste

Andere bronnen die ik heb gebruikt:

1. www.nemokennislink.nl/publicaties/eugenetica-wetenschap-als-excuus

2. openai.com/blog/planning-for-agi-and-beyond

3. dl.acm.org/doi/10.1145/3442188.3445922

4. jacobin.com/2023/04/chatgpt-ai-language-models-ideology-media-production?utm_source=substack&utm_medium=email

5. https://time.com/6266923/ai-eliezer-yudkowsky-open-letter-not-enough/

6. https://time.com/6262810/sam-bankman-fried-effective-altruism-alameda-ftx/#:~:text=In%20a%20span%20of%20less,to%20organizations%20connected%20to%20MacAskill.

7. https://nickbostrom.com/utopia

8. https://time.com/6266923/ai-eliezer-yudkowsky-open-letter-not-enough/ 

9. https://futureoflife.org/about-us/our-people/

10. https://www.nrc.nl/nieuws/2022/11/24/hoe-ver-in-de-toekomst-moet-de-mens-kijken-om-nu-de-juiste-keuzes-te-maken-a4149375