Op een tweedaagse conferentie over ‘Kunstmatige Intelligentie en Rechtvaardigheid’, georganiseerd bij het Spaanse Hooggerechtshof door de Asociación de Letrados del Tribunal Supremo (ALTS), waarschuwde rechter Manuel Marchena dat AI de manier waarop samenlevingen waarheid en eerlijkheid waarnemen snel verandert. In een toespraak voor een publiek in Madrid benadrukte hij de juridische en ethische uitdagingen die deepfakes, algoritmische profilering en de concentratie van digitale macht met zich meebrengen – uitdagingen die Europa volgens hem dringend moet aanpakken.
De Spaanse rechter Manuel Marchena bij het Hooggerechtshof heeft gewaarschuwd dat kunstmatige intelligentie (AI), deepfakes en de data-economie de manier veranderen waarop samenlevingen waarheid, democratie en gerechtigheid begrijpen. In zijn lezing voor studenten en professionals onderzocht hij de diepgaande juridische en ethische veranderingen die door de snelle technologische ontwikkeling worden veroorzaakt.
Waarom ‘gratis’ platforms niet echt gratis zijn
Marchena begon met het stellen van een simpele vraag: als platforms als Twitter (nu X), WhatsApp of Google één euro per jaar zouden vragen, zouden mensen dan betalen? Hoogstwaarschijnlijk wel, betoogde hij. En zelfs met tien euro zouden miljoenen mensen van deze diensten gebruik blijven maken.
Toch brengen deze bedrijven – waarvan sommige met een waarde van tientallen of honderden miljarden – niets in rekening. Voor Marchena onthult dit dat hun ware bedrijfsmodel dat is persoonlijke gegevensvaak omschreven als “de olie van de 21e eeuw”. Deze gegevens, zei hij, hebben geopolitieke waarde en geven enorme invloed aan de bedrijven die er controle over hebben.
Een nieuwe digitale klasse: de ‘irrelevanten’ van Harari
Onder verwijzing naar historicus Yuval Noah Harari waarschuwde de rechter dat digitale systemen een nieuwe sociale categorie zouden kunnen creëren: niet relevant. Dit zijn mensen wier gegevens niet van belang zijn voor algoritmen en wier stem het risico loopt buitengesloten te worden van politieke en economische processen.
Marchena suggereerde dat deze opkomende kloof al zichtbaar is in de manier waarop algoritmen bepalen wat burgers online zien, lezen en bespreken.
Deepfakes en het “recht om niet misleid te worden”
Een van Marchena’s sterkste waarschuwingen betrof de verspreiding van door AI gegenereerde deepfakes. Tegenwoordig, zegt hij, is het mogelijk om video’s of audio te produceren waarin publieke figuren dingen lijken te zeggen die ze nooit hebben gezegd. Tegen de tijd dat iemand bewijst dat de inhoud vals is, kan de politieke of reputatieschade al onomkeerbaar zijn.
Dit is de reden dat veel instellingen, waaronder het Europees Parlement, regelgevingsinstrumenten ontwikkelen om wat Marchena de opkomende landen noemde te beschermen. “recht om niet bedrogen te worden”.
Hij koppelde deze zorgen aan het nieuwe Europese wet op kunstmatige intelligentiedie AI-systemen met een hoog risico aan banden legt en bepaalde biometrische surveillancepraktijken verbiedt die de rechten van burgers bedreigen.
Nanotechnologie, kwantumcomputers en de robotmaatschappij
Marchena verwees ook naar ideeën gepubliceerd door Mustafa Suleyman, medeoprichter van DeepMind, waarin technologieën worden beschreven die de samenleving radicaal zullen transformeren: kwantumcomputers, nanotechnologie en robotica.
Hij stelde zich een toekomst voor waarin grote gebouwen volledig zouden kunnen worden gebouwd door autonome robots die continu werken, “365 dagen per jaar, 24 uur per dag”, met diepgaande gevolgen voor de arbeidsmarkt en de openbare diensten.
Kasparov versus Deep Blue: toen machines de menselijke intuïtie overtroffen
Om de evolutie van de mogelijkheden van de machines te illustreren, keerde de rechter terug naar de historische wedstrijden tussen Garry Kasparov en IBM’s Deep Blue. Terwijl een menselijke schaakmeester een paar zetten vooruit kan denken, heeft Deep Blue geëvalueerd honderden miljoenen van mogelijke posities per seconde.
Voor Marchena is dit symbolische moment nog steeds van belang: het markeert het moment waarop machines de menselijke intuïtie op bepaalde gebieden onmiskenbaar hebben overtroffen.
Voorspellende algoritmen en het einde van privacy?
In de lezing werd ook verwezen naar een onderzoek van de Universiteit van Cambridge, waaruit blijkt hoe algoritmen persoonlijkheidskenmerken en voorkeuren kunnen afleiden uit activiteiten op sociale media. Met voldoende gegevens kan het systeem iemand beter begrijpen dan zijn partner – of zelfs zijn ouders.
Marchena waarschuwde dat dit niet alleen privacyrisico’s met zich meebrengt, maar ook vragen over autonomie met zich meebrengt: wat gebeurt er als individuen algoritmen meer gaan vertrouwen dan hun eigen oordeel?
AI, mensenrechten en juridische garanties
De rechter erkende dat experts het daar niet mee eens zijn: sommigen vrezen de existentiële risico’s van AI, terwijl anderen zeggen dat AI nooit de diepgang van menselijke intuïtie of moreel redeneren zal repliceren.
Hij bekritiseerde de transhumanistische ideeën van « digitale onsterfelijkheid » en beschreef ze als technologische mythen die een digitale kopie verwarren met een echte persoonlijke identiteit.
Deze zorgen weerspiegelen de recente Europese debatten over mensenrechten en AI, inclusief kwesties die in dit kader zijn onderzocht European Times rapport over AI en grondrechten.
Democratische verantwoording en bescherming tegen deepfakes
De waarschuwingen van Marchena sluiten aan bij een bredere Europese trend: nieuwe regels tegen deepfakes, beeldmanipulatie en misbruik van biometrische gegevens. Denemarken heeft bijvoorbeeld wetten opgesteld om burgers te beschermen tegen ultrarealistische digitale identiteitsdiefstallen zonder toestemming.
Op EU-niveau zijn enquêtes zoals Onderzoek van de Europese Ombudsman naar AI-normen weerspiegelen een groeiende bezorgdheid over verantwoordingsplicht, non-discriminatie en algoritmische transparantie.
Gerechtigheid in het tijdperk van het algoritme
Volgens Marchena kunnen rechtssystemen niet neutraal of passief blijven in het licht van zulke ingrijpende veranderingen. Rechtbanken houden zich al bezig met digitaal bewijsmateriaal, algoritmische politie-instrumenten en mediaverhalen die sneller evolueren dan gerechtelijke procedures.
De uitdaging, zo betoogde hij, is het garanderen juridische transparantie, non-discriminatie En effectieve remedies voor degenen die schade ondervinden van geautomatiseerde beslissingen. Technologie moet verantwoording blijven afleggen aan democratische beginselen.
Een oproep tot kritisch denken
Marchena sloot af met een beroep op het publiek – vooral de jongere generaties – om een kritische afstand te bewaren tot algoritmische aanbevelingen. De toekomst van democratie en gerechtigheid, zo stelde hij, hangt af van het vermogen van burgers om digitale systemen in twijfel te trekken in plaats van zich eraan te onderwerpen.
Redactionele illustratie (prompt 16:9)
(Voor redactioneel gebruik – niet weergegeven in artikeltekst)
Afbeelding prompt:
« Maak een realistische 16:9-illustratie in redactionele stijl die een Europese rechtszaal of het interieur van het Spaanse Hooggerechtshof afbeeldt. Het silhouet van een rechter wordt geconfronteerd met een grote doorschijnende digitale interface gevuld met wazige gezichten, coderegels en AI-modellen. Subtiele silhouetten van mensen die smartphones gebruiken, verschijnen op de achtergrond, die sociale media en deepfakes symboliseren. Gebruik blauwe, grijze en lichtgouden tinten, zachte scherptediepte.
Oorspronkelijk gepubliceerd in The European Times.
