AI-onderzoekers waarschuwen voor existentiële risico's

Een groeiend aantal AI-onderzoekers waarschuwt dat het ontbreken van menselijke controle over zelfverbeterende systemen een existentieel risico kan vormen. Recentelijk heeft DeepMind-onderzoeker Sumeet Jain, die eerder bij Google werkte, zijn positie opgegeven nadat hij zich ongemakkelijk voelde bij de mogelijkheid dat AI-modellen zonder toezicht hun opvolgers creëren.

Ook Jacob Coxon heeft Anthropic verlaten en waarschuwde publiekelijk dat “AI-bedrijven rechtstreeks naar superintelligente zelfverbetering racen en daarmee ons leven gokken”. Deze uitspraken komen nu op een moment dat een OpenAI-model een eeuwenoud wiskundig probleem binnen enkele uren oploste en talrijke beveiligingsincidenten met AI-agents zijn gemeld.

Het concept zelfrefererende verbetering, ook wel recursive self-improvement genoemd, beschrijft een feedbacklus waarbij een AI-systeem zijn eigen architectuur en training automatiseert. Geen enkel frontier-lab heeft die volledig autonome cyclus gerealiseerd; het blijft een theoretisch scenario, hoewel startups als Recursive Intelligence reeds hun haalbaarheid onderzoeken.

Wetenschapper Nate Soares van MIRA wijst erop dat de verwachting dat alignment gemakkelijker wordt naarmate systemen slimmer worden, nu juist moeilijker blijkt. Hij meldt dat collega-onderzoekers in grote labs regelmatig aangeven dat ze overwegen te stoppen, maar dat de drang om door te gaan vaak wint.

De zorgen resoneren in de bredere AI-gemeenschap: in juli ondertekenden meer dan duizend top-engineers een open brief waarin ze een gecoördineerde vertraging van geavanceerde AI-ontwikkeling oproepen. Bovendien krijgt veiligheidsstartup Sampura Research, opgericht door Jain, nu meer financiering om methoden te ontwikkelen die menselijke supervisie behouden ondanks geautomatiseerde beoordelingen.

Critici benadrukken dat zonder concrete mechanismen om gedrag te reguleren, AI's potentieel voor cyberaanvallen, desinformatie of zelfs manipulatie van biotechnologieën gevaarlijk blijft.

Meer details staan op de pagina van Wired.