OpenAI’s nieuwe redeneertechniek alarmt AI-veiligheidsexperts
OpenAI introduceert met het Astra-model een redeneermethode die "recurrent depth" of "opaque recurrence" wordt genoemd. Deze techniek verwerkt dezelfde query meerdere keren in een lus, waardoor de gebruikelijke keten-van-gedachten minder goed leesbaar wordt.
Veiligheidsdeskundigen zoals Buck Shlegeris van Redwood en Zvi Mowshowitz waarschuwen dat dit de monitorbaarheid van AI-modellen ernstig kan aantasten en pleiten voor regelgeving om een race naar de bodem te voorkomen. OpenAI reageert met de belofte van uitgebreide monitoring en benadrukt dat het model nog steeds een legibele keten-van-gedachten produceert.
De Information meldt dat ook Anthropic en Google DeepMind de techniek onderzoeken. Redwood-onderzoeker Ryan Greenblatt uit zorgen dat opschaling van opaque reasoning kan leiden tot volledig onzichtbare besluitvorming in het latente ruimte-veld. OpenAI-chief scientist Jakub Pachocki bevestigt dat de keten-van-gedachten sinds de eerste redeneermodellen een kernonderdeel van hun veiligheidsprogramma is. Meer details staan op de pagina van TechCrunch.
