Claude Sonnet speelt DOOM met computerzicht
Beeld via Hackaday
Onderzoeker Andrea Ricci liet het AI-model Claude Sonnet het klassieke gamespel DOOM spelen door het een beperkt beeld van de game-interface te geven. Het spel draait op een SCINTIX P4-board, een single-board computer met een ESP32-P4 chip, en wordt weergegeven op een 1024×600 scherm. Alleen enkele frames tegelijk worden aan Claude doorgegeven via WebSockets.
Het model analyseert het beeld, beschrijft de omgeving en geeft commando’s voor beweging en schieten. Om muurcontact te voorkomen, gebruikt het systeem een diepte-scan en een ASCII-autokaart om bewoonde gebieden bij te houden. Claude blijkt redelijk succesvol te navigeren, deuren te openen en vijanden te bestrijden, hoewel het soms struikelt over complexe situaties.
Meer details staan op Hackaday.
