De demente robot: AI versus de MoCA

Aafke van Dijk

In het beroemde kerstnummer van het British Medical Journal (BMJ)¹ hebben onderzoekers uit Israël en Londen gekeken naar de prestaties van verschillende chatbots (officieel ‘ large language models’  genoemd) op onder andere de MoCA. 

Het gaat dan om de chatbots van OpenAI (ChatGPT versie 4 en 4o), Anthropic (Claude 3.5 “Sonnet”) en Alphabet (Gemini versie 1 en 1.5). Aan hen werd een Engelstalige MoCA (versie 0.1) voorgelegd. Resultaat werd door een neuroloog beoordeeld. En wat schetst de verbazing? De chatbot van Gemini haalde een score van 16/30, ChatGPT 4 en Claude doen het iets beter met een 25/30 en ChapGPT 4o het beste met 26/30. De chatbots hebben de meeste moeite met visueel-ruimtelijke taken (dus het natekenen van de kubus en het tekenen van een klok).  Bij deze scores bij onze patiënt categorie zouden wij als specialisten ouderengeneeskunde in ieder geval meer willen weten over het functioneren van deze ‘patiënt'. De onderzoekers van het BMJ concluderen dan ook dat de meeste chatbots tekenen van minstens een milde cognitieve stoornis vertonen. De chatbots zijn ook net mensen: hoe ouder het model, hoe slechter ze lijken te presteren op de cognitieve testen.

De ontwikkeling van AI gaat razendsnel. In januari 2023 werd er al een column geschreven door een beleidsadviseur ethiek van de KNMG getiteld ‘Maakt AI de arts overbodig?’, waarin geconcludeerd werd dat het antwoord daarop ‘nee’ zal zijn, maar dat het wel kan zijn dat de rol van de arts zal veranderen.² De onderzoeksgroep van het BMJ artikel zijn het hiermee eens, zij denken niet dat deze ‘demente robots’ de specialist ouderengeneeskunde snel zal vervangen. Zij verwachten wel dat nieuwere modellen van de chatbots steeds beter zullen presteren op cognitieve testen. Eigenlijk net zoals bij mensen dus. 

Auteur

• A.H. (Aafke) van Dijk, specialist ouderengeneeskunde