Man kann weder natürlichen noch künstlichen neuralen Netzen direkt beim „Denken“ zusehen.
Auch beim menschlichen Gehirn gelingt dies nur lückenhaft und auf indirektem Wege. Mediziner versuchen, mit bildgebenden Verfahren wie der Magnetresonanztomografie (MRT) Einblicke in die menschlichen Denkprozesse zu erhalten. Psychologen sagen, dass das Denken als emergentes Phänomen auf der Ebene der Neurone nicht beobachtbar ist. Das wäre etwa so als wollte man das Funktionieren eines Automotors mithilfe eines Rasterelektrononenmikroskops (REM) auf der Ebene der Atome verstehen. Kein Ingenieur oder Mechatroniker geht so vor, wenn er einen Motor konstruieren oder reparieren soll. Dennoch können die Vorgänge auf der atomaren (beim Motor) oder der neuronalen (beim denkenden Gehirn) Ebene zum Verständnis der Prozesse beitragen. Sie ersetzen aber nicht die Analyse auf der funktionalen Ebene (Kolben, Zündkerzen, Kühler, Motorsteuerung bzw. Wahrnehmung, Kognitionen, Emotionen und Motivationen).
In den letzten Jahren sind Psychologen dem Verständnis, wie Menschen denken immer näher gekommen (z.B. Dörner: Die Logik des Misslingens oder Kahnemann: Schnelles Denken, langsames Denken oder Vester: Vernetztes Denken oder Gigerenzer: Bauchentscheidungen: Die Intelligenz des Unbewussten und die Macht der Intuition).
Dennoch versteht niemand genau wie künstliche Intelligenzen mit neuronalen Netzen "denken". Jüngst zeigten Forscher mithilfe sogenannter „Universal adversarial perturbations“, dass künstliche neuronale Netze mit ihren gut trainierten Wahrnehmungsmustern bei der Veränderung einiger Bildpunkte völlig andere Dinge „sehen“, während die Bilder in der menschlichen Wahrnehmung keine oder nur geringfügige Unterschiede aufweisen. So erkennt das künstliche System z.B. statt einer Socke einen indischen Elefanten, wohingegen der menschliche Betrachter in beiden Fällen eindeutig eine Socke wahrnimmt (mehr dazu bei Seyed-Mohsen Moosavi-Dezfooli, Alhussein Fawzi, Omar Fawzi, Pascal Frossard: Universal adversarial perturbations).
Die Komplexität des menschlichen Gehirns ist gewaltig, die der künstlichen neuronalen Netze wächst von Generation zu Generation. Doch fällt es schwer, in diese Black Box aus Aktivierungen, Übertragungsgewichten und Verbindungen hineinzusehen.
Mit der sogenannten Layer-wise Relevance Propagation (LRP), einer Methode zur Visualisierung und Interpretation der Arbeitsweise neuronaler Netzwerke, versucht man den Denkprozess künstlicher neuronaler Netze umzukehren und die Arbeitsweise von beiden Seiten des Netzes, d.h. vom Input und Output her zu verstehen. Dies ist eine Art bildgebendes Verfahren, quasi ein MRT für künstliche neuronale Netze.
Möglicherweise können wir die Arbeitsweise künstlicher intelligenter Systeme erst wirklich verstehen, wenn wir wie beim Menschen über mehrere Zugänge verfügen: Messung auf der neuronalen Ebene, Befragung und Selbstbeobachtung, Analyse des gezeigten Verhaltens bei bestimmten Aufgaben. Psychologen nutzen diesen Multimethoden-Ansatz seit vielen Jahren. Vielleicht müssen wir uns eingestehen, dass wir bei KI- Systemen mittlerweile an einer Komplexitätsschwelle angelangt sind, wo wir alleine mit den aus der Technik bekannten klassischen Analysemethoden nicht mehr weiterkommen. Vielmehr müssen wir diese um Ansätze aus der Biologie und Psychologie ergänzen, wenn wir „komplexe Intelligenzen“ verstehen wollen.
Sonst stehen wir irgendwann vor demselben Problem wie der Goethesche Zauberlehrling: „Herr, die Not ist groß! Die ich rief, die Geister werd' ich nun nicht los.“