Vom Datenwürfel zum Buchstaben
Für ihr Experiment nutzten die Wissenschaftler die hochauflösende funktionelle Magnetresonanztomographie (fMRI). Dieses bildgebende Verfahren zeigt, welche Hirnregionen besonders stark mit sauerstoffreichem Blut versorgt werden – und daher gerade besonders aktiv sind. Für die genaue Zuordnung dieser Aktivitätssignale wird die gesamte Sehrinde in winzige dreidimensionale Würfel unterteilt, sogenannte Voxel. Ein spezielles Computerprogramm liest die Daten für jeden dieser 2x2x2 Millimeter kleinen Voxel aus und errechnet daraus die jeweilige Aktivität. Weil die Forscher heute bereits relativ gut bestimmen können, welche Sehinformation welcher Aktivität im Sehzentrum entspricht, ist die Software gezielt darauf programmiert, die einzelnen Voxel bestimmten gesehenen Pixeln zuzuordnen.
Für den eigentlichen Test lagen die Probanden im Hirnscanner, während vor ihnen auf einem Bildschirm nacheinander verschiedene handschriftliche Buchstaben erschienen. In den ersten Durchgängen erzeugte das Auswerte-Programm daraus eher unscharfe, verpixelte Bilder – eine Art Punktmuster, das den Buchstaben höchstens erahnen ließ. “Danach aber haben wir etwas Neues probiert”, erklärt Studienleiter Marcel van Gerven: “Wir haben dem Modell zuvor beigebracht, wie Buchstaben aussehen.” Die Software bekam quasi einen Nachhilfekurs, ihr wurden die korrekten Formen der Buchstaben einprogrammiert. Bekam sie dann die Voxel-Informationen aus der Sehrinde der Probanden, konnte sie die resultierenden unscharfen Abbilder mit den Buchstaben abgleichen und so auch die Rekonstruktion des Gesehenen verbessern.
Erfolgreiche Rekonstruktion des Gelesenen
“Das Ergebnis war tatsächlich eine echte Rekonstruktion des Buchstabens”, so van Gerven. Allein anhand der Hirnscans konnten die Forscher so in den meisten Fällen korrekt bestimmen, welche handschriftlichen Buchstaben ihre Probanden gerade gesehen hatten. Das Prinzip hinter diesem Verfahren sei ganz ähnlich dem, mit dem auch das Gehirn selbst neue Sinneseindrücke mit Vorwissen kombiniere, erklären die Forscher. Auch die Linien und Kurven der Buchstaben in einem Artikel wie diesem könne ein Leser nur deshalb erkennen, weil sein Gehirn gelernt habe, diese Formen als Buchstaben zu interpretieren. Und genau das mache auch das Analyse- Programm für die Sehrinden-Voxel. Weil die Software lernfähig war, konnte sie zudem selbst dann gute Bilder erzeugen, wenn ihr der spezifische Buchstabe zuvor nicht bekannt war, wie die Wissenschaftler berichten.
Schoenmakers und ihre Kollegen wollen ihr Verfahren nun noch weiter verfeinern und vor allem die Auflösung der Hirnscans durch Nutzung besserer Tomografen weiter erhöhen. Statt der Informationen aus 1.200 Voxeln soll das Programm dann mit Daten von 15.000 Voxeln arbeiten. “Damit wollen wir dann auch detailliertere Bilder rekonstruieren können”, so die Forscherin. Ihr Ziel ist es, eines Tages auch subjektive Eindrücke wie Träume oder Erinnerungen auf eine solche Weise auszulesen. Bis es soweit ist, dürfte es allerdings noch einige Zeit dauern.
