Im Rahmen eines Forschungsprojektes unter der Leitung von Prof. Jörg Remy wird eine verbesserte Rehabilitation der Armmotorik durch Echtzeit-Verklanglichung (Sonifikation) von Armbewegungen bei Schlaganfallpatienten angestrebt.

Unter der Leitung des Dipl. Psychologen Dr. Daniel Scholz des Instituts für Musikphysiologie und Musikermedizin an der Hochschule für Musik, Theater und Medien Hannover wird die zu diesem Zweck dort entworfene Therapieform von uns weiterentwickelt. Dadurch gelingt ihnen eine auf musikalischen Gedächtnisspuren beruhende, bessere Kontrolle der Armmotorik. Zusätzlich wird die Motivation bei der Übungsausführung gesteigert. Dazu nutzen wir einen Stereovision-Abstandssensor (LeapMotion), die Programmierumgebung Max/MSP, sowie die Audiosoftware Ableton Live.

Der Sensor erfasst die Armbewegungen des Patienten, die anschließend mithilfe von Max/MSP in MIDI-Daten umgesetzt werden. Diese MIDI-Daten dienen zum Steuern von virtuellen Instrumenten in Ableton Live. Dabei entspricht die vertikale Bewegungsrichtung den Tönen einer vom Therapeuten wählbaren Tonleiter. Durch Bewegungen in der Horizontalen können unterschiedliche Instrumente „gespielt“ werden. In einer typischen Übung versucht der Patient, eine mit einem gewissen Bewegungsablauf korrespondierende Melodie zu spielen, die durch den Therapeuten vorgegeben wird. Die bei der Übung anfallenden Bewegungsdaten werden außerdem zum Zweck der späteren statistischen Auswertung des Rehabilitationsfortschritts gespeichert.

http://www.immm.hmtm-hannover.de