SMILE: Der Computer als Gebärden-Trainer

Ein internationales Forschungsteam entwickelt ein Computersystem, das Gebärden selbständig erkennt und beurteilt. Noch steckt die Entwicklung in den Kinderschuhen. An der HfH wird der Prototyp vorgestellt – und weiterentwickelt.

Automatische Gesichtserkennung oder Spracherkennungssysteme wie «Siri» haben sich in unserer digitalisierten Welt bereits etabliert. Noch immer anspruchsvoll ist es für digitale Systeme, Gebärdensprache zu erkennen. «Gehörlose kommunizieren über Hände und Arme, Gesicht, Kopf- und Oberkörperbewegungen», erklärt Sarah Ebling, Leiterin des Forschungsprojekts des SNF-Sinergia-Projektverbunds SMILE, «und das macht die Spracherkennung für eine computergesteuerte Kamera extrem schwierig.» Nun aber ist dem Team um Ebling ein Durchbruch gelungen. Zusammen mit internationalen Forschungspartnern konnte ein Software-Prototyp entwickelt werden, welcher einzelne Gebärden erkennen kann.

Im Video erklärt Oscar Mendez, wie das Computer-System SMILE funktioniert.

«Wir sind noch ziemlich am Anfang. Unser Computer bewältigt erstmal nur Einzelgebärden», meint Sarah Ebling vom Institut für Computerlinguistik an der Uni Zürich, «alle nicht-manuellen Merkmale, welche in der Gebärdensprache vor allem zur Kommunikation auf der Satzebene eingesetzt werden, können von den digitalen Augen noch nicht erschlossen werden.»

Im Video-Interview berichten Sarah Ebling (Universität Zürich), Richard Bowden (University of Surrey, GB) und Mathew Magimai Doss (Idiap Research Institute Martigny) über die internationale Kooperation im Projekt SMILE.

Informationen zum Video. Das Interview wird geführt durch Dr. Steff Aellig (Wissenschaftskommunikation HfH).

Für angehende Gebärdensprach-Dolmetscherinnen, welche ihr Studium an der HfH absolvieren, scheint aber trotzdem eine neue Ära des Lernens anzubrechen: Sie können in Zukunft vom Computer Zuhause Feedback erhalten und ihre Kompetenzen in Gebärdensprache selbständig verbessern. «Momentan ist das Gebärdensprachlernen sehr von einzelnen Lehrpersonen geprägt», erklärt Tobias Haug, Professor für Gebärdensprache an der HfH, «mit der neuen Technologie wird die Ausbildung in Zukunft personenunabhängiger.» Automatische Gebärdenspracherkennung kann auch Teil eines digitalen Dolmetsch-Systems sein, mit dem Hörende und Gehörlose miteinander kommunizieren können, ohne dass der Hörende der Gebärdensprache mächtig sein muss. «Ziel eines solchen Systems ist es nicht, menschliche Dolmetscher zu ersetzen, sondern dort, wo Dolmetscher nicht zur Verfügung stehen, zum Einsatz zu kommen», so Haug.

Doch die Projektleiterin Sarah Ebling relativiert: «Bis dahin ist es noch ein weiter Weg. Aber in der Technologie, die wir mitentwickelt haben, steckt enorm viel Potenzial.» Das hat auch der «British Council» erkannt und dem Projekt für seine Innovationskraft einen Preis verliehen.

Im Video reflektieren Tobias Haug und Kolleginnen aus seinem HfH-Team die Einsatzmöglichkeiten des neuen Systems.

Informationen zum Video. Das Interview wird geführt durch Dr. Steff Aellig (Wissenschaftskommunikation HfH).

Vermessen der Gebärdensprache. Noch gibt es keine standardisierten Verfahren, mit denen beurteilt werden kann, wie gut jemand die Gebärdensprache beherrscht. Prof. Dr. Tobias Haug und sein Team entwickeln mit Hilfe neuer Technologien Tests, um diese Lücke zu schliessen. Im Rahmen der Antrittsvorlesung wurden die Problematiken und Hürden thematisiert. Zum Bericht

Autoren: Dominik Gyseler, Dr. phil. und Steff Aellig, Dr. phil., Wissenschaftskommunikation HfH