Technische Universität Darmstadt
Schlafwandelnder Sprachassistent - Untersuchungen liefern neue Erkenntnisse zum „Fake-Wake-Phänomen“
Schlafwandelnder Sprachassistent
Untersuchungen liefern neue Erkenntnisse zum „Fake-Wake-Phänomen“
In einem gemeinsamen Projekt mit einem Forschungsteam der chinesischen Zhejiang Universität in Hangzhou haben Forschende des System Security Lab unter Leitung von Professor Dr. Ahmad-Reza Sadeghi an der TU Darmstadt das sogenannte „Fake-Wake-Phänomen“ systematisch untersucht. Dieses Phänomen führt bei gängigen Sprachassistenten dazu, ein abweichendes Wort als eigenes „Weckwort“ zu erkennen und auf vermeintliche Kommandos zu hören.
Das internationale Forschungsteam ist dabei auf neue Erkenntnisse gestoßen. Seine Ergebnisse liefern wertvolle Hinweise, wie die Privatsphäre der Nutzenden stärker geschützt werden und Hersteller ihre Sprachassistenten noch sicherer machen können. Untersucht wurden die acht beliebtesten englischen und chinesischen Sprachassistenten im Hinblick auf das Fake-Wake-Phänomen.
Typischerweise hören Sprachassistenten aktiv die Umgebung nach ihren systemeigenen Weckwörtern wie „Alexa“, „OK Google“ oder ihren Markennamen ab, die sie aktivieren. Beim Fake-Wake-Phänomen erkennt der Sprachassistent falsche Weckworte, sogenannte „Fuzzy-Wörter“, z.B. aus Gesprächen oder Fernsehsendungen. Diese falsch erkannten Wörter kann ein Angreifer nutzen, um Sprachassistenten zu aktivieren, ohne die Nutzenden dabei zu alarmieren. Bisher konzentrierte sich die Forschung auf diese Quellen des Fake-Wake-Phänomens.
Dem Team um Prof. Wenyuan Xu, Dr. Yanjiao Chen und Prof. Sadeghi ist es erstmals gelungen, systematisch und automatisch eigene falsche Weckwörter zu generieren statt Audiomaterial zu durchsuchen. Die Erzeugung der Fuzzy-Wörter begann mit einem bekannten Anfangswort wie „Alexa“. Dabei hatten die Forschenden weder Zugriff auf das Modell, das die Weckwörter erkennt, noch auf den Wortschatz, der dem Sprachassistenten zugrunde liegt. Sie gingen auch der Frage nach, welche Ursachen zur Akzeptanz falscher Weckwörter führen.
Zunächst wurden die Merkmale ermittelt, die am häufigsten zur Akzeptanz der Fuzzy-Wörter beigetragen haben. Die entscheidenden Faktoren konzentrierten sich lediglich auf einen kleinen phonetischen Ausschnitt des Wortes. Aber auch falsche Wörter, die sich deutlich stärker von den echten Weckwörtern unterscheiden, konnten die Sprachassistenten aktivieren. Dabei spielten etwa Umgebungsgeräusche, die Lautstärke der Wörter sowie das Geschlecht des oder der Sprechenden kaum eine Rolle.
So konnten mit Hilfe genetischer Algorithmen und maschinellen Lernens mehr als 960 eigene Fuzzy-Wörter in Englisch und Chinesisch erzeugt werden, die den „Weckwortdetektor“ der Sprachassistenten aktiviert haben. Dies zeigt einerseits die Schwere des Fake-Wake-Phänomens und liefert andererseits die Grundlage für tiefere Einblicke in dessen Ursachen.
Das Phänomen kann abgeschwächt werden, indem der Weckwortdetektor mit den erzeugten Fuzzy-Wörtern neu trainiert wird. Dadurch kann der Sprachassistent genauer zwischen falschen und echten Weckwörtern unterscheiden. Auch Hersteller können mit den generierten Fuzzy-Wörtern vorhandene Modelle neu trainieren, um sie präziser und weniger angreifbar zu machen. Damit bieten die Forschungsergebnisse einen vielversprechenden Weg, um Datenschutz- und Sicherheitsprobleme in Sprachassistenten zu identifizieren, zu verstehen und zu entschärfen.
Publikation:
https://arxiv.org/abs/2109.09958
Kontakt
Prof. Ahmad-Reza Sadeghi, Leiter des System Security Lab, TU Darmstadt
ahmad.sadeghi@trust.tu-darmstadt.de
Lisa Fröhlich, Wissenschaftskommunikation am System Security Lab, TU Darmstadt
lisa.froehlich@trust.tu-darmstadt.de
+49 (0)6151–16 25322
Über die TU Darmstadt
Die TU Darmstadt zählt zu den führenden Technischen Universitäten in Deutschland und steht für exzellente und relevante Wissenschaft. Globale Transformationen – von der Energiewende über Industrie 4.0 bis zur Künstlichen Intelligenz – gestaltet die TU Darmstadt durch herausragende Erkenntnisse und zukunftsweisende Studienangebote entscheidend mit.
Ihre Spitzenforschung bündelt die TU Darmstadt in drei Feldern: Energy and Environment, Information and Intelligence, Matter and Materials. Ihre problemzentrierte Interdisziplinarität und der produktive Austausch mit Gesellschaft, Wirtschaft und Politik erzeugen Fortschritte für eine weltweit nachhaltige Entwicklung.
Seit ihrer Gründung 1877 zählt die TU Darmstadt zu den am stärksten international geprägten Universitäten in Deutschland; als Europäische Technische Universität baut sie in der Allianz Unite! einen transeuropäischen Campus auf. Mit ihren Partnern der Rhein-Main-Universitäten – der Goethe-Universität Frankfurt und der Johannes Gutenberg-Universität Mainz – entwickelt sie die Metropolregion Frankfurt-Rhein-Main als global attraktiven Wissenschaftsraum weiter.
TU Darmstadt Kommunikation und Medien Karolinenplatz 5 64289 Darmstadt presse@tu-darmstadt.de
Twitter: @TUDarmstadt