Deep Learning Demonstrator Looking to Listen at the Cocktail-Party

Deep Learning Demonstrator Looking to Listen at the Cocktail-Party

Menschen sind in der Lage, in einer Umgebung mit lauten Hintergrundgeräuschen den Fokus auf ein sprechendes Gegenüber zu legen und einen Grossteil der Störgeräusche auszublenden. Dies nennt man den Cocktailparty-Effekt. Damit die Zuordnung erleichtert werden kann, analysieren wir das Gesicht der sprechenden Person anhand von Merkmalen, beispielsweise die Bewegung des Mundes. Wir stellen demnach intuitiv eine Verbindung zwischen den wahrgenommenen visuellen und den akustischen Informationen her.

Basierend auf diesem Prinzip wurde in dieser Bachelorarbeit mithilfe künstlicher neuronaler Netze ein Sprachseparationsmodell nachgebildet. Das Modell wurde anhand eines grossen Datensatzes trainiert. Dieser enthält Video- und Audioaufnahmen von simultan sprechenden Personen sowie die gewünschten Ergebnisse der Sprachseparation – die reine Tonspur jedes Sprechers. Daraus lernt das Modell, Muster zu erkennen, welche auch die Trennung von unbekannten Audio- und Videodaten ermöglichen.

Studierende
Carmen Halbeisen, Sereina Scherrer

Dozenten
Prof. Dr. Klaus Frick, Prof. Dr. Christoph Würsch

PROF. DR. CHRISTOPH WÜRSCH
«Mit ihrer Bachelorarbeit haben die Studierenden Carmen Halbeisen und Sereina Scherrer einen Ansatz zur Trennung von vermischten Tonspuren implementiert, der von Google Ende 2018 veröffentlicht wurde. Mit dem erlernten Modell ist es möglich, durch Beobachtung einer sprechenden Person, Hintergrundgeräusche – wie etwa Lärm oder weitere Sprecher – beinahe komplett zu dämpfen. Mögliche Anwendungen dieser Technologie liegen im Bereich «active noise cancellation» für Telefon-oder Videokonferenzübertragungen oder bei medizinischen Hörhilfen, die, kombiniert mit einer Kamera (z.B. integriert in eine Brille), in der Lage sind, das Sprachsignal des Gesprächspartners von Störgeräuschen zu reinigen.»

Bachelorabsolventinnen und -Absolventen zeigen Ihr Können
Bevor die diesjährigen Absolventinnen und Absolventen ihr Diplom erhielten, mussten sie ihr Wissen aus dem Studium ein letztes Mal unter Beweis stellen – in ihrer Bachelorarbeit. Auch in diesem Jahr wurden wieder zahlreiche spannende Projekte realisiert. Teilweise in Zusammenarbeit mit Industriepartnern, entwickelten die angehenden Ingenieure und Ingenieurinnen innovative Lösungsansätze für diverse konkrete Problemstellungen. Die folgenden Seiten geben Ihnen einen Einblick in die vielseitigen Themenschwerpunkte der Bachelorarbeiten und zeigen auch den konkreten Nutzen für die Wirtschaft.

Auf Social Media Teilen:          

OST - Ostschweizer Fachhochschule Buchs

  Werdenbergstrasse 4, 9471 Buchs
  Schweiz
  +41 58 257 33 11
  bu-office@ost.ch
  http://www.ost.ch

Logo OST - Ostschweizer Fachhochschule Buchs

Könnte Sie auch interessieren