Problembeschreibung
Sei es beim Telefonieren in der Bahn, beim Musikhören in der Mensa oder bei der alltäglichen Nutzung eines Hörgeräts: in all diesen Situationen beeinträchtigen  Umgebungsgeräusche die Wahrnehmung des akustischen Nutzsignals. Verringern lassen sich diese störenden Faktoren durch Verfahren der Geräuschreduktion und Sprachsignalverbesserung. Während bei der Geräuschreduktion die Wahrnehmbarkeit des Nutzsignals, wie z.B. Musik, durch Verringerung von Störgeräuschen und Verzerrungen verbessert werden soll, geht es bei der Sprachsignalverbesserung zusätzlich darum, die Sprachverständlichkeit zu verbessern.

Die Bachelor-/Masterarbeiten richten sich in erster Linie auf die Verbesserung vorhandener Algorithmen und die Entwicklung und Implementierung neuer Algorithmen nach eigenen Ideen oder nach neueren Vorschlägen aus der Literatur.

Lösungsansätze
Methoden der Sprachsignalverbesserung (engl. „speech enhancement“) verwenden häufig statistische Schätzverfahren, neuerdings oft in Kombination mit maschinellem Lernen, um Sprache und Störungen im erfassten Signal zu identifizieren. Ziel ist es, das Sprachsignal zu extrahieren und mit minimalen Verzerrungen wiederzugeben. Bei der aktiven Geräuschreduktion (engl. „active noise control“ (ANC) oder auch “active noise cancellation”) wird eine mögliche Überlagerung mit Störgeräuschen während der Wiedergabe berücksichtigt. Durch eine präzise Modellierung der Übertragungspfade und Schätzung der Störsignale können dann Gegensignale erzeugt werden, die das Störgeräusch durch destruktive Interferenz der akustischen Signale weitestgehend auslöschen. Wenn mehrere Mikrofone bei dem genutzten Gerät zur Verfügung stehen, können sogenannte Beamforming-Algorithmen genutzt werden, um Richtungsinformationen in den Signalen zu nutzen, welches der Funktionalität beider Verfahren zu Gute kommt.

Beide Ansätze nutzen analytische oder numerische Optimierungsverfahren, die eine Kostenfunktion, basierend auf dem jeweiligen Problem, minimieren. Heutzutage kommen dabei häufig auch tiefe neuronale Netze („Deep Neural Networks – DNNs“) zum Einsatz. Für die Verwendung in Echtzeitsystemen ist es zudem wichtig, die Latenz zwischen der Eingabe des gestörten und der Ausgabe des verarbeiteten, verbesserten Signals minimal zu halten.
Konkret bedeutet dies, dass Algorithmen auch mit sehr kurzen Signalsegmentlängen (z.B. 20 ms) gute Ergebnisse liefern und Filterstrukturen nicht zu komplex ausfallen sollten.

Werkzeuge und Methoden
Im Rahmen einer Bachelor-/Masterarbeit werden grundlegende Kenntnisse der Audiosignalverarbeitung, der Akustik und der statistischen Signalverarbeitung erlangt. Ergänzt wird dies durch die Vertiefung von Programmierkenntnissen anhand der effizienten Implementierung von Algorithmen.
Sprachsignalverbesserung und Geräuschreduktion

Was kann man lernen?
Im Rahmen einer Bachelor-/Masterarbeit werden Grundlagen der Audiosignalverarbeitung und der statistischen Signalverarbeitung erlangt. Zu dem werden Programmierkenntnisse und die effiziente Implementierung von Algorithmen vertieft.

Ansprechpartner:

Willem Alexander Klatt, M. Sc.
ID 2/319
willem.klatt@rub.de

Benjamin Lentz, M. Sc.
ID 2/319
benjamin.lentz@rub.de

Maurice Oberhag, M. Sc.
ID 2/319
maurice.oberhag@rub.de

Problembeschreibung und Aufgabenstellung
In vielen Anwendungen der Sprachkommunikation werden gleichzeitig mehrere Sprachsignale  aufgenommen, von denen zumeist nur eines erwünscht ist, während die übrigen als störend empfunden werden und deshalb unterdrückt werden sollen.
Ein Hörgeräteträger möchte beispielsweise auf einer Party gezielt seinem Gesprächspartner zuhören, obwohl die Mikrofone der Hörgeräte auch die Sprache der übrigen Gäste aufnehmen, ein Sprachassistenzsystem soll Befehle und Anfragen möglichst fehlerfrei verstehen, auch wenn im Hintergrund Kinder spielen oder ein Fernseher läuft, und auch bei der Freisprechkommunikation mit einem Mobiltelefon soll mein Gesprächspartner vor allem meine Stimme hören und nicht sein eigenes Echo, welches vom Lautsprecher in das Mikrofon zurückgekoppelt wird.
In all diesen Fällen kann die Signalverarbeitung im Zusammenspiel mit Verfahren des maschinellen Lernens  genutzt werden, um das gewünschte Sprachsignal von den übrigen Sprachsignalen zu trennen. In studentischen Arbeiten werden  entsprechende Verfahren aus der wissenschaftlichen Literatur oder den aktuellen Forschungsarbeiten am Lehrstuhl durch Studierende erarbeitet und  implementiert, um sie dann zu  bewerten und weiterzuentwickeln.

Werkzeuge und Methoden
Bearbeitet werden die Aufgaben überwiegend in Matlab / Simulink, wobei auch eine Entwicklung in z.B. Python in einigen Arbeiten sinnvoll sein kann. Methodisch bilden Verfahren der digitalen und statistischen Signalverarbeitung (z.B. schnelle Faltung, Schätzverfahren) die Grundlage. Darüber hinaus können Methoden aus dem Bereich des maschinellen Lernens (z.B. neural networks, deep learning) oder adaptive Filter zum Einsatz kommen.

Beispiele abgeschlossener Arbeiten zur Sprechertrennung:

• Echtzeitsimulation akustischer Echos in der Mobilkommunikation (Praxisprojekt)
• Untersuchung zu Problemen und Lösungsstrategien in der stereophonen Echokompensation (Bachelorarbeit)
• Models and Algorithms for Nonlinear Acoustic System Identification (Masterarbeit)

Ansprechpartner:
Prof. Dr.-Ing. Rainer Martin
ID 2/233
0234 32-22495
rainer.martin@rub.de

Problembeschreibung und Aufgabenstellung
Quellen in komplexen akustischen Szenen zu lokalisieren, zu verfolgen und zu erkennen gehört zu den herausforderndsten Aufgaben in der Akustik. Ein wesentliches Ziel besteht in der Bestimmung der Postion einer Quelle oder mehrer Quellen relativ zu den aufnehmenden Mikrofonen. Anwendungen finden sich zum Beispiel in der Robotik oder in Hörgeräten. Für die Lösung der Aufgabe werden in der Regel Mikrofongruppen („Arrays“) eingesetzt. Die gewonnen Informationen können dann z.B. für Beamforming verwendet werden, welches sich auf die Quellensignale ausrichtet und Störquellen unterdrückt.

Ein akustischer Szenenklassifikator ordnet die durch die Mikrofone aufgenommenen Signale einer Signalklassse oder einer vordefinierten akustischen Szene zu. Beispiele für akustische Signalklassen sind z.B. Geräusch, Musik  oder Sprache. Mit diesen Informationen kann zum Beispiel die Audiosignalverarbeitung in Hörgeräten entsprechend der erkannten akustischen Signalklasse gesteuert werden. Wenn z.B. die Klasse Geräusch erkannt wird, wird automatisch der Rauschunterdrückungs­algortihmus im Hörgerät aktiviert. Unter einer akustischen Szene versteht man das in bestimmten Umgebungen anzutreffende zeitveränderliche Zusammenspiel räumlich verteilter Quellen. Zum Beispiel ist die Szene „Büroumgebung“ durch Stimmen, Telefonklingeln, Tastaturgeräusche und Druckergeräusche charakterisiert. In der Analyse wird die Szene dann durch Informationen über die zeitlichen und räumlichen Eigenheiten der aufgenommenen Mikrofonsignale bestimmt.

Die Bachelor-/Masterarbeit richtet sich in erster Linie auf die Verbesserung vorhandener Algorithmen und die Entwicklung und Implementierung neuer Algorithmen auf verschiedenen Plattformen (PC, Android, Echtzeitsystemen).

Werkzeuge und Methoden
Die Problemstellungen werden mit den Algorithmen der Audiosignalverarbeitung, der statistischen Signalverarbeitung und Methoden des maschinellen Lernens bearbeitet. Die Implementierung erfolgt mittels Matlab, Simulink oder Python.

Was kann man lernen?
Im Rahmen einer Bachelor-/Masterarbeit werden Grundlagen der Mustererkennung, der Audiosignalverarbeitung und der statistisch Signalverarbeitung erlangt. Zu dem werden Programmierkenntnisse und die effiziente Implementierung von Algorithmen vertieft.

Voraussetzungen:
Bereitschaft, sich  grundlegende Kenntnisse der Akustik, der Audiosignalverarbeitung und des maschinellen Lernens anzueignen.  Programmierkenntnisse in Matlab und Simulink, Kenntnisse in C++ und Python sind von Vorteil, Interesse an Aufnahmetechnik und Elektronik.

Bespiele abgeschlossener Arbeiten:

•     Schätzung raumakustischer Parameter mittels neuronaler Netze
•     Entwicklung eines mobilen akustischen Szenenklassifikators
•     Implementierung eines zuverlässigen und reproduzierbaren Verfahrens zur Kalibrierung von Hörgerät-Mikrofonen

Ansprechpartner:
Prof. Dr.-Ing. Rainer Martin
ID 2/233
0234 32 22495
rainer.martin@rub.de

Akustische Sensornetzwerke (ASNs) und insbesondere drahtlose ASNs (WASNs) werden als Next-Generation-Technologie zur Audiosignalaufnahme und -verarbeitung angesehen. Verglichen mit traditionellen Mikrofonarrays bieten ASNs sowohl mehr Flexibilität, da sie in verschiedenste eingebettete Systeme integriert werden können, als auch eine bessere Skalierbarkeit, da kleine und große akustische Szenarien gleichermaßen abdecken können.

Einige Beispiele sind betreutes Wohnen und Smart-Homes, in denen Sensoren in einem Raum oder im ganzen Haus verteilt sind, bis hin zu ganzen Smart-Cities oder der Erfassung und Überwachung des natürlichen Lebensraums von Tieren, mit vielen Sensoren verteilt über ein weites Gebiet.

Die technischen Aufgaben und Herausforderungen, die diese Netzwerke behandeln, variieren von Sprecher- und Spracherkennung bis hin zur Detektion akustischer Ereignisse und der Gruppierung und Klassifikation von Schallquellen. Beispiele für verschiedene sogenannte Klassifikations-Labels sind vielfältig: „Hupe vom Auto“, „Martinshorn“, „Telefon klingelt“, „Waschmaschine läuft“, „Kettensäge schneidet“, „Motorengeräusch“, und viele mehr.

Was Sie erwartet:
Die hauptsächlich verwendeten Umgebungen sind Matlab und/oder Python, zusätzlich ist jegliche Erfahrung mit Tensorflow willkommen. Einige Projekte wurden außerdem mit und auf Android-Geräten in Java entwickelt.

Sie erhalten die Möglichkeit, die wichtigsten Signalverarbeitungstools (FFT, DCT, MFCC, etc.) einzusetzen und diese mit Ansätzen des Machine Learning (LDA, PCA, Clustering, Entropie, Mutual Information etc.) zu verbinden. Während mancher Projekte haben Sie außerdem die Möglichkeit, mehr über Deep Neural Network Technologien (CNN, MLP, GRU,etc.) auf dem heutigen Stand der Technik zu lernen und diese zu verwenden.

Das Bearbeiten der Projekte kann einzeln oder im Team erfolgen. Zusätzlich werden Sie hilfreiche Basis-Techniken im Bereich Agiles Projektmanagement erlernen, wie z.B. Sprints und Scrums.

Beispiele bereits abgeschlossener Arbeiten:

Bachelor-Praxisprojekte:

• Extraction of MFCC features on Android based embedded  devices
• Audio data acquisition and management on Android based embedded devices
• Music genre classification using Mod-MFCC features
• Neural Network based Feature Extraction for Gender Discrimination and Speaker Identification

Bachelorarbeiten:

• Audio feature extraction with privacy constraints on Android based embedded devices
• Audio signal classification with privacy constraints on Android based embedded devices
• Automatic classification of moving vehicles using audio signals
• Generation of cryptographic keys using the available information of acoustic channels
• Content- and context-based classification of music signals using deep neural networks

Ansprechpartner:
Luca Becker, M.Sc.
ID 2/255
+49 234 32 27543
luca.becker@rub.de

Problemstellung und Aufgabenbeschreibung
Lag der Schwerpunkt der Signalverarbeitung für Hörhilfen wie Hörgeräte und Cochlea-Implantate (CI) lange Zeit ausschließlich auf der Verbesserung der Qualität von Sprachsignalen, so rücken andere Signaltypen wie Musik zunehmend mehr in den Blickpunkt von Entwicklern und Nutzern. Musiksignale unterscheiden sich in mehreren Punkten von Sprachsignalen: ihre Zusammensetzung ist deutlich vielfältiger und komplexer und sie decken einen deutlich größeren Frequenz- und Dynamikumfang ab.

Nutzer von Hörgeräten und CI leiden durch ihre Hörstörung hingegen oft unter Effekten wie einer starken Einschränkung ihres spektralen Auflösungsvermögens, spektraler Verschmierung und einer Verkleinerung des als angenehm empfundenen Lautstärkebereichs. Sie haben Schwierigkeiten, einzelne Stimmen oder Instrumente in Musikstücken herauszuhören. Durch diese Beeinträchtigungen ist das Musikhören für sie häufig anstrengender als für Normalhörende.

Ziel unserer Arbeiten ist es daher, Musiksignale für Träger von Hörgeräten oder CI leichter zugänglich zu machen, in dem z.B. einzelne Stimmen, Instrumente oder rhythmische Elemente gezielt verstärkt oder gedämpft werden oder das Spektrum der Signale vereinfacht oder anderweitig bearbeitet wird. Dazu bedient man sich Techniken aus den Bereichen der Quellentrennung (source separation), der Analyse von Musiksignalen (music information retrieval), der digitalen Effekte aber auch Verfahren aus den Bereichen der statistischen Signalverarbeitung, des maschinellen Lernens und neuronaler Netze. In der Regel ist es erforderlich, die neu entwickelten Algorithmen auf Ihre Wirkung und Anwendbarkeit in Hörversuchen mit Normalhörenden, Hörgeräte- und CI-Trägern zu untersuchen.

Bisher durchgeführte Arbeiten:

• Implementierung und Beurteilung von Spektralanalyse und syntheseverfahren für Audiosignale (Bachelor-Arbeit)
• Entwicklung und Analyse eines Maßes zur Beschreibung der Komplexität von Audiosignalen (Master-Arbeit)
• Entwicklung eines Simulators für die Auralisation von Hörverlusten (Master-Arbeit)
• Implementierung und Untersuchung eines Verfahrens zur Dynamikkompression von Musiksignalen (Bachelor-Arbeit)
• Oktavbasierte spektrale Analyse und Synthese von Musiksignalen (Master-Projekt)
• Analyse und Synthese von Musiksignalen unter Verwendung der Constant-Q-Transformation und neuronaler Netze (Bachelor-Arbeit)
• Vereinfachung von Musiksignalen für Nutzer von Cochleaimplantaten (Master-Arbeit)

Ansprechpartner:
Dr.-Ing. Anil Nagathil
ID 2/223
0234 32-29289
anil.nagathil@rub.de

Problembeschreibung
Den Begriff "virtuelle Realität "kann als plausible visuelle und akustische Darstellung einer virtueller Umgebungen beschreiben. Dabei lassen sich visuelle Reize zum Beipsiel durch VR Brillen darstellen, während für eine akustische Reproduktion binaurale (zweiohrige) Kopfhörerwiedergaben und Lautsprechersysteme verwendet werden. Die Qualität einer virtuellen Realität zeichnet sich dadurch aus, wie immersiv sie sind, d.h., wie gut man in diese eintauchen kann und diese als realitätsnah wahrnimmt. Je besser dies gelingt, desto besser können Realität und virtuelle Relalität miteinander verschwimmen. Dafür ist es notwenig, dass sowohl die visuelle, als auch die akustische Umgebung in sich schlüssig ist und man sich in diese hineinversetzen kann. Zusätzlich müssen diese Umgebungen auch miteinander harmonieren.

Aufgabenstellung
In den studentischen Projekten wird die Schallübertragung von der Quelle zum binauralen Empfänger durch die sog. Head-Related Transfer Function (HRTF) modelliert. Diese kann im HRTF-Labor des Instituts für Kommunikationsakustik für Personen individuell gemessen werden. Mit umfassender Kenntnis der HRTF sollen dann Binauralsignale aus allen denkbaren Raumrichtungen synthetisiert und auf ihre Qualität untersucht werden. Dies kann für möglichst einfache (reflexionsfreie) Szenarien wie im Freifeld als auch für komplexere Szenarien (Räume; mehrere Quellen) geschehen. Die generierete virtuelle akustische Umgebung wird anschließend mit einer virtuellen visuellen Umgebung kombiniert (z.B. in Unity). Diese geschaffene virtuelle Realität kann dann in verschiendenen Anwendungen, z.b. Gaming evaluiert werden, indem überprüft wird, ob sich Objekte innerhalb dieser virtuellen Realität gut lokalisieren lassen können.

Werkzeuge und Methoden
Die messtechnische Seite der Aufgabenstellung beinhaltet den Betrieb von Gerätschaften und Audioaufnahme- und Berechnungssoftware (MATLAB) im HRTF Labor. Die Synthese von Binauralsignalen geschieht in MATLAB oder in der anwendungsnahen Unity 3D Umgebung mit C++/C#. Letztere eignet sich insbesondere, um zu der akustischen Modalität noch eine visuelle Modalität hinzuzufügen.

Was kann man lernen?
Je nach Schwerpunkt der jeweiligen Bachelor-/Masterarbeit werden die Grundlagen der Signalakquise bzw. Signalsynthese erlernt. In der Umsetzung von Algorithmen und Anwendungen werden Programmierkenntnisse für die effiziente Umsetzung geschult. Ferner werden Fähigkeiten zur wahrnemungsbezogenen Evaluation erlangt. Dies umfasst die Planung und die Auswertung von Hörversuchen, um zum Beispiel die Qualität einer virtuellen Realität beurteilen zu können.

Voraussetzungen
Grundkenntnisse der Audiosignalverarbeitung, wie etwa durch das Praktikum Sprach- und Audiokommunikation. Vertiefte Kenntnisse der digitalen Signalverarbeitung, wie etwa durch den Master Kommunikationstechnik. Programmierkenntnisse in Matlab, C/C++ oder Python.

Ansprechpartner:
Daniel Neudek, M. Sc.
ID 2 / 221
0234 / 32 25388
daniel.neudek@rub.de