ATLAS

Augmentier-Technik für linguistische Analyse und Steuerung

Eine Sprachsteuerungsanwendung für die Microsoft HoloLens 2, die es Nutzer*innen ermöglicht, mittels sprachbasierter Interaktion mit generativen künstlichen Intelligenzen zu kommunizieren.

Demo

Über das Projekt

ATLAS wurde im Jahr 2023 an der Fachhochschule Dortmund im Rahmen einer Projektarbeit entwickelt. Die Anwendung ermöglicht es, mittels sprachbasierter Interaktion mit der OpenAI-Schnittstelle für Generative Pretrained Transformer (GPT) zu interagieren und verschiedene Funktionen der HoloLens 2 durch gesprochene Konversation zu steuern.

Funktionen

• Fotografieren per Sprachbefehl: Steuerung der HoloLens 2 Kamera durch Sprachbefehle
• KI-Bildgenerierung: Erstellung von Bildern durch Api Aufrufe über Sprachbefehle
• AR-Visualisierung: Interaktive Darstellung längerer Ausgaben in Augmented Reality
• Umgebungserkennung: Anzeige der von der HoloLens erkannten Umgebung
• Text-zu-Sprache: Synthese der LLM-Antworten in gesprochene Sprache