In Star Trek: The Next Generation nutzen Captain Picard und die Besatzung der U.S.S. Enterprise das Holodeck, einen leeren Raum, der in der Lage ist, 3D-Umgebungen zu erzeugen, um sich auf Missionen vorzubereiten und sich selbst zu unterhalten, indem sie alles simulieren, vom üppigen Dschungel bis zum London von Sherlock Holmes.
Die auf dem Holodeck erstellten Umgebungen sind vollständig interaktiv und können mit Hilfe von Sprache beliebig angepasst werden: Die Besatzung muss den Computer nur bitten, eine Umgebung zu erstellen, und schon erscheint diese auf dem Holodeck.
Heutzutage werden virtuelle interaktive Umgebungen auch genutzt, um Roboter zu trainieren, bevor sie in der realen Welt eingesetzt werden (Sim2Real). Virtuelle interaktive Umgebungen sind jedoch überraschend rar gesät. “Künstler erstellen diese Umgebungen von Hand”, sagt Yue Yang, Doktorand in den Laboren von Mark Yatskar und Chris Callison-Burch, Assistant bzw. Associate Professors in Computer and Information Science (CIS).
“Diese Künstler können eine Woche damit verbringen, eine einzige Umgebung zu erstellen”, fügt Yang hinzu und verweist auf die vielen Entscheidungen, die dabei getroffen werden müssen – von der Raumaufteilung über die Platzierung von Objekten bis hin zu den Farben, die beim Rendern verwendet werden.
Mangel an virtuellen Umgebungen ist Problem für KI
Dieser Mangel an virtuellen Umgebungen ist ein Problem, wenn man Roboter darauf trainieren will, sich in der realen Welt mit all ihrer Komplexität zurechtzufinden. Neuronale Netze, die Systeme, die die heutige KI-Revolution vorantreiben, benötigen riesige Datenmengen, was in diesem Fall Simulationen der realen Welt bedeutet.
“Generative KI-Systeme wie ChatGPT werden mit Billionen von Wörtern trainiert, und Bildgeneratoren wie Midjourney und DALLE werden mit Milliarden von Bildern trainiert”, sagt Callison-Burch. “Wir haben nur einen Bruchteil dieser Menge an 3D-Umgebungen für das Training der sogenannten ‘verkörperten KI’.
Wenn wir generative KI-Techniken nutzen wollen, die sich sicher in realen Umgebungen bewegen können, müssen wir Millionen oder Milliarden von simulierten Umgebungen schaffen.”
Hier kommt Holodeck ins Spiel, ein System zur Erzeugung interaktiver 3D-Umgebungen, das von Callison-Burch, Yatskar, Yang und Lingjie Liu, Aravind K. Joshi Assistant Professor in CIS, zusammen mit Kollegen in Stanford, der University of Washington und dem Allen Institute for Artificial Intelligence (AI2) entwickelt wurde.
Das Holodeck, benannt nach seinem Star-Trek-Ahnen, erzeugt eine praktisch unbegrenzte Anzahl von Innenräumen und nutzt KI, um die Wünsche der Nutzer zu interpretieren. “Wir können es mit Sprache steuern”, sagt Yang. “Du kannst ganz einfach die gewünschten Umgebungen beschreiben und die verkörperten KI-Agenten trainieren.
