Autonome Systeme lernen, ihre Umgebung zu verstehen

Generative KI wie ChatGPT kann Texte schreiben, Bilder erzeugen oder auch Code programmieren. Doch sobald es um die physische Welt geht, stoßen die Modelle an ihre Grenzen. Sie verstehen Räume und Veränderungen in der Umgebung nur eingeschränkt. Das Team um das Start-up SE3 Labs hat eine Spatial-AI-Technologie entwickelt, die Bilder, Videos und Kartenmaterial nutzt, um realitätsnahe 3D-Modelle zu erstellen. Die Technologie wird bereits in zahlreichen Projekten der Bundeswehr eingesetzt.

Angefangen hat alles in einer Kletterhalle. Dort lernte Daniel Cremers, Professor für Bildverarbeitung und Künstliche Intelligenz an der Technischen Universität München (TUM), seinen späteren Mitgründer Lukas Köstler kennen. Kurz darauf begann Lukas Köstler als Doktorand am Lehrstuhl von Professor Cremers zu forschen; hier stieß auch Simon Klenk hinzu. Aus dieser Zusammenarbeit heraus entschlossen sich die drei, ihre Forschung in einem eigenen Unternehmen fortzuführen. Mit SE3 Labs verfolgt das Team das Ziel, Maschinen ein räumliches Verständnis ihrer Umgebung zu geben, damit sie darin – ähnlich wie generative KI im Umgang mit Sprache – eigenständig agieren können. Für ihr Start-up erhalten sie Unterstützung von UnternehmerTUM und den TUM Venture Labs.

Von visuellen Daten zum räumlichen Verständnis

„Unsere Technologie soll nicht nur erkennen, was auf einem Bild oder in einem Video zu sehen ist, sondern die dreidimensionale Welt auch wirklich verstehen, also wie Objekte, Gebäude, Straßen oder Geländeformen räumlich zueinander in Beziehung stehen“, sagt Daniel Cremers. Autonome Systeme wie Drohnen oder Roboter können dieses räumliche Verständnis nutzen, um sich selbstständig in ihrer Umgebung zu orientieren und zu handeln. Zudem lässt sich das digitale Abbild der Umgebung von Nutzerinnen und Nutzern analysieren und abfragen.

Die Software verarbeitet Sensordaten in Echtzeit zu einem kontinuierlich aktualisierten, dreidimensionalen Modell der Umgebung. Geländeprofile, Höhenunterschiede und relevante Objekte werden mit hoher Genauigkeit erfasst und lokalisiert. Hierbei werden Methoden großer Sprachmodelle mit Computer Vision kombiniert – also Verfahren, mit denen Maschinen lernen, visuelle Informationen ähnlich wie Menschen zu erkennen und zu verstehen.

Anwenderinnen und Anwender können, wie bei einem Chatbot, Fragen zu diesen räumlichen Daten stellen. Bei der Stadtplanung kann das Tool beispielsweise helfen, herauszufinden, wie viele Solarmodule auf bestehenden Dachflächen Platz fänden oder wie viele Parkplätze in einem bestimmten Viertel zur Verfügung stehen.

Fokus auf Einsatz in Krisen- und Kriegsgebieten

„Besonders relevant ist unsere Technologie aber in Situationen, in denen aktuelle Informationen über die Umgebung entscheidend sind, etwa in Krisen- und Kriegsgebieten. Autonome Systeme wie Drohnen können in diesem Fall oft nicht eingesetzt werden, da sie auf GPS-Signale angewiesen sind, die in diesen Gebieten häufig nicht verfügbar sind“, sagt Lukas Köstler.

Genau hier setzt das Team von SE3 Labs an, denn das Navigationssystem von SE3 ermöglicht eine präzise autonome Navigation auch in Umgebungen ohne GPS-Signal. Dabei erstellt das System fortlaufend ein eigenes räumliches Lagebild der Umgebung, sodass Veränderungen im Gelände oder Einsatzraum in Echtzeit berücksichtigt werden.

Auf Basis des gleichen 3D-Lagebilds können Einsatzkräfte anschließend gezielte Fragen stellen: Wie viele bestimmte Objekte befinden sich in einem Gebiet? Welche Straßen sind befahrbar? Wo hat sich die Umgebung seit der letzten Erfassung verändert? Die Technologie soll dabei helfen, große und unübersichtliche Gebiete schneller und präziser zu analysieren. Langfristig sieht SE3 Labs Einsatzmöglichkeiten in vielen Bereichen: von Verteidigung und Sicherheit über Smart Infrastructure und Bauwesen bis hin zu industriellen Anwendungen.

Quelle: TUM

Beitragsbild: pixabay.com