Multimedia Information Processing Group


  • Autonomous Racing - Rosyard


    Status     nicht vergeben

    Die Formula Student ist ein internationaler Konstruktionswettbewerb, in dem Studententeams auf der ganzen Welt jährlich einen Rennwagen entwickeln, bauen und auf offiziellen Events fahren. Das Kieler Team Raceyard wird in der Saison 2020/21 zum ersten Mal ein autonomes Fahrzeug entwickeln, welches sich auf durch Pylonen/Cones begrenzten Strecken zurechtfinden und diese möglichst schnell abfahren soll.

    Wir als Arbeitsgruppe betreuen die vollständige Softwarelösung von der Verarbeitung der Sensoren bis hinzu der Berechnung der Steuerbefehle. Wir haben eine vollständige Simulationsumgebung mit ROS gebaut in der das Verhalten des Autos simuliert werden kann. Darüber hinaus gibt es regelmäßige Treffen mit Raceyard, um die Software in der Praxis auszutesten. Zusätzlich existiert eine Simulationsumgebung in Unity für das Reinforcement Learning des Fahrers.

    Testlauf zur Erkennung und Tiefenschätzung von Pylonen, 2019

     

    Vollständige Simulationsumgebung für das autonome Fahrzeug

    Pipeline

    Die Verarbeitung der Sensordaten wird in einer Pipeline folgenden groben Schritten durchgeführt:

    1. Verarbeitung von Sensordaten: Das Auto wir mit einer RGB-Kamera und einem Lidar ausgestattet. Mittels dieser Sensoren sollen zunächst die Cones erkannt werden. Dies kann beispielsweise durch Objektdetektion via Deep Learning umgesetzt werden (siehe erstes Video).
    2. SLAM: Aus den detektierten Positionen der Cones soll in der ersten Runde eine 2D-Karte der Rennstrecke aufgebaut werden (siehe zweites Video). Zudem muss das Auto in der vorliegenden Map lokalisiert werden um einerseits ein richtiges Zusammensetzen der Karte in der ersten Runde zu gewährleisten und andererseits die Planung der nächsten Steuerungsbefehle zu ermöglichen.
    3. Driving: Basierend auf der Karte und Autoposition aus dem SLAM muss hier entschieden werden, wie das Auto reagieren soll. Wie sieht die Ideallinie aus? Mit welcher Geschwindigkeit kann ich diese befahren? Welche Steuerungsbefehle müssen gegeben werden, um die Zielgeschwindigkeit zu erreichen? Auch hierfür sind Ansätze aus den Bereichen Deep/Reinforcement Learning denkbar.

    SLAM

    Hier ist eine Übersicht über unseren aktuellen SLAM. Links ist die eigentlichen Karte und die Autoposition zu sehen. Die gelben und blauen Highlights stellen erkannte Hütchen dar. In der Mitte ist die aktuelle Ausgabe des SLAMs zu sehen. Für jedes erkannte Hütchen wird ein schwarzer Marker plaziert sowie ein grüner Unsicherheitsbereich markiert. Das Auto wird schwarz dargestellt. Rechts ist das Ziel dargestellt. Der wichtigste Unterschied ist das Erkennen von Rauschen und Klassifikation in blaue und gelbe Hütchen.

    SLAM
    Eingabe und Ground-Truth Aktuelle Ausgabe Ziel: Vollständiger SLAM Quelle

    Reinforcement Learning

    Wir können das Fahrzeug komplett in Unity simulieren, um dort mit Reinforcement Learning das Fahrverhalten zu trainieren. Links ist ein echtes Bild aus der Simulation zu sehen. Rechts wurde die Kameraansicht abstrahiert, um eine Generalisierung auf realen Bildern zu ermöglichen. In beiden Videos fährt das Auto vollkommen autonom. Erste Ergebnisse belegen, dass sowohl der Mensch als auch klassischere Ansätze nicht mit Reinforcement Learning mithalten können.

    Training mit echten Kamera Input Training mit abstrakter Kamera

     

    Das Projekt läuft seit SS19. Es wurden bisher 5 Bachlorarbeiten, 4 Masterprojekte und eine Masterarbeit erfolgreich in dem Projekt Rosyard abgeschlossen. Das individuelle Thema wird in Absprache mit dem Betreuer geklärt.
     

     

    Voraussetzungen: Je nach Themengebiet sind Erfahrungen im Bereich Deep Learning und grundlegende Programmierkenntnisse in C++ und Python hilfreich

    Ansprechpartner:Johannes Brünger, Lars Schmarje


  • Videoklassifikation mit Recurrent Neural Networks


    Status       vergeben

    In dieser Bachelorarbeit sollen Aktivitätsanalysen in der konventionellen Tierhaltung untersucht werden. Basierend auf einem Detektionsnetzwerk haben wir die Positionen von Schweinen in einem Schweinestall erfasst. Wenn man nun über die Zeit die Bewegungen der Tiere verfolgt, ergibt sich ein Aktivitätsgraph.

    activity_pigs

    Hier wollen wir ausprobieren ob mit einem Recurrent Neural Network und dem Originalvideo als Eingabe nicht eine ähnliche Auswertung erfolgen kann, indem das Netzwerk anhand des Eingabevideos direkt die aktuelle Aktivität im Stall erkennt.

    Voraussetzungen:Grundlegende Erfahrungen mit neuronalen Netzen und deren Programmierung (Keras, Tensorflow)

    Ansprechpartner:Johannes Brünger


  • Zusammenhänge zwischen Clustern


    Status       nicht vergeben

    Heutzutage erlaubt Deep Learning Bilder ohne oder mit nur wenigen Labels in mehrere Cluster zu sortieren. Wenn das Netzwerk die Anzahl der Cluster bis zu einem bestimmten Grad selber bestimmen kann, ist dies vorteilhaft für die Genauigkeit der Ergebnisse. Dadurch entsteht jedoch ein Problem, wie sind die zusätzlichen Cluster wieder den ursprünglichen Klassen zu zuweisen. Zwei zentrale Fragen sind unerforscht

    • Kann man Cluster mit gleichen Klassen erkennen?
    Erstes Cluster mit Hunden Zweites Cluster mit Hunden
    • Kann man ähnliche Cluster mit unterschiedlichen Klassen erkennen?
     Cluster mit Pferden  Cluster mit Pferden und Hunden  Cluster mit Hunden

    Das Thema erlaubt vielfältige Ansätze der Bearbeitung. Die Zusammenhänge zwischen den Clustern, sowie zwischen den Klassen kann betrachtet werden. Die Analyse kann auf Basis der Ausgabe der neuronalen Netzwerke erfolgen oder in den Trainingsprozess integriert werden. Die individuelle Zielsetzung wird mit dem Betreuer im Detail besprochen.

    Voraussetzungen:Grundlegende Erfahrungen im Bereich Clustering, Data-Mining, Machine-Learning und Deep Learning sind hilfreich.

    Ansprechpartner:Lars Schmarje


  • Aufbau eines Augmented Reality Tisches


     

    Status       nicht vergeben

    In diesem Projekt sollen ein Beamer, eine Kinect v2 und eine Sandbox zu einem interaktiven System kombiniert werden wie es im nachfolgenden Video dargestellt wird.

    Aufgaben in diesem Projekt sind u.a.:
    - Kalibrierung des Systems aus Kinect und Beamer wie z.B. hier dargestellt
    - Implementierung einer projizierbaren GUI inklusive Handerkennung in den Kinectbildern, um Interaktionen mit dieser GUI zu erlauben (Beispiel)
    - Erstellen von Inhalten für dieses System. Dies ist nicht auf das bloße Einfärben des Sands beschränkt, sondern kann auch darüber hinaus gehen (Beispiel1, Beispiel2)

    Voraussetzungen: Programmierkenntnisse in C++, ggf. OpenGL, Grundlagen der Bildverarbeitung

    Ansprechpartner: Tim Michels, Stefan Reinhold, Arne Petersen


  • Bewertung der Qualität von Clustern


    Status       nicht vergeben

    Die Analyse von ungelabelten Daten ist wesentlicher Bestandteil in Machine Learning und Data Mining. Für klassische Algorithmen gibt es eine Vielzahl von anerkannten Metriken (Clusteranalyse) . Allerdings ist offen, ob diese Metriken für Deep Learning Methoden sinnvolle Aussagen liefern oder erweitert werden müssen.

    Beispiel:

    Reines Cluster Unreines Cluster

    Das Thema erlaubt vielfältige Ansätze der Bearbeitung. Die Bewertung der Qualität von Clustern aus neuronalen Netzwerken kann sowohl mit als auch ohne Kenntnisse über diese Netzwerke betrachtet werden. Es können zusätzlich Informationen über ausgewählte Label genutzt werden. Die individuelle Zielsetzung wird mit dem Betreuer im Detail besprochen.

    Voraussetzungen:Grundlegende Erfahrungen im Bereich Clustering, Data-Mining, Machine-Learning und Deep Learning sind hilfreich.

    Ansprechpartner:Lars Schmarje


  • Aufnahme und Darstellung von 360°-Stereo-Panoramen


     

     

    Status       nicht vergeben

     

    Ziel dieser Arbeit ist die Aufnahme von stereoskopischen 360°-Panoramen realer Szenen, sowie die Visualisierung der aufgenommenen Daten in einem Head-Mounted-Display (z. B. Oculus Rift).

    Dazu sollen zunächst existierende Verfahren (z. B. basierend auf sphärischen Kameras, rotierenden Kameras, Stereokameras oder RGB-D-Kamerasystemen) untersucht und verglichen werden. Der Fokus der Masterarbeit liegt dabei auf der durch Tiefeninformation unterstützten Erstellung von Stereo-Panoramen (Depth-Augmented Stereo Panorama).

    Voraussetzungen: Programmierkenntnisse in C/C++, Grundlagen der Bildverarbeitung, Computergrafik oder 3D-Szenenrekonstruktion

    Literatur:

    •   J. Thatte, J.-B. Boin, H. Lakshman, B. Girod: Depth Augmented Stereo Panorama For Cinematic Virtual Reality with Head-Motion Parallax, ICME 2016. Website
    •   F. Zhang, F. Liu: Casual Stereoscopic Panorama Stitching, CVPR 2015. Website
    •   C. Weissig, O. Schreer, P. Eisert, P. Kauff: The Ultimate Immersive Experience: Panoramic 3D Video Acquisition, MMM 2012. Website
    •   S. Peleg, M. Ben-Ezra, Y. Pritch: Omnistereo: Panoramic Stereo Imaging, PAMI 2001. Website

    betreut von: Arne Petersen


  • Geschwindigkeitserkennung autonomes Fahren


    Status       nicht vergeben

    Der Hacker George Hotz will mit seinem Start-up comma.ai autonomes Fahren für jedermann ermöglichen. Dazu entwickelt er Hard- und Software, welche an den Datenbus (CAN) von verschiedene Auto-Modellen angebunden werden kann, um teilautonomes Fahren zu ermöglichen.

    Challenge-Video

    Als Challenge für neue Mitarbeiter hat er ein Video veröffentlicht, welches Aufnahmen aus der comma.ai-Dashcam zeigt. Allein aus diesem Video soll nun mit einem neuronalen Netz die Geschwindigkeit des Fahrzeugs ermittelt werden. In dieser Bachelorarbeit soll sich der/die Studierende dieser Aufgabe stellen.

    Voraussetzungen:Grundlegende Erfahrungen mit neuronalen Netzen und deren Programmierung (Keras, Tensorflow)

    Ansprechpartner:Johannes Brünger


  • Evaluation verschiedener Tracking-Algorithmen auf Schweinen


    Status      vergeben

    tracking

    Um das Verhalten von Schweinen im Stall zu analysieren, haben wir mit Hilfe neuronaler Netze einen Detektor entwickelt, welcher die Position der Tiere erkennt. Um das Verhalten einzelner Tiere zu untersuchen, sollen diese erkannten Positionen nun individuellen Schweinen zugeordnet werden. Dafür sollen anhand von Position- und Farb-Daten Ähnlichkeitsmaße definiert werden und dann mit verschiedenen Tracking-Algorithmen die Zugehörigkeit zu den Tracking-Zielen aufgelöst werden.

    Schlagworte: Graph-Algorithmen, Tracking-Algorithmen

    betreut von: Johannes Brünger


  • Lernen aus unbalancierten Daten - Nanopartikel


    Status     nicht vergeben

    Nanopartikel mit speziellen Eigenschaften sind eine vielversprechende Lösung für bisher ungelöste Probleme z.B. in der therapeutischen Medizin zur zielgenauen Steuerung von Medikamenten.

    In Kooperation mit der Materialwissenschaft der Technischen Fakultät werden Methoden der künstlichen Intelligenz eingesetzt, um die Herstellung dieser Nanopartikeln besser kontrollieren zu können. Dazu soll die Art der Nanopartikel automatisch klassifiziert werden. Hierzu existiert bereits ein Klassifikator, der auf einer großen Anzahl von Trainingsbildern trainiert wird, das Problem ist das diese Menge stark unbalanciert ist.

    Zur Behandlung von Klassifikationsproblemen mit unbalancierten Daten gibt es eine Reihe von Ansätzen wie in http://jmlr.org/papers/volume18/16-365/16-365.pdf aufgeführt. Ziel dieser Arbeit ist eine Evaluation dieser Ansätze mit dem Ziel eine besser Klassifikation zu erreichen.

    Voraussetzungen: Großes Interesse oder Erfahrung im Bereich Deep Learning und grundlegende Programmierkenntnisse in Python sind hilfreich.

    Betreut von:Claudius Zelenka


  • Klassifizierung von Herzfehlern


     

    Status     nicht vergeben

    Die Entwicklung von neuronalen Netzen hat in den letzten Jahren große Fortschritte gemacht. Als zukunftsweisend sehen wir die Anwendungen neuronaler Netze in medizinischer Bildgebung wie MRT oder CT. Die Erkennung von Strukturen und deren Lagebeziehung im Raum sowie die Klassifizierung der Bilddaten entsprechend klinischer Diagnosen wird von den Möglichkeiten neuronaler Netze profitieren, davon sind wir fest überzeugt. Wir haben an der Klinik für angeborene Herzfehler und Kinderkardiologie Zugriff auf große Kohorten klinischer Bilddaten aus MRT-Untersuchungen und möchten diese nutzen, um neuronale Netze zur Optimierung der Diagnostik zu trainieren. Wir bieten im Rahmen einer Kooperation zwischen CAU und UKSH eine Masterarbeit an mit dem Ziel der Weiterentwicklung neuronaler Netze für die medizinische Bildgebung – eine spannende Herausforderung mit Zukunft!

    uksh

    Voraussetzungen: Interesse an Bilderkennungs-Verfahren und neuronalen Netzen und deren Programmierung

    Ansprechpartner:Johannes Brünger

     


  •  Generative Deep Learning Verfahren - Klassifikation von Nanopartikeln


     

    Status     vergeben

    Nanopartikel mit speziellen Eigenschaften sind eine vielversprechende Lösung für bisher ungelöste Probleme z.B. in der therapeutischen Medizin zur zielgenauen Steuerung von Medikamenten.

    In Kooperation mit der Materialwissenschaft der Technischen Fakultät werden Methoden der künstlichen Intelligenz eingesetzt, um die Herstellung dieser Nanopartikeln besser kontrollieren zu können. Diese Nanopartikel sollen automatisch klassifiziert werden. Hierzu existiert bereits ein Klassifikator, der auf von Hand sortierten Trainingsbildern trainiert wird.

    Es ist nicht leicht ausreichend reale Bilder mit den richtigen Partikeln für diesen Klassifikator zu erstellen. Deshalb sollen in dieser Arbeit generative Deep Learning Methoden genutzt werden, die in den letzen Jahre große Fortschritte gemacht haben, Stichwort Deep Fakes.

    In dieser Arbeit soll erforscht werden, inwiefern mit diesen generative Verfahren, wie z.B. https://github.com/openai/pixel-cnn, realistisch aussehende Partikel generiert werden können und ob die Klassifikation der Nanopartikeln damit verbessert werden kann.

    Bilder folgen, sonst auf Anfrage.

    Voraussetzungen: Erfahrungen im Bereich Deep Learning und grundlegende Programmierkenntnisse in Python sind hilfreich.

    Betreut von:Claudius Zelenka