Multimedia Information Processing Group

Master

Weiterentwicklung des autonomen Fahrens für das Formula Student Team Kiel

Masterarbeit/projekt       vergeben (nächstes Semester wieder frei)

Die Formula Student ist ein internationaler Konstruktionswettbewerb, in dem Studententeams auf der ganzen Welt jährlich einen Rennwagen entwickeln, bauen und auf offiziellen Events fahren. Das Kieler Team Raceyard wird in der Saison 2020/21 zum ersten Mal ein autonomes Fahrzeug entwickeln, welches sich auf durch Pylonen/Cones begrenzten Strecken zurechtfinden und diese möglichst schnell abfahren soll.

Cone detection results
Video-Quelle: https://www.youtube.com/watch?v=ir_uqEYuT84

 

SLAM
Video-Quelle: https://www.youtube.com/watch?v=ir_uqEYuT84

Die relevanten Themengebiete lassen sich grob wie folgt gliedern:

1. Verarbeitung von Sensordaten: Das Auto wir mit einer RGB-Kamera und einem Lidar ausgestattet. Mittels dieser Sensoren sollen zunächst die Cones erkannt werden. Dies kann beispielsweise durch Objektdetektion via Deep Learning umgesetzt werden (siehe erstes Video).

2. SLAM: Aus den detektierten Positionen der Cones soll in der ersten Runde eine 2D-Karte der Rennstrecke aufgebaut werden (siehe zweites Video). Zudem muss das Auto in der vorliegenden Map lokalisiert werden um einerseits ein richtiges Zusammensetzen der Karte in der ersten Runde zu gewährleisten und andererseits die Planung der nächsten Steuerungsbefehle zu ermöglichen.

3. Driving: Basierend auf der Karte und Autoposition aus dem SLAM muss hier entschieden werden, wie das Auto reagieren soll. Wie sieht die Ideallinie aus? Mit welcher Geschwindigkeit kann ich diese befahren? Welche Steuerungsbefehle müssen gegeben werden, um die Zielgeschwindigkeit zu erreichen? Auch hierfür sind Ansätze aus den Bereichen Deep/Reinforcement Learning denkbar.

Die genannten Themengebiete wurden im SS19 bereits anhand einer vorliegenden Simulation des Rennwagens in ROS grundlegend bearbeitet und unser Ziel für das WS19/20 ist die Erweiterung und Perfektionierung dieser Arbeit bis hin zum Einsatz am realen Rennwagen.
 

Voraussetzungen: Je nach Themengebiet sind Erfahrungen im Bereich Deep Learning und grundlegende Programmierkenntnisse in C++ und Python hilfreich

Ansprechpartner:Johannes Brünger, Lars Schmarje

 


 

Aufnahme und Darstellung von 360°-Stereo-Panoramen

Masterarbeit       nicht vergeben

Ziel dieser Arbeit ist die Aufnahme von stereoskopischen 360°-Panoramen realer Szenen, sowie die Visualisierung der aufgenommenen Daten in einem Head-Mounted-Display (z. B. Oculus Rift).

Dazu sollen zunächst existierende Verfahren (z. B. basierend auf sphärischen Kameras, rotierenden Kameras, Stereokameras oder RGB-D-Kamerasystemen) untersucht und verglichen werden. Der Fokus der Masterarbeit liegt dabei auf der durch Tiefeninformation unterstützten Erstellung von Stereo-Panoramen (Depth-Augmented Stereo Panorama).

Voraussetzungen: Programmierkenntnisse in C/C++, Grundlagen der Bildverarbeitung, Computergrafik oder 3D-Szenenrekonstruktion

Literatur:

•   J. Thatte, J.-B. Boin, H. Lakshman, B. Girod: Depth Augmented Stereo Panorama For Cinematic Virtual Reality with Head-Motion Parallax, ICME 2016. Website
•   F. Zhang, F. Liu: Casual Stereoscopic Panorama Stitching, CVPR 2015. Website
•   C. Weissig, O. Schreer, P. Eisert, P. Kauff: The Ultimate Immersive Experience: Panoramic 3D Video Acquisition, MMM 2012. Website
•   S. Peleg, M. Ben-Ezra, Y. Pritch: Omnistereo: Panoramic Stereo Imaging, PAMI 2001. Website

betreut von: Arne Petersen

 


 

Dreidimensionale Segmentierung in der medizinischen Bildgebung mit neuronalen Netzen

Masterarbeit       nicht vergeben

Die Entwicklung von neuronalen Netzen, welche nicht nur Objekte in Bildern identifizieren können, sondern die genaue Abgrenzung von verschiedenen Objekten in einem einzelnen Bild ermöglichen, hat in den letzten Jahren große Fortschritte gemacht. Die Vielzahl der Anwendungsmöglichkeiten macht neue Entwicklungen in diesem Bereich besonders wertvoll. Als zukunftsweisend sehen wir die Anwendungen neuronaler Netze in medizinischer Bildgebung wie MRT oder CT. Die manuelle Abgrenzung von Objekten in MRT- oder CT-Bildern ist im Rahmen der klinischen Routine für den Radiologen eine zeitraubende Aufgabe. Um neuronale Netze für diese Aufgabe bereitstellen zu können, muss die Dreidimensionalität der Bilddaten besonders berücksichtigt werden.

Wir bieten im Rahmen einer Kooperation zwischen CAU und UKSH eine Masterarbeit an mit dem Ziel der Weiterentwicklung neuronaler Netze für die medizinische Bildgebung – eine spannende Herausforderung mit Zukunft!

uksh

Voraussetzungen: Interesse an Bilderkennungs-Verfahren und neuronalen Netzen und deren Programmierung

Ansprechpartner:Johannes Brünger

 


 

Learning-based Video Frame Interpolation

Masterproject/Masterthesis       assigned

Video frame interpolation has wide potential applications in high-quality “slow-motion” video production from existing videos, novel view synthesis between stereo cameras, and Densely-Sampled Light Field (DSLF) reconstruction from a Sparsely-Sampled Light Field (SSLF). The goal of this Master project/thesis is to recover the intermediate image between two consecutive video frames using one of state-of-the-art Fully Convolutional Neural Networks (FCNNs) [1, 2]. Interested students would get an intuitive feeling by visiting this website:
http://web.cecs.pdx.edu/~fliu/project/ctxsyn/

Eligibility:

  • Basic knowledge in programming, e.g., python, C++
  • Strong interest in deep learning tools, e.g., Torch, TensorFlow
  • To have the patience to collect training data
 

Reference:

[1] “Context-aware Synthesis for Video Frame Interpolation”, S. Niklaus and F. Liu, CVPR 2018. Link
[2] “Video Frame Interpolation via Adaptive Separable Convolution”, S. Niklaus, L. Mai, and F. Liu, ICCV 2017. Link
 

Contact: Yuan Gao

 


 

Klassifizierung von Verletzungsmustern an Schweinen mit Hilfe Neuronaler Netzwerke

Masterprojekt       vergeben

In diesem Masterprojekt sollen State-of-the-Art Klassifizierungsnetzwerke implementiert werden um die Verletzungsmuster bei Schweinen zu bewerten. Wir haben eine großen Datensatz an Bildern aus einem Schlachthof, welche von Experten bewertet wurden. Nun sollen Verfahren entwickelt werden um die Klassifizierung automatisch durchzuführen. Neben der reinen Klassifikation sollen die Daten auch aufbereitet werden und ggf. weitere Ansätze betrachtet werden um die Erkennung zu optimieren.

Schlagworte: Neuronale Netze, Image-Classification

betreut von: Johannes Brünger

 


Synthetische Trainingsbilder zur Nanopartikeldetektion

Masterarbeit/Masterprojekt       assigned

Nanopartikel mit speziellen Eigenschaften sind eine vielversprechende Lösung für bisher ungelöste Probleme u.a. in der therapeutischen Medizin. Zur Unterstützung der Materialwissenschaft werden Methoden der künstlichen Intelligenz eingesetzt, um die Herstellung dieser Nanopartikeln besser kontrollieren zu können. Beispielbild folgt.

In dieser Arbeit soll das Teilproblem der Erstellung von genügend Trainingsdaten zur Detektion der Nanopartikel angegangen werden. Ziel ist es synthetischen Trainingsbilder zu erstellen, welche die Detektion in Kombination mit vorhandenen Trainingsdaten verbessern. Eine möglich Fragestellung ist auch, ob es möglich ist ganz ohne reale Bilder einen Detektor zu trainieren? (Stichwort: Zero-Shot-Learning).

Ein Basis-Detektor an dem die neuen Daten überprüft werden können, liegt vor. Je nach Interesse kann eine weitere Verbesserung der simulierten Daten https://arxiv.org/abs/1612.07828 ( Code ) und Augmentierung https://arxiv.org/abs/1711.04340 ( Code ) Teil der Arbeit sein oder die komplette Generierung mittels https://phillipi.github.io/pix2pix/ .

Voraussetzungen: Erfahrungen im Bereich Deep Learning und grundlegende Programmierkenntnisse in Python sind hilfreich.

Betreut von:Claudius Zelenka


 

Detektion von Nanopartikeln

Masterarbeit/Masterprojekt       assigned

Nanopartikel mit speziellen Eigenschaften sind eine vielversprechende Lösung für bisher ungelöste Probleme u.a. in der therapeutischen Medizin. Zur Unterstützung der Materialwissenschaft werden Methoden der künstlichen Intelligenz eingesetzt, um die Herstellung dieser Nanopartikeln besser kontrollieren zu können.

Die Detektion von Nanopartikeln ist nicht trivial, weil sich einzelne Partikel berühren und teilweise überlappen. Deshalb sollen in dieser Arbeit spezielle Verfahren zur Detektion für solche Objekten untersucht werden. Als Baseline dient eine Mask-RCNN implementierung. Ein Ansatzpunkt ist ein Ensemble mit Unet wie in https://arxiv.org/abs/1901.10170 ( Code), genauso wie ein Ensemble mit Semantischer Kantendetektion ( Überblick ).

Voraussetzungen: Erfahrungen im Bereich Deep Learning und grundlegende Programmierkenntnisse in Python sind hilfreich.

Betreut von:Claudius Zelenka


 

 

Simulation und Visualisierung von Transportbändern mit Blender

Masterarbeit/Masterprojekt       vergeben

Deep Learning Algorithmen haben das grundsätzliche Problem, dass eine große Zahl von Trainingsbildern benötigt wird. Auch das Trainieren eines Objektdetektors für Pakete auf Transportbändern ist bisher eine große Herausforderung. In dieser Arbeit soll dieses Problem mit der Erstellung von vielfältigen simulierten Daten angegangen werden.

Inspiration für die Arbeit/ dieses Projekt ist u.a. die Arbeit von Richter et.al. 2017
Publikation
Youtube video

Es sollen photorealistische Bildsequenzen von Paketbändern mithilfe des freien 3D-Simulationssoftware Blender erstellt werden. Diese sollten so physikalisch korrekt und realistisch wie nötig sein. Die Möglichkeiten die Blender in diese Richtung bietet können hierbei genutzt werden. Die Umsetzung mit einer passenden Gameengine ist auch denkbar. Relevante Themenkomplexe sind: Raytracing, Physically based rendering, Simulation

Relevante Blender-Tutorials:
Blender Raytracing
Blender Physics
Blender Scripting

Youtube-Videos:
Blender Raytracing
Blender Physics

Ziel: Ziel der Masterarbeit ist es mit Blender realistische Bildsequenzen von Paketbänder zu erstellen.

Voraussetzungen: Grundlagen der Bildverarbeitung und Computer Graphik

betreut von: Claudius Zelenka

 


 

 

Verarbeitung von RGB-D-Lichtfelddaten eines linear bewegten Kamera-Arrays

Masterprojekt/Masterarbeit (mehrere Themen)       vergeben

igor

 

 

 

 

 

 

 

 

 

 

 

 

 

 

In unserem Labor wird ein linear bewegliches großes Kamera-Array aus 24 Farbkameras und 2 RGB-D-Kameras (Microsoft Kinect v2) betrieben, das zur Aufnahme raumfüllender Lichtfelder verwendet wird. Die reinen Bilddaten werden dabei durch die Tiefenmessungen der Kinect-Sensoren ergänzt. Auf Grundlage dieser Daten können verschiedene Anwendungen realisiert werden, z. B. Full Parallax Imaging bzw. Free Viewpoint Video (Erstellung von Content für 3D-Displays, Live-Erzeugen betrachterabhängiger Ansichten), Augmented Reality-Anwendungen, sowie Beleuchtungs- und Materialanalyse oder Videonachbearbeitung mit synthetischen Blendeffekten.

Dieses Aufnahmesystem dient als Grundlage für eine Reihe von Studentenarbeiten aus dem Themenfeld der Lichtfelddatenverarbeitung und des (Depth) Image-Based Modeling and Rendering.

Schwerpunkte der Arbeiten:

  • Kalibrierung des Kamerasystems und Genauigkeitsanalyse
  • Verarbeitung von Lichtfelddaten und Rendering neuer Ansichten für dynamische Szenen
  • Synthetische Blendeneffekte für statische und dynamische Szenen
  • Kompression von Lichtfelddaten für statische und dynamische Szenen
  • Rekonstruktion von Materialeigenschaften aus Lichtfelddaten


Voraussetzungen: Programmierkenntnisse in C/C++, Grundlagen der Bildverarbeitung, Computergrafik oder 3D-Szenenrekonstruktion, ggf. numerische Mathematik und Optimierung

betreut von: Tim Michels