Multimedia Information Processing Group

Master

Learning-based Video Frame Interpolation

Masterproject/Masterthesis       assigned

Video frame interpolation has wide potential applications in high-quality “slow-motion” video production from existing videos, novel view synthesis between stereo cameras, and Densely-Sampled Light Field (DSLF) reconstruction from a Sparsely-Sampled Light Field (SSLF). The goal of this Master project/thesis is to recover the intermediate image between two consecutive video frames using one of state-of-the-art Fully Convolutional Neural Networks (FCNNs) [1, 2]. Interested students would get an intuitive feeling by visiting this website:
http://web.cecs.pdx.edu/~fliu/project/ctxsyn/

Eligibility:

  • Basic knowledge in programming, e.g., python, C++
  • Strong interest in deep learning tools, e.g., Torch, TensorFlow
  • To have the patience to collect training data
 

Reference:

[1] “Context-aware Synthesis for Video Frame Interpolation”, S. Niklaus and F. Liu, CVPR 2018. Link
[2] “Video Frame Interpolation via Adaptive Separable Convolution”, S. Niklaus, L. Mai, and F. Liu, ICCV 2017. Link
 

Contact: Yuan Gao

 


 

Klassifizierung von Verletzungsmustern an Schweinen mit Hilfe Neuronaler Netzwerke

Masterprojekt       nicht vergeben

In diesem Masterprojekt sollen State-of-the-Art Klassifizierungsnetzwerke implementiert werden um die Verletzungsmuster bei Schweinen zu bewerten. Wir haben eine großen Datensatz an Bildern aus einem Schlachthof, welche von Experten bewertet wurden. Nun sollen Verfahren entwickelt werden um die Klassifizierung automatisch durchzuführen. Neben der reinen Klassifikation sollen die Daten auch aufbereitet werden und ggf. weitere Ansätze betrachtet werden um die Erkennung zu optimieren.

Schlagworte: Neuronale Netze, Image-Classification

betreut von: Johannes Brünger

 


 

Simulation und Visualisierung von Transportbändern mit Blender

Masterarbeit/Masterprojekt       vergeben

Deep Learning Algorithmen haben das grundsätzliche Problem, dass eine große Zahl von Trainingsbildern benötigt wird. Auch das Trainieren eines Objektdetektors für Pakete auf Transportbändern ist bisher eine große Herausforderung. In dieser Arbeit soll dieses Problem mit der Erstellung von vielfältigen simulierten Daten angegangen werden.

Inspiration für die Arbeit/ dieses Projekt ist u.a. die Arbeit von Richter et.al. 2017
Publikation
Youtube video

Es sollen photorealistische Bildsequenzen von Paketbändern mithilfe des freien 3D-Simulationssoftware Blender erstellt werden. Diese sollten so physikalisch korrekt und realistisch wie nötig sein. Die Möglichkeiten die Blender in diese Richtung bietet können hierbei genutzt werden. Die Umsetzung mit einer passenden Gameengine ist auch denkbar. Relevante Themenkomplexe sind: Raytracing, Physically based rendering, Simulation

Relevante Blender-Tutorials:
Blender Raytracing
Blender Physics
Blender Scripting

Youtube-Videos:
Blender Raytracing
Blender Physics

Ziel: Ziel der Masterarbeit ist es mit Blender realistische Bildsequenzen von Paketbänder zu erstellen.

Voraussetzungen: Grundlagen der Bildverarbeitung und Computer Graphik

betreut von: Claudius Zelenka

 


 

Aufnahme und Darstellung von 360°-Stereo-Panoramen

Masterarbeit       nicht vergeben

Ziel dieser Arbeit ist die Aufnahme von stereoskopischen 360°-Panoramen realer Szenen, sowie die Visualisierung der aufgenommenen Daten in einem Head-Mounted-Display (z. B. Oculus Rift).

Dazu sollen zunächst existierende Verfahren (z. B. basierend auf sphärischen Kameras, rotierenden Kameras, Stereokameras oder RGB-D-Kamerasystemen) untersucht und verglichen werden. Der Fokus der Masterarbeit liegt dabei auf der durch Tiefeninformation unterstützten Erstellung von Stereo-Panoramen (Depth-Augmented Stereo Panorama).

Voraussetzungen: Programmierkenntnisse in C/C++, Grundlagen der Bildverarbeitung, Computergrafik oder 3D-Szenenrekonstruktion

Literatur:

•   J. Thatte, J.-B. Boin, H. Lakshman, B. Girod: Depth Augmented Stereo Panorama For Cinematic Virtual Reality with Head-Motion Parallax, ICME 2016. Website
•   F. Zhang, F. Liu: Casual Stereoscopic Panorama Stitching, CVPR 2015. Website
•   C. Weissig, O. Schreer, P. Eisert, P. Kauff: The Ultimate Immersive Experience: Panoramic 3D Video Acquisition, MMM 2012. Website
•   S. Peleg, M. Ben-Ezra, Y. Pritch: Omnistereo: Panoramic Stereo Imaging, PAMI 2001. Website

betreut von: Arne Petersen

 


 

Verarbeitung von RGB-D-Lichtfelddaten eines linear bewegten Kamera-Arrays

Masterprojekt/Masterarbeit (mehrere Themen)       vergeben

igor

 

 

 

 

 

 

 

 

 

 

 

 

 

 

In unserem Labor wird ein linear bewegliches großes Kamera-Array aus 24 Farbkameras und 2 RGB-D-Kameras (Microsoft Kinect v2) betrieben, das zur Aufnahme raumfüllender Lichtfelder verwendet wird. Die reinen Bilddaten werden dabei durch die Tiefenmessungen der Kinect-Sensoren ergänzt. Auf Grundlage dieser Daten können verschiedene Anwendungen realisiert werden, z. B. Full Parallax Imaging bzw. Free Viewpoint Video (Erstellung von Content für 3D-Displays, Live-Erzeugen betrachterabhängiger Ansichten), Augmented Reality-Anwendungen, sowie Beleuchtungs- und Materialanalyse oder Videonachbearbeitung mit synthetischen Blendeffekten.

Dieses Aufnahmesystem dient als Grundlage für eine Reihe von Studentenarbeiten aus dem Themenfeld der Lichtfelddatenverarbeitung und des (Depth) Image-Based Modeling and Rendering.

Schwerpunkte der Arbeiten:

  • Kalibrierung des Kamerasystems und Genauigkeitsanalyse
  • Verarbeitung von Lichtfelddaten und Rendering neuer Ansichten für dynamische Szenen
  • Synthetische Blendeneffekte für statische und dynamische Szenen
  • Kompression von Lichtfelddaten für statische und dynamische Szenen
  • Rekonstruktion von Materialeigenschaften aus Lichtfelddaten


Voraussetzungen: Programmierkenntnisse in C/C++, Grundlagen der Bildverarbeitung, Computergrafik oder 3D-Szenenrekonstruktion, ggf. numerische Mathematik und Optimierung

betreut von: Tim Michels