Teaching | Christopher Knievel

Reinforcement Learning (EIM)

Thu, 01 Sep 2022 00:00:00 +0000

Reinforcement Learning with Application to Autonomous Systems (EIM)

Learning Objectives

Students

gain insight into the theory and applications of reinforcement learning
learn to analyze the challenges in a reinforcement learning application and to identify promising learning approaches
are able to assess for which problems reinforcement learning is particularly well suited and which disadvantages exist with regard to this.
understand, explain, and classify relevant basic concepts.

More information as well as lecture noted are available in the .

Lecture

#	Name	Summary
1	Markov Decision Process	Markov Processes, Markov Reward Processes, Markov Decision Processes, Bellman Expectation Equations, Bellman Optimality Equations
2	Dynamic Programming	Policy Evaluation, Policy Iteration, Optimal Policy, Generalized Policy Iteration, Value Iteration
3	Monte Carlo Methods	Monte Carlo Prediction, Monte Carlo Policy Evaluation, Monte Carlo Control, Exploration-Exploitation Tradeoff
4	Temporal Difference Learning	On-policy TD Control, Off-policy TD Control, SARSA, Q-Learning
5	Function Approximation	Incremental Methods, Gradient Descent, Prediction Algorithms for the Linear Case, Control Algorithms for the Linear Case, Batch Methods
6	Policy Gradient Methods	Policy-based Methods, Deterministic vs. Stochastic Policies, Gradient-based Estimator, Monte-Carlo REINFORCE, Actor-Critic Architectures
7	Introduction to Deep Learning	Components of Deep Learning Architectures, Activation Functions, Output Functions, Typical Applications, Image Classification, Object Segmentation, Object Detection
8	Beyond DQN	Double DQN, Dueling DQN, Rainbow DQN, Trust Region Policy Approximation, Soft Actor-Critic

Lab Work

For the majority of lab session, we will use the OpenAI Gym environment, click for more information. Besides implementing deep reinforcement learning agents on your own, the deep reinforcement learning library will be used.

#	Name	Summary
1	Tic-Tac-Toe	Tabular Solution for the Tic-Tac-Toe Game using a simplified temporal difference solution.
2	Frozen Lake	We solve the frozen lake environment with Policy as well as Value Iteration
3	Blackjack	Monte Carlo Methods are reviewed with the Blackjack environment
4	Taxi	Homework assignment to implement SARSA to solve the Taxi environment
5	Lunar Lander	First implementation of function approximation with a simple neural network
6	Racecar	More advanced deep learning networks in combination with more advanced strategies, e.g. Dueling DQN, are being evaluated.
7	DonkeyCar	DonkeyCar offers a more realistic simulation of a racecar using the unity engine. We use the simulator to train a Reinforcement learning agent to drive autonomously.
8	RC Car	We use the DonkeyCar-trained agent to evaluate the performance in a real remote-controlled car.

Wireless Communications (EIM)

Thu, 01 Sep 2022 00:00:00 +0000

Wireless Communications (EIM)

Subject-specific Competencies

Students

have acquired a fundamental knowledge about key aspects of the physical layer of contemporary wireless communication systems.
design and analyse the signal processing applied in modern digital radio communication systems under different constraints

Methodological Compentencies

Students

will be able to understand the meaning or relevant features and aspects of mobile and wireless communication standards and make informed judgments about their suitability for different communication tasks.
will be able to evaluate overall system performance of communication systems.

Interdisciplinary Competencies

Students

can evaluate solutions in highly complex environments
are able to acquire detailed knowledge for solving specific problems on their own
learn to discuss and derive solutions within a team

Course Content

Introduction: History of wireless communications. From classical radio to modern cellular communication systems
Propagation, Antennas & Wireless Channels: From single antenna channels to multipath multi-antenna channel models, propagation models, path loss, multipath effects
Digital Modulation in the Baseband: Introduction of basic concepts. N-QAM and N-PSK modulation. Metrics and Limits of Modulation schemes
Multi-antenna Techniques (MIMO): Receive and transmit diversity. Beamforming, Detection
Multi-user Systems: OFDMA, CDMA, TDMA, SDMA
Cellular Systems: 5G and beyond, 5G key technologies
Current research topics: Terahertz signal transmission, AI core networking and network management

More information as well as lecture noted are available in the .

Lecture

#	Name	Summary
1	Fading Channels	Single-antenna systems, path loss, shadowing
2	Multipath Channel Models	Doppler Shift, Rayleigh and Rician fading, Jakes model, WINNER Multipath channel models
3	Modulation	Common modulation formats e.g. ASK, PSK, QAM, average error probability, coherent and differential detection
4	Diversity	Multi-antenna setups, Diversity Combining, V-BLAST
5	Multicarrier Modulation	OFDM basics, OFDM transmitter and receiver, adaptive rate and power allocation
6	Channel Coding	Block Codes, convolutional codes
7	MIMO Systems and Detection	Maximum Likelihood detection, Linear Receivers, ZF and MMSE
9	MIMO Beamforming	Analog and digital beamforming, max-SNR MMSE beamforming
10	Multiuser Systems	Introduction of various multiplexing schemes such as CMDA, TDMA, SDMA, OFDMA
11	Cellular Systems	Introduction to cellular systems
12	5G and Beyond	5G key technologies, Massive MIMO, AI for Wireless Communications

Lab Work

For the majority of lab session, we will use Matlab and corresponding Matlab toolboxes.

#	Name	Summary
1	Channel Models	Impact of time-dispersive frequency-selective channels
2	Modulation and BER	Monte-Carlo simulation with higher-order modulation
3	Diversity and OFDM	MIMO-OFDM transmitter and receiver
4	Coded MIMO-OFDM	Convolutional channel code in combination with MIMO-OFDM

Grundlagen Elektrotechnik 1 (EIB/EIW)

Wed, 01 Sep 2021 00:00:00 +0000

Grundlagen der Elektrotechnik (EIB/EIW)

Lern- / Qualifikationsziele

Die Studierenden

können lineare passive elektrische Netzwerke berechnen und analysieren,
lernen die Grundlagen elektrischer Modellbildungen kennen,
erwerben Grundkenntnisse über elektrische und magnetische Felder.

Mehr Informationen sowie Vorlesungsfolien gibt es im .

Vorlesung

#	Name	Zusammenfassung
1	Grundlagen	Einführung der Grundbegriffe, Energie und Leistung im Gleichstromkreis, Potenzial und Spannung
2	Passive Zweipole	Strom-Spannungs Kennline, Lineare resistive Zweipole, Temperaturverhalten, Nichtlineare Widerstände
3	Aktive Zweipole	Aktive Zweipole, Ideale Quellen, Lineare Quellen, Technische Quellen
4	Zweipol-Netze	Knotensatz, Maschensatz
5	Ersatzzweipole	Parallel- und Reihenschaltung, Gemischte Schaltungen, Spannungsteiler, Stromteiler
6	Messung von Strom, Spannung und Widerständen	Strom- und Spannungsmessung, Widerstandsmessung
7	Gleichstromkreis mit nichtlinearen Widerständen	Nichtlinearer resistiver Grundstromkreis, Arbeitspunktbestimmung, Kennlinienapproximation
8	Elektrische Energie und Leistung	Elektrische Energie und Leistung, Wirkungsgrad, Leistungsanpassung
9	Netzumformungen	Stern-Dreieck-Transformation
10	Zweigstromanalyse	Überlagerungssatz, Zweipoltheorie, Umlaufanalyse, Knotenanalyse
11	Elektrisches Feld	Elektrisches Strömungsfeld, elektrostatisches Feld, Kondensatoren
12	Magnetisches Feld	Magnetische Felder, Kräfte auf stromdurchflossene Leiter, Zeitlich veränderliches magnetisches Feld, Spule

Grundlagen Elektrotechnik 2 (EIB/EIW)

Wed, 01 Sep 2021 00:00:00 +0000

Grundlagen der Elektrotechnik (EIB/EIW)

Lern- / Qualifikationsziele

Die Studierenden

können die Grundlagen der Wechselstromtechnik und dazu gehörige Vorgehensweisen in der Elektrotechnik anwenden,
können Aufgabenstellungen der Wechselstromtechnik analysieren und dafür Lösungen entwickeln.

Mehr Informationen sowie Vorlesungsfolien gibt es im .

Vorlesung

#	Name	Zusammenfassung
1	Grundlagen komplexer Zahlen	Aritmetische Operationen komplexer Zahlen in Polar-, Exponentional- und kartesische Form; Umrechnung in verschiedene Darstellungsformen
2	Charakteristische Werte periodischer Zeitfunktionen	Arithmetischer Mittelwert, Gleichrichtwert, Effektivwert, Scheitelfaktor, Formfaktor; Einfache Filterschaltungen, Tiefpass, Hochpass
3	Sinusförmige Zeitfunktionen	Darstellung komplexer Zeiger, Effektivwertzeiger, Amplitudenzeiger; Transformation Zeitbereich in den Bildbereich
4	Komplexe Widerstände / Darstellung frequenzabhängiger Werte	Untersuchung des Strom- und Spannungsverhaltens komplexer Widerstände, Kondensatoren und Spulen; Bode- und Nyquist-Diagramme
5	Reale Bauelemente	Modellierung nicht-idealer (parasitärer) Eigenschaften von Widerständen, Kondensatoren und Spulen, Einführung der Begriffe Verlustfaktor und Güte
6	RC, RL Filter	Eigenschaften von Tief-, Hoch, Bandpass, Bandsperre, kaskadierte Filter, Versuch mit Tastkopf
7	RLC Schaltungen / Serien- Parallelschwingkreis	Resonzfrequenz von Serien- und Parallelschwingkreisen, Bestimmung Resonanzbreite in Abhängigkeit der Güte
8	Leistungsberechnung bei Wechselstrom	Augenblicksleistung, Wirkleistung, Blindleistung, Scheinleistung und komplexe Leistung, Leistungsfaktor
9	Dreiphasensysteme	Dreispulen Generator, Vorstellung versch. Dreiphasensysteme (TN-S, TN-C, TT, IT), Bedeutung Strangspannung und Außenleiterspannung, Symmetrische und unsymmetrische Belastung im Vierleitersystem

Übung

#	Name	Zusammenfassung
1	Übung 1	Mittelwerte und Kenngrößen, Mittelwerte und Kenngrößen bei Kosinus-Spannung
2	Übung 2	Kosinus-Spannung, Überlagerung von Spannungen
3	Übung 3	Strom und Spannung an einer Induktivität, Induktivität an Wechselspannung
4	Übung 4	Ortskurven
5	Übung 5	Verlustbehaftete Spule, Übung komplexe Rechnung
6	Übung 6	RC-Hochpass, Tastkopf
7	Übung 7	Parallelschwingkreis, Übung komplexe Rechnung
8	Übung 8	Leistung, Übung komplexe Rechnung
9	Übung 9	Drehstromverbraucher

Digitaltechnik

Mon, 30 Aug 2021 00:00:00 +0000

Lern- / Qualifikationsziele

Die Studierenden haben Kenntnisse in den Bereichen

Informationstheoretische Grundlagen der Zahlendarstellung (z.B. Stellenwertsysteme)
Boole’sche Algebra (Operatorensysteme, Normalformen, Minimierung)
Grundlagen der Speicherelemente (z.B. Latch, Flip-Flop)
Struktur (komplexer) digitaler Einheiten (z.B. Datenfluss)
Theorie sequenzieller Schaltwerke

Mehr Informationen sowie Vorlesungsfolien gibt es im .

Vorlesung

#	Name	Zusammenfassung
1	Zahlensysteme	Zahlensysteme, Zahlenkonvertierung, Zahlendarstellung, Fest- und Gleitkommazahlen
2	Boolesche Algebra	Schaltfunktionen, Boolesche Algebra, Schaltalgebra, Boolesche Funktionen
3	Normalformen	Schaltalgebra, NAND-/NOR-Konversion, Würfelkalkül
4	Minimalformen	Disjunktive und konjunktive Minimalform, Prim- und Kernprimimplikanten, Minimierung durch algebraische Methoden, KV-Diagramme und Quine-Mc-Cluskey, Espresso-Algorithmus
5	Schaltwerke	Asynchrone und synchrone Flipflops (RS, JK, D, T), Schaltwerkbausteine, Register, Schieberegister, Empfindlichkeitsintervall, Einflanken- und zweiflankengesteuerte Flipflop
6	Entwurf Schaltwerke	Mealy- und Moore-Automaten, Automatengraph und -tafel, Serienaddierer, Entwurf eines asynchronen und synchronen Dual-Vorwärtszählers
7	Realisierung Schaltfunktionen	Gatterschaltnetze, Demultiplexer, PLA, integrierte Schaltkreise, FPGA
8	Laufzeiteffekte	Hasard, Hasardfehler, Erkennen und Beheben von Strukturhasards
9	Verilog	Einführung in Verilog, Vergleich zu VHDL, Beispiel Multiplexer, Voll- und Halbaddierer

Übung

#	Name	Zusammenfassung
1	Übung 1	Stellenwertsysteme, Umwandlung in verschiedene Zahlensysteme, 1er- und 2er Komplement
2	Übung 2	Boolesche Funktionen, vollständige Operatorensysteme, Erstellung Funktionstabellen
3	Übung 3	Boolesche Algebra, Huntingtonsche Axiome, Umwandlung disjunktive und konjunktive Normalform
4	Übung 4	Realisierung einer Schaltfunktion durch Multiplexer in verschiedenen Varianten
5	Übung 5	Minimierung mit KV-Diagrammen, Codewandler
6	Übung 6	Erstellung Automatengraph und Automatentafel für eine Warnanlage
7	Übung 7	Entwurf eines Folgenerkenners mit einem synchronen Mealy-Automaten und Implementierung mit JK-Flipflops, Entwurf asynchroner Dual-Vorwärtszähler
8	Übung 8	Entwurf asynchroner Dual-Zähler, Synchroner Zähler mit Graycode, Schieberegister mit D-Flipflops
9	Übung 9	Beispiel eines D-Flipflops mit Verilog-Code

Autonomes Fahren

Mon, 21 Jun 2021 00:00:00 +0000

Die Vorlesung Autonomes Fahren orientiert sich unter anderem an der vereinfachten Sense-Plan-Act Architektur. Die Studierenden erhalten dabei einen Überblick über die wichtigsten Bestandteile eines autonomen Systems.

Vereinfachte Sense-Plan-Act Architektur

Lern- / Qualifikationsziele

Die Studierenden

können die zentralen Elemente eines autonomes Systems angeben sowie die Hauptaufgaben eines jeden Elementes erläutern.
können Beispiele für Algorithmen aus der Situationsinterpretation und der Pfadplanung nennen.
können Methoden aus der Pfadplanung implementieren.
können sich mit Bezug auf die behandelten Methoden qualifiziert zu deren Anwendung im autonomen Fahren äußern.

Vorlesung

#	Name	Zusammenfassung
1	Grundlagen I	Fortbewegungsmodelle, Vorwärtskinematik, Rückwärtskinematik, Ackermann Lenkung, Bewegungsmodelle
2	Grundlagen II	Grundlagen der Wahrscheinlichkeitstheorie, Erwartungswert und Varianz, Satz von Bayes, zeitdiskretes Kalman-Filter
3	Sensoren	Klassifikation von Sensoren, Abstandsmessungen, Übersicht über eine Auswahl der wichtigsten Sensoren, Einführung in Multi-Object Tracking, Assoziation von Daten
4	Lokalisierung	Übersicht über Architekturen, Kartendarstellungen, Odometrie, Lokalisierung mit Landmarken, Probabilistische Lokalisierung
5	Globale Pfadplanung	Bug Algorithmus, Konfigurationsraum, Diskretisierung Konfigurationsraum, Graphenbasierte Pfadplanung, Dijkstra’s Algorithmus, Probabilistische Pfadplanung
6	Situationsinterpretation	Physik-basierte Modelle, Manöver-basierte Modelle, Interaktions-basierte Modelle
7	Kollisionsdetektion	Analytische und Simulative Kollisionsberechnung; GJK-Algorithmus
8	Lokale Pfadplanung	Anytime Algorithmen, Interpolations-basierte Pfadglättung
9	Kooperative Manöverplanung	Einführung in die Spieltheorie, kooperative Spieltheorie
10	Trajektorienregelung	Pure Pursuit Regelung

Übung

Die Übung baut auf der auf. Übungstermine für das Labor werden in der Vorlesung bekannt gegeben.

#	Name	Short Content
1	Kinematic	Umsetzung der kinematischen Gleichungen um Odometriedaten aus der Drehbewegung des differentiellen Antriebes zu genieren
2	Lokalisierung	Verwenden einer kamera-basierten Landmarkendetektion um auf Basis einer Triangulation die eigene Position zu bestimmten
3	Globale Pfadplanung	Implementierung des Bug-Algorithmus und Evaluierung in verschiedenen Umgebungen
4	Globale Pfadplanung II	Implementierung des RRT-Alorithmus