Neuroinformatik und Organic Computing
Neurocomputing and Organic Computing

Die Veranstaltung behandelt wichtige Typen von vorwärts gerichteten Neuronalen Netzen, wie Mehrschicht-Perzeptron, Radiale Basisfunktionen Netze und Support Vektor Netze. Übergreifend werden das grundlegende Problem des algorithmischen Lernens vorgestellt, nämlich das Bias-Varianz-Dilemma, sowie Lösungen diskutiert. Bezug nehmend auf Organic Computing werden self-X Fähigkeiten untersucht. Ein besonderer Wert wird darauf gelegt, einen Zusammenhang zu grundlegenden Techniken aus anderen Disziplinen herzustellen, wie Gradientenabstieg, lineare und quadratische Optimierung, statistische Entscheidungstheorie, Fuzzy-Reasoning. Typische Anwendungen werden exemplarisch behandelt, wie Signalfilterung, Mustererkennung, Roboterkontrolle. Inhalte im Einzelnen:
- Einführung
- McCulloch-Pitts Zelle, Perzeptron, Adaline
- Statistische Entscheidungstheorie
- Mehrschichtnetze
- Netze radialer Basisfunktionen
- Netze von Support Vektoren
- Organic Computing

Die Studierenden sollen für ausgewählte Typen von Neuronalen Netzen deren Struktur und Lernmethodik verstehen, die grundlegende mathematische Fundierung nachvollziehen können, die prinzipielle Wirkung und die mögliche Anwendbarkeit kennen. Sie sollen für ausgewählte Problemstellungen potentiell sinnvolle Netztypen und Lernverfahren vorschlagen können.

- C. Bishop: Neural Networks for Pattern Recognition; Oxford Press, 1995.
- C. Bishop: Pattern Recognition and Machine Learning; Springer, 2006.
- T. Hastie, et al.: The Elements of Statistical Learning, Springer, 2003.
- R. Rojas: Neuronale Netze; Springer-Verlag, 1996.
- A. Zell: Simulation neuronaler Netze; Addison-Wesley, 1994.
- M. Mohri, et al.: Foundations of Machine Learning; MIT Press, 2012.
- Aktuelle eigene Artikel sowie Bachelor-/Master-/Doktorarbeiten.

The course treats important types of feed-forward neural networks. In a comprehensive manner, the basic problem of algorithmic learning is treated, including bias-variance dilemma, and solutions are presented. Related to Organic Computing, self-X competences are discussed. A special effort is put on relationships to basic techniques from other fields, e.g. gradient descent, linear and quadratic optimization, statistical decision theory, fuzzy reasoning. Typical applications include signal filtering, pattern recognition, robot control. Contents at a glance:
- Introduction
- McCulloch-Pitts Neuron, Perceptron, Adaline
- Statistical decision theory
- Multi-Layer Perceptron
- Radial Basis Function Networks
- Support Vector Machines
- Organic Computing

The students should understand for certain types of neural networks their structure and learning method, as well as the mathematical foundation, and they should know possible applications. They have the competence to propose for certain types of problems, the potentially useful types of networks and learning procedures.

- C. Bishop: Neural Networks for Pattern Recognition; Oxford Press, 1995.
- C. Bishop: Pattern Recognition and Machine Learning; Springer, 2006.
- T. Hastie, et al.: The Elements of Statistical Learning, Springer, 2003.
- R. Rojas: Neuronale Netze; Springer-Verlag, 1996.
- A. Zell: Simulation neuronaler Netze; Addison-Wesley, 1994.
- M. Mohri, et al.: Foundations of Machine Learning; MIT Press, 2012.
- Aktuelle eigene Artikel sowie Bachelor-/Master-/Doktorarbeiten.