Embedded Kolmogorov-Arnold Networks

​

​​Ein Teil unserer Forschung beschäftigt sich mit neuartigen neuronalen Netzwerkarchitekturen, die auf dem Kolmogorov-Arnold-Repräsentationstheorem basieren. Dabei liegt der Fokus auf Kolmogorov-Arnold Networks (KANs), einem vielversprechenden Ansatz, bei dem die Gewichte eines neuronalen Netzes durch lernbare nichtlineare Funktionen ersetzt werden. Diese Struktur ermöglicht Modelle, die gleichzeitig interpretierbarer, flexibler und ausdrucksstärker sind als klassische Multi-Layer-Perceptrons (MLPs).

Im Rahmen der Forschung evaluieren wir in welchen Anwendungsgebieten die KANs Architektur einen praktischen Vorteil bietet und wie sich der Ressourcenbedarf der KAN-Modelle reduzieren lässt, z.B. durch Anwendung von Quantisierung oder durch Ersetzen von gelernten nicht-linearen Funktionen. Aufgrund der Erklärbarkeit der KAN-Modelle, kann diese Methode besondere Vorteile in sicherheitskritischen Bereichen, wie der Medizin oder im Automotive Sektor bieten.

Im Rahmen der Forschung wird das KANLib-Framework entwickelt. Dabei handelt es sich um eine modulare und einfach erweiterbare KAN-Implementierung für PyTorch. Ziel ist es, die praktische Einsetzbarkeit von KANs in eingebetteten Systemen zu evaluieren und zu verbessern.

Ansprechpartner: Julian Hoever, M.Sc. | Aktuelle Publikation

Speicherbeschränktes Training tiefer neuronaler Netze auf Mikrocontrollern

​

​​Das Training tiefer neuronaler Netze erfolgt überwiegend auf leistungsstarken GPUs oder spezialisierten Beschleunigern, während Microcontroller-basierte Systeme meist auf reine Inferenz beschränkt sind. In unserer Forschung stellen wir diese Annahme in Frage und untersuchen das direkte Training neuronaler Netze auf Microcontrollern unter extremen Speicherbeschränkungen.

Im Fokus stehen klassische Cortex-M-Systeme mit wenigen hundert Kilobyte RAM, ohne externe Speicher und ohne Hardwarebeschleuniger für Matrixoperationen. In diesem Szenario ist das Training nicht rechen-, sondern speicherlimitiert: Aktivierungen, Gradienten und Optimizer-Zustände übersteigen schnell die verfügbaren Ressourcen, sodass bestehende Trainingsmethoden und Optimierungsalgorithmen nicht ohne Weiteres übertragbar sind. Ziel unserer Forschung ist die systematische Analyse und Reduktion des Speicherverbrauchs während des Trainings. Hierzu werden analytische Speichermodelle entwickelt und darauf aufbauend Techniken wie Quantisierung, unstrukturiertes Pruning, spärliche Updates und verlustbehaftete Kompression gezielt kombiniert und dynamisch angepasst.

Ein konkreter Schwerpunkt liegt dabei auf quantisierten Parameter-Updates (QPU). Es handelt sich um einen neuen Ansatz, der das Training neuronaler Netze direkt mit quantisierten Parametern und stochastisch gerundeten Updates ermöglicht, sodass vollständig auf Floating-Point-Gewichte verzichtet werden kann und der Speicherbedarf während des Trainings deutlich reduziert wird. Ein besonderes Interesse besteht daraufhin an der Nutzung der freigewordenen Speicherressourcen zur Verbesserung von Konvergenzgeschwindigkeit und Modellgenauigkeit, etwa durch adaptive Batch-Größen, dynamische Bitbreiten und die schrittweise Erweiterung einfacher Optimierer.

Die entwickelten Methoden werden auf Zeitreihen- und Bildklassifikationsaufgaben evaluiert und auf realer MCU-Hardware implementiert. Langfristig leistet diese Arbeit einen Beitrag zur autonomen, datenschutzfreundlichen und energieeffizienten Anpassung neuronaler Netze auf eingebetteten Systemen.

Ansprechpartner: Leo Buron, M.Sc. | Aktuelle Publikation

Deep Reinforcement Learning

Deep Reinforcement Learning (DRL) hat sich als leistungsfähiger Ansatz für komplexe Entscheidungs- und Steuerungsprobleme etabliert. Trotz beachtlicher empirischer Erfolge bestehen jedoch grundlegende theoretische Herausforderungen an der Schnittstelle von Deep Learning (DL) und Reinforcement Learning (RL), denen sich unsere Forschung widmet.

Ein zentrales Problem des Reinforcement Learning ist die sogenannte Deadly Triad: die Kombination aus Funktionsapproximation, Bootstrapping und Off-Policy-Lernen, die zur Divergenz der Modellparameter führen kann. Mithilfe einer Eigenwertanalyse klassischer Gegenbeispiele untersuchen wir die zugrunde liegenden Update-Matrizen. Dabei konnten wir zeigen, dass die für die Parameteraktualisierung entscheidende Matrix in den untersuchten Gegenbeispielen mindestens einen positiven Eigenwert besitzt. Dies liefert eine theoretische Erklärung dafür, warum DRL-Verfahren in der Praxis häufig stabil konvergieren, da für bestimmte Problemstellungen geeignete Funktionsapproximationen existieren, unter denen stabile Updates möglich sind.

Ein weiterer Schwerpunkt liegt auf der IID-Annahme, einer Grundvoraussetzung für den Einsatz stochastischer Gradientenverfahren im Deep Learning. Im Reinforcement Learning ist diese Annahme jedoch verletzt, da Trainingsdaten durch sequentielle Interaktion entstehen und nicht unabhängig sowie nicht stationär sind. Mit unserer Forschung konnten wir zeigen, dass der Erfolg moderner DRL-Algorithmen maßgeblich auf Verfahren wie Experience Replay oder Target Networks beruht, die die Datenstruktur gezielt verändern. Damit trägt unsere Forschung zu einem besseren Verständnis bei, wie Deep-Learning-Methoden an die spezifischen Anforderungen des bestärkenden Lernens angepasst werden können.

Ansprechpartner: Fatih Özgan, M.Sc. | Aktuelle Publikation