AI Hardware Acceleration
Die Hardwarebeschleunigung von KI konzentriert sich auf die effiziente Ausführung von Algorithmen der künstlichen Intelligenz auf eingebetteten und ressourcenbeschränkten Systemen. Die Forschung untersucht spezialisierte Beschleunigerarchitekturen, Kompressionstechniken und hardwarebewusste Optimierungen, um Rechenaufwand, Speicherbedarf und Energieverbrauch zu reduzieren. Zur Unterstützung der Entwicklung und Bereitstellung solcher KI-Systeme wird das Open-Source-Ökosystem elasticAI bereitgestellt. Diese Werkzeuge ermöglichen das Übersetzen eines KI-Systems inkl. Vorverarbeitung von Software zu einem FPGA-Design inkl. dem Deployment auf einer eigenentwickelten heterogenen KI-Hardware-Plattform. Diese Technologien ermöglichen den Einsatz in energieeffiziente Echtzeit-KI-Anwendungen, von der Signalverarbeitung bis hin zu intelligenten Edge- und IoT-Systemen.
Gruppenleiter: Dr. -Ing. Andreas Erbslöh
Hardware Beschleunigung mittels vorab berechneter 1D-CNNs
In unserer Forschung fokussieren wir uns auf die Optimierung von KI-Modellen, insbesondere Deep Learning (DL)-Architekturen, für den Einsatz auf ressourcenbeschränkten IoT-Geräten, wie eingebetteten FPGAs. Hier liegt der Fokus besonders auf der Quantisierung neuronaler Netzwerke, also der Reduzierung der numerischen Präzision von Modellparametern, um Speicherbedarf und Rechenintensität zu verringern und auf der Nutzung von Transformer-Modellen.
Dabei untersuchen wir allgemein Optimierungen beim Training der Netzwerke und streben möglichst schnelle wie effiziente Berechnungen an, beispielweise durch den Einsatz separierbarer Faltungen.
Zudem erlaubt es bei quantisierten neuronalen Netzwerken (QNN) eine geringe Bittiefe von zwei oder weniger Bit im Zusammenspiel mit der Beschaffenheit von FPGAs, Operationen innerhalb des Netzwerkes vorauszuberechnen und die entsprechenden Ergebnisse für schnellstmöglichen Zugriff in den LUTs der konfigurierbaren Logikblöcke zu hinterlegen.
Ansprechpartner: Lukas Einhaus, M.Sc. | Aktuelle Publikation
Hardware Beschleunigung mittels Delta-Kompression
Die zunehmende Größe moderner neuronaler Netze stellt eingebettete Systeme vor erhebliche Herausforderungen. Insbesondere im Kontext energieeffizienter Hardware wie FPGAs oder Mikrocontrollern besteht ein wachsender Bedarf an Verfahren, die Speicherbedarf und Rechenaufwand reduzieren, ohne dabei die Modellqualität wesentlich zu beeinträchtigen.
Ein Ansatz, mit dem sich unsere Forschung beschäftigt, ist die Delta-Kompression. Bei diesem Verfahren werden anstelle vollständiger Modelparameter, lediglich Deltas gespeichert. Da diese mit einem geringeren Informationsverlust komprimiert werden können, entstehen deutliche Einsparungen an Speicherplatz, was den Einsatz größerer Modelle auf kleinen Systemen ermöglicht. Die Delta-Kompression eröffnet neue Möglichkeiten für den Einsatz von KI-Modellen in eingebetteten Anwendungen. Sie bietet eine Alternative zu stark quantisierten oder strukturell reduzierten Netzarchitekturen und erlaubt es, Modelle mit höherer Komplexität in ressourcenarmen Umgebungen auszuführen. Gleichzeitig führt die Kompression fast zwangsläufig zu Informationsverlusten, die sich auf die Modellperformance auswirken können. Die Entwicklung geeigneter Methoden zur Fehlerbegrenzung und adaptiven Kompressionsstrategien ist daher ein zentraler Bestandteil aktueller Forschung.
Langfristig soll die Methode mit weiteren Optimierungstechniken wie strukturellem Pruning oder quantisierungsbewusstem Training kombiniert werden, um robuste und zugleich ressourceneffiziente KI-Modelle bereitzustellen.
Ansprechpartner: David Peter Federl, M.Sc. | Aktuelle Publikation
End-to-End Signal Processing
Der Forschungsbereich End-to-End Signal Processing beschäftigt sich mit der effizienten Erfassung, Verarbeitung und Interpretation neuronaler Signale in Echtzeit. Ziel ist die Entwicklung leistungsfähiger Signalverarbeitungspipelines, die große Mengen biologischer Daten mit hoher zeitlicher und räumlicher Auflösung analysieren und daraus relevante Informationen ableiten können. Solche Systeme bilden die Grundlage für zahlreiche neurotechnologische Anwendungen, insbesondere im Bereich invasiver Brain-Computer-Interfaces (BCIs) und Closed-Loop-Systemen.
Für eine optimale Hardware-Ausführung auf implantierbaren oder tragbaren Systemen muss der gesamte Datenstrom und die zugehörigen Methoden bzgl. Genauigkeit, Latenz, Ressourcen- und Energieverbrauch optimiert werden. Diese Ende-zu-Ende Betrachtung ermöglicht die Realisierung einer anwendungsspezifischen Lösung. Da entsprechende Algorithmen häufig hohe Anforderungen an die Hardware stellen, werden zusätzlich Verfahren wie Quantisierung, Modellkompression, hochspezialisierten Hardware-Cores und Continual Learning erforscht.
Die entwickelten Technologien und Systeme unterstützen Patienten mit neurologischen Erkrankungen oder Verletzungen des Nervensystems. Aktuelle Forschungsarbeiten laufen im Bereich des künstlichen Sehens, wobei an zellselektiven Closed-Loop Systemen für zukünftige Retina-Implantate gearbeitet wird.
Ansprechpartner: Dr. -Ing. Andreas Erbslöh | Aktuelle Publikation
Design heterogener KI Hardware Systeme
Ein Teil unserer Forschung besteht folglich darin, diese Spezialhardware in Form von KI-Hardwarebeschleunigern zu entwerfen und zu implementieren. Dafür kommen bei uns FPGAs zum Einsatz, mit denen sich beliebige KI-Systeme im Vergleich zu GPUs kostengünstiger und ressourcen-effizienter als direkt Hardware-Ausführung umsetzen lassen.
Die hybride Hardwareplattform elasticNode, welche Teil des elasticAI Ökosystems ist, dient als Werkzeug unserer Forschung dar und soll vor allem die Ansprüche an Nutzbarkeit, Anpassungsfähigkeit sowie Überwachbarkeit gerecht werden und dabei ressourcen- und energie-effizient sein.
Darum untersuchen wir für diesen Bereich auch adäquate hardwarenahe Optimierungsmöglichkeiten. Denn durch genaue Kenntnis der Hardware lassen sich in vielen Bereichen Ansätze finden, mit denen man die verfügbaren Ressourcen voll ausschöpfen kann. So gibt es beispielsweise Einsparungspotenzial durch Umsetzung einzelner Modellschichten mit quantisierten Aktivierungsfunktionen mittels LUTs, oder durch Modellschichten, die nicht die volle Taktrate benötigen, Parallelisierung in der ALU und viele andere Ansätze.
Ansprechpartner: Dr. -Ing. Andreas Erbslöh | Aktuelle Publikation