Das Elastic-AI-Ökosystem

Hängende Glühbirnen

KI ist überall

KI-Algorithmen finden sich heute in den verschiedensten technischen Umgebungen, von der Cloud bis zum eingebetteten System. Dem tragen wir mit einem Open-Source Ökosystem für adaptive KI Rechnung, das es allen ermöglichen soll, schnell mit eigenen, verteilten und eingebetteten, intelligenten Systemen zu experimentieren.

Grafik des elasticAI Ökosystems, inklusive elasticAI.explorer, elasticAI.creator, elasticAI.runtime und elasticAI.hardware

Jeder kann mit KI experimentieren

Zugegeben, künstliche Intelligenz (KI) ist kein besonders einfaches Thema. Aber mit etwas Übung gelingt es, das erste KI-Modell z.B. in pyTorch zu erstellen und zu trainieren. Aber was nun? Wie bindet man diese KI in das eigene System ein? Wie führt man sie auf einem kleinen eingebetteten System aus? Wie verknüpft man sie mit eingehenden Daten und schickt die Ergebnisse an Konsumenten? Wer entwirft die notwendige eingebettete Hardware? Und wie programmiert man eine intelligente Anwendung, die dynamisch zwischen KI in der Cloud und lokaler KI auf dem Gerät umschalten kann?

Für all dies entwickeln wir ein Open-Source-KI-Ökosystem, das wir elastic AI nennen. Es besteht aus vierTeilen: 

  1. elastic AI.creator, zur automatischen Generierung von optimierten KI-Beschleunigern für eingebettete FPGAs;
  2. elastic AI.runtime, zur Ausführung verteilter KI-Systeme und als Verbindung der eingebetteten zur Cloud- und Edge-KI; 
  3. elastic AI.hardware, zur Entwicklung eigener intelligenter Endgeräte; und
  4. elastic AI.explorer, zur automatisierten Entwicklung, Optimierung und hardwareadaptiven Bereitstellung von KI-Modellen.

Das elastic-AI-Ökosystem

Eine Open-Source-Lösung für adaptive und verteilte KI

Creator

​

​​​Elastic AI.creator (Schema)
​​
Mit dem elastic AI.creator ist es möglich, speziell für FPGAs optimierte KI-Modelle zu entwerfen, zu trainieren und in eine Hardwarebeschreibung zu übersetzen.

Er stellt zuerst speziell optimierte Schichten bereit, aus denen ein geeignetes Modell aufgebaut wird.

Das fertige Modell durchläuft anschließend sein Training und wird danach in eine VHDL-Darstellung der entsprechenden Zielkonfiguration des FPGAs übersetzt.

Diese VHDL-Dateien können mit einer Drittanbieter-Software wie Vivado Xilinx für den Elastic Node oder andere Systeme kompiliert werden.

Der Creator basiert auf den Arbeiten im LUTNet-Projekt. Den Quellcode und Informationen zur Verwendung finden Sie auf der dazugehörigen Github-Seite.

Verantwortlich: Lukas Einhaus, M.Sc.

Runtime

​​Schema elastic AI.runtime

​​Die elastic AI.runtime ist eine Weiterentwicklung der Elastic IoT Platform und stellt gewissermaßen die Infrastruktur des Ökosystems dar. Es handelt sich dabei um eine Plattform zur Steuerung, Verwaltung und Überwachung von verteilten KI-Systemen. Sie gliedert sich in eine Embedded Runtime, eine Cloud Runtime und den Monitor, eine Cloud-Anwendung zur Überwachung.

Die Embedded Runtime kommt auf den jeweiligen Endgeräten der verteilten, eingebetten Systeme zum Einsatz und agiert als Schnittstelle zwischen dem Cloud Server und den jeweiligen Geräten. Sie kümmert sich um die allgemeine Steuerung und Kommunikation, die Ressourcenverwaltung sowie um die Auswahl von FPGA-Konfigurationen und – mittels der Elastic Node Middleware – deren Deployment wie auch deren Bedienung.

Die einzelnen Endgeräte haben serverseitig ihre Gegenstücke in Form von Digitalen Zwillingen. Diese dienen gleichzeitig als modellhafte Repräsentation der physischen Netzwerkelemente, als Lastabfänger und als Vermittler zu ihnen. Die Digitalen Zwillinge bieten außerdem Abstraktionen, die größere Flexibilität im Umgang mit konkreter, von bestimmten Protokollen und Strukturen abhängiger Hardware ermöglichen.

Der Monitor wurde schließlich zur Überwachung des gesamten Hardwaregefüges entwickelt und schafft mithilfe der Digitalen Zwillinge eine Übersicht über das verteilte System und den Status seiner Elemente.

Gesamter Quellcode und technische Einzelheiten auf Github:

Verantwortlich: David Federl, M.Sc.

Hardware

​Elastic Node mit Beschreibung

​Die dazugehörige Hardware ist die mittlerweile fünfte Iteration unseres einzigartigen Elastic Node.

Es handelt sich um ein kleines, sehr energieeffizientes Endgerät für verteilte Sensornetzwerke, das wahlweise durch sein Wireless-Modul mit Cloud- oder Edge-KI in Verbindung steht oder aber auf On-device-KI setzt.

Seit der ersten Version wurde die Hardware stetig verfeinert. Der Elastic Node v5 ist nunmehr weniger als 5,8 cm hoch und nur 3,4 cm breit und eignet sich damit auch für sehr platzbeschränkte Einsatzorte.

Sein heterogenes Design vereint im Wesentlichen einen stromsparenden Mikrocontroller (MCU), einen Zwischenspeicher für Daten sowie einen primär für KI-Anwendungen gedachten eingebetteten FPGA nebst Speicher für weitere KI-Modelle.

Der Mikrocontroller übernimmt vergleichsweise einfache Aufgaben wie die allgemeine Steuerung und das Auslesen von Sensordaten, während der FPGA spezifischere Aufgaben erledigt, für die zuvor mittels des Creators passende Neuronale Netzwerke zusammengestellt wurden.

Dank seines Modellspeichers kann sich der Elastic Node in situ dynamisch umkonfigurieren und hat somit für wechselnde Anforderungen immer das geeignete Neuronale Netzwerk parat.

Zu den weiteren Merkmalen zählen eine Verbrauchsüberwachung und die Möglichkeit zusätzliche Funktionen durch Erweiterungsboards hinzuzufügen.

Verantwortlich: Dr.-Ing. Andreas Erbslöh 

Explorer

​

​​ElasticAI.explorer ist die zentrale Komponente für die automatisierte Entwicklung, Optimierung und hardwareadaptive Bereitstellung von KI-Modellen. Der elasticAI.explorer verbindet Hardwaresensitive Neuronale Architektursuche (HW-NAS) mit hardwarespezifischen Generierungs- und Deploymentprozessen (Generator) und ermöglicht damit die effiziente Übertragung von KI-Modellen auf eingebettete Zielsysteme.

Die integrierte NAS-Engine sucht systematisch nach Modellarchitekturen, die sowohl der maschinellen Lernaufgabe als auch den physikalischen Randbedingungen der Zielhardware entsprechen. Dazu kombiniert die Engine konfigurierbare Suchräume, multi-kriterielle Optimierungsverfahren und flexible Kriterienkataloge für Genauigkeit, Latenz und Ressourcenverbrauch. Aktuell werden klassische Suchstrategien (Random, Grid, Evolutionary Search) unterstützt. Erweiterungen wie quantisierungsbewusste NAS oder generative Suchansätze befinden sich in Entwicklung.

Über die Generator-Pipeline – bestehend aus ModelBuilder, ModelCompiler, Host und HardwareManager – erzeugt der elasticAI.explorer automatisch hardwareoptimierte Modelle und überführt sie in installierbare  Artefakte. Das integrierte Deployment-System ermöglicht reproduzierbare Cross-Compilation-Prozesse, die Übertragung auf Zielsysteme sowie die automatisierte Auswertung der Laufzeitmetriken direkt auf dem Zielsystem. Derzeit wird Deployment auf dem Raspberry Pi 4/5 und dem Pico Mikrocontroller unterstützt und weitere befinden sich in Entwicklung. Nutzerseitig lassen sich zusätzlich eigene Generatoren definieren.

Weitere Komponenten, umfassen eine Reflection API, die unterstützte Layer- und Quantisierungsschemata verwaltet und validiert sowie ein Knowledge Repository zur strukturierten Speicherung von Architekturen, Modellen und Messdaten als Grundlage für das Trainieren zukünftiger KI-basierte Hardware-Kostenschätzer. Beide Komponenten befinden sich in aktiver Weiterentwicklung.

Weitere Ressourcen befinden sich auf GitHub.

Verantwortlich: Robin Feldmann, M.Sc.

Ende-zu-Ende Datenverarbeitung

​

​​DeNSPP.offline (denspp.offline) ist ein Open-Source-Python-Framework zur Analyse transienter Offline-Messdaten und zur Exploration kompletter Signalverarbeitungs-Pipelines. Der Fokus liegt auf einem durchgängigen Workflow – von Datenhandling von Rohdaten, über die Datenvorverarbeitung inkl. Konfiguration bis hin zum Training und Evaluation von Tiefen Neuronalen Netzen – mit Blick auf spätere Umsetzung auf Embedded- und Hardware-Zielplattformen. Ziel ist es, die gesamte Verarbeitungskette von Rohdaten bis Modelltraining und Evaluation in einem reproduzierbaren End-to-End-Workflow zu bündeln. Für die Erzeugung digitaler Hardwarebeschleuniger (z.B. für Mikrocontroller sowie FPGA/ASIC über Verilog/VHDL) kann das Framework mit elasticAI.creator kombiniert werden.

Weitere Ressourcen befinden sich auf GitHub.

Verantwortlich: Dr.-Ing. Andreas Erbslöh, Florian Hettstedt M.Sc.

Publikationen rund um das Ökosystem

2026

  • Ling, Tianheng; Qian, Chao; Schiele, Gregor
    Resource-Aware Mixed-Precision Quantization for Enhancing Deployability of Transformers for Time-Series Forecasting on Embedded FPGAs
    In: Mobile and Ubiquitous Systems: Computing, Networking and Services; Proceedings / 21st EAI International Conference (MobiQuitous 2024); Oslo, Norway; November 12–14, 2024 / Soylu, Ahmet; Liu, Fan; Mitra, Karan; Zhang, Yan; Grønli, Tor-Morten (Hrsg.). Cham: Springer Nature Switzerland, 2026, S. 361 – 381
    DOI

2025

  • Ling, Tianheng; Qian, Chao; Klann, Theodor Mario; Hoever, Julian; Einhaus, Lukas; Schiele, Gregor
    Configurable Multi-Layer Perceptron-Based Soft Sensors on Embedded Field Programmable Gate Arrays: Targeting Diverse Deployment Goals in Fluid Flow Estimation
    In: Sensors, Jg. 25, 2025, Nr. 1, 83
    DOI
  • Ling, Tianheng; Qian, Chao; Hasler, Lukas Johannes; Schiele, Gregor
    Automating Versatile Time-Series Analysis with Tiny Transformers on Embedded FPGAs
    In: IEEE Computer Society Annual Symposium on VLSI: ISVLSI 2025 / ISVLSI 2025: 28th IEEE Computer Society Annual Symposium on VLSI, 6-9 July 2025, Greece / Institute of Electrical and Electronics Engineers (IEEE) (Hrsg.). Piscataway: Institute of Electrical and Electronics Engineers (IEEE), 2025
    DOI
  • Ling, Tianheng; Singh, Vipin; Qian, Chao; Biessmann, Felix; Schiele, Gregor
    Automated Energy-Aware Time-Series Model Deployment on Embedded FPGAs for Resilient Combined Sewer Overflow Management
    In: Proceedings of the IEEE International Smart Cities Conference (ISC2 2025) / International Smart Cities Conference (ISC2 2025); 06-09 October 2025; Patras, Greece. Piscataway: Institute of Electrical and Electronics Engineers (IEEE), 2025
    DOI
  • Qian, Chao
    Leveraging Application-Specific Knowledge for Energy-Efficient Deep Learning Accelerators on Resource-Constrained FPGAs
    In: Architecture of Computing Systems: Proceedings / 38th International Conference (ARCS 2025); April 22–24, 2025; Kiel, Germany / Tomforde, Sven; Krupitzer, Christian; Vialle, Stéphane; Suarez, Estela; Pionteck, Thilo (Hrsg.). Cham: Springer, 2025, S. 459 – 468
    DOI

2024

  • Ling, Tianheng; Qian, Chao; Schiele, Gregor
    On-Device Soft Sensors: Real-Time Fluid Flow Estimation from Level Sensor Data
    In: Mobile and Ubiquitous Systems: Computing, Networking and Services; Proceedings, Part II / 20th EAI International Conference, MobiQuitous 2023, November 14–17, 2023, Melbourne, Australia / Zaslavsky, Arkady; Ning, Zhaolong; Kalogeraki, Vana; Georgakopoulos, Dimitrios; Chrysanthis, Panos K. (Hrsg.). Cham: Springer Nature, 2024, S. 529 – 537
    DOI
  • Qian, Chao; Ling, Tianheng; Schiele, Gregor
    Exploring energy efficiency of LSTM accelerators: A parameterized architecture design for embedded FPGAs
    In: Journal of Systems Architecture, Jg. 152, 2024, 103181
    DOI
  • Ling, Tianheng; Qian, Chao; Schiele, Gregor
    Towards Auto-Building of Embedded FPGA-based Soft Sensors for Wastewater Flow Estimation
    In: 2024 IEEE Annual Congress on Artificial Intelligence of Things (AIoT): Proceedings / IEEE Annual Congress on Artificial Intelligence of Things (IEEE AIoT), 24-26 July 2024, Melbourne / IEEE (Hrsg.). New York: IEEE, 2024, S. 248 – 249
    DOI

2023 

  • Burger, Alwyn
    FPGA-Augmented Intelligent Devices for the Internet of Things
    Duisburg, Essen, 2023
    DOI
  • Qian, Chao; Ling, Tianheng; Schiele, Gregor
    Energy Efficient LSTM Accelerators for Embedded FPGAs Through Parameterised Architecture Design
    In: Architecture of Computing Systems: 36th International Conference, ARCS 2023, Athens, Greece, June 13–15, 2023, Proceedings / 36th International Conference, ARCS 2023, Athens, Greece, June 13–15, 2023 / Goumas, Georgios; Tomforde, Sven; Brehm, Jürgen; Wildermann, Stefan; Pionteck, Thilo (Hrsg.). Cham: Springer, 2023, S. 3 – 17
    DOI
  • Ling, Tianheng; Schiele, Gregor
    On-Device AI: Quantization-Aware Training of Transformers in Time-Series
    In: Proceedings of the 2023 IEEE International Conference on Pervasive Computing and Communications Workshops and other Affiliated Events (PerCom Workshops 2023) / International Conference on Pervasive Computing and Communications Workshops and other Affiliated Events (PerCom Workshops); 13-17 March 2023; Atlanta, USA. Piscataway: Institute of Electrical and Electronics Engineers (IEEE), 2023, S. 235 – 236
    DOI
  • Buron, Leo; Erbslöh, Andreas; Seidl, Karsten; Schiele, Gregor; Seidl, Karsten; Ur-Rehman, Zia; Klaes, Christian
    Deep.Neural.Signal.Pre-Processor-Towards Development of AI-enhanced End-To-End BCIsIn: Current Directions in Biomedical Engineering, Jg. 9, 2023, Nr. 1, S. 471 – 474
    DOI
  • Qian, Chao; Ling, Tianheng; Schiele, Gregor
    Enhancing Energy-Efficiency by Solving the Throughput Bottleneck of LSTM Cells for Embedded FPGAs
    In: Machine Learning and Principles and Practice of Knowledge Discovery in Databases: International Workshops of ECML PKDD 2022, Grenoble, France, September 19–23, 2022, Proceedings, Part I / International Workshops of ECML PKDD 2022, Grenoble, France, September 19–23, 2022 / Koprinska, Irena; Mignone, Paolo; Guidotti, Riccardo (Hrsg.). Cham: Springer, 2023, S. 594 – 605
    DOI
  • Qian, Chao; Ling, Tianheng; Schiele, Gregor
    ElasticAI: Creating and Deploying Energy-Efficient Deep Learning Accelerator for Pervasive Computing
    In: 2023 IEEE International Conference on Pervasive Computing and Communications Workshops and other Affiliated Events (PerCom Workshops) / PerCom 2023, 13-17 March 2023, Atlanta, GA, USA. Piscataway: IEEE, 2023, S. 297 – 299
    DOI

2022

  • Qian, Chao; Einhaus, Lukas; Schiele, Gregor
    ElasticAI-Creator: Optimizing Neural Networks for Time-Series-Analysis for On-Device Machine Learning in IoT Systems
    In: Proceedings of the 20th ACM Conference on Embedded Networked Sensor Systems (SenSys 2022) / 20th ACM Conference on Embedded Networked Sensor Systems (SenSys 2022): 6 - 9 November 2022; Boston, USA / Gummeson, Jeremy; Lee, Sunghoon Ivan (Hrsg.). New York: Association for Computing Machinery (ACM), 2022, S. 941 – 946
    DOI

2021

  • Cichiwskyj, Christopher; Schmeißer, Stephan; Qian, Chao; Einhaus, Lukas; Ringhofer, Christopher; Schiele, Gregor
    Elastic AI : System support for adaptive machine learning in pervasive computing systems
    In: CCF Transactions on Pervasive Computing and Interaction, Jg. 3, 2021, Nr. 3, S. 300 – 328
    DOI
  • Einhaus, Lukas; Qian, Chao; Ringhofer, Christopher; Schiele, Gregor
    In-Situ Artificial Intelligence for Self-∗ Devices: The Elastic AI Ecosystem (Tutorial)
    In: 2nd IEEE International Conference on Autonomic Computing and Self-Organizing Systems Companion, ACSOS-C 2021: Proceedings / 2nd IEEE International Conference on Autonomic Computing and Self-Organizing Systems Companion, ACSOS-C 2021, Virtual, Washington, 27 September - 1 October 2021. Piscataway: IEEE, 2021, S. 320 – 321
    DOI
  • Burger, Alwyn; Schiele, Gregor; King, David W.
    Developing Action Policies with Q-Learning and Shallow Neural Networks on Reconfigurable Embedded Devices
    In: ACM Transactions on Autonomous and Adaptive Systems (TAAS), Jg. 15, 2021, Nr. 4, 14
    DOI

2020

  • Burger, Alwyn Johannes; Cichiwskyj, Christopher; Schmeißer, Stephan; Schiele, Gregor
    The Elastic Internet of Things - A Platform for Self-Integrating and Self-Adaptive IoT-Systems with Support for Embedded Adaptive Hardware
    In: Future Generation Computer Systems, Jg. 113, 2020, S. 607 – 619
    DOI

2019

  • Schiele, Gregor; Burger, Alwyn Johannes; Cichiwskyj, Christopher
    The Elastic Node: An Experimentation Platform for Hardware Accelerator Research in the Internet of Things
    In: Proceedings of the IEEE International Conference on Autonomic Computing / ICAC 2019; Umea; Sweden; 16 - 20 June 2019. Piscataway Township: IEEE, 2019, S. 84 – 94
    DOI

2018

  • Burger, Alwyn Johannes; Schiele, Gregor
    Demo Abstract: Deep Learning on an Elastic Node for the Internet of Things
    In: IEEE International Conference on Pervasive Computing and Communications Workshops / PerCom Workshops 2018; Athens; Greece; 19-23 March 2018: Institute of Electrical and Electronics Engineers Inc., 2018, S. 424 – 426
    DOI

2017

  • Burger, Alwyn Johannes; Cichiwskyj, Christopher; Schiele, Gregor
    Elastic Nodes for the Internet of Things: A Middleware-Based Approach
    In: Proceedings - 2017 IEEE International Conference on Autonomic Computing, ICAC 2017 / 14th IEEE International Conference on Autonomic Computing, ICAC 2017; The Ohio State University Columbus; United States; 17 July 2017 through 21 July 2017 / Wang, Xiaorui (Hrsg.). Piscataway, NJ: Institute of Electrical and Electronics Engineers Inc., 2017, S. 73 – 74
    DOI