Forschung & Projekte - ZAT
Zentrum für Assistive Technologien Rhein-Ruhr
Das vom Ministerium für Kultur und Wissenschaft NRW finanzierte Projekt "Zentrum Assistive Technologien Rhein-Ruhr" (ZAT) wird für eine Laufzeit von 3 Jahren (11/2023 - 10/2026) in der Förderlinie "Profilbildung 2020" finanziert und zielt im Anschluss auf eine nachhaltige Verstetigung. Es verbindet Universität und Fachhochschulen in interdisziplinären Zusammenarbeit der Hochschulen Rhein-Waal, Niederrhein und Bonn-Rhein-Sieg und der Universität Duisburg-Essen. Es zielt auf den regionalen Ausbau von partizipativer Forschung, Entwicklung und den Praxistransfer von digitalen pro-aktiven kognitiven Assistenzsystemen.
In diesem Rahmen bringt das Team an der UDE seine Expertise in der Planung, Durchführung und Auswertung von videobasierten Studien zur Mensch-Technik-Interaktion (Lab, Alltag) und ethnographischer Feldforschung in assistiven Alltagssituationen ein, um auf dieser Basis eine neue methodische Grundlage für die interdisziplinäre Erforschung von pro-adaptiven Assistenzsystemen zu schaffen.
Um diese Grundlage zu schaffen, werden Guidelines und Verfahren zur Aufbereitung von zeitreihenbasierten Forschungsdaten (Video- & Audioaufnahmen, Sensordaten wie Bewegungs und Herzfrequenz, EyeTracking, etc.) an der interdisziplinären Schnittstelle der Erforschung von Mensch-Technik-Interaktion entwickelt, eine Korpusinfrastruktur für multimodale Interaktionsdaten (ZuMult) an der UDE etabliert und weiterentwickelt und Ansätze zu interdisziplinären Evaluierungsprotokollen ausgearbeitet. Diese Ansätze werden in der Erhebung eines multimodal-multisensoriellen Datenkorpus für die interdisziplinäre Forschung zusammengeführt. Darüber hinaus werden Studien mit Prototypen von technischen Assistenzsystemen durchgeführt und konzeptuelle Fragen zu Assistenz und Mensch-Technik-Interaktion adressiert.
Interdisziplinäre Studien
01/2026 Wohnstudie "Living Lab"
Um die im Projekt entwickelten Standards und Pipelines zur interdisziplinären Erforschung von Mensch-Maschine-Interaktion unter Berücksichtigung von multimodalen und multisensoriellen Ansätzen zusammen zu führen, wurde 01/2026 gemeinsam mit allen Projektpartnern des ZAT ein beispielhafter Datensatz im Wohn-Umfeld erhoben.
Neben (I) audio-visuellen Aufzeichnungen durch externe Kameras & Funkmikrofone, wurden auch (II) Bewegungs- und Zustandssensorik an den Teilnehmenden und im Setting angebracht. Darüber hinaus trugen ausgewählte Teilnehmende (III) Eye-Tracking-Brillen und waren mit (IV) Herzfrequenzsensorik ausgestattet.
12/2025 & 06/2024 Remote Shopping & Remote Instruction
In Zusammenarbeit mit Forschungsgruppen der Saitama University und Tokyo University of Technology (Y. Kobayashi, R. Suzuki, A. Yamazaki und K. Yamazaki) wurden 06/2024 und 12/2025 zwei semi-experimentelle, audio-visuelle Studien von Interaktion mit Forschungsprototypen robotischer Telepräsenz durchgeführt. Daraus entstanden die beiden Teilkorpora "Remote Shopping" & "Remote Instruction"
Übersicht der Korpora
Jedes Korpus besteht aus (I) externen Videoaufzeichnungen der Interaktion aller Teilnehmenden (local & remote) aus multiplen Perspektiven, (II) der Bildschirmübertragung, (III) Log-Dateien der Aufzeichnungen und Entscheidungen des Robotersystems, (IV) Fragebögen und (V) qualitativen Interviews.
Beide Korpora wurden für die Arbeit an Interaktionsstudien zeitsynchron aufbereitet, standartisiert exportiert und nach den Konventionen von GAT 2 mit der Transkriptionssoftware ELAN transkribiert. Korpus B (Remote Instruction) wurde zusätzlich multimodal annotiert und in die Korpusinfrastruktur der Arbeitsgruppe (ZuMult) integriert.
Korpus A: Remote Shopping (12/2025, 12 Durchläufe, 2 Bedingungen)
Halb-experimentelle, audio-visuelle Studie, bei der eine Person aus der Ferne über einen mobilen, robotergestützten Einkaufswagen (autonomer vs. manueller Modus) in einem lokalen Geschäft einkaufen geht und gemeinsam mit lokalen Teilnehmenden Spiele, Getränke und Lebensmittel für einen Spieleabend auswählt. Diese Versuchsanordnung ermöglicht es insbesondere, die Algorithmisierung koordinierter Bewegungen im Raum, die Positionierung des Roboters bzw. der Teilnehmenden in Remote-Position im Verhältnis zu lokalen Teilnehmenden und den Einkaufsartikeln (f-Formation) sowie den Einfluss von Mobilität und Räumlichkeit auf die Barrierefreiheit und Beteiligung an der Auswahl käuflicher Objekte zu untersuchen.
Korpus B: Remote Instruction (06/2024, 16 Durchläufe, 2 Bedingungen)
Halb-experimentelle, audio-visuelle Studie, in der eine teilnehmende Person einer Gruppe von bis zu vier Teilnehmenden Anweisungen zum Zusammenbau eines kleinen Lego-Sets gibt. Die erklärende Person trägt ein VR-Headset und kann den lokalen Ort durch die Augen eines mobilen humanoiden Roboters sehen, durch ihn kommunizieren und dessen Bewegung und Ausrichtung im Raum steuern (Anzeige der Kopfausrichtung über den Roboter vs. Ring-LED, Suzuki et al. 2026) . Diese Versuchsanordnung ermöglicht es insbesondere, die Rolle der Blickrichtung des Roboters, die gestischen Ressourcen der Teilnehmenden vor Ort und deren Auswirkungen auf die Beteiligung an Lehr- und Lernaktivitäten zu untersuchen.
02/2025 & 05/2025 Chatbot-Studie "AMICA"
Das Chatbot-System "AMICA" wird an der Hochschule Rhein-Waal entwickelt und wurde in Kooperation mit der UDE in zwei Pilot-Studien erprobt.
Neben audio-visuellen Aufzeichnungen durch externe Kameras, wurde hierbei auch die Integration von Log-Files des Chat-Systems in die Analyse der Interaktion erarbeitet. Darüber hinaus wurden die Daten zeitsynchron exportiert, harmonisiert, verbal nach den Konventionen des GAT 2 in ELAN transkribiert und in die Korpus-Infrastruktur "ZuMult" eingearbeitet.
Publikationen, Vorträge & Poster
Publikationen
Mensch-Technik-Interaktion & Assistenz
- Bergmann, F.; Pitsch, K. (2026): Identifying Dimensions for a Community-Based Systematics of Assistive Technology. Mensch und Computer 2026 - Workshopband. Gesellschaft für Informatik e.V. MCI-WS107: Towards Pro-Adaptivity in Human-Machine-Interaction. Duisburg. 30. August - 02. September 2026
[DOI] - Krause, A.F.; Savelov, A.; Ching, C.; Kannen, K.; Pitsch, K.; Wild-Wall, N.; Ressel, C. (2026): AMICA: Accessible Multimodal Interaction Conversational Assistant for School Children with Intellectual Disabilities. COGNITIVE 2026.
[Link zum Artikel] - Suzuki, R., Takao, M., Shino, K., Kobayashi, Y., Iwata, K., Satoh, T., Satoh, Y., Uchida, N., Yamazaki, A., Yamazaki, K., Bergmann, F., & Pitsch, K. (2026). I Can See All of You: Supporting User Awareness with Augmented Field-of-View for Remote Collaborative Work. In M. Staffa, J.-J. Cabibihan, B. Siciliano, S. S. Ge, L. Bodenhagen, A. Tapus, S. Rossi, F. Cavallo, L. Fiorini, M. Matarese, & H. He (Hrsg.), Social Robotics + AI (Bd. 16131, S. 331–342). Springer Nature Singapore.
[DOI]
Korpusinfrastruktur
- Schmidt, T.; Pitsch, K.; Bergmann, F.; Ferger, A. (im erscheinen): Beyond words: Capturing the Complexity of Multimodal and Multisensorial Corpora. Eingereicht bei: Herzberg, L., Witt, A., Mair, C. (eds.): Corpus Linguistics 2040: Which Data, Which Methods, Which Models? Series Digital Linguistics. De Gruyter Brill.
- Schmidt, T. (2026): Die ZuMult-Korpusplattform für audiovisuelle Korpora. Erscheint in: Zeitschrift für Germanistische Linguistik (ZgL).
- Schmidt, T.; Ferger, A. & Frick, E. (2026). Putting things on top of other things: The ZuMult platform for multimodal corpora and its ecosystem. In: Grisot, Cristina & Kontino, Thalassia (eds.): Selected papers from the CLARIN Annual Conference 2025. Linköping Electronic Conference Proceedings 222.
- Frick, E. and Schmidt, T. (2025, Dezember). „Querying spoken language data“. In: Harmonizing language data: Standards for linguistic resources, edited by Piotr Bański, Ulrich Heid and Laura Herzberg, De Gruyter, 2025, pp. 339-376.
[DOI] - Schmidt, T., Ferger, A. (2025, October). „Putting things on top of other things - The ZuMult Corpus Platform and its Eco System“. In: CLARIN Annual Conference Proceedings, 2025. ISSN 2773-2177 (online). Eds. Cristina Crisot and Thalassia Kontino. Vienna, Austria, 2025.
- Ferger, A.; Krause, A. F.; Pitsch, K. (2025, August): A Workflow for Creating, Harmonizing and Analyzing Structured Corpora of Multimodal Interaction. In: Louis Cotgrove; Laura Herzberg; Harald Lüngen (Eds.): Exploring digitally-mediated communication with corpora: Methods, analyses, and corpus construction. Berlin/Boston: de Gryuter (Digital Linguistics). [DOI]
Forschungsdaten (Whitepaper & Datensätze)
- Ferger, A., Grashof, R., Krause, A. F., Schmidt, T., Schneider, J., Yavuz, S. (2025, April): Guidelines for Research Data in Research and Development Processes of Pro-adaptive Cognitive Assistive Technologies (Pro-CAT)
[DOI]
Vorträge & Poster
Vorträge
- Bergmann, F. (2026): Facilitating Play in Crisis. Assisting Emergency Professionals in Simulations of Ambulance Drives and Mass-Casualty Incidents. Video Game Cultures 2026, Klagenfurt.
- Schmidt, T. & Pitsch, K. (2026): "Search, Zoom in, Freeze, Zoom out, Switch, Freeze, … - Supporting video analysis in a corpus platform". Panel: Data in CA: Preparing, sharing, and reusing recordings from naturally occurring interaction continuation. International Conference on Conversation Analysis (ICCA) 2026, Edmonton, CA.
- Schmidt, T. (2026): AI in Corpus Technology. Workshop: "Using AI in CA workflows". International Conference on Conversation Analysis (ICCA) 2026, Edmonton, CA.
- Schmidt, T., & Ferger, A. (2025): Putting things on top of other things -- The ZuMult platform for multimodal corpora and its ecosystem. Zenodo. CLARIN Annual Conference 2025, Vienna. Zenodo.
- Pitsch, K., Krause, A. (2025): Analyzing human-robot situations. External video recordings and system log files. International Workshop of Embodied Interaction & Embodied Intelligence [EC]², Essen.
- Suzuki, R., Yamazaki, A., Yamazaki, K., Kobayashi, Y., Uchida, N., Bergmann, F. & Pitsch, K. (2025): Supporting Remote Collaborative Work by Enhancing the Instructor's View. International Workshop of Embodied Interaction & Embodied Intelligence [EC]², Essen.
- Schmidt, T., Ferger, A., Bergmann, F., & Pitsch, K. (2025): Complex Interactional Corpora: Workflows and Platform for video-based Studies of Embodied Interaction and Human-Machine Interaction. International Workshop of Embodied Interaction & Embodied Intelligence [EC]², Essen. Zenodo.
- Bergmann, F., Pitsch, K., Ferger, A., Krause, A. (2025): Assistenztechnologie zum Ausprobieren - Das Zentrum für assistive Technologie Rhein-Ruhr stellt sich vor. Marktplatzevent des Essener Wissenschaftssommers 2025.
- Schmidt, T., Ferger, A., & Pitsch, K. (2025): Beyond words – a case study in corpus approaches to interaction and multimodality. 19th International Pragmatics Conference (IPrA), Brisbane. Zenodo.
- Pitsch, K., Ferger, A., Bergmann, F. (2024): Zur dynamischen Verbindung von qualitativer und quantitativer Forschung zu multimodaler Interaktion. Eingeladener “Lightning Talk” beim 4. Tag der Forschungsdaten NRW (NRW-weites Vormittagsprogramm, 12.11.2024). [Programm]
- Schmidt, T. (2024): New developments in the ZuMult platform for multimodal data. Beitrag zum Abschluss-Workshop des KompAS-Projekts: Perspectives on Argumentation in Context: Interactional Skills, Logical Structures and Methodological Advances. Basel.
- Frick E., Ferger, A., Schmidt T., Schwendemann, M. & Wallner, F. (2024): ZuMult – Zugänge zu Korpora gesprochener Sprache. Workshop beim Hands-on-Forum des GAL- Forschungsfokus "Digitale Infrastrukturen für die Angewandte Linguistik". Dresden.
- Pitsch, K. & Ferger, A. (2024): Konversationsanalyse & Korpusanalyse: Untersuchung von Mensch-Roboter-Interaktion. Abstract & Vortrag bei “Arbeitstagung zur Gesprächsforschung”, 20.- 22.04.2024, Jena) [Abstract].
Poster
- Pitsch, K., Bergmann, F., Ferger, A. & Schmidt, T. (2026): Korpora & Forschungsdatenmanagement in der AG Multimodale Kommunikation, Soziale Interaktion & Technologie. 2. Netzwerktag: Digitalität in den Geisteswissenschaften, Universität Duisburg-Essen.
- Schmidt, T., Abouda, L., BADIN, F., Boas, H. C., Blevins, M., Bührig, K., Dugua, C., Fandrych, C., Ferger, A., Frick, E., Kompiel, P. A., Miecznikowski-Fuenfschilling, J., Pagenstecher, C., Pitsch, K., Schwendemann, M., Skrovec, M., Verdonik, D., Wallner, F., & Wörner, K. (2026): Die ZuMult-Plattform als Instrument für sprachvergleichende Analysen auf mündlichen Daten. 62. Jahrestagung des Leibniz-Instituts für Deutsche Sprache: Deutsch im europäischen Sprachraum -- Stand und Perspektiven, Mannheim. Zenodo.
- Pitsch, K., Bergmann, F., Ferger, A. & Schmidt, T. (2025): Multimodale und multisensorielle Korpora: Soziale Interaktion & Mensch-Technik-Konstellationen. Workshop "Digitale Korpora und Korpustechnologie an der UDE", Universität Duisburg-Essen.
- Fandrych, C., Ferger, A., Frick, E., Pitsch, K., Schmidt, T., Schwendemann, M., & Wallner, F. (2025): ZuMult - Ein Multi-Tool für den didaktischen und linguistischen Zugang zu Korpora. Große Lernerkorpora - Möglichkeiten und Grenzen, Leipzig. Zenodo.
- Schmidt, T., Ferger, A. & Frick, E. (2025): Multimodal data and qualitative exploration of audiovisual language corpora - the ZuMult corpus platform in 2025. 5. Culture Community Plenary, Mainz. Zenodo.
- Frick, E., Ferger, A., & Schmidt, T. (2025): Multimodal data and qualitative exploration of audiovisual language corpora - the ZuMult corpus platform in 2025. Workshop "Corpus linguistics 2040: Which data, which methods, which models?", Mannheim. Zenodo.
- Frick, E., & Schmidt, T. (2025): Reading, listening to and watching concordances of audiovisual interaction corpora. Symposium: Reading Concordances in the 21st Century, Erlangen. Zenodo.
Workshops
- Krause, A. F.; Bergmann, F.; Kannen, K.; Grashof, R.; Ressel, C.; Nitsche, T.; Pitsch, K. (2026): Towards Pro-Adaptivity in Human-Machine-Interaction. Interdisciplinary Perspectives on Development & Evaluation. Mensch und Computer 2026 - Tagungsband. DOI: 10.18420/muc2026-mci-ws-107. Gesellschaft für Informatik e.V. MCI: Workshop. Duisburg. 30. August - 02. September 2026. [DOI]
In Kooperation mit:
Logo der Hochschuhle Niederrhein. Es besteht aus Schrift und einem kleinen blauen Rechteck.
