Forschung & Projekte - Multimodalität von Personenreferenz

Projektvorhaben

Mehr lesen

Publikationen & Vorträge

Mehr lesen

Team

Mehr lesen

2023 - 2027DFG-Projekt "Multimodalität von Personenreferenz: Pronominale Personenreferenz in Notfallübungen von Medizinern und Feuerwehr“

Teilprojekt im Rahmen der Forschergruppe Praktiken der Personenreferenz (Essen, Hamburg, Münster - Sprecher: Wolfgang Imo)

Das Projekt „Multimodalität von Personenreferenz“ ist Teil der Forschergruppe „Praktiken der Personenreferenz". Ziel dieses Teilprojekts ist es, die multimodale Dimension von pronominaler Personenreferenz zu untersuchen und systematisch beschreibbar zu machen, wie sie in Interaktionssituationen mit komplexen Beteiligungsstrukturen eingesetzt wird. Ausgangspunkt ist eine grundlegend multimodale Verfasstheit von kommunikativen und sozialen Praktiken in face-to-face Situationen, derzufolge sprachliche Phänomene – hier: pronominale Personenreferenz – in ein dynamisches Zusammenspiel aus verschiedenen kommunikativen Ressourcen eingebunden sind. Verbalsprache, Blick, Gestik, Körperorientierung, Bewegung im Raum bilden gemeinsam „complex communicative Gestalts“ (Mondada 2014:140), die dynamisch im Interaktionsverlauf emergieren, konfiguriert und re-konfiguriert werden. Im Rahmen einer multimodalen Grammatik-in-Interaktion stellen empirische Untersuchungen zur Multimodalität von Personalpronomen und darauf basierende Konzeptualisierungen ein Desiderat dar.

Gefördert durch:

​

Projektvorhaben

Das Projekt adressiert die folgenden Forschungsfragen:

  1. Welche interaktiven Dynamiken und Muster zeigen sich im Zusammenspiel verbaler und verkörperter Ausdrucksmittel bei der pronominalen Bezugnahme auf Personen? 
  2. Wie lässt sich pronominale Personenreferenz als eine komplexe, sequenziell und interaktiv organisierte „communicative gestalt“ fassen? Gibt es eine funktionale Arbeitsteilung zwischen den verschiedenen kommunikativen Ressourcen?
  3. Wie wirken sich Interaktivität, ein dynamisches Participation Framework, Adressatenorientierung, Bewegung und Orientierung im Raum und Stancetaking auf die Praktik pronominaler Personenreferenz aus?
  4. Was bedeutet es für das Konzept pronominaler Referenz, wenn diese auf verbaler Ebene ausbleibt und nur mittels Blick und körperlicher Aktivitäten Referenzierung hergestellt wird?
  5. Wie verändert sich Personenreferenz je nachdem wie Personen institutionell kategorisiert werden (Schweregrad einer Verletzung bzw. tot, Ansprechbarkeit, Funktionsrolle) und welche Implikationen für Anschlußhandlungen erwachsen daraus?

Daten: Massenanfall von Verletzten

Das Projekt verfolgt dieses Interesse auf der Basis eines Korpus von komplexen Notfallübungen von Großschadenslagen (Massenanfall von Verletzten, MANV). Es umfasst Aufzeichnungen von 7 Übungen à 3 Stunden, welche jeweils mit zwischen 15 und 20 stationären und mobilen 4k-Kameras aufgezeichnet wurden. Zusätzlich tragen bei allen Aufzeichnungen ausgewählte Schlüsselpersonen im Setting Eye-Tracking-Brillen, um die Analyse von Blick-in-Interaktion zu ermöglichen.

Konversationsanalyse & Korpuslinguistik

Im Verlaufe des Projekts wird dieses Korpus mit einem besonderen Fokus auf die beiden Situationen "Triage" und "Lagebesprechung" aufgearbeitet und über einen integrativen Korpus-Workflow in einer eigene Instanz der Korpus-Plattform "ZuMult" zugänglich gemacht. Dafür werden manuell Transkripte in Elan erstellt, welche automatisiert lemmatisiert, normalisiert und POS-getagged werden. Darüber hinaus werden konversationsanalystisch fundierte Annotationen wie Blick, Postur, Interaktionsaufgabe und Berührung ergänzt, um die praktische Funktion von Personalpronomen im Kontext komplexer Interaktionssituationen auch multimodal zu erschließen.

Zum Annotationsleitfaden des Projekts

Ergebnisse & Publikationen

Das Projekt erbringt Ergebnisse auf drei Ebenen: (1) Empirisch: Systematische Rekonstruktion von pronominaler Personenreferenz als multimodale Gestalt und in ihrer sequenziellen Positionierung, wobei die Funktion einzelner Modalitäten und die Rolle von Interaktivität, Mobilität und Beteiligungsstrukturen berücksichtigt werden. (2) Methodisch: Eine Verbindung von qualitativen mikro-analytischen Fallstudien und korpuslinguistischer Herangehensweise. (3) Konzeptuell: Einen Beitrag zur Weiterentwicklung einer multimodalen Grammatik-in-Interaktion und Entwicklung eines multimodalen Zugangs zu pronominaler Personenreferenz sowie eine Diskussion über den Status von "embodiment" im Rahmen einer Grammatik.

Publikationen

  • Schmidt, T. & Pitsch. K. (in prep): Beyond words. Capturing the Complexity of Multimodal and Multisensorial Corpora. In: L. Herzberg, C. Mair & A. Witt (Eds.): Corpus Linguistics 2040. De Gruyter (Reihe: Digital Linguistics).
  • Pitsch, K. (in prep): Teamwork beim Triagieren in Großschadenslagen. Zum Gebrauch der Pronomen "wir" vs. "du/ich". In: A. Dammel, W. Imo, M. Krug (Eds.): Gattungsspezifik des Pronomengebrauchs. De Gruyter (Reihe: Empirische Linguistik). 
  • Bauer, N.; Lanwer, J. & Pitsch. K. (in revision): Introduction. In: N. Bauer, J. Lanwer & K. Pitsch (Eds.): Using Pronouns in Social Interaction. Participation, Categorization, and Action Formation (Gesprächsforschung Online, Special Issue). 
  • Pitsch, K. (in prep): Multimodality of Person Reference and Address. Establishing Participation in preclinical Triage.
  • Bergmann, F. & Pitsch, K. (in revision): Embodied Deontic Stance-Taking in Emergency Medical Interaction. In: Social Interaction. Video-Based Studies of Human Sociality.
  • Bergmann, F., Wülfing, E. & Pitsch, K. (2026): Annotation von Triage in Massenanfällen von Verletzten. Zenodo. [DOI]
  • Ferger, A.; Krause, A. F. & Pitsch, K. (2025): A Workflow for Creating, Harmonizing and Analyzing Structured Corpora of Multimodal Interaction. In: Louis Cotgrove; Laura Herzberg; Harald Lüngen (Eds.): Exploring digitally-mediated communication with corpora: Methods, analyses, and corpus construction. Berlin/Boston: de Gryuter (Digital Linguistics). [DOI])
  • Pitsch, K. & Krug, M. (2023). "One, two, three!": Coordinating and projecting simultaneous start and end of joint actions in drills of rescue activities in mass casualty incidents. Journal of Pragmatics, 207, 111–127. [DOI]
  • Krause, A. F.; Ferger, A. & Pitsch, K. (2023a): Detecting and tracking persons in video recordings of authentic social interaction: Analysis and anonymization. [PDF]
  • Krause, A. F.; Ferger, A. & Pitsch, K. (2023b): Automatic anonymization of human faces in images of authentic social interaction: A web application. In Krister Lindén, Jyrki Niemi & Thalassia Kontino (eds.), CLARIN Annual Conference Proceedings 2023, 90–94. [PDF]

Workshops, Poster & Vorträge

Vorträge

  • Schmidt, T. & Pitsch, K. (2026, accepted): Search, Zoom in, Freeze, Zoom out, Switch, Freeze, ... - Supporting video analysis in a corpus platform. In: Panel "Doing conversation analytic research using public corpora of naturally occuring ineraction: Opportunities, challenges and good practices" organized by A. Deppermann & Silke Reineke, Alberta/CA, 06/2026.
  • Schmidt, T., Ferger, A., & Pitsch, K. (2025): Beyond words – a case study in corpus approaches to interaction and multimodality. 19th International Pragmatics Conference (IPrA), Brisbane, 26.10.2025. [Slides] 
  • Pitsch, K. & Bergmann, F. (2025): Multimodal Action Formation and Participation: ‘Triage’ in Emergency Medical Interactions During Mass-Casualty Incidents. In: N. Bauer, J. Lanwer, F. Bergmann & K. Pitsch (Orgs.): Workshop "Action Formation & Ascription".
  • Schmidt, T., Ferger, A., Bergmann, F., & Pitsch, K. (2025). Complex Interactional Corpora: Workflows and Platform for video-based Studies of Embodied Interaction and Human-Machine Interaction. International Workshop of Embodied Interaction & Embodied Intelligence [EC]², Essen, 21.08.2025. [Slides]
  • Pitsch, K., Ferger, A., Bergmann, F. & Schmidt, T (2025): Multimodale und mutisensorielle Korpora: Soziale Interaktion & Mensch-Technik-Konstellationen. In: Workshop "Digitale Korpora und Korpustechnologien an der UDE" (organisiert von T. Schmidt & K. Pitsch), Essen, 24.10.2025. 
  • Bergmann, F. & Pitsch, K. (2024): Multimodale Aushandlung von Patient:innen-Agentivität während der Triage in Übungssituationen des MANV-Einsatzes. Vortrag auf dem 73. Arbeitstreffen des Arbeitskreises Angewandte Gesprächsforschung.
  • Pitsch, K.; Ferger, A. & Bergmann, F. (2024): Zur dynamischen Verbindung von qualitativer und quantitativer Forschung zu multimodaler Interaktion. Lightning Talk beim 4. Tag der Forschungsdaten NRW. [Konferenzseite]
  • Pitsch, K. & Wülfing, E. (2023): Gebrauch von Personalpronomen bei der Triagierung im MANV. Fallanalysen und beginnende Systematisierung. In: Treffen der Forschergruppe, Hamburg, 11/2023.

Poster

  • T. Schmidt, F. Badin, H. C. Boas, M. Blevins, K. Bührig, C. Dugua, C. Fandrych, A. Ferger, E. Frick, M. Haugh, T. Lehmberg, J. Miecznikowski-Fuenfschilling, C. Pagenstecher, K. Pitsch, M. Skrovec, M. Schwendemann, D. Verdonik, F. Wallner, K. Wörner (2026, accepted): Die ZuMult-Plattform als Instrument für sprachvergleichende Analysen auf mündlichen Daten. In: IDS-Jahrestagung 2026 "Deutsch im europäischen Sprachraum: Stand und Perspektiven". Mannheim, 10.-12.03.2026
  • Fandrych, C., Ferger, A., Frick, E., Pitsch, K., Schmidt, T., Schwendemann, M., & Wallner, F. (2025). ZuMult - Ein Multi-Tool für den didaktischen und linguistischen Zugang zu Korpora. In: Große Lernerkorpora - Möglichkeiten und Grenzen, Leipzig, 09/2025. [Poster]

Workshops

  • Workshop "Pronouns and Action Formation & Ascription in Interaction. A Usage-Based Approach." (organisiert von N. Bauer, J. Lanwer, F. Bergmann & K. Pitsch), Essen, 
  • Workshop "Digitale Korpora und Korpustechnologien an der UDE" (organisiert von T. Schmidt & K. Pitsch), Essen, 24.10.2025.

 

Team des Projekts

Team der Professur

Aktuelles Team

Ehemalige Mitarbeitende

  • Eva Wülfing, M.A.



​Das Projekt ist Teil der Forschungsgruppe Praktiken der Personenreferenz (Essen, Hamburg, Münster - Sprecher: Wolfgang Imo)

Website der Forschungsgruppe