Forschungsthemen

Überblick: Forschung - Perspektive, Methoden & Themen

Unsere Forschung widmet sich empirischen, konzeptuellen und methodischen Fragen von Sprachgebrauch, kommunikativen Praktiken und sozialer Interaktion.

Wir untersuchen die verbalsprachlichen und multimodalen Verfahren, die von Interaktions­beteiligten als kommunikative Ressourcen in sozialer Interaktion mobilisiert werden. Im Vordergrund stehen interaktiv-koordinative Dynamiken zwischen den Beteiligten und das dynamische Zusammenspiel von insbes. Verbalsprache, Blick, Gesten, Bewegung im Raum und die Herstellung bzw. Manipulation materieller Strukturen. Dieses erforschen wir in authentischen Alltagssituationen, semi-experimentellen Studien und technisch mediatisierten Szenarios und gehen dabei sowohl grundlagen- als auch anwendungsorientiert vor.

Unser methodisches Repertoire zum analytischen Umgang mit dieser Komplexität umfasst bei der Datenerhebung: multiperspek­ti­vische Video-Aufzeich­nungen, mobiles EyeTracking, Motion Capturing in interdisziplinärer Kooperation, ethno­graphische Feldstudien und Interviews. Kooperationen mit der Informatik in Bereichen wie Social Robotics, Embodied Conversational Agents etc. ermöglicht uns einzelne Phänomene zu modellieren, in autonome Roboter-Systeme zu implementieren und in Studien zur Mensch-Roboter-Interaktion bzw. Mensch-Maschine-Interaktion zu überprüfen. Die Auswertung erfolgt primär qualitativ gesprächs­analytisch/konversationsanalytisch, ist korpusbasiert und sucht Anschlüsse zur Quantifizierung.

Dieses wird in den folgenden thematischen Schwerpunkten umgesetzt, die u.a. anhand von Settings wie immersiv-bilingualem Schulunterricht, Museum, Assistenz, Einkaufen, Design Studio, Theaterproben bearbeitet werden:

  • Gesprächsforschung: Multimodalität, Materialität, Raum
  • Mensch-Roboter-Interaktion / Mensch & Technik 

  • Interaktionslinguistik: Interaktion & Grammatik 

  • Child-/Robot-Directed Behavior: Motionese & Blick des Rezipienten 

  • Fremdsprachliche Interaktion / Immersiver Schulunterricht 

  • Interaktion unter den Bedingungen von Alter bzw. kognitiver Einschränkung 

  • Workplace Studies 

  • Methodische Überlegungen: Verbindung gesprächsanalytischer ethoden mit neuartigen technologischen Verfahren

 

Gesprächsforschung: Multimodalität, Materialität, Raum

K. Pitsch (2012): Exponat – Alltagsgegenstand – Turngerät: Zur interaktiven Konstitution von Objekten in einer Museumsausstellung. In: H. Hausendorf, L. Mondada & R. Schmitt (ed.): Raum als interaktive Ressource, 233-273.

K. Pitsch (2007): Unterrichtskommunikation revisited. Tafelskizzen als interaktionale Ressource, in: Bulletin Suisse de Linguistique Appliquée. Special Issue "Die Sprache betrachten. Videodaten in der sprachwissenschaftlichen Forschung" ed. by Elwys De Stefani, 59-80.

Mensch-Roboter-Interaktion / Mensch & Technik 


K. Pitsch (2015): Limits and opportunities for mathematizing communicational conduct for social robotics in the real-world? Toward enabling a robot to make use of the human’s competences. In: AI & Society. Special Issue ‚Going beyond the laboratory – reconsidering the ELS implications of autonomous robots, 1-7.

K. Pitsch (2015): Ko-Konstruktion in der Mensch-Roboter-Interaktion. Kontingenz, Erwartungen und Routinen in der Eröffnung. In: U. Dausendschön-Gay, E. Gülich & U. Krafft (ed.): Ko-Konstruktionen in der Interaktion. Die gemeinsame Arbeit an Äußerungen und anderen sozialen Ereignissen. Bielefeld, Transkript, 229-258.

Gehle, R., Pitsch, K., & Wrede, S. (2014). Signaling trouble in robot-to-group interaction: Emerging visitor dynamics with a museum guide robot. In 2nd international conference on human-agent-interaction (HAI 2014). 361-368.

Süssenbach, L., Riether, N., Schneider, S., Berger, I., Kummert, F., Lütkebohle, I., et al. (2014). A robot as fitness companion: Towards an interactive action-based motivation model. In Ro-Man 2014. Edinburgh, 286-293.

K. Pitsch, R. Gehle & S. Wrede (2013): Addressing Multiple Participants: A Museum Guide Robot’s Gaze Shapes Visitor Participation. In: Proceedings of the International Conference on Social Robotics 2013 (ICSR 2013), Bristol, 587-588.

K. Pitsch, H. Kuzuoka, Y. Suzuki, L. Süssenbach, P. Luff & Ch. Heath (2009): "The first five seconds": Contingent stepwise entry into an interaction as a means to secure sustained engagement in Human-Robot-Interaction. In: 18th IEEE International Symposium on Robot and Human Interactive Communication (Ro-Man) 2009, Toyama/Japan, 985-991.

Child-/Robot-Directed Behavior: Motionese & Blick des Rezipienten 


K. Pitsch, A.-L. Vollmer, K. Rohlfing, J. Fritsch & B. Wrede (2014): Tutoring in adult-child-interaction. On the loop of action modification and the recipient’s gaze. In: Interaction Studies 15/1, 55-98.

A. Vollmer, M. Mühlig, J. Steil, K. Pitsch, J. Fritsch, K. Rohlfing, B. Wrede (2014): Robots show us how to teach them: Feedback from robots shapes tutoring behavior during action learning. In: PLOS ONE.

K. Pitsch, A.-L. Vollmer & M. Mühlig (2013): Robot feedback shapes the tutor’s presentation. How a robot’s online gaze strategies lead to micro-adaptation of the human’s conduct. In: Interaction Studies 14/2, 268-296.

K. Pitsch, K.S. Lohan, K. Rohlfing, J. Saunders, C. Nehaniv & B. Wrede (2012): Better be reactive at the beginning. Implications of the first seconds of an encounter for the tutoring style in human-robot-interaction. In: 21st IEEE International Symposium on Robot and Human Interactive Communication (Ro-Man) 2012, Paris/France, 974-981.

Fremdsprachliche Interaktion / Immersiver Schulunterricht 


K. Pitsch (2009): Interaktion und Spracharbeit im bilingualen/immersiven Geschichtsunterricht: Zum Zusammenhang von Verbalsprache, Körpergestik und Notationspraktiken. In: Stephan Alexander Ditze & Ana Halbach (ed.): Bilingualer Unterricht (CLIL) im Kontext von Sprache, Kultur und Multiliteralität. Frankfurt/Main: Lang, 203-223.

K. Pitsch (2007): Unterrichtskommunikation revisited. Tafelskizzen als interaktionale Ressource, in: Bulletin Suisse de Linguistique Appliquée. Special Issue "Die Sprache betrachten. Videodaten in der sprachwissenschaftlichen Forschung" ed. by Elwys De Stefani, 59-80.

K. Pitsch (2007): Koordinierung von parallelen Aktivitäten. Zum Anfertigen von Mitschriften im Schulunterricht. In: R. Schmitt (ed.): Koordination. Analysen zur multimodalen Interaktion, Tübingen: Narr, 411-446.

K. Pitsch (2005): Interaction, auto-organisation et pratiques d'inscription: Appropriation lexicale en classes bilingues, in: Acquisition et interaction en langue étrangère (AILE) 22, 73-100.

Interaktion unter den Bedingungen von Alter bzw. kognitiver Einschränkung 


A. Amrhein, K. Cyra & K. Pitsch (2016): Processes of Reminding and Requesting in Supporting People with Special Needs. Human Practices as Basis for Modeling a Virtual Assistant? In: Proceedings 1st Workshop on Ethics in the Design of Intelligent Agents co-located with ECAI 2016, The Hague, 18-23.

K. Cyra, A. Amrhein & K. Pitsch (2016): Fallstudien zur Alltagsrelevanz von Zeit- und Kalenderkonzepten. In: Mensch und Computer 2016 - Kurzbeiträge, Aachen, 1-5.

R. Yaghoubzadeh, K. Pitsch, S. Kopp (2015): Adaptive Grounding and Dialogue Management for Autonomous Conversational Assistants for Elderly Users. In: IVA 2015, Delft, 28-38.

M. Kramer, R. Yaghoubzadeh, S. Kopp & K. Pitsch (2013): A Conversational Virtual Human as Autonomous Assistant for Elderly and Cognitively Impaired Users? Social Acceptability and Design Considerations. In: Lecture Notes in Informatics (LNI), P-220, Series of the Gesellschaft für Informatik (GI) (Workshop: „Wer hat Angst vor autonomen Maschinen?“). Bonn: Köllen, 1105-119.

Workplace Studies 


K. Pitsch & U. Krafft (2010): Von der emergenten Erfindung zu konventionalisiert darstellbarem Wissen. Zur Herstellung visueller Vorstellungen bei Museums-Designern. In: U. Dausendschön-Gay, Ch. Domke & S. Ohlhus (ed.): Wissen in (Inter-)Aktion, Berlin: de Gruyter, 189-221.

P. Luff, Ch. Heath & K. Pitsch (2009): Indefinite precision: the use of artefacts-in-interaction in design work. In: C. Jewitt (ed.): The Routledge Handbook of Multimodal Analysis, London: Routledge, 213-224.

P. Luff, K. Pitsch, Ch. Heath, P. Herdman & J. Wood (2009): Swiping paper and the second hand: mundane artifacts, gesture and collaboration. In: Journal of Personal and Ubiquitous Computing, 287-299.

Methodische Überlegungen: Verbindung gesprächsanalytischer ethoden mit neuartigen technologischen Verfahren

R. Gehle, A. Amrhein, M. Krug & K. Pitsch (2015): Towards Using Eye-Tracking Data as a Basis for Conversation Analysis in Real-World Museum Interaction. In: SAGA 2015 (Workshop on Solutions for Automatic Gaze-Data Analysis), Bielefeld, 2 pages.

K. Pitsch, A. Neumann, C. Schnier, T. Hermann (2013): Augmented Reality as a Tool for Linguistic Research. Intercepting and Manipulating Multimodal Interaction. In: Workshop „Multimodal Corpora 2013“ at IVA 2013, 5 pages.

B. Brüning, C. Schnier, K. Pitsch & S. Wachsmuth (2012): Integrating PAMOCAT in the research cycle. Linking Motion Capturing and Conversation Analysis. In: 14th ACM International Conference on Multimodal Interaction (ICMI) 2012, Santa Monica/California, 201-208.

C. Schnier, C., K. Pitsch, A. Dierker & T. Hermann (2011): Collaboration in Augmented Reality: How to establish coordination and joint attention? In: European Conference on Computer-Supported Cooperative Work (ECSCW) 2011, Aarhus/Denmark, 405-416.