18.342 Projekt Multimodale Interaktion 1

Veranstalter
	Frank Schilder Hedda Schmidtke
Zeit/Ort
	Mi 10-13 F-635
Inhalt
	Im Projekt sollen verschiedene aktuelle Ansätze zur multimodalen Interaktion diskutiert und auf ihre Einsetzbarkeit in verschiedenen Bereichen der Mensch-Maschine-Interaktion (z.B. Auskunftssysteme, animierte Tutorien) überprüft werden. Im Fokus steht dabei das Verhältnis zwischen Wahrnehmung und Modalität: Wie lassen sich Arten von Wahrnehmung (z.B. Sehen, Hören) so modellieren, dass sie geeignet sind Modalitäten der menschlichen Kommunikation kognitiv adäquat zu unterstützen. In einer Diskussion mit mehreren Teilnehmern z.B. ist Blickkontakt (Wahrnehmung) eine Möglichkeit, die Bedeutung des Wortes "`Du"' innerhalb eines Satzes zu erfassen. Aber wie läßt sich dies mit konventionellen Eingabemedien wie Maus und Tastatur realisieren ? Und wie könnte ein Programm "`Blickkontakt"' herstellen ? Ziel des Projektes ist die Erstellung eines Prototypen, der verschiedenste Aspekte multimodaler Interaktion integriert. Der Prototyp soll ein charakterbasiertes Virtual-Storytelling-System sein, d.h. ein Programm, in dem aufbauend auf Plänen und Gewohnheiten von Charakteren (Agenten) Geschichten in einer virtuellen 3D-Welt erzählt werden können. Im Prototyp sollen diese intelligenten Agenten miteinander und mit dem Nutzer in einer natürlichen Art und Weise unter Ausnutzung möglichst vieler Modalitäten (z.B. Sprache kombiniert mit Gestik) interagieren. In der ersten Hälfte des Projektes ist nach der Einarbeitung in die theoretischen Grundlagen der Dialog- und Gestenverarbeitung und des Virtual-Storytelling eine erste Studie an einem Prototypen geplant. Bei einer sogenannten Wizard-of-Oz Studie sollen Versuchpersonen mit einem System interagieren, bei dem die gewünschte Funktionalität vorerst nur simuliert wird. Hieraus lassen sich wichtige Erkenntnisse über ein Benutzerverhalten mit solchen Systemen erzielen und Fehler im Design des Systems frühzeitig erkennen. In der zweiten Hälfte des Projektes werden die jeweiligen Module des Gesamtsystems zum Virtual-Storytelling erstellt und ausgetestet.
Literatur
	H. Bunt, R.-J. Beun (Hrsg.). 1998. Cooperative Multimodal Communication. Lecture Notes in Artificial Intelligence 2155. Springer Verlag, Berlin. O. Balet, G. Subsol & P. Torguet (Hrsg.). 2001. Virtual Storytelling. Lecture Notes in Computer Science 2197. Springer Verlag, Berlin. A. de Antonio, R. Aylett & D. Ballin (Hrsg.). 2001. Intelligent Virtual Agents. Lecture Notes in Artificial Intelligence 2190. Springer Verlag, Berlin. R. Aylett and M. Cavazza. 2001. Intelligent Virtual Environments - A State-of-the-art Report. Eurographics 2001
Links
	Vorlesung: Multimodale Kommunikation und Repräsentation Nur lokal zugänglich! Multi-Modal Dialogue System for activity based dialogue Kognitives Modellieren von Agentenverhalten virtual storytelling at the University of Teesside
Termine
	23.10.2002	Einleitung
	30.10.2002	KI Grundlagen: Suchen und Planen
		I. Pratt. 1994. Artificial Intelligence, Macmillian, London, Ch. 2
	06.11.2002	KI Grundlagen: Sprachverarbeitung
		Adventure in Prolog[tm]: Chapter 15 on Natural Language Aufgaben a3 nanisearch readLine.pl (Eingabeprädikate) eliza Aufgaben A4
	13.11.2002	Einfache Modalitäten: Hören
		Earcons
	20.11.2002	Programmierung in Kleingruppen
	27.11.2002	Programmierung in Kleingruppen
	04.12.2002	Einfache Modalitäten: Gestik, Mimik
		Landragin, F., de Angeli, A., Wolff, F., Lopez, P. and Romary, L.: 2002, Relevance and perceptual constraints in multimodal referring actions, in K. van Deemter and R. Kibble (eds), Information Sharing: Reference and Presupposition in Language Generation and Interpretation, CSLI Publications, Stanford, pp. 391-409.
		Pouteau, X.: 2001, Interpretation of gestures and speech: A practical approach to multimodal communication, in H. Bunt and R.-J. Beun (eds), Cooperative Mulitmodal Communication, number 2155 in Lecture Notes in Artificial Intelligence, Springer, Berlin, pp. 159-175.
		Streit, M.: 2001, Why are multimodal systems so difficult to build? - about the difference between deictic gestures and direct manipulation, in H. Bunt and R.-J. Beun (eds), Cooperative Mulitmodal Communication, number 2155 in Lecture Notes in Artificial Intelligence, Springer, Berlin, pp. 176-196.
	11.12.2002	Komplexe Modalitäten: Emotionen, Verhalten
		Delgado-Mata, C. and Aylett, R.: 2001, Communicating emotion in virtual envirnoments through artificial scents, in A. de Antonio, R. Aylett and D. Ballin (eds), Intelligent Virtual Agents, number 2190 in Lecture Notes in Artificial Intelligence, Springer, Berlin, pp. 36-46.
		Chen, L., Bechkoum, K. and Clapworthy, G.: 2001, Equipping a lifelike animated agent with a mind, in A. de Antonio, R. Aylett and D. Ballin (eds), Intelligent Virtual Agents, number 2190 in Lecture Notes in Artificial Intelligence, Springer, Berlin, pp. 72-85.
	18.12.2002	Multimodaler Dialog
		Hutchens, J.: 1998, Introducing MegaHAL, in Proceedings of CoNLL-98, Sydney, Australia.
		Hutchens, J., Barnes, J.: 2002, Practical Natural Language Learning, in S. Rabin,AI Game Progamming Wisdom, Charles River Media, Inc., Hingham, Massachusetts.
		Cohen, P.:1996, Dialogue Modeling, in H. Uszkoreit (ed), Discourse and Dialogue, Chapter 6 of Survey of the State of the Art in Human Language Technology
		Lemon, O., Bracy, A., Gruenstein, A. and Peters, S.: 2001, Information states in a multi-modal dialogue system for human-robot conversation, in P. Kühnlein, H. Rieser and H. Zeevat (eds), Proceedings of BIDIALOG 2001, Bielefeld, ZIF, pp. 57-67.
	08.01.2003	Kognitives Modellieren
		Funge, J., Tu, X. and Terzopoulos, D.: 1999, Cognitive modeling: Knowledge, reasoning and planning for intelligent characters, Proc. ACM SIGGRAPH 99 Conference, Los Angeles, CA, pp. 29-38.
	15.01.2003	Virtuelles Geschichten Erzählen
		Charles, F., Cavazza, M., and Mead, S.J., 2002. Generating Dynamic Storylines Through Characters? Interactions. International Journal on Intelligent Games and Simulation.
		Murphy, D. and Pitt, J. J.: 2001, Spatial sound enhancing virtual story telling, in O. Balet, G. Subsol and P. Torguet (eds), International Conference on Virtual Storytelling, Vol. 2197 of Lecture Notes in Computer Science, Springer, Bielefeld, ZIF, pp. 20-29.
	22.01.2003	Integration von cognitive modelling und Virtual Story telling
		Architekturübersicht Version 1.0
	29.02.2003	Projektplanung
		Diskussion der Architekturvorschläge
	05.02.2003	Mimik
		J. Hendrix, Zs. Ruttkay, P. ten Hagen, H. Noot, A. Lelievre, B. de Ruiter, A facial repertoire for avatars, Proceedings of the Workshop "Interacting Agents", Enschede, The Netherlands, 2000.