MIN-Fakultät
Fachbereich Informatik
Arbeitsbereich Wissens- und Sprachverarbeitung

64-188 Projekt: Multimodale Instruktion
Wintersemester 2009/10

Veranstalter
Carola Eschenbach, Christopher Habel, Matthias Kerzel
Zeit/Ort
Do 14-18 und Fr 14-16 F-334
Inhalt
In der Kommunikation zwischen intelligenten Agenten können neben der natürlichen Sprache insbesondere graphische Darstellungen für die Informationspräsentation eingesetzt werden. Die Interpretation von externen Repräsentationen, wie etwa einer Wegeskizze, ist eine Aufgabe, die für Menschen in der Regel keine besondere Schwierigkeit darstellt. Will man künstliche Agenten, etwa in der Service-Robotik, mit vergleichbaren Fähigkeiten ausstatten, so zeigt sich der komplexe Charakter der Aufgabe schnell. Zu den erforderlichen Fähigkeiten gehört dabei nicht nur die Erkennung und aufgabenorienterte Segmentierung der graphischen Darstellung, sondern auch die Interpretation der Graphik im Sinne einer Folge auszuführender Aktionen in der Navigation. Aus der Kombination von sprachlichen und grafischen Anteilen ergeben sich multimodale Instruktionen, bei denen auch die Bezüge der sprachlichen Ausdrücke auf die grafischen Elemente erkannt werden müssen. In diesem Projekt soll für einen einfachen Agenten, der in einer Simulationsumgebung navigieren kann, die Möglichkeit seiner Instruktion durch Grafiken (Wegeskizzen) und Sprache konzipiert und implementiert werden. Dabei kann auf Ergebnissen früherer Projekte aufgebaut werden, die die rein sprachliche und die rein grafische Instruktion erlauben.

Das Projekt setzt keine spezifischen Kenntnisse aus dem Bereich der Wissensrepräsentation oder Robotik voraus. Der parallele Besuch des Wahlpflichtmoduls Grundlagen der Wissensrepräsentation wird empfohlen.
Literatur
  • Daniel, M.-P., Tom, A., Manghi, E., & Denis, M. (2003). Testing the value of route directions through navigational performance. Spatial Cognition and Computation, 3, 269-289.
  • Daniel, M.-P. & Denis, M. (2004). The production of route directions: investigating conditions that favour conciseness in spatial discourse. Applied Cognitive Psychology, 18, 57-75.
  • Levinson, S. C. (1996). Frames of reference and Molyneux's question: Cross-linguistic evidence. In P. Bloom, M. Peterson, L. Nadel, & M. Garrett (Eds.), Language and space (pp. 109-169). Cambridge, MA: MIT Press.
  • Levinson, S. C. (1996). Language and space. Annual Review of Anthropology, 25. 353-382.
  • Tversky, Barbara & Paul U. Lee (1999). On pictorial and verbal tools for conveying routes. In C. Freksa & D.M. Mark (eds.) Spatial Information Theory. Cognitive and Computational Foundations of Geographic Information Science (pp. 51-64). Springer: Berlin. Proceedings of COSIT '99. LNCS 1661.
  • Klippel, A., Tappe, T., Kulik, L., & Lee, P. U. (2005). Wayfinding choremes - A language for modeling conceptual route knowledge. Journal of Visual Languages and Computing, 16, 311-329.
  • Klippel, A.; Richter, F. & Hansen, S. (2005). Wayfinding Choreme Maps. In S. Bres & R. Laurini (Eds.). Visual Information and Information Systems (VISUAL 2005). (pp. 94-108). Berlin: Springer-Verlag.
  • G. Chronis & M. Skubic (2003), Sketch-Based Navigation for Mobile Robots, in Proc. of the IEEE 2003 International Conference on Fuzzy Systems, May, 2003, St. Louis, MO.
  • Skubic, M., Blisard, S., Bailey, C., Adams, J.A.& Matsakis, P. (2004). Qualitative analysis of sketched route maps: translating a sketch into linguistic descriptions. IEEE Transactions on Systems, Man, and Cybernetics, Part B, 34. 1275-1282.
  • De Carolis, Berardina; Cozzolongo, Giovanni; Pizzutilo, Sebastiano & Silvestri, Vincenzo (2007). MyMap: Generating personalized tourist descriptions. Applied Intelligence, 26. 111-124.
  • Kray, C.; Laakso, K.; Elting, C. & Coors, V. (2003). Presenting Route Instructions on Mobile Devices. In W. Lewis Johnson and Elisabeth André and John Domingue (eds.). Proceedings of the International Conference on Intelligent User Interfaces 2003 (IUI 03). ACM Press. 117-124.
  • Kray, C. & Kortuem, G. (2004). Interactive Positioning based on Object Visibility. In Stephen Brewster and Mark Dunlop (eds.). Mobile Human-Computer Interaction -- MobileHCI 2004. (pp. 276-287). Berlin: Springer-Verlag.
Links
Semesterablauf
  • 22.10.-6.11.09 Einarbeitung, Grundlagen, Literatur, Beispielanalysen
  • 12.11.09 Defintion von Arbeitspaketen und Kleingruppen
  • 13.11.-4.12.09 Arbeit in Kleingruppen; Entwicklung von Lösungen auf konzeptioneller Ebene
  • 10.-11.12.09 Zusammenführung der Resultate
  • 17.-18.12.09 Arbeitspaketdefinition zweite Phase
  • 7.-22.1.10 Arbeit in Kleingruppen; Umsetzung der Ergebnisse der ersten Phase im Rahmen der Programmumgebung
  • 28.-29.1.10 Zusammenführung der Resultate
  • 2.-5.2.10 Ergebnispräsentation und Abschluss