| Veranstalter |
 | Christopher Habel |
| Frank Schilder |
| Zeit/Ort |
| Mi 10-12 B-201 |
| Inhalt |
| Im Zentrum des Gebietes Multimodale Informationsverarbeitung steht
die Integration verschiedener Modalitäten, um Inhalte zu kommunizieren und zu repräsentieren,
z.B. gesprochene und geschriebene Sprache, Bilder, Graphiken und Diagramme
(in statischer und dynamischer Form, also z.B. Foto vs. Video) sowie die Kommunikation durch Bewegungen:
Gesten, Handlungen des Zeichnens und des Zeigens (Mausbewegungen), etc.Die Vorlesung bietet einen Überblick
über die Grundlagen multimodaler Repräsentation und Kommunikation sowie über verschiedene Anwendungsgebiete
multimodaler Kommunikation. Nach der Einführung modalitätsübergreifend grundlegender Konzepte, werden exemplarisch
an einzelnen Aufgabenbereichen und Systemen (z.B. Dialog- oder Information Retrieval-Systeme) die Prinzipien der
Verarbeitung multimodaler Inhalte erläutert. Ausgangspunkt ist hierbei die Modalität Sprache. Anschließend werden
schrittweise weitere Modalitäten hinzugenommen: graphische (Tabellen, Diagramme, Skizzen, Videos) und haptische
(Mausbewegungen, Zeigen, Zeigegestik) sowie Mimik.Multimodale Kommunikation ist ? über die
Mensch-Mensch-Kommunikation hinaus ? ein wesentlicher Bestandteil interaktiver Systeme.
Beim Entwurf solcher Systeme werden einerseits Erkenntnisse aus der Kommunikationstheorie benötigt.
Zum anderen stellt sich aber auch die Frage nach einer geeigneten Repräsentation der zu vermittelnden Inhalte.
In dieser Veranstaltung werden daher auch die eXtensible Markup Language (XML) und entsprechende Derivate (SMIL etc.)
als Repräsentationsformat multimodaler Inhalte eine wichtige Rolle spielen.
|
| Aktuelles |
| Die Veranstaltung wird für den Rest des Semesters mit 2 SWS fortgeführt! Die Freitagssitzung entfällt. |
| Termine |
|
| 22.10.2003 | Introduction |
| Christopher Habel |
| knowledge -information - data |
| |
|
|
| 24.10.2003 | Communication - symbol |
| Christopher Habel |
| |
| |
|
|
| 29.10.2003 | Communicative modalities: language |
| Frank Schilder |
| |
| [CLS, ch. 8 & 9] |
| PDF |
|
|
| 05.11.2003 | Representing language, gesture and mimics |
| Frank Schilder |
| |
| [CLS, ch. 10; SMC] |
| PDF |
| grammar.pl |
|
|
| 12.11.2003 | Modalities: graphics and haptics |
| Christopher Habel |
| |
| |
|
|
| 19.11.2003 | Representations: intro, xml, different modalities |
| Frank Schilder |
| |
| |
|
|
| 26.11.2003 | Reference and Coreference |
| Christopher Habel |
| |
| |
|
|
| 03.12.2003 | Ambiguity and Vagueness |
| Christopher Habel |
| |
| |
|
|
| 10.12.2003 | Focus and Awareness |
| Christopher Habel |
| |
| |
|
|
| 17.12.2003 | Coherence |
| Christopher Habel |
| |
| |
|
|
| 07.01.2004 | Inference |
| Christopher Habel |
| |
| |
|
|
| 14.01.2003 | Dialogue |
| Christopher Habel |
| |
| |
|
|
| 21.01.2004 | Schematic maps/verbalization of visualizations |
| Christoper Habel |
| |
| |
|
|
| 28.02.2003 | Integration of gestures |
| Christopher Habel |
| |
| |
|
|
| 04.02.2004 | Integration of haptics |
| Christopher Habel |
| |
| |
|
| Literatur |
|
Calder, Jo, Lascarides, Alex and Stenning, Keith (1998) Human Communication, lecture notes of the
Human
Communication course at the School of Informatics in Edinburgh. [CLS]
Stone, Matthew and DeCarlo, Doug (2003) Crafting the illusion of meaning:
template-based specification of embodied conversational behavior. in Computer
Animation and Social Agents 2003, Pages 11-16. Rutgers.
Link [SDC]
|
