 |
| Wir freuen uns über zu diesen Seiten. |
|
| Letzte Änderung:
17.01.2013 |
|
|
|
| 18.221 Vorlesung: Multimodale Repräsentation und Kommunikation |
| Veranstalter |
| Christopher Habel |
| Zeit/Ort |
| Fr. 10-12 C-221 |
| Inhalt |
| Im Zentrum des Gebietes Multimodale Informationsverarbeitung steht die Integration
verschiedener Modalitäten um Inhalte zu kommunizieren und zu repräsentieren, z.B. (1)
gesprochene und geschriebene Sprache, (2) Bilder, Graphiken und Diagramme (in statischer und
dynamischer Form) sowie (3) die Kommunikation durch Aktorik: Handlungen des Zeichnens und
des Zeigens (Mausbewegungen), Gesten, Mimik etc.
Die Vorlesung bietet einen Überblick über Basiskonzepte multimodaler Repräsentation
und Kommunikation (wie Referenz und Koreferenz, Kohärenz, Fokus und Aufmerksamkeit,
monologische und dialogische Kommunikation). Anhand verschiedener Anwendungsgebiete
multimodaler Repräsentation und Kommunikation (z.B. Dialog- oder Information
Retrieval-Systeme, Mensch-Computer-Schnittstellen) werden die Prinzipien der Verarbeitung
multimodal repräsentierter Inhalte erläutert.
Über die Modalität Sprache hinaus, die bisher in
der Kommunikations- und der Kognitionswissenschaft sowie der Informatik am besten untersucht
ist, werden weitere Modalitäten behandelt: graphisch / bildhafte (Tabellen, Diagramme,
Skizzen, Videos) und haptische (Mausbewegungen, Zeigen, Zeigegestik) sowie Gestik und Mimik.
Multimodale Kommunikation ist - über die Mensch-Mensch-Kommunikation hinaus -
ein wesentlicher Bestandteil interaktiver Systeme. Beim Entwurf solcher Systeme werden
einerseits Erkenntnisse aus der Kommunikationstheorie benötigt. Zum anderen stellt sich aber
auch die Frage nach einer geeigneten Repräsentation der zu vermittelnden Inhalte, etwa
vermittels XML (eXtensible Markup Language) und entsprechender Derivate (SMIL etc.).
Übersicht
Part 1: Introduction & basic concepts
lect1 &
lect2
- Representation - Communication
- Medium - Modality
- Knowledge - Information - Data
|
Part 2: Fundamental Concepts of Representation and Communication
- Signs & symbols
lect3
- Spatial-visual representations: Maps
lect4
- Meaning and Reference (1):
Theories of reference, Reference in communication and perception
lect5
- Meaning and Reference (2):
Reference and co-reference in language
lect6
- Meaning and Reference (3):
Reference and co-reference in maps
lect7
- Coherence:
Coherence in language and in maps, Coherence and multimodality
lect8
- Inferences in communication and representation
lect9
|
Part 3: Modalities and multimodal systems
- Pictorial / visual representation and communication
lect10
- The Haptic Modality
lect11
- Embodied communication: Gestures, gaze and facial expressions
lect12
|
Die Folien sind in englischer Sprache; die Vorlesung findet auf Deutsch statt.
Password-beschützte Folien sind für TeilnehmerInnen der Vorlesung unter Verwendung
der Benutzer-Id mmrc (Kleinschreibung) zugänglich.
(Password wie in der Vorlesung bekannt gegeben; ebenfalls nur Kleinbuchstaben.)
|
| Literatur |
|
| Wird in der Vorlesung bekannt gegeben
|
|
|
