|
Veranstalter
|
|
Christopher Habel
|
|
Zeit/Ort
|
|
Fr 12-14 F-334 |
|
Inhalt
|
|
Information und Wissen kann in verschiedenen Modalitäten repräsentiert, kommuniziert und
verarbeitet werden, etwa durch
- Sprache, in gesprochener und geschriebener Variante
- Bilder, Graphiken und Diagramme etc, in statischen und dynamischen Varianten,
zusammengefasst unter dem Begriff Depiktion
Multimodale Informationsverarbeitung basiert auf der Integration
verschiedener Modalitäten: Im Fokus der Vorlesung steht die Integration und Interaktion der
beiden repräsentationellen Modalitäten Sprache und Depiktionen. Die Vorlesung behandelt u.a.
folgende Dimensionen des Forschungs- und Anwendungsfeldes Multimodale
Informationsverarbeitung:
- Multimodale Dokumente, d.h. Informations- bzw. Wissensbestände in denen Text und
Depiktionen (Diagramme / Graphiken, Karten) integriert sind, d.h. sich aufeinander
beziehen bzw. wechselseitig ergänzen
- Multimodale Interaktion, d.h. Kommunikations- bzw. Interaktionssituationen, in
denen Agenten mehrere repräsentationelle Modalitäten verwenden (z.B. Präsentationen,
multimodale Instruktionen, multimodale Mensch-Computer-Schnittstellen (Sprache +
Gestik, Sprache + Graphik, etc.)
- Sensorische Modalitäten: visuelle, auditive, haptische Wahrnehmung sind für den
Menschen primäre Zugänge zu Repräsentationen und für die Kommunikation. Bei der
Integration repräsentationeller Modalitäten ergeben sich Einflüsse der beteiligten
sensorischen Modalitäten, z.B. gesprochene vs. geschriebene Sprache kombiniert mit
Texten
- Maschinelle Verarbeitung multimodaler Dokumente im Rahmen des multimodalen
Information Retrieval (text retrieval, image retrieval, video retrieval)
|
|
Termine
|
|
Die Folien sind NUR aus dem Netz der Universität Hamburg zugreifbar.
|
|
| 17.04.2009 |
Einleitung
Interne & externe Repräsentation; Repräsentationen in der
Kommunikation; Multimodalität & Multimedia, Dokumente &
Schnittstellen
Folien
|
|
|
| 24.04.2009 |
Language
Modes of language: Spoken language vs. written language; Human language
vs. animal language; Linguistic analyses as prototypes for analyses of
communicational modalities; Language and graphics: exemplifying case-studies
Folien
|
|
|
| 08.05.2009 |
Key concepts I
Internal & external representations, Palmer's theory of
representation; directions of communicational processes: comprehension &
production; multimodal reference & co-reference (exemplifying case
studies)
Folien
|
|
|
| 15.05.2009 |
Key concepts II
Sign & symbols: semiotic triangle, non-linguistic signs and
symbols; Meaning & reference: computation of meaning, the principle of
compositionality
Folien
|
|
|
| 22.05.2009 |
Reference in communication and perception
From monomodal to multimodal route instructions (Some case studies)
Folien
|
|
|
| 29.05.2009 |
Meaning & reference I: Language
Definite & indefinite descriptions; anaphora resolution &
co-reference; referring as a colaborative process
Folien
|
|
|
| 12.06.2009 |
Meaning & reference II: Language and other representational modalities
Reference to different types of entities; reference in graphs and maps;
co-reference construction during processing multimodal documents
Folien
|
|
|
| 19.06.2009 |
Coherence (Pre-version)
Folien
|
|
