 |
| Wir freuen uns über zu diesen Seiten. |
|
| Letzte Änderung:
17.01.2013 |
|
|
|
18.072 Seminar: Repräsentationelle Modalitäten (IAF CL)
Sommersemester 2007 |
| Veranstalter |
| Christopher Habel
|
| Zeit/Ort |
| Mo 10-12 F-534 |
| KVV-Eintrag |
| Inhalt |
| In der menschlichen Kommunikation wird natürliche Sprache häufig im Zusammenspiel mit
anderen Modalitäten verwendet. So wird etwa gesprochene Sprache meist im Zusammenspiel mit
Mimik und Gestik produziert und verstanden, und geschriebene Sprache wird in wichtigen
Anwendungsbereichen - wie etwa bei Fachtexten - häufig mit Graphiken und Tabellen
kombiniert. Die integrierte Verarbeitung verschiedener Modalitäten durch maschinelle Systeme
ist in den letzten Jahren in das Zentrum der Informatik-Forschung gelangt. Dies betrifft (1)
das maschinelle Verstehen und Produzieren multimodaler Dokumente (z.B. Text + Graphik), und
(2) die Mensch-Computer-Interaktion durch eine Integration von Sprache, Mimik und Gestik
(Kiosk-Systeme, Avatare, Talking-heads).
Im Seminar werden
"repräsentationelle Modalitäten" im Vordergrund stehen, d.h.
unterschiedliche Modalitäten, um Inhalte (Wissen) zu repräsentieren und vermittels dieser
Repräsentationen zu kommunizieren. Als Beispiel werden insbesondere multimodale Dokumente
(z.B. Text + Informationsgraphiken) behandelt werden. Im Gegensatz hierzu werden
"sensorische Modalitäten", d.h. solche, die über unterschiedliche Kanäle
der Wahrnehmung (etwa gehörte Sprache vs. gesehene/gelesene Sprache) im Hintergrund
stehen.
Angesichts der rasant wachsenden Verfügbarkeit elektronischer Textdokumente
sind die klassischen Verfahren zur sprachorientierten Recherche und Klassifikation, wie sie
z.B. in intelligenten Web-Suchmaschinen eingesetzt werden, allein nicht mehr ausreichend, um
angemessen auf die ansteigende Informationsflut reagieren zu können. Diese Verfahren sollten
ergänzt werden durch Techniken zur Inhaltserschließung, mit denen auch Information, die in
anderen Modalitäten repräsentiert ist (z.B. in Graphiken), integrierend berücksichtigt
wird.
Darüber hinaus ist das maschinelle "Verstehen" multimodaler
Dokumente die Voraussetzung dafür, Assistenzsysteme für Personen mit sensorischen Defiziten
zu entwickeln. Während Blinde durch 'text-to-speech'-Systeme in die Lage
versetzt werden, - in geschriebener, elektronischer Form verfügbare - Texte zu hören,
existieren bisher kaum Möglichkeiten, für die Wahrnehmung von Graphiken oder Tabellen
geeignete Unterstützung bereitzustellen.
Im Seminar werden klassische und neue
Arbeiten aus den Bereichen Linguistik & Computerlinguistik, der
Mensch-Computer-Interaktion und der Kognitionswissenschaft behandelt, die theoretische und
praktische Grundlagen für die Verarbeitung multimodaler Dokumente betreffen. |
| Termine |
|
| 02.04.2007 | Einleitung
Einführung und Überblick über die im Seminar zu behandelnde Literatur
(pdf)
|
|
|
|
|
| 16.04.2007 | Sprachverstehen 1
Schank, Roger C., & Rieger, Charles J., III (1974). Inference and
the Computer Understanding of Natural Language. Artificial Intelligence, 5.
373-412.
(pdf)
|
|
|
| 23.04.2007 | Sprachverstehen 2
Palmer, Martha; Weir, Carl & Passonneau, Rebecca & Finin,
Tim (1993). The Kernel Text Understanding System. Artificial Intelligence, 63.
17-68
(pdf)
|
|
|
| 30.04.2007 | Sprachverstehen 3
Budiu, Raluca & Anderson, John R. (2004). Interpretation-based
processing: A unified theory of semantic sentence comprehension. Cognitive
Science, 28. 1-44 (pdf)
|
|
|
| 07.05.2007 | Kohärenz
Kintsch, Walter & van Dijk, Teun A. (1978). Toward a model of text
comprehension and production. Psychological Review, 85. 363-394.
(pdf)
|
|
|
| 14.05.2007 | Verstehen von Graphiken 1
Kosslyn, S. M. (1989). Understanding charts and graphs.
Applied Cognitive Psychology, 3. 185-226.
pdf
|
|
|
| 21.05.2007 | Verstehen von Graphiken 2
Pinker, S. (1990). A theory of graph comprehension. In R.O. Freedle (ed.),
Artificial intelligence and the future of testing. (pp. 73-126). Hillsdale, NJ: Erlbaum.
pdf
|
|
|
| 04.06.2007 | Sprache & Graphik 1
Glenberg, A.M. & Langston, W.E. (1992). Comprehension of illustrated text: Pictures help
to build mental models. Journal of Memory and Language, 31. 129-151.
(pdf)
|
|
|
| 11.06.2007 | Sprache & Graphik 2
Tabachneck-Schijf, H.J.M.; Leonardo, A.M. & Simon, H.A. (1997). CaMeRa: A Computational
Model of Multiple Representations. Cognitive Science, 21. 305-350.
(pdf)
|
|
|
| 18.06.2007 | Sprache & Graphik 3
Green, N.; Carenini, G.; Kerpedjiev, S.; Mattis, J.; Moore, J. & Roth, S. (2004).
AutoBrief: an experimental system for the automatic generation of briefings in integrated
text and information graphics. International Journal of Human Computer Science Studies, 61.
32-70
(pdf)
|
|
|
| 25.06.2007 | Sprache & Graphik 4
Hegarty, Mary & Just, M.A. (1993). Constructing mental models of machines from text
and diagrams. Journal of Memory and Language, 32. 717-742.
(pdf)
Mayer, Richard E.; Hegarty, Mary; Mayer, Sarah & Campbell, Julie (2005). When static media
promote active learning: annotated illustrations versus narrated animations in multimedia
instruction. Journal of Experimental Psychology: Applied, 11. 256-265.
(pdf)
|
|
|
| 02.07.2007 | Sprache & Graphik 5
Habel, Christopher & Acartürk, Cengiz (2007). On reciprocal improvement in multimodal
generation: Co-reference by text and information graphics. In I. van der Sluis, M. Theune,
E. Reiter & E. Krahmer (eds.) Proceedings of the Workshop on Multimodal Output Generation
(MOG 2007). 25. - 26. January, 2007. Aberdeen, United Kingdom. 69-80.
(pdf)
|
|
| Literatur |
|
|
|
