|
Ein wesentliches Merkmal menschlicher Informationsverarbeitung
ist die Integration und gemeinsame Nutzung von verschiedenen Modalitäten; dies
betrifft Wahrnehmung (visuelle, auditive und haptische Perzeption), Denken (z.B.
propositionales und bildhaft/visuelles Problemlösen) sowie die Kommunikation
(geschriebene und gesprochene Sprache, Skizzen und Bilder, Gesten). Dieses Projekt
befaßt sich einerseits mit der Entwicklung einer grundlegenden Konzeption für eine
gemeinsame Semantik verschiedener mono- und multimodaler Repräsentationen, und
andererseits mit spezifischen Studien zur multimodalen Informationsverarbeitung. So
wird in einem Teilprojekt die menschlichen Prozesse beim Verstehen und Generieren
von Skizzen untersucht. Ausgangspunkt dieses Vorhaben ist die Einschätzung, dass
Skizzen einen in der menschlichen Problemlösung und Kommunikation besonders
erfolgreich verwendeten Typ externer Repräsentationen darstellen. Aber auch im
Bereich der Mensch-Maschine-Interaktion werden graphische Darstellungen, u.a.
Skizzen, verwendet, um Informationen vom Rechner zum Benutzer (Ausgabe) zu
vermitteln. Dabei handelt es sich zumeist um gespeicherte, nicht um
aufgabenspezifisch erstellte Skizzen. Die Möglichkeit, Skizzen für die
Informationseingabe zu verwenden, wird bisher kaum genutzt. Ausgehend von
empirischen Analysen, die in den letzten Jahren durchgeführt wurden, werden formale
Modelle der in der Skizzenerstellung und beim Skizzenverstehen involvierten Prozesse
entwickelt, die dann wiederum zu prototypischen Simulationsmodellen führen sollen. |
