▪
Grundlagen der Bildkommunikation
▪
Überblick
▪ Bildkompetenz
▪
Vorzüge der Bildkommunikation
▪
Vorteile von Bild und Text
▪
Verarbeitung von
Text-Bild-Kombinationen
▪
Gebrauchsbilder
▪
Wahrnehmungspsychologie
▪
Überblick
▪
Neurobiologische Grundlagen der Wahrnehmung
▪
Modelle der Wahrnehmung
▪
Empfindung und
Wahrnehmung
▪
Aufmerksamkeit
▪
Identifikations- und
Wiedererkennungsprozesse
▪
Überblick
▪
Bottom-up- und Top-down-Verarbeitung
▪ Pandämonium-Modell (Selfridge)
▪
Das Bindungsproblem
▪
Kognitionspsychologie
▪
Top-down- und Bottom-up-Verarbeitung bei der visuellen Wahrnehmung
von Texten
Wie sich die kognitive
Verarbeitung von Bildstatistiken genau vollzieht, ist auch heute
noch ziemlich unklar. Verschiedene Ansätze versuchen die Frage
theoretisch zu erklären, ihre empirische Fundierung steht aber offenbar
noch aus.( vgl. Schnotz
2002)
Dabei gibt es zwischen
dem Bildverstehen und dem Textverstehen ungeachtet zahlreicher
Gemeinsamkeiten auch erhebliche Unterschiede, die auch für die Didaktik
der ▪ Analyse und
Beschreibung von Bildstatistiken und Diagrammen als ▪diskontinuierliche
Sachtexte eine wichtige Rolle spielen.
In der ▪
Kognitionspsychologie,
der ▪ Textlinguistik,
in der ▪
Literaturwissenschaft ist Textverstehen "als Informations- bzw. Textverarbeitung
konzipiert, deren Resultat, abhängig von Wissen und Fähigkeiten (mentale
Modelle, frames, scripts,
Schemata,
Begriffe; Schema und
Schematheorie),
die
kreative Konstruktion subjektiv befriedigend kohärenter und emotional
besetzter mentaler Repräsentationen wahrgenommener Gegenstände sein
soll, auf deren Basis inhaltliche
Inferenzen sowie
Kondensationen
oder
Elaborationen aller Art möglich werden." (Metzler
Lexikon Literatur- und Kulturtheorie, 32004, S.252)
Das
Textverstehen umfasst dabei auf der Grundlage des
kognitionspsychologischen ▪
Construction-Integration-Model (CI-Modell) von
Walter Kintsch und
»Teun van
Dijk "eine große Bandbreite hierarchisch ablaufender,
regelgeleiteter kognitiver Prozesse" (Philipp
2015b, S.217). Mit Hilfe dieses Modells lässt sich besonders gut
verdeutlichen, wie Vorwissen und Textinhalte im Lesenverstehensprozess
beim Zusammenwirken der ▪
konstruktiven
und integrativen Prozesse zusammenspielen. Dabei wird das
Textverstehen mit zwei Kategorienpaaren beschrieben: den ▪
Mikro-
und ▪
Makrostrukturen und der ▪
Textbasis
und dem ▪
Situationsmodell.
Wahrnehmungspsychologisch hat man mit der empirischen
Blickaufzeichnungsmethode, mit der Blickbewegungen des Rezipienten beim
Betrachten einer Bild-Text-Kombination bzw.
Sehfläche genau
nachvollzogen werden können, die ▪
Verarbeitung von Text-Bild-Kombinationen bei der Wahrnehmung in drei
Schritte eingeteilt, die aber nicht immer nacheinander ablaufen: ▪
globale (inhaltliche) Orientierung, ▪
Detailauswertung
und ▪
konzeptuelle Verarbeitung.
Kognitionspsychologisch
versucht das
integrative Modell des Text- und Bildverstehens (Schnotz 2002,
Schnotz/Bannert 2003) die Zusammenhänge bei der kognitiven
Verarbeitung von Diagrammen, Bildern und Texten zu erklären. Als
Repräsentationen stellen diese reale Sachverhalte dar und geben sie auf
ihre jeweils besondere Art und Weise wieder.
Das Modell
unterscheidet dabei verschiedene Repräsentationsformen danach, wie groß
die Ähnlichkeit zwischen dem realen Objekt und seiner Repräsentation bei
seiner externen Darstellung ist.
Dabei kann man zwei
grundlegende Formen der
Repräsentation unterscheiden:
Beschreibende und
abbildende Darstellungen. (Schnotz/Bannert 2003)
Beschreibende Darstellungen (descriptive representations)
Beschreibende
Darstellungen (descriptive representations oder deskriptionale
Darstellungen) sind z. B. gesprochene oder geschriebene Texte,
mathematische Gleichungen und logische Ausdrücke.
Sie beschreiben ihre
Objekte mit willkürlich festgelegten sprachlichen Zeichen wie
Buchstaben, Wörtern oder Zahlen, die durch »Konvention
der Zeichennutzer symbolisch mit dem realen Objekt, mit dem sie
keinerlei Ähnlichkeit aufweisen, verknüpft sind. (Es gibt allerdings
auch Wörter, die einen (lautlichen) Abbildungsbezug zu dem Bezeichneten
haben. Das sind sogenannte ikonische Wörter wie "Kuckuck".)
»Semiotisch
betrachtet geht es dabei um die »Arbitrarität
des sprachlichen Zeichens, der Beziehung zwischen dem
Bezeichnenden (»Signifikant,
Lautbild, Zeichengestalt) und dem Bezeichneten
(»Signifikat)
(»Ferdinand
de Saussure 1857-1913), die auf menschlicher »Konvention
und Vereinbarung statt auf einer naturgegebenen Gesetzmäßigkeit beruht.
Dass die Zeichenfolge im Wort Tisch und das Wort selbst keine
Ähnlichkeit mit dem realen Objekt Tisch haben, ist schon von ▪
Peter Bichsel in
seiner Kurzgeschichte ▪
Ein Tisch ist ein Tisch auf seine Weise literarisch thematisiert
worden. So gesehen ist es also mehr oder weniger zufällig, dass
ein Tisch Tisch heißt. In gewissem Sinne ist Arbitrarität
der Gegenbegriff zu Ikonizität.
Texte können danach als
Sätze aufgefasst werden, die aus zahlenmäßig nicht festgelegten
deskriptionalen Repräsentationen bestehen. (vgl.
Lachmayer 2008,
S.10) So werden in einem Satz wie "Die Erde dreht sich um sich selbst um
ihre Achse" Substantive verwendet, um sich auf bestimmte Objekte aus der
realen Welt (Entitäten) zu beziehen, während die Verben und
Präpositionen dazu dienen, diese Objekte miteinander in Beziehung zu
setzen. (vgl.
Schnotz/Bannert 2003, S.143)
Abbildende Darstellungen (depictive representations)
Abbildende
Darstellungen (depictive representations, depiktionale
Darstellungen) sind z. B. Bilder, Skulpturen oder physische Modelle.
Eine abbildende
Darstellung besteht aus ikonischen Zeichen. Bei einem ikonischen Zeichen
ist, semiotisch gesehen, nach »Charles
S. Peirce (1839-1914) zwischen dem Zeichen und dem Bezeichneten "ein
Abbild-Verhältnis, eine Ähnlichkeit" (Kocsány
2010, S.42) feststellbar. Dabei ist diese Ähnlichkeit zwischen dem
ikonischen Zeichen (Ikon) und dem Objekt, auf das es sich bezieht
(Referenzobjekt) in unterschiedlichen Graden ausgeprägt. Mit dem auf »Charles
W. Morris (1901-1979 zurückgehenden Terminus der »Ikonizität
wird dies erfasst.
Im Unterschied zu den
deskriptionalen Darstellungen weisen die depiktionalen eine Ähnlichkeit
zwischen dem realen Objekt und der Darstellung auf. (vgl.
Schnotz 2001)
Auch wenn wir aus
abbildenden Darstellungen Informationen, die miteinander in einer
Beziehung stehen, "auslesen" können, enthalten sie selbst keine Symbole
für diese relationalen Beziehungen. Dafür verfügen sie allerdings über
besondere Strukturmerkmale, die dies es möglich machen, solche
relationalen Beziehungen "abzulesen". Zudem werden sie mit dem Inhalt,
den sie repräsentieren, mit Hilfe solcher Strukturmerkmale verknüpft.
(vgl.
Schnotz/Bannert 2003, S.143)
Die
Ikonizität bzw. die Ähnlichkeit der
abbildenden Darstellung mit ihrem jeweiligen Referenzobjekt der realen
Wirklichkeit kann bei realistischen
Bildern (z. B. Fotografien, Gemälde, Strich- und
Schemazeichnungen) offensichtlich sein, oder wie bei Bildstatistiken
bzw. Diagrammen (logische Bilder)
abstrakt sein.
Um realistische Bilder zu verstehen, können wir auf
kognitive Schemata der
Alltagswahrnehmung zurückgreifen
Die Bildstatistiken und
Diagramme haben dabei als logische Bilder keine sichtbare
Ähnlichkeit mit dem von ihnen dargestellten Sachverhalt. Dennoch stimmen
sie in struktureller Hinsicht mit diesem in einer gewissen Hinsicht
überein, da die (logischen) Relationen zwischen den Merkmalen innerhalb
des Bildes und innerhalb des abgebildeten Sachverhalts gleich sind.
(vgl. Schnotz 2001)
Die abstrakte Strukturgleichheit von logischen Bildern und ihren
Referenzobjekten ist dabei, anders als bei den
realistischen Bildern, durch »Konvention
festgelegt. Sie basiert auf Verfahren der analogen Strukturabbildung
aufgrund von Strukturkorrespondenzen.
Wenn man z. B. in einem
realistischen Bild den unterschiedlichen Durchmesser verschiedener
Blüten abbilden will, wird man im Allgemeinen maßstabsgetreue
Zeichnungen der Blüten verwenden. In einem logischen Bild könnte der
Blütendurchmesser z. B. in einem ▪ Säulen-
oder einem ▪ Balkendiagramm durch die
verschiedene Höhe bzw. Länge der Säulen- oder Balken repräsentiert
werden.
Das Verstehen des
solcherart abstrakten logischen Bildes erfolgt auf der Grundlage der
Strukturgleichheit von Diagramm und Referenzobjekt und zugleich über die
Konventionen, "dass verschiedene Säulen für verschiedene
Pflanzenarten stehen und die Höhe der Säulen die Größe des
Blütendurchmessers angibt." (Lachmayer
2008, S.10). Das Verstehen logischer
Bilder beruht im Unterschied zum
Verstehen von
realistischen Bildern nicht auf kognitiven Schemata der
Alltagswahrnehmung, sondern auf besonderen
kognitiven Schemata (graphic schemata), mit deren Hilfe
Informationen aus der visuell-räumlichen Konfiguration des logischen
Bildes abgelesen werden können. Diagrammschemata enthalten Wissen
darüber, wie Informationen in Diagrammen gespeichert sind und wie sie
ihnen entnommen werden
Bildstatistiken und
Diagramme teilen mit den
beschreibenden Darstellungen (deskriptionalen Darstellungen) die
Gebundenheit an konventionale Vereinbarungen, doch macht sie das deshalb
nicht zu deskriptionalen Darstellungen, selbst wenn sie mit
Achsenbeschriftungen und anderen Elementen (wie z. B. Headlines bei als
Infografik gestalteten Bildstatistiken) auch Text enthalten.
Sie werden daher wegen
ihrer charakteristischen abstrakten Strukturähnlichkeit und wegen des
dadurch gewährleisteten Strukturerhalts zwischen logischem Bild und
Referenzobjekt den depiktionalen Repräsentationen zugeordnet. (vgl.
Schnotz 2001).
Beschreibungen und Abbildungen als innere mentale Repräsentationen
Was über die
Unterscheidung von
Beschreibungen (deskriptionalen Darstellungen) und
bildlichen Darstellungen (depiktionale Darstellungen, visuelle
Bilder) gesagt worden ist, gilt auch für ihre innere mentale
Repräsentation.
Bei
der Verarbeitung eines gesprochenen oder geschriebenen Textes und
der propositionalen Darstellung wird die mentale Repräsentation
einer ▪
Textoberfläche konstruiert.
Ein abstrakter Text führt
dabei als
externe beschreibende Repräsentation sowohl zu einer internen deskriptiven als auch zu einer internen
bildhaften (depiktionalen) mentalen Repräsentation. (vgl.
Schnotz/Bannert 2003, S.147)
Als externe
Beschreibungen (deskriptionalen Darstellungen) stellen Texte
daher auch bei ihrer inneren mentalen Repräsentation interne
Beschreibungen dar, da sie ihr dargestelltes Objekt mit Hilfe von
symbolischen Zeichen beschreiben.
Das Bild,
das wahrnehmungsnahe Repräsentationen darstellt, weil visuelle
Bilder und visuelle Wahrnehmungen auf denselben kognitiven
Mechanismen basieren, führt hingegen als äußere bildliche (depiktionale)
Repräsentation zu beidem, nämlich zu einer intern bildlichen (depiktionalen) und zu einer intern beschreibenden
(deskriptionalen) mentalen
Repräsentation. (vgl.
ebd.)
Mentale Modelle
stellen interne bildliche Repräsentationen (depictive
representations) dar, da sie wie (visuelle) Bilder inhärente
strukturelle Merkmale zum Zwecke der Repräsentation verwenden. Dabei
macht es keinen Unterschied, ob die mentalen Modelle während des
Bildverstehens oder während des Textverstehens konstruiert werden.
Auch wenn die Konstruktion mentaler Modelle
wahrscheinlich von der
Kapazität des visuell-räumlichen Teils des ▪
Arbeitsgedächtnisses (»Alan
D. Baddeley (geb. 1934)
(1986)) abhängt, gibt es
doch grundlegende
Unterschiede
zwischen mentalen Modellen und visuellen Bildern. (vgl.
Schnotz/Bannert 2003, S.143ff.)
-
Mentale Modelle
sind nicht an spezifische Sinnesmodalitäten gebunden. Dies hat
zur Folge, dass sie eher als abstrakte und nicht als auf die
Wahrnehmung bezogene Größen zu verstehen sind.
-
Mentale Modelle
und visuelle Bilder besitzen einen
unterschiedlichen
Informationsgehalt. Um ein mentales Modell eines visuellen
Bildes (depiktionale Darstellung) zu konstruieren, werden
nämlich nur die grafischen Teile einer Abbildung beim
Aufzeichnen von Strukturen (process of structure mapping)
berücksichtigt werden, die für die aktuelle oder erwartete
Aufgabe relevant erscheinen.
-
Zudem wird das
mentale Modell sowohl beim Bild- und beim Textverstehen durch
Informationen aus unserem Wissen
bzw.
aus unserem
deklarativen und
prozeduralen
Wissen
unterschiedlichster Art (z. B.
Weltwissen, aktives Wissen,
Erfahrungswissen,
Fachwissen,
Sprachwissen,
Textmusterwissen,
thematisches Wissen weiter angereichert bzw. ergänzt und enthält
daher auch Informationen, die nicht im Bild bzw. dem Text selbst
enthalten sind. Dabei kann die
Beteiligung dieses Vorwissens beim Bild- und Textverstehen gar nicht hoch genug
eingeschätzt werden. Solche im Gedächtnis gespeicherten
Informationen können nämlich, wenn sie z. B. als
▪ Schemata bestimmte
Wahrnehmungs- und kognitiven Verarbeitungsprozesse steuern,
Textinhalte einfach "überschreiben" oder können ihnen neue Inhalte
zuschreiben, die im Text selbst überhaupt nicht nachzuweisen sind. (Christmann
2015, S.173).
-
Mentale Modelle
haben gemeinsame inhärente Strukturen mit dem abgebildeten
Referenzobjekt (depictive object).
Das heißt, sie repräsentieren das Objekt auf der Grundlage einer
strukturellen oder funktionalen Analogie. Eine solche Analogie
impliziert nicht, dass solche mentalen Modelle nur räumliche
Informationen repräsentieren können. So kann ein mentales Modell
z. B. auch die Zunahme oder Abnahme von Geburtenraten oder
Einkommen während eines bestimmten Zeitraums repräsentieren (wie
es als Text oder in einem ▪
Linien-
oder Kurvendiagramm dargeboten wird), obwohl Geburtenraten
und Einkommen keine räumlichen Informationen sind. Ein mentales
Modell einer räumlichen Konfiguration kann zudem auch nicht nur
durch visuelle Wahrnehmung konstruiert sein, sondern auch durch
auditive oder durch kinästhetische oder durch haptische
Wahrnehmung. (vgl.
Schnotz/Bannert 2003, S.143, 146f.)
-
Es gibt sowohl
beim Textverstehen als auch im Bildverstehen eine
kontinuierliche
Wechselwirkung zwischen der propositionalen Repräsentation und
dem mentalen Modell. Daher können, wie beim Textverstehen
auch, im Zuge der Überprüfung des mentalen Modells die
propositionale Repräsentationen weiter entwickelt werden.
Darüber hinaus besteht die Möglichkeit einer
Interaktion zwischen der
Repräsentation der Textoberfläche und dem mentalen Modell sowie
die Möglichkeit einer
Interaktion zwischen der wahrnehmungsbezogenen Repräsentation des Bildes
und seiner propositionalen Repräsentation. Aus diesem Grund
entsprechen sich die externen und Repräsentationen auch nicht
vollständig.
-
Beim
Textverstehen ist der Ausgangspunkt dieser Wechselwirkung die propositionale Repräsentation, die zur Konstruktion eines mentalen Modells verwendet wird.
Dieses Modell kann
wiederum dazu verwendet werden, neue Informationen abzulesen, um die
propositionale Repräsentation weiter auszuarbeiten.
-
Beim Bildverstehen ist der Ausgangspunkt der Interaktion ein mentales Modell, das dazu dient, neu hinzugekommene
Informationen abzulesen und diese der propositionalen Repräsentation
hinzuzufügen.
Integratives Modell des Text- und Bildverstehens
Ein Ansatz, der die
wahrnehmungs- und kognitionspsychologischen Prozesse beim Text-
und Bildverstehen miteinander verbindet, ist in dem nachfolgenden
integrativen Modell des Text- und Bildverstehens von
Schnotz 2002 bzw.
Schnotz/Bannert 2003 gestaltet.
Auf der Grundlage der
Unterscheidung von ▪
Beschreibungen
(deskriptionale Darstellungen) und ▪
bildlichen Darstellungen
(depiktionale Darstellungen )
verdeutlicht das Modell auf der linken Seite die Beschreibungen und auf
der rechten Seite die bildlichen Darstellungen.

-
Der linkseitige
Zweig, der den Weg der kognitiven Verarbeitung von Text (=
deskriptionale Beschreibungen) zeigt, umfasst den (äußeren) Text sowie seine (innere)
mentale Repräsentation der ▪
Oberflächenstruktur des Textes und der
(internen) propositionalen Darstellung des semantischen Inhalts,
deren Interaktion auf Symbolen beruht.
-
Der rechtsseitige Zweig,
der den Weg der kognitiven Verarbeitung von visuellen Bildern (=
depiktionale Darstellungen) zeigt, umfasst das (äußere) Bild oder Diagramm, die (innere) visuelle Wahrnehmung oder das
innere Bild der grafischen
Darstellung und das (innere) mentale Modell des dargestellten
Themas. Das Zusammenspiel dieser bildlichen Darstellungen basiert
auf Verfahren der analogen Strukturabbildung aufgrund von
Strukturkorrespondenzen.
Nach dem Modell, das
sich an dem kognitionspsychologischen ▪
Construction-Integration-Model (CI-Modell)
von
Walter Kintsch und
»Teun van
Dijk orientiert, konstruiert der Leser eines Textes eine
mentale Repräsentation der Textoberflächenstruktur, generiert eine propositionale Repräsentation der
semantischen Inhalts (▪
Textbasis)
und konstruiert schließlich aus der Textbasis ein mentales Modell (▪
Situationsmodell) des im Text beschriebenen Themas.
Dabei
verlaufen die Konstruktionsprozesse auf der Grundlage der Interaktion
von ▪ Bottom-Up- und
▪ Top-Down-Aktivierung
(= ▪
konzeptgesteuerte Verarbeitung) bestimmter ▪
kognitiver Schemata mit ihrer "große(n) Bandbreite hierarchisch
ablaufender, regelgeleiteter kognitiver Prozesse" (Philipp
2015b, S.217).
Im Zuge der
Top-Down-Aktivierung werden in einem absteigenden Verstehensprozess "von
oben nach unten" aufgabenrelevante Aufgaben ausgewählt und als kohärente
mentale Darstellung der ▪
Oberflächenstruktur des Textes
organisiert. Dies löst dann die weitere Konstruktion
eines mentalen Modells aus.
Diese mentale Modellkonstruktion
beinhaltet auch einen Übergang von einer intern
beschreibenden
(deskriptionalen) zu einer
intern
bildlichen Darstellung
(depiktionalen Darstellung), zumal ja auch angenommen wird, dass
propositionale Repräsentationen und mentale Modelle im Zuge des
Konstruktionsprozesses in einer anhaltenden
Wechselwirkung miteinander interagieren und eine kontinuierliche
Überwachung und Überprüfung der konstruierten mentalen Modelle durch die kognitiven Schemata
erfolgt.
Dabei
stellen die ▪
kognitiven Schemata keine starren kognitiven Strukturen dar,
sondern besitzen ihre eigene ▪
Dynamik, die als Prozesse des ▪
Wissenszuwaches,
der
▪
Feinabstimmung,
von ▪
Umstrukturierung und ▪
Integration ihre Weiterentwicklung und ihren fortwährenden "Umbau" ermöglichen,
und sind auch Ergebnisse von
Top-down-Informationsverarbeitungsprozessen.
Basierend auf den propositionalen
Informationen und den ▪
Standardwerten der Schemata wird das mentale
Modell durch gestaltgesteuerte Komposition aus einigen darstellenden
Grundelementen in einer Weise konstruiert, die eine
typische Instanz dessen darstellt, was im Text beschrieben wird.
Nachdem ein mentales Modell
erstellt wurde, kann es in einem vom Schema angeleiteten Prozess zum
Auslesen neuer Informationen aus dem Modell verwendet werden. Diese Informationen werden in einem propositionalen Format
codiert und das wiederum ermöglicht, dass
die propositionale Repräsentation
auch verbal
geäußert werden kann. Diese "Versprachlichung"
stellt damit "Abschluss der Entnahme von Informationen aus dem Diagramm,
die dabei insbesondere eine Übersetzung von einer depiktionalen zu einer
deskriptionalen Repräsentation darstellt. Die bei der
Diagrammverarbeitung aktivierten Diagrammschemata können somit als
Grundlage dieses Übersetzungsprozesses von Diagramm zu Text angesehen
werden." (Lachmayer 2008,
S.30)
Der Prozess des Bildverstehens
Während die ▪
Theorie
der propositionalen Repräsentation mit ihrem ▪
amodalen, d.h. von den konkreten Sinnes- bzw.
Wahrnehmungseindrücken abstrahierenden Symbolsystem davon
ausgeht, Menschen
könnten keine bildhaften Vorstellungen in Form eines perzeptuellen Eindrucks
speichern und bei ihrem Erinnern darauf zurückgreifen können (vgl.
Anderson 72013, S.102), hat »Lawrence
W. Barsalou (geb. 1951)
(1999)
mit seiner
▪
Theorie der
perzeptuellen Symbolsysteme (Wahrnehmungssymbolsysteme, »Perceptual
Symbol Systems Theory) eine andere Theorie entwickelt. Im
Anschluss
an die Theorie
der dualen Kodierung (»Dual
coding theory) von »Alan
Paivio (1925-2016) (1971,1977)
geht diese Theorie von der
Vorstellung eines
modalitätspezifischen perzeptuellen Symbolsystems aus. Die
ihr zugrunde liegende ▪
Theorie der dualen Kodierung besagt, dass Bilder und Sprache in
voneinander unabhängigen, aber auf vielfältige Weise miteinander in
Verbindung stehenden symbolischen Systemen verarbeitet werden.
Während die
▪ amodale Theorie der
propositionalen Repräsentationen davon ausgeht, dass
Bedeutungen in einem
Top-down-Prozess über die in abstrakten ▪
Konzepten
gemachte Sinneserfahrungen begrifflich
abstrakt repräsentiert werden, kann unser kognitiver Apparat nach Barsalou eben auch Wahrnehmungseindrücke, d. h. nicht nur
Begriffe (abstrakte Konzepte), sondern auch ▪
Kategorien
(konkrete Einzelheiten, Details) in Form eines
Bottom-up-Prozesses verarbeiten und zur Repräsentation
nutzen. (vgl. »Wikipedia,
engl.)
So betrachtet,
werden Bilder also autonom und unabhängig vom Sprachsystem
verarbeitet. Dies geschieht bei Bildern eher
holistisch-analog und nach einer
räumlichen Logik, während sprachliche Informationen sequenziell
und nach logisch analytischen Regeln verarbeitet werden. (Paivio
1977;
Kroeber-RIel 1993,
Schierl 2001, S.202). Darum
besitzen Bilder empirischen
Untersuchungen zufolge auch einen außerordentlich hohen
Wiedererkennungswert. (vgl.
u. a.
Paivio 1971) Diese als "Picture
Superiority-Effect" bezeichnete Erscheinung kann, so
Paivio (1977), darauf
zurückgeführt werden, "dass der sprachliche Kode in einen bildlichen
übersetzt werden kann und umgekehrt. Bilder werden diesem Ansatz nach
besonders leicht doppelt kodiert und deshalb auch besonders leicht in das
Gedächtnis übernommen." (Schierl 2001,
S.202)
Das integrative Modell des Text- und Bildverstehens von
Schnotz/Bannert (2003, S.147f.) geht allerdings von einer anderen
Sichtweise aus. Für sie basieren propositionale Repräsentationen und
mentale Modelle auf unterschiedlichen Zeichensystemen und
unterschiedlichen Prinzipien der Repräsentation, die einander ergänzen.
Bildverstehen ist, so
Schnotz/Bannert (2003, 146f.), ein Prozess der analogen Aufzeichnung von
Strukturen (analogical structure mapping) zwischen einem
visuell-räumlichen System und einem System semantischer Beziehungen. Diese Zuordnung kann in beide
Richtungen erfolgen: Man kann ein mentales Modell von unten nach oben in
einer Bottom-up-Verarbeitung aus einem Bild konstruieren. Ebenso ist es
möglich, ein bestehendes mentales Modell im Zuge einer
Top-down-Verarbeitung eines Bildes von oben nach unten entwickeln.
Beim Bildverstehen erstellt das Individuum
während der Verarbeitung der Wahrnehmung zunächst eine visuelle
mentale Darstellung
der grafischen Darstellung des Bildes und konstruiert dann ein
mentales Modell sowie eine propositionale Repräsentation des dargestellten
Sachverhalts
im Bild im Zuge seiner semantischen Verarbeitung. (vgl.
Schnotz/Bannert 2003, 146f.)
Damit wir ein visuelles
Bild nicht nur einfach wahrnehmen sondern verstehen können, müssen wir
seine Bedeutung konstruieren. Um dies zu erreichen, konstruieren wir im
Zuge eines ▪
schemagesteuerten Mapping-Prozesses ein mentales Modell des dargestellten
Sachverhalts, in dem grafische Ganzheiten (Entitäten) als
mentale Ganzheiten abgebildet (mapped) werden und in denen räumliche
Beziehungen als semantische Relationen, die im mentalen Modell encodiert
sind, abgebildet sind. (vgl.
ebd.)
Zunächst werden bei der
▪ Wahrnehmungsverarbeitung aufgabenrelevante
Informationen durch ▪ Top-Down-Aktivierung kognitiver Schemata
ausgewählt und anschließend mit Hilfe automatisierter visueller Routinen
visuell organisiert. Dazu müssen bestimmte grafische Einheiten
identifiziert und voneinander unterschieden werden.
Im ganzen System der Wahrnehmung sind die drei Stufen, wie in der unteren
Abbildung dargestellt, in die bidirektional verlaufenden Prozesse der
▪
Bottom-up- und
Top-down-Verarbeitung eingebunden.

Die ▪
wahrnehmungsbezogene Verarbeitung
(sensorische Prozesse,
perzeptuelle
Information, Identifikation und Wiedererkennung von Objekten) umfasst die
▪ Identifizierung,
Wiedererkennung und Unterscheidung
grafischer Einheiten sowie
die visuelle Organisation dieser Entitäten gemäß den ▪
Gestaltgesetzen, die
»Max
Wertheimer (1880-1943) (1923)
in den zwanziger Jahren des vorigen Jahrhunderts formuliert hat und
die später von Palmer
(1999) um drei weitere ergänzt worden sind.
Diese als »Gestaltgesetze
bezeichneten Organisationsprinzipien können neben der Textsegmentierung
als "Vorstufen der Objekterkennung" (Müsseler
2017, S.31) angesehen werden. Ihre Funktion besteht darin,
mit bestimmten Organisationsgesetzen und einfachen Regeln Formen und
Umrisse zu einer Gestalt zusammenzufassen, so dass wir einen kohärenten,
als zusammenhängend wahrgenommenen Objekteindruck gewinnen.
Objektidentifikation und
Objektwiedererkennung sind also auch keine rein postperzeptiven Leistungen.
(vgl. ebd., S.33)
Das bei der
Wahrnehmungsverarbeitung von depiktionalen Darstellungen gewonnene
visuelle Perzept repräsentiert als interne bildliche Darstellung (depictive representation)
die Oberfläche des Bildes, die strukturelle Eigenschaften
des externen Bildes umfasst. Zugleich besitzt die interne bildliche
Darstellung eine spezifische sensorische Qualität, weil sie mit der ▪
visuellen Wahrnehmung
direkt
verknüpft ist. Sie kann auch als visuelles Bild
bezeichnet werden, solange sie auf der Grundlage von internem Weltwissen
und nicht von externen Sinnesdaten zustande gekommen ist. (vgl.
Schnotz/Bannert 2003, 146f.)
Zwei-Schritte-Modell des Diagrammverstehens
Auf der Grundlage des
integrativen
Modells des Text- und Bildverstehens lässt sich Verstehen von
Bildstatistiken und Diagrammen als logische
Bilder in einem
Zwei-Schritte-Modell darstellen (vgl. Wolfgang
Schnotz 2002, vgl.
Schnotz/Bannert 2003)
Das Verstehen
logischer Bilder beruht. wie bereits
erwähnt, auf besonderen ▪
kognitiven Schemata (graphic schemata),
mit deren Hilfe Informationen aus der visuell-räumlichen Konfiguration
des logischen Bildes abgelesen werden können. Diese grafischen Schemata
können auch als Diagrammschemata
verstanden werden.
-
Beim ersten Schritt
geht es um die Wahrnehmung der grafischen Elemente einer
Bildstatistik. Dazu zählen z. B. Linien, Punkte und Flächen,
die als solche voneinander unterschieden und identifiziert werden.
-
Im zweiten Schritt
werden die wahrgenommenen grafischen Elemente und Strukturen
inhaltlich analysiert. Dazu werden die räumlichen Relationen, die im
Diagramm vorhanden sind, auf ihre Bedeutung hin (semantisch)
interpretiert und in der Regel auf analoge konzeptuelle Relationen
des entstehenden mentalen Modells übertragen. Zudem können dabei
auch schon "auf direktem Wege Propositionen gebildet und so eine
propositionale Repräsentation des Diagramminhalts aufgebaut werden (Schnotz,
2001). In diesem Fall führt die Verarbeitung der im Diagramm
enthaltenen Informationen nicht unbedingt und zuerst zu einem
mentalen Modell" (Lachmayer
2008, S.29) Allerdings kann auch über den Umweg der
propositionalen Repräsentation ein mentales Modell aufgebaut werden.
Die
Diagrammschemata enthalten sowohl
deklaratives Wissen darüber, wie Informationen in Diagrammen
gestaltet sind, als auch
prozedurales Wissen darüber, wie diese Informationen aus ihnen
identifiziert und ▪
abgelesen bzw. allgemein entnommen werden.
Das jeweilige
Diagrammschema leitet den Rezipienten, wenn er z. B. zur
Beantwortung einer Frage bestimmte Informationen aus einer
Bildstatistik entnehmen will, diese relevanten Strukturen im
Diagramm zu suchen und ggf. zu finden. Der schematheoretische Ansatz
kann dabei auch erklären, weshalb die ▪
kognitive Verarbeitung von Bildstatistiken so schnell, fast
automatisch verläuft.
▪
Grundlagen der Bildkommunikation
▪
Überblick
▪ Bildkompetenz
▪
Vorzüge der Bildkommunikation
▪
Vorteile von Bild und Text
▪
Verarbeitung von
Text-Bild-Kombinationen
▪
Gebrauchsbilder
▪
Wahrnehmungspsychologie
▪
Überblick
▪
Neurobiologische Grundlagen der Wahrnehmung
▪
Modelle der Wahrnehmung
▪
Empfindung und
Wahrnehmung
▪
Aufmerksamkeit
▪
Identifikations- und
Wiedererkennungsprozesse
▪
Überblick
▪
Bottom-up- und Top-down-Verarbeitung
▪ Pandämonium-Modell (Selfridge)
▪
Das Bindungsproblem
▪
Kognitionspsychologie
▪
Top-down- und Bottom-up-Verarbeitung bei der visuellen Wahrnehmung
von Texten
Gert Egle, zuletzt
bearbeitet am:
10.01.2024
|