Quartopiano web solutions for Tourism

LÉVY Pierre, L'idéographie dynamique. Vers une imagination artificielle ?, (Paris, La Découverte, 1991).
Le concept de l'idéographie dynamique ne consiste pas faire appel à l'image pour illustrer le texte classique mais bien à inaugurer une écriture nouvelle (un instrument de pensée qui soit aussi image animée). Depuis les origines, l'écriture s'est toujours déployée sur un support statique. Les idéographies et les alphabet ont des symboles fixes qui se succèdent sur un mode linéaire. La télévision et le cinéma portent à la foi le mouvement et l'image mais ne sont pas interactifs et surtout ne permettent pas le passage à l'abstraction, le travail sur des concepts. L'ordinateur est un médium de communication capable à la foi de supporter l'image animée et l'interaction mais aussi l'abstraction. L'informatique contemporaine autorise donc la conception d'une écriture dynamique. Les caractères de cette écriture ne signifieraient pas seulement par leur forme ou leur disposition mais aussi par leur mouvement et leur métamorphose.

Le texte est divisé en trois parties. Dans la première partie, Lévy tente de clarifier le statut sémiologique de l'idéographie dynamique et de montrer que celle-ci constitue un vrai langage. Une deuxième partie traite de l'articulation entre l'idéographie dynamique et le système cognitif humain (rôle de l'imagination et des modèles mentaux dans le fonctionnement de l'intelligence et rôle de l'ordinateurs en tant que support de technologie intellectuelle). La troisième partie donne quelques indications sur l'implémentation informatique de l'idéographie dynamique. [cette dernière partie n'est pas reprise dans le résumé]



Ire PARTIE :
L'IDÉOGRAPHIE COMME LANGAGE



1. L'autre de la langue

Selon Jaron Lanier, la communication doit être rapportée à ses conditions physiques d'exercice. Notre langue, et à un moindre degré notre corps, sont les rares parties du monde physique que nous pouvons mouvoir assez vite pour qu'elles tiennent lieu de moyens de communication. Le langage a été adopté par l'homme à cause de contraintes physiques mais ce n'est pas le moyen de communication idéal. Le langage est limité, on ne peut s'en servir pour agir directement sur la réalité; il ne peut que suggérer. Plus la part du monde sensible que nous modifions est large, plus la communication est importante. La réalité virtuelle est un milieu de communication parfait puisqu'elle permet de contrôler la totalité du monde sensible du récepteur du message. Dans la réalité virtuelle, on peut créer un monde et le partager avec d'autres gens. Plutôt que de décrire quelque chose à un partenaire, on lui procure une expérience sensorielle. Lorsque les contraintes qui ont présidé à l'emploi des langues ont disparu (ce qui est le cas dans la réalité virtuelle), il n'y a plus de raison de l'utiliser comme instrument de communication. Dès lors que l'on dispose de l'équipement technique adéquat, il est donc parfaitement possible de communiquer sans symbole en manipulant directement l'apparence des choses.

Lévy ne partage pas ce point de vue. I°. La communication se définit bien comme un des modes de l'action; mais elle ne se limite à une action sur l'environnement sensoriel. Comme toute action la communication vise a transformer une situation, mais elle se distingue en ce qu'elle vise le plan des représentions. L'action sur l'environnement sensoriel est subordonné à cet objectif principal. Le plan des représentations est plus important que celui de l'expérience sensible car il commande la signification des situations. - II°. La réalité virtuelle repose sur l'utilisation d'un équipement électronique fondé sur le développement de langages formels éminemment symboliques. La communication la plus directe, la moins codée ne peut donc se concevoir sans la maîtrise préalable de d'instrument symbolique. - III°. Les mondes virtuels, même en s'en tenant à l'immédiateté de leur apparence sensible, appartiennent pleinement à l'ordre du signe. Si l'on peut transmettre directement des expériences sensorimotrices de mondes virtuels, il n'est pas possible de communiquer sans intermédiaire, sans traduction des expériences réelle du monde réel. Pour transmettre des intentions, des pensées, des images subjectives, on est toujours obligés de traduire en signe. Si nous pouvions faire partager directement nos expériences, nos intentions, nos émotions et nos idées avec le sens qu'elles ont pour nous, alors nos subjectivités seraient confondues, et ce ne seraient pas seulement les signes qui perdraient leur pertinence, mais la notion même de communication. Un monde virtuel ne possède nullement la nature massive et résistante des choses, que l'ont pourrait opposer au scintillement évanescent du langage. Il est signe lui aussi, un signe englobant et multimodale, un signe enflé à la dimension d'un monde sensible, mais toujours et de part en part un signe. Selon la classification de Peirce, les mondes virtuels seraient autant d'immenses sinsignes indexicaux dicent, des indices ou des icônes géantes s'adressant à tous les sens. Quand au langage, ce système de signe très perfectionné, il sert aussi à penser. L'usage des signes le plus propre à l'homme consiste précisément à envisager des possibles, à imaginer des réalités virtuelles. Dès que l'individu, s'extrayant de son expérience immédiate, se forge des modèles mentaux, il cesse d'être un simple conducteur et s'érige en centre d'indétermination, en source de virtualités ; il a pensé.

La réalité virtuelle n'est que le dernier en date d'une longue lignée d'utopies sémiotiques visant une communication transparente, sans brouillage ni reste. Il s'agit de court-circuiter les langues naturelles, perçues comme obstacles, médias déformants ou canaux insuffisants, pour constituer un langage absolu. Une des plus belles utopies sémiotiques est la Caractéristique Universelle de Leibniz (projet d'une écriture indépendante de la langue inspirée de la graphie chinoise où chaque caractère représenterait une idée simple et leur combinaison des idées complexes, connotation mathématique).

Mais un langage absolu est impossible. (a) La vie mentale est déjà elle-même de part en part sémiosis, vie des signes. La chose à exprimer est toujours déjà traduite en signes, mêlée aux langages, mise en scène, figurée par des icônes. La déformation ou la formation par les signes est la condition même de l'existence pensante, elle est originelle. - (b) Le langage absolu fait abstraction de l'inéluctable dimension pragmatique et interprétative de la communication. Le sens des messages que porte le langage n'est que le produit de l'activité herméneutique des destinataires. Il n'est pas immanent au message mais à une situation de communication qui excède largement la maîtrise du langage proprement dit.

Langages informatiques, cinéma et ID sont parmi les écritures, des écritures pures (cad des systèmes d'inscription autonomes vis-à-vis des langues). Elles sont en plus toutes les trois cinétiques. L'ID est un langage iconique tendant asymptotiquement vers la langue.



2. L'idéographie dynamique et les langages informatiques

Les langages informatiques sont les héritiers de travaux bien antérieurs à l'apparition des ordinateurs; la recherche sur les écritures formelles d'aide au raisonnement remonte aux Moyen-âge (R. Lulle, Leibniz, Frege). Il s'agit de système formels de la logique mathématique indépendants du langage naturel phonétique, grâce auquel on peut calculer la vérité de propositions. Elle est marquée par un idéal d'automatisme dans le raisonnement (systèmes formels en forme de machine écriture - cf. Turing). Les langages de programmation se sont développés dans le prolongement de ces écritures-machine. Un courant important de la linguistique a pensé la langue en s'inspirant des machines syntaxiques de la logique mathématique informatique, entraînant une certaine confusion (cf. Chomsky - identification partielle des langues naturelles aux systèmes formels).

Voici la principales thèses sur la langue (signification, cognition, ...) de ce courant : (a) Autonomie formelle de la syntaxe par rapport aux autres dimensions des langues, indépendamment de toute signification sémantique. - (b) Autonomie cognitive de la langue: production et décodage linguistiques indépendant de la conceptualisation (comme dans les ordinateurs); séparation de la sémantique et de la pragmatique. - (c) Existence d'un nombre fini de primitives universelles (concepts, axiomes, règles d'écriture) à partir desquelles il serait possible de tout représenter (idée constructiviste d'une capacité générative). C'est la thèse de la compositionnalité, à savoir que toute signification est le produit de la composition de ses primitives.

En conclusion, (1) il n'y a pas de langue figurative et (2) on invente a priori et arbitrairement autant de langues que l'on veut.

Dans le paradigme logiciste, on modèle les théories cognitives linguistiques sur les technologies intellectuelles que sont les écritures formelles. Lévy propose de faire l'inverse : concevoir des technologies intellectuelles à partir de ce que nous ont appris les recherches empiriques sur la langue et la cognition. Car les thèses exposées plus haut ne s'appliquent pas du tout aux langue naturelles, ni aux processus réels de construction et d'interprétation du sens.

Ainsi, Langacker caractérise une langue comme suit. (a) Dans une langue naturelle, il n'y a pas d'autonomie formelle de la syntaxe. La grammaire possède une dimension sémantique intrinsèque, accent cognitif. - (b) Le sens d'un énoncé s'identifie aux processus cognitifs d'interprétation de cet énoncé, et non à ses conditions de vérité. Dès que la reproduction et l'appréhension de significations entre en jeu, il n'y a plus d'autonomie cognitive de langue (=> idée d'un continuum entre grammaire et pragmatique). - (c) Chaque domaine de connaissance, chaque "monde" empirique suppose un découpage conceptuel différent et donc des primitives sémantiques différentes. Il n'y a ni alphabet primitif du sens, ni stricte compositionnalité de la signification.

"Un instrument de communication et de représentation symbolique dont la grammaire ferait sens, qui ferait appel aux expériences sensorielles et sociales de ses utilisateurs et qui ne se réduirait pas à la combinaison de concepts ou d'unités sémantiques élémentaires (mais qui permettrait au contraire d'engendrer indéfiniment de nouveaux concepts) serait un langage tendant vers la richesse et la souplesse des langues. C'est précisément le programme de l'idéographie dynamique." [p. 37]

Dans l'ID, le mouvement serait la syntaxe et la reconnaissance de l'idéogramme la dimension lexicale. Un langage d'image comme l'idéographie dynamique ne connaîtrait donc pas de séparation radicale entre la syntaxe et la sémantique. l'ID a pour ambition de traduire autant que possible l'imagerie mentale et de fournir un outil de conceptualisation. Elle doit permettre une interaction sensorimotrice avec les modèles qu'elle représente. L'idéographie dynamique n'est pas un langage autonome construit a priori, indépendant des domaines de connaissances et des modes de conceptualisation "régionals". Les répertoires d'idéogramme résulteront d'une ingénierie des connaissance cad d'une étude empirique des concepts et modes de pensée de groupes restreints.

Il y a plusieurs sortes d'écritures pures. Pour l'instant l'informatique n'a emprunté que la voie logico-syntaxique qui est essentiellement de nature opératoire. Si la lettre code le son, le bit code l'action. Le logiciel est une écriture au deuxième degré puisqu'il a pour objet de déclencher et commander l'écriture. D'où ce caractère circulaire des écritures machines qui par certains aspects se rapproche du fonctionnement de la pensée. L'informatique est une écriture mise en mouvement, une formalisation du mouvement même de l'écriture. Les écritures machines en général ne sont déployés que dans l'ordre du performatif, du génératif, de l'opératoire (écriture opérative). Il reste à développer l'autre face de l'écriture en mouvement, son coté expressif, représentatif (écriture expressive). L'écriture pure de l'intelligence artificielle n'a construit que des représentations internes à l'ordinateur, destinées seulement à la lecture et au traitement d'un automate. L'utilisateur humain final n'est jamais en contact sur l'écran qu'avec des symboles alphanumériques cad avec des systèmes sémiotiques d'avant l'ordinateur. Jusqu'à maintenant, les ordinateurs étaient pour leurs utilisateurs le support efficace d'ancienne technologie intellectuelle. Mais le support informatique peut permettre d'innover sur l'autre versant des écritures pures : leur face expressive.



3. L'idéographie dynamique et le cinéma

Lévy pose trois questions. (1) Existe-t-il l'équivalent d'une deuxième articulation au cinéma et dans l'idéographie dynamique ? - (2) Y a-t-il une unité correspondant au mot dans les deux langages précités ? - (3) Qu'est-ce qui distingue l'animation de l'image cinématographique du dynamisme de notre idéographie ? Lévy se base essentiellement sur les travaux de Ch. Metz (Essai sur la signification au cinéma, 1968) pour étayer ici son propos.

I. Le cinéma ne connaît pas l'équivalent des phonèmes. Tous les éléments de l'image cinématographique renvoient à un signifié. L'ID est presque dans le même rapport avec la langue que le cinéma. Tous les éléments d'un idéogramme sont signifiants. Lorsqu'a force d'analyse, on arriverait à quelque item insignifiant, ce ne serait pas l'élément d'un système, mais un ensemble quelconque de pixels. L'absence de la deuxième articulation au cinéma et dans l'idéographie dynamique renvoie ultimement à la nature fondamentalement indicielle de l'un et iconique de l'autre (cfr. Bougnoux, La communication par la bande). Quant à la double articulation des langues phonétiques, elle s'accorde avec la relation symbolique (au sens de Peirce) du signe linguistique avec son objet.

II. Il n'y pas dans un film d'entité correspondant au mot. L'image montre-t-elle un cheval ? C'est alors l'équivalent de la phrase "Voici un cheval". L'image cinématographique est parole, discours ou texte, elle n'est jamais unité de langue. Comportant intrinsèquement la dimension de la durée, l'image cinématographique rapporte nécessairement une action à un état ; il n'y pas d'image filmée que ne soit déjà "scène", et donc au moins "phrase". Le cinéma ne dispose pas de rhèmes (termes), les signes cinématographiques étant toujours au moins déjà des dicisignes (l'équivalent de propositions). Les unités discrètes ne préexistent pas au discours. On ne trouve jamais deux images identiques. Si les images des films étaient des mots, elles seraient toutes des hapax (caractère de token).

Contrairement au cinéma, l'ID connaît des termes équivalents aux mots: ce sont les idéogrammes. Une actilogie (séquence présentant l'interaction d'idéogrammes-acteurs) offre à son explorateur une image animée. Mais les scènes présentées par l'actilogie ne sont pas prélevées sur un continuum optique, elles ont été composées à partir des unités préexistantes. Étant dynamique, un idéogramme n'est certes pas identique d'un emploi à l'autre, comme le serait un caractère d'imprimerie, mais l'ensemble des variations de son aspect est cependant strictement déterminé.

Étant donné que l'axe paradigmatique (axe de la combinaison) comprend notamment le système des unités de la première articulation, et que le langage cinématographique ne posséde pas de telles unités, on peut en déduire que son axe paradigmatique sera moins marqué que celui des langues. Metz souligne que le paradigme d'image au cinéma est fragile, approximatif, modifiable, contournable. L'image ne renvoie pas à des catégories, à des concepts, mais toujours à des individus, à des moments singuliers. Étant index mobile, l'image cinématographique est nominaliste. Or les structures qui fondent l'axe paradigmatique n'apparaissent qu'au niveau des catégories, des genres ou des concepts.

L'activité intellectuelle est tissée d'un va-et-vient permanent entre la généralisation (pôle conceptuel) et le récit (pôle narratif), entre le concept et l'enchaînement singulier des faits, entre la diachronie et la classification, entre la dialectique et le diagramme ; bref entre l'espace potentiel du paradigme (axe de la sélection) et le temps du syntagme (axe de la combinaison). Or le langage cinématographique n'offre d'accès qu'à un seul des deux pôles de la pensée et de la communication. L'ID, en revanche, peut projeter des récits en images, mais elle est encore structurée par un axe paradigmatique fort. La langue s'étend sur trois étages : phonème, morphème (renvoyant éventuellement au concept), texte. Le cinéma se déploie tout entier sur le seul plan de la proposition ou du discours. Tout en étant comme le cinéma un langage d'images, l'ID permet en plus, comme la langue, l'articulation des concepts.

Dès que l'on passe de l'analyse du langage cinématographique à celle des films réels, le paysage se transforme du tout au tout. D'abord, la parole, et le son ajoutent une dimension importante. D'autre part, l'image indicielle du cinéma peut montrer ou rapporter les signes symboliques ou iconique les plus divers. Cela fait du cinéma une machine sémiotique d'une extrême richesse. Toute la richesse du cinéma est récupéré par l'idéographie dynamique, l'interactivité en plus.

III. Le cinéma et l'ID sont tous deux des écritures cinétiques. Mais leur mouvement respectifs présentent de profondes différences. Le film est l'image enregistrée d'un mouvement passé. Il n'offre pas la vision d'une action en train de se faire, encore ouverte à toutes ses virtualités. Les scénarii interactifs ne changent que très peu de chose à l'impuissance du spectateur. On s'y déplace, comme dans un labyrinthe. Avec l'ID, en revanche, on est plus pris dans le labyrinthe, on en dessine le plan. Le générateur d'idéogrammes permet de fabriquer des acteurs ou de préciser leur rôle. Le film interactif se contentait d'offrir un répertoire de paragraphes, l'ID offre un traitement de texte complet.

Le cinéma est un moyen d'expression et non un instrument de dialogue. Il permet de faire des oeuvres, non de débattre pied à pied de la validation d'un modèle ou de la pertinence d'une représentation. En revanche, l'actilogie dans l'ID est toujours modifiable, perpétuellement à remettre en scène. L'action qu'elle présente est en train de se faire, et non définitivement enregistrée.

L'idéographie dynamique propose une image "plus interactive" que le cinéma. On l'explore sur un mode hypertextuel au lieu de suivre une séquence. Mais l'essentiel n'est pas là, il est dans la coprésence dialectique permanente de l'image à l'écran et de la caméra idéale que forment le générateur d'idéogrammes et le metteur en scène. Ce n'est pas l'image comme un tout qui se "déroule" : chaque idéogramme-acteur réagit aux autres idéogrammes et aux sollicitations de l'explorateur de manière autonome. Les élément de l'image bougent pour leur propre compte.

Le cinéma enregistre, monte et restitue un flux optique tandis que l'idéographie dynamique est une écriture dont les symboles mêmes sont des acteurs animés. Ce serait donc à bon droit qu'on appellerait l'idéographie dynamique, plutôt que le cinéma, une cinémato-graphie.

Contrairement à la plupart des hyperdocuments, l'idéographie ne se contente pas d'offrir à l'explorateur un parcours dans un réseau organisé par d'autres, elles fournit aussi les moyens de répondre par le même médium, exactement comme on répond verbalement à qui vous adresse la parole.

Le mouvement génératif du logiciel opère, commande, dispose, efface, inscrit de manière interactive, mais il ne figure pas en tant que tel. Le mouvement propre des langages informatiques ne fait pas signe pour l'utilisateur humain mais seulement pour l'automate. L'animation des images de cinéma est, elle, parfaitement figurative, mais n'étant qu'une animation enregistrée, elle est dépourvue de dynamisme, au sens étymologique de réserve de virtualités. L'idéographie que Lévy propose est la seule écriture pure dont le mouvement soit à la foi figuratif et dynamique.



4. Grammaire et iconnicité

Comment concevoir la grammaire d'un langage d'image ? Selon Metz, il semble que le cinéma soit dépourvu de grammaire ou, s'il en a une, que ce ne soit pas du tout à la manière des langues. La reconnaissance de la structure grammaticale d'une phrase nous aide incontestablement à la comprendre. Or, à l'inverse, ce serait plutôt parce qu'on a saisi un film que l'on en décode la syntaxe. Dans les films, il y a des codes (culturels par exemple) mais ils sont beaucoup plus lâches que les codes linguistiques. Il y aurait une rhétorique du cinéma, des genres de films, des conventions (historiques, en évolution permanente) du discours cinématographique, mais pas de syntaxe à proprement parler. La syntaxe gouverne l'ordre des mots ; le cinéma n'ayant pas de mot, il est donc impossible qu'il en soit pourvu. Si le cinéma n'a pas besoin de grammaire, c'est parce que la fonction de la grammaire, qui est d'articuler des propositions, est toujours déjà parfaitement remplie par le langage cinématographique, et cela sans qu'il soit besoin de faire appel à l'appareillage auxiliaire d'un code. La syntaxe sert à construire le discours, or l'image cinématographique est d'emblée proposition ou discours. (cfr. supra).

Mais, les langues, elles, ont besoin d'une syntaxe parce qu'elles ne travaillent qu'à partir d'éléments symboliques. Venant combler un déficit iconique, la grammaire leur ajoute la dimension de l'image, elle permet aux mots de représenter des scènes. La grammaire est le tropisme de la langue vers le cinéma. Pour avancer ceci, Lévy s'appuie sur les travaux de Langacker. Pour cet auteur, la signification d'un énoncé linguistique ne s'identifie pas à ses conditions de vérité mais au processus cognitif réel nécessaire à sa compréhension ou à sa formulation. La syntaxe ne serait pas un aspect algorithico-formel du langage, coupé de la sémantique, ce serait au contraire un des médias de symbolisation que les langues mettent à notre disposition, au même titre par exemple que le lexique (la grammaire peut être vue comme un répertoire de motifs iconiques).

Lévy reformule la proposition de Langacker : la grammaire est fondamentalement de l'ordre du signe, et plus particulièrement du signe iconique (l'iconisme implique isomorphie entre la forme de l'expression et la forme du contenu). Par exemple dans presque toute les langues du monde, le sujet est avant le complément d'objet. Par delà leur aspect conventionnel, les grammaires ont une fonction iconicisante : c'est grâce à la grammaire qu'une suite de mots fait image.

Il devrait donc être possible, selon Langacker, de traduire toute grammaire en un ensemble de procédés de mise en scène visuelle. Utiliser une construction grammaticale donnée, ce serait sélectionner une image particulière pour modéliser une situation. C'est pourquoi la grammaire peut être considérée comme un répertoire de schémas et de motifs symboliques, de pattern (routines cognitives). "La lampe au dessus de la table," "la table sous la lampe", "la table est sous la lampe" : ces trois expressions désignent exactement le même état de chose, mais elles ne correspondent pas à la même imagerie mentale, au même processus cognitif d'interprétation.

L'ID est plus proche du symbole que ne l'est l'image enregistrée du cinéma. Elle composée d'unités discrètes. Cependant, l'ID n'est pas autant débarrassée du grammatical que le cinéma. Mais peut-on concevoir une grammaire qui ne se déploie pas uniquement dans le temps, ou dans la linéarité de l'écriture alphabétique, mais plutôt dans un espace à trois, quatre, ou n dimensions ? Lévy pose la question de la grammaticalisation de l'espace et du mouvement. Il est difficile d'imaginer ce que peut être une grammaire spatiale et cinématique. Or la grammaire de la langue des signes est précisément de ce type. Le concept de grammaire spatiale a été énoncé pour la première fois par Klima et Belluigi (The signs of language, 1979). Qu'est ce qu'une grammaire spatiale ? "Tout ce qui se déroule linéairement, séquenciellement et temporellement dans le langage parlé devient, dans les Signes, simultané, concurrent et multi-stratifié" (Sacks O., Des yeux pour entendre, voyage au pays des sourds, 1990). "Le récit n'est plus linéaire et prosaïque. Le discours y est très découpé, passe sans cesse de la vue normale au gros plan, puis au plan d'ensemble et de nouveau au gros plan, en incluant même des scènes de zoom arrière et avant, exactement comme travaille un monteur de film" (Stokoe W. C., Syntactic Dimensionality : Language in Four Dimensions, 1979). Ceci conforte la conception cinématographique de la grammaire défendue ici. L'idéographie dynamique aura beaucoup à apprendre de la linguistique des signes.

Lévy conçoit la grammaire de l'ID comme un répertoire systématique des différents procédés disponibles pour mettre en scène un même modèle fondamental. Une construction grammaticale décide de la saillance relative et de l'ordre d'apparition des sous-structures. Les jugements sur les phrases bien ou mal formulées reposent en fait sur l'interaction plus ou moins harmonieuse et la compatibilité des traits figuratifs et des images. Cependant, l'ID ne doit pas tourner au système formel à syntaxe rigide. Un véritable langage d'images doit être naturel, c'est-à-dire proche du processus cognitif réel. Aucune expression ne sera donc interdite. Les règles grammaticales pourraient être mises à l'épreuve par des fonctions de test pour vérifier la cohérence cognitive des modèles.

Il est impossible de séparer un concept quelconque de son contexte ou de son domaine cognitif. Un domaine est un espace de représentation ou un "champ de potentiel" conceptuel, qui devrait toujours (moyennant codage) pouvoir se représenter sur un écran. Langacker suppose qu'il existe quelques domaines fondamentaux, de bas niveau dans la hiérarchie conceptuelle, cognitivement irréductibles (par exemple l'expérience du temps ou l'espace). Mais la plupart des expressions linguistiques correspondent à des niveaux d'organisation conceptuelle plus élevés. Et surtout, la plupart des prédications font appel à plusieurs domaines cognitifs. Dans une occurrence particulière d'un mot, seulement un ou quelque domaines sont véritablement centraux pour l'interprétation d'un énoncé. La centralité d'un domaine peut se définir comme la probabilité de son activation à l'occasion de l'interprétation d'une expression. Ce qui est spécifié dans un domaine peut être utilisé dans d'autres. Les domaines qui entrent en jeu pour l'interprétation d'une expression sont reliés les uns aux autres, interdépendants. On peut donc parler d'une structure hypertextuelle ou hyperspatiale du sens (hyperespace conceptuel).

En ce qui concerne l'idéographie dynamique, cela signifie qu'un domaine de connaissance au sens large se déploiera nécessairement dans un ou plusieurs domaine cognitifs reliés les uns aux autres. Il faudra donc prévoir des outils de construction de matrice complexes. Pour limiter l'explosion hypertextuelles, l'ingénierie de la connaissance s'attachera à déterminer les espaces de représentation centraux d'un domaine de connaissance. Il faudra aussi doter le logiciel d'outils de déplacement dans l'hyperespace conceptuel et des instruments de zoom avant et arrière. Les idéogrammes ne pourront évidemment interagir que s'ils se trouvent dans le même espace cognitif et à la même échelle.

L'objectif n'est pas de créer un succédané visuel de la langue phonétique. Mais il n'est pas inutile de proposer la correspondance entre les catégories grammaticales dans le langage phonétique et leur équivalent dans l'idéographie dynamique, afin de mettre en évidence certaines équivalences cognitives.

-Le nom désigne une chose dans un domaine. Dans l'ID, il correspondrait à un idéogramme et à certains aspects de son champ d'action

-Les expressions relationnelles, en général, déclenchent l'image d'interconnexion entre entités. Langacker définit l'interconnexion comme une opération cognitive évaluant la position relative d'entités. Il y a quatre types fondamentaux de relation : l'inclusion, la coïncidence, la séparation et la proximité.

- Les relations atemporelles (adjectifs, adverbes prépositions) auraient comme traduction l'aspect statique des relations entres idéogrammes et champ d'action (couleur, taille, etc..).

- Les relation temporelles (les verbes) "animent" la représentation suggérée par la proposition. Une phrase correcte suscite donc toujours chez son interprète la figuration d'"un processus", une image dynamique, un "film".

- Pour le rapport sujet-objet, la détermination des idéogrammes et des champs d'action qui bougent, par opposition à ceux qui restent immobiles, correspond au choix du terme sujet et du terme objet dans une phrase. Selon Langacker, tous les noms se traduisent d'un point de vue cognitif par la délimitation d'une région dans un domaine. On remarquera que les opérations cognitives de base déclenchées par l'occurrence de catégories grammaticales dans le discours peuvent se traduire par des schèmes spatiaux et topologiques. Les travaux de Langacker rejoignent ceux de René Thom selon qui tout domaine de connaissance (ou ontologie intelligible) peut se représenter sous la forme de saillances (occupant une régions de l'espace) et de prégnances (flux ou messages émis et captés par des saillances).



5. L'idéographie dynamique et la langue

Il y a une tension de l'écriture à s'émanciper de la langue phonétique pour constituer un langage visuel autonome, une idéographie. Même la calligraphie arabe a exalté la forme et le rythme visuel. L'hypothèse de Lévy est que l'idéographie n'a jamais accédé à sa pleine dimension parce qu'il lui manquait le mouvement, le dynamisme qui est demeuré le privilège de la parole. Un énoncé dans l'ID ne transcrit pas une phrase d'une langue phonétique, il traduit, par la médiation de l'image et du mouvement, un modèle mental. L'ID serait la première écriture à être en même temps, et au sens plein du terme, une langue.

Lévy pose également la question du rapport entre la langue et le corps. Les animaux, dont l'homme, sont plus sensibles aux sons produits par des représentants de leur espèce qu'aux vocalisations des autres êtres vivants. Ils "se représentent mentalement le stimulus [émis par leurs congénères] comme le geste articulatoire qui sert précisément à le produire, alors qu'ils se représenteraient les autres sons de façon simplement acoustique" (Mehler J., Dupoux E., Naître humain). Pour qu'une écriture deviennent un mode de communication aussi naturel que le sont les langues, il faudrait qu'elle soit autant enracinée dans l'expérience corporelle que la parole ou les signes. Or, il semble douteux que l'écriture puisse être jamais en contact aussi direct avec le noyau de spontanéité sensorimotirce qui rend l'expression et la compréhension linguistique si consubstantielles à l'homme. L'écriture est évidemment moins "incarnée" que la langue. D'où le plus grand pouvoir expressif de la calligraphie manuelle, où subsiste le geste. L'idéographie dynamique se rapprochera de la langue dans la mesure où elle aura acquis un caractère d'immédiateté sensorimotrice. L'explorateur devra pouvoir se projeter corporellement dans les mouvements des idéogrammes. C'est moins l'articulation logico grammatical de l'idéographie dynamique qui la séparerait d'une langue que son aspect désincarné, son interface écran (d'où le bénéfice que l'on pourrait retiré d'utilisation par gestes, d'écrans virtuels commandés par le mouvement des yeux). La lecture et l'écriture ont acquis un caractère de seconde nature alors même qu'elles ne sont nullement codées dans le patrimoine génétique humain. On ne peut pas exclure a priori qu'il puisse se construire de nouvelles et très étroites imbrications entre les systèmes cognitifs humains et des systèmes sémiotiques d'origine culturelle comme l'I.D.

L'hémisphère gauche (plus particulièrement l'ère de Broca) joue le rôle le plus important dans le décodages des énoncés linguistiques. Or, la reconnaissance de la configuration spatiale est plutôt traitée par l'hémisphère droit. Puisque l'ID est un langage de formes visuelles en mouvement, il semble que son usage doive relever principalement de l'activité de l'hémisphère droit et, dans ce cas, ne serait pas une vraie langue, tout au moins au sens neurologique du terme. Mais, de récentes recherches montrent qu'une langue d'images ne serait pas nécessairement traitée par le cerveau droit. L'hémisphère gauche est aussi essentiel aux signes. L'usage des signes implique les mêmes canaux neuronaux que ceux de la parole, plus les voies neuronales associées au traitement des informations visuelles. Cela laisse supposer que notre système cognitif gère au moins deux espaces : un espace perceptif, sensorimoteur, commun à tout le monde et un autre espace, sémiotique, formel ou linguistique. Ce second espace reste en sommeil chez la plupart d'entre nous, mais il est activé et développé pleinement par les signeurs. Une langue peut être visuelle et spatiale plutôt que linéaire et sonore. Loin de leur faire tourner le dos à la langue, l'ID pourrait permettre à ses utilisateurs de développer l'autre dimension de la langue.





IIe PARTIE
L'IDÉOGRAPHIE DYNAMIQUE COMME TECHNOLOGIE INTELLECTUELLE



6. Les signes et la pensée

Les langages, et au premier chef les langues sont des technologies intellectuelles. Ceci a été mis en évidence par l'observation de sourds qui n'ont eu accès ni à la langue phonétique ni à celle des Signes. Lorsqu'on ne dispose pas du secours d'une langue pour penser, on ne peut avoir aucune notion de ce qu'est une question, la perception du temps est extrêmement brumeuse, et en général on a peu accès aux univers purement symbolique.

Cela signifie-t-il que la pensée ne commence qu'avec la langue ? Le comportement des animaux et des très jeunes enfants manifeste cependant une certaine forme d'activité intellectuelle. Vygotsky (Pensée et langage, 1935) a soutenu que la pensée et la langue avaient des origines distinctes. Seule l'espèce humaine internalise des systèmes de communication pour en faire des instruments de pensée. Il existe donc une pensée sans langue, mais cette pensée n'est pas pour autant dépourvue de signes. Ce sont les images mentales. Les cartes cognitives des animaux correspondent plutôt à des modèles mentaux ou à des complexes de concepts/percepts qu'à des images. Ces cartes ont un certain degré d'abstraction. Toutefois, les modèles mentaux des animaux ont des limites. Ils ne vont pas jusqu'au montage d'interface ou des systèmes de traduction réciproques entre modèles mentaux et supports de communication. La pensée des animaux ne se matérialise pas dans autant de corps que le nôtre. Ainsi, les chimpanzé aiment peindre, mais ils ne se servent jamais de la peinture pour représenter quoique ce soit. Ils ne parviennent pas à réinterpréter la peinture comme un support de signes aptes à traduire leurs images mentales. Cela peut s'expliquer de diverses manières. Peut-être les perceptions visuelles des singes ne donnent-elles pas lieu à des images mentales aussi prégnantes et persistantes que chez les humains, d'où une faible propension à extérioriser ces images. En admettant que les singes aient des images mentales aussi vives que les nôtres, peut être ne peuvent-ils pas jouer avec elles, les manipuler avec assez d'aisance pour les traduire en signes extériorisés. Les singes ne parviennent pas à combiner de nouvelles images mentales à partir d'éléments d'origine perceptuelle puisés dans leur mémoire à long terme.

Ce n'est donc pas l'emploi de la langue, mais la variété et l'intensité de l'usage des signes qui distinguent la pensée de la non-pensée. Dans Les technologies de l'intelligence, Lévy montrait que chaque nouveau système sémiotique ouvrait de nouvelles avenues à la pensée, de nouveaux espaces cognitifs inconnus jusqu'alors.



7. L'imagination

La tendance qui, depuis les années quarante, porte à étudier le cerveau suivant des métaphores informatiques n'est pas une nouveauté absolue (cfr. la logique : simple technologie intellectuelle, elle finit par devenir le parangon d'une pensée rigoureuse, et la tradition philosophique l'identifie à la raison). Cette tendance s'inscrit dans une structure très ancienne décomposable en 4 opérations simultanées : (1) découpage-sémiotisation de certaines dimensions des processus psychiques - (2) couplage des processus ainsi réifiés avec des systèmes de signes matériels "extérieurs" - (3) retour transformateur de l'artifice sur les représentations qu'une culture se fait de leur corrélât naturel - (4) modification réelle des processus psychiques.

Lévy restreint sont propos à la modélisation et à la simulation sur ordinateur. L'usage croissant des ces techniques pourrait contribuer à redéfinir notre appréhension de l'imagination. L'ordinateur nous permet de manipuler et de simuler des modèles bien plus facilement que si nous étions limités aux faibles capacités de notre mémoire à court terme. De ce fait la simulation est bien une aide à l'imagination. Or, selon le mouvement d'aliénation des fonctions psychiques dans leur instruments, il s'ensuit une tendance à considérer l'imagination elle-même comme une faculté de simulation de modèles. Ce faisant, on modularise l'imagination, on l'isole des autres fonctions psychiques, on la transforme en objet réel, alors qu'elle n'est qu'une dimension d'analyse des processus cognitifs. Les modèles mentaux apparaissent comme des entités stables et bien découpées, quoiqu'ils renvoient vraisemblablement à une réalité distribuée, hétérogène et plus proche de l'attracteur instable ou du processus fluide. L'ID n'est donc pas conçue comme une pure et simple projection de l'imaginaire. Elle réifiera les quasi-objets indéterminés de l'imagination, elle fabriquera des signes destinés à être introjectés et repris par l'activité imaginante. Toutefois dans la suite de ce texte, Lévy décide de parler de l'imagination "comme si" elle était "réellement" une activité de production de modèle mentaux, alors qu'elle ne l'est que partiellement.

Les représentations mentales. Chacun de nous se fait des représentation internes sur un mode schématique ou imagé. L'idéographie dynamique fournit des analogues externes des ces représentations internes pour certain domaines de connaissance. N'étant pas contraint par les ressources limitées de la "mémoire de travail" biologique, ces analogues externes peuvent être beaucoup plus complexes et maintenus plus longtemps sans effort dans le champs de l'attention.

On distingue trois formes de représentation : les représentations propositionnelles, les modèles mentaux et les images. 1) Les représentations propositionnelles sont les représentations linguistiques. - 2) Les modèles mentaux sont des analogues structurels du monde. Un modèle mental est un digramme même s'il ne se présente pas comme l'image précise d'un schéma. Il n'est pas nécessairement liés à une seule modalité perceptive. On peut lui donner des traductions visuelles mais aussi tactiles, proprioceptives ou des équivalents sous forme de schèmes moteurs. Selon Philip Jonhnson-Laird (Mental Models), le modèle permet d'inférer directement ou d'"observer". Il permet de donner la bonne réponse simplement en inspectant le modèle. - 3) Les images mentales ont les mêmes propriétés que les images perçues. elles sont le corrélât perceptuel des modèles. Il peut y avoir plusieurs images mentales du même modèle. L'image mentale n'est pas nécessairement "réaliste". Elle peut se contenter d'actualiser seulement les traits figuratifs ou les propriétés physiques nécessaires à l'exécution de la tâche. D'autre part, nombre d'objets abstraits n'ont simplement pas d'image physique (l'éducation nationale, le cash flow, la justice,...). Un logiciel d'imagination assistée par ordinateur devra donc se concentrer sur certains traits figuratifs pertinents des domaines de connaissances en cause plutôt que sur une simulation réaliste. L'image mentale ne peut être cantonnée au rôle d'une simple réplique de la perception. Permettant de faire synthétiquement un matériel complexe et de se référer à des objets absents, elle joue une fonction sémiotique. Cfr. Paivo (Imagery and Verbal Processes, 1971) : les systèmes de codage linguistiques et visuels ont autant d'importance l'un que l'autre dans l'organisation de notre mémoire à long terme et ils remplissent des fonctions analogues - cfr. déjà Sartre (L'imaginaire, 1940) "L'image n'est ni une illustration ni un support de la pensée, mais [...] elle est elle même pensée et [...] à ce titre elle comprend un savoir, des intentions".

Il importe de ne pas confondre image et modèle mental. Une image est une "vue" du modèle. Les images ne représentent que les traits perceptibles et transitoires des modèles. Dans l'ID, un modèle correspond à une ensemble structuré d'idéogrammes (un répertoire), cad une collection d'objets. Une image est-ce que l'on voit à l'écran. Explorer un modèle, c'est décliner les images et les enchaînements d'images qui expriment un répertoire d'idéogrammes. Le modèle correspond donc à un niveau plus fondamental. Les outils pour passer d'une image à l'autre du même modèle ne sont pas les mêmes que ceux qui servent à passer d'un modèle à l'autre.

L'ID ayant résolument opté pour les modèles et les images, il importe de repérer ce qui les distinguent des représentations propositionnelles :

I°. Analogique/numérique : les représentations propositionnelles sont discontinues (cfr. Fodor). Elles résultent de la combinaisons d'unités discrètes, sans isomorphie avec ce qu'elles désignent. Les imageries mentales présentent, par contre, un isomorphisme avec les images directement suscitées par la perception (et les représentions perceptives présentent à leur tour un isomorphisme avec les objets eux-mêmes). Notons qu'une représentation analogique peut avoir une composante conventionnelle très importante (cfr. les signes d'une carte routière).

II°. Spécifique/général : contrairement aux représentations propositionnelles qui peuvent facilement désigner un concept, les images et modèles sont hautement spécifiques. On ne peut pas se former une image d'un triangle en général, mais seulement celle d'un triangle particulier. L'inconvénient des représentations analogiques est leur difficulté à représenter le général. Mais il est possible d'utiliser des modèles ou des images spécifiques comme représentant prototypique d'une classe, ou encore des idéogrammes mettant en valeur un trait saillant appartenant à tous les éléments de la classe (métonymie).

Le rappel mnémonique d'un modèle ou d'une image est en général plus aisé que celui d'une proposition. On retient mieux les modèles parce qu'il sont plus structurés, plus élaborés que les représentations linguistiques. Ils demandent une activité cognitive plus intense. Celui qui construit ou modifie explicitement un modèle au moyen de l'ID a fait preuve d'une activité cognitive non négligeable ; d'autre part, celui qui explore le modèle reçu est également dans une position active. Paivo (Imagery and Verbal Processes) a mis en évidence le rapport entre les performances mnémoniques et l'image. La valeur d'imagerie des mots a de puissant effets mnémotechniques. En associant des images à des concepts, l'ID fonctionnera comme mnémotechnique.

Un exemple : une carte est un modèle analogique d'un territoire, combiné avec des signes de type digital. La carte devient véritable technologie intellectuelle dès le moment où, indépendamment de sa présence concrète, son image mentale est utilisée par un individu pour évaluer la distance entre deux points d'un territoire ou pour établir une stratégie quelconque. Même quand elle n'est physiquement plus là, la carte est devenue un élément essentiel de l'outillage mental d'un sujet cognitif. L'ambition de Lévy est de faire de l'ID une technologie intellectuelle du même type que la carte. L'idéographie doit pouvoir servir de base à une représentation mentale figurative et dynamique. L'ID aurait donc deux fonctions dialectiquement liées : (1) traduire visuellement des modèles "préexistants" - (2) servir de point d'appui à de nouveaux types de représentations mentales et de raisonnements sur ces représentations. Il s'agit dans ce cas de fournir de nouveaux signes à l'activité mentale.



8. Raisonnement

Plusieurs travaux de sciences cognitives ont montré que le raisonnement spontané des êtres humains a peu de chose à voir avec la mise en oeuvre des règles d'inférence logiques formelles classiques. Les principes formels généraux ont beaucoup moins d'importance pour la pensée intelligente que la pragmatique de la communication en situation et les structures de connaissances spécifiques (les modèles mentaux). Selon la théorie de Jonhnson-Laird : a) A partir de prémisses (données sur un mode propositionnel) et de nos connaissances générales du domaine, nous construisons un modèle mental (interprétation des prémisses) - b) l'exploration de modèle nous conduit à une conclusion provisoire. - c) Nous cherchons ensuite systématiquement les interprétations des prémisses (modèle mentaux alternatifs) qui contrediraient cette conclusion pour vérifier si la conclusion est valide. - d) si l'on trouve un exemple qui invalide la conclusion, le cycle recommence avec une autre conclusion provisoire.

La faible capacité de notre mémoire de travail (mémoire à court terme) interdit d'explorer suffisamment longtemps des modèles mentaux trop complexes et d'envisager plusieurs modèles mentaux simultanément. D'autre part, nous n'avons pas de guide pour la recherche systématique de contre-exemple. C'est pour remédier à ces limitations du raisonnement naturel que la logique a été inventée. La logique est en effet elle aussi une technologie intellectuelle. Avec la logique, le raisonneur n'a plus à interpréter les prémisses ; à la limite on est dispensé de "comprendre" (cfr. les ordinateurs "bêtes mais parfaitement logique").

La manipulation de propositions suivant des règles abstraites exerce une très forte pression sur les ressources de la mémoire de travail et même plus forte que celle des modèles et des images. L'image est une forme de représentation mentale économique parce que ses éléments sont organisés en structures fortement intégrées. C'est pourquoi il est plus facile de raisonner à partir de représentations figuratives. Mais dans ce cas, pourquoi utiliser la logique formelle ? Tout simplement parce que la logique, en tant que technologie intellectuelle, est indissociable de l'écriture. Tout raisonnement logique formel un peu long ou complexe suppose l'emploi de signes écrits. D'autre part, la logique offre un mode de raisonnement certain, ce que le raisonnement spontané à partir de l'exploration de modèles alternatifs des prémisses ne fournit pas toujours.

Lévy présente l'ID comme une technologie intellectuelle alternative à la logique. L'informatique autorise un stockage externe des modèles mentaux, mais sans leur faire perdre, comme l'écriture statique, leur caractéristiques essentielles puisqu'il permet le jeu interactif avec des représentations iconiques et dynamiques. Sans toutefois obliger l'esprit à passer par des règles abstraites dont l'application est souvent contre-intuitive (cfr. exemple du modus tollens p. 87). Nous envisageons spontanément plusieurs modèles mentaux de la réalité compatible avec les prémisses. La différence entre un raisonnement formel et un raisonnement spontané est que l'univers du premier se réduit à l'ensemble des prémisses explicites et à ce qui peut en être déduit, tandis que le second fait intervenir toutes la connaissances que nous avons de la situation évoquée par les prémisses explicites et porte donc sur un domaine de connaissance beaucoup plus vaste. L'informatique permet d'envisager des instruments d'aide au raisonnement qui soient plus près du fonctionnement cognitif spontané.

Les outils d'aide à la visualisation de modèless peuvent rendre des services dans les cas où l'on a besoin de raisonner sur des domaines concrets dont les traits pertinents s'inscrivent dans l'espace. Des expériences de psychologie cognitive ont montré que lorsque les données d'un problème sont présentées sous forme figurative, les sujets réussissent à résoudre un plus grand nombre de problèmes que lorsqu'ils sont soumis à une représentation verbale (cfr. Denis M.). L'imagerie mentale intervient aussi dans la résolution de problèmes à données non spatiales. Elle sert alors à représenter de manière symbolique les données abstraites (ex: la durée, les intersections entre classes).

Il n'existe pas qu'une seule rationalité, mais plusieurs normes de raisonnements et procédures de décision, fortement reliées à l'usage de technologies intellectuelles particulières. Il est fort possible que se stabilisent de nouvelles technologies intellectuelles à support informatique qui feraient apparaître "irrationnels", ou du moins très grossiers, des raisonnements utilisants pourtant la logique classique et la théorie des probabilités.

Par ailleurs, Lévy souligne que la logique formelle possède elle aussi une dimension d'ordre iconique ou idéographique. "Dans une formule logique, les signes ne reproduisent pas seulement l'ordre des concepts, mais [...] cet ordre est lui-même visible, repérable comme une forme prégnante" (Eco U., Le Signe, p. 183). Ce ne sont nullement les signes pris individuellement (les cercles, hachures des intersections, ...) qui font images - un concept ou un ensemble ne ressemble pas à des cercles - mais les relations entre les signes, la grammaire qui les organise. Selon Peirce, même les expressions algébriques sont iconiques. Dans l'ID, les symboles élémentaires eux-mêmes y sont des icônes, et non pas seulement la syntaxe qui les organise.

La théorie du raisonnement de Peirce est très proche de celle de Johnson Laird. Là ou le psychologue invoque des modèles mentaux, le philosophe fait appel à des icônes. "Les énoncés abstraits sont sans valeur dans le raisonnement s'ils ne nous aidaient pas à construire des diagrammes" (Peirce, Écrits sur le signe). Selon Peirce, tout raisonnement met en jeu l'inspection d'icônes (= simulation de modèles mentaux). Peirce parle d'une faculté d'observation abstractive. Le raisonnement abductif consiste à faire fonctionner un modèle mental de l'ensemble d'une situation qui soit compatible avec les parties de la situation que l'on peut observer réellement. Lévy fait l'hypothèse que la déduction et l'induction ne sont que des cas particulier ou des éléments partiels d'une activité de raisonnement "complète" définie comme construction, simulation et comparaison de modèles mentaux. La déduction correspond à l'inspection de modèles mentaux statiques. Elle ne s'occupe que de relations entre classes (appartenance, intersection, etc.) à l'exclusion de représentations de processus ou de relations de cause à effet. L'apparition de technologies intellectuelles et de systèmes sémiotiques faisant appel à l'informatique devrait remettre en perspective la déduction et l'induction, qui pourraient alors ne plus apparaître que comme des cas spéciaux de la connaissance par simulation.



9. Communication

Il n'y a de communication véritable que si les interlocuteurs comprennent ou interprètent les énoncés qui leur sont destinés. Comprendre une proposition revient à imaginer à quoi le monde ressemblerait si elle était vraie. Cela revient à établir une correspondance entre des représentations propositionnelles (l'énoncé à interpréter) et des modèles mentaux, éventuellement construits pour l'occasion (le sens de l'énoncé).

La signification n'est pas un texte mental ou existentiel (le signifié) qui redoublerait un signifiant. Chez les anciens Grecs, le symbole était un fragment de poterie qui s'imbriquait dans un autre fragment et permettait ainsi d'identifier les parties d'un contrats, les porteurs d'un message secret, etc. La signification pourrait être pensé à partir de cette métaphore des fragments qui se rejoignent plutôt que selon la conception classique de la traduction. Lévy propose de complexifier cette image initiale en considérant (1) que les êtres symbolisants sont des machines ou des dispositifs plutôt que des objets statiques ; (2) qu'ils ne proviennent pas d'une unité originelle rompue ; (3) que chacun d'eux appelle la construction de l'autre plutôt qu'il ne cherche son correspondant parmi des entités préexistantes.

La signification s'identifierait alors à l'imbrication ou à l'embrayage provisoire de deux ou plusieurs machines sémiotiques hétérogènes et intraduisibles : le texte (au sens large) d'une part, les dispositif qui "symbolisent" avec le texte, d'autre part. L'écriture ne fonctionne que si elle déclenche en nous un ensemble de processus non seulement de décodage, mais encore d'association avec une série indéfinie de messages, de souvenirs, d'habitudes, d'affects, de multiplicités intensives ou de qualités existentielles qui formeront "l'autre fragment". Pour fonctionner, un texte doit embrayer sur des appareils sociaux, cognitifs et autres. c'est cela qui lui fait prendre sens, bien plus que la liste ordonnée qu'il dénote. Les dispositifs qui "symbolisent" avec les textes ont des substances d'expression sans doutes descriptibles mais intraduisibles ou "indicibles" au sens de Wittgenstein (cfr. Lévy, La machine univers, pp. 125-129). Mais l'intraduisible s'il ne peut se dire, peut encore être déclenché, suscité. Des textes, des discours en général embrayent effectivement sur l'indicible, symbolisent avec lui, et c'est pourquoi la communication est possible.

Qu'est-ce que l'interprétation minimale d'énoncés descriptifs ? Selon Johnson-Laird, c'est l'établissement d'un lien entre l'énoncé et un modèle mental de l'état de chose qu'il décrit. Le modèle mental, condensant toute une épaisseur d'expérience et de culture, mobilisé par les simulations qui le figurent, suspendu par son caractère toujours hypothétique, est déjà plus proche de la réalité compliquée du sens que le "signifié" classique de la linguistique structurale. Au fur et à mesure que nous interprétons un discours descriptif, chaque mot, chaque phrase réduit successivement le nombre de modèles mentaux alternatifs compatibles avec ce que nous entendons ou lisons. Des expériences (cfr. Johnson-Laird) ont montré que les sujets construisent un modèle mental à partir de descriptions cohérentes et déterminées de lieux, par exemple, mais abandonnent les modèles spatiaux en faveur d'une représentation verbale superficielle dès qu'ils rencontrent une indétermination de la description. Quand on ne comprend pas bien, on peut encore retenir des phrases. Mais, c'est ne rien comprendre à ce que l'on entend. La compréhension serait donc fondamentalement une affaire de construction et de manipulation interne de modèles mentaux. Penser, ce serait essentiellement "percevoir autrement", envisager la réalité sous un autre angle.

Selon Lévy, le modèles mentaux qui servent de support à la compréhension et à la pensée sont toujours iconiques, mais toutes les icônes (tous les modèles) ne sont pas des images. Peirce distingue 3 types d'icônes mentales : (1) les images qui mettent en jeu des ressemblances qualitatives avec leur objet (par ex. identité de couleur ou de forme) - (2) les diagrammes dont les parties sont entre elles dans les mêmes rapports que les parties de l'objet - (3) les métaphores "qui représentent le caractère représentatif d'un representamen [d'un signe] en représentant son caractère représentatif dans quelque chose d'autre" (Peirce, p. 149). La plupart des gens ont besoin d'exemples et de métaphores pour comprendre une proposition ou un concept abstraits, les seules définitions suffisent rarement. Avec Lakoff et Johnson (Les métaphores de la vie quotidienne), Lévy fait l'hypothèse que les êtres humains ne peuvent véritablement comprendre des concepts et des propositions abstraites qu'en les assimilant métaphoriquement, ou par association à des expériences concrètes. Nous ne comprenons que si, à une extrémité ou à une autre de nos réseaux associatifs et de nos activités élaboratrices, se découvre quelque icône (pas nécessairement une image). Un des objectifs de l'ID est de figurer ou d'iconiser même les idées ou les savoirs les plus abstraits.

Dans l'ID, la compréhension d'un concept "par sa définition" correspond à trois directions d'exploration. (1) L'idéogramme figure de manière imagée la signification du concept et en donne une première appréhension globale. - (2) la situation de l'idéogramme dans les divers réseaux sémantique du répertoire d'idéogrammes exprime de manière diagrammatique ses relations taxinomiques avec les autres concepts du même domaine. - (3) On peut analyser l'objet informatique sous-jacent à l'idéogramme et détailler ses attributs. La "compréhension par l'exemple" correspond à la découverte et réaction de l'idéogramme dans les actilogies. Le détour par l'abstrait (un abstrait ici tout relatif puisque fortement iconisé) sera donc rencontré pour ce qu'il est, un geste instrumental, et non comme une contrainte sans signification.

On peut définir la langue comme un instrument servant à déclencher la construction ou l'objectivation de modèle mentaux. La langue est comme un intermédiaire entre les modèles mentaux du locuteur et ceux de l'émetteur. La prise de parole est comme une tentative pour susciter l'activation ou la modification de modèles mentaux dans l'esprit de l'autre. On peut appeler concrets les énoncées qui orientent fermement l'activité d'imagerie mentale de leurs interprètes et abstraits ceux qui accordent une plus grand latitude à cette activité, qui se laissent illustrer par un grand nombre de films différents mais qui auraient cependant tous quelques traits diagrammatiques en commun. Lorsqu'on a affaire à un thème concret, la langue peut être assimilée à une technique pour déclencher la projection de certains films dans la tête des récepteurs. Dans le cas de thèmes moins concrets, la langue est alors un projecteur d'hyperfilms se jouant dans des espaces abstraits, diagrammatiques. Un hyperfilm n'est pas seulement un film de "représentation abstraites" mais aussi une matrice de films concrets possibles. Lévy fait l'hypothèse que, moyennant certaines conventions, les hyperfilms correspondant à l'activation de modèles mentaux "abstraits" peuvent toujours avoir une traduction diagrammatique spatio-temporelle, sinon figurative, sur un mode métonymique ou métaphorique. Les matrices de films possibles doivent donc pouvoir elles-mêmes se représenter sous formes iconiques.

Sous un certain rapport, le langage est donc une technique servant à déclencher la projection d'hyperfilms dans les esprits. Mais, on n'est jamais sûr d'avoir activé le bon film, le bon modèle mental. Car ce n'est ni le modèle ni l'image que l'on transmet, mais des énoncé linguistiques qui devront faire l'objet d'une activité cognitive complexe pour être compris. Si tel est le cas, pourquoi ne pas transmettre, sinon directement le modèle mental lui-même, au moins une traduction analogique et imagée de ce modèle, sans passer par les mots ? Lévy voit l'ID comme une alternative au langage phonétique dans la transmission et la manipulation d'hyperfilms. Chacun sait qu'un bon schéma vaut souvent mieux qu'un long discours.

Les images fournies par le diagramme, le plan, la photo, etc. sont des instruments utiles pour la communication de modèles simples. Mais, dès que sont en jeu plusieurs entités en interaction dynamique ou que l'on veut décrire une réalité en transformation rapide, l'image fixe est inadéquate. L'image animé séquentielle (le film classique), elle, n'a pas le caractère hypothétique et plastique du modèle mental. L'ID propose un outil de construction et de consultation d'hyperfilms qui servirait à transmettre et à manipuler des modèles en supprimant l'étape intermédiaire du langage phonétique. Communiquer au moyen de l'ID permettrait , dans les cas où l'image animée est plus efficace que la langue phonétique, de réduire la part d'indétermination qui handicape parfois la communication fonctionnelle.

Si Lévy cherche à mettre en évidence la possibilité théorique d'un pur langage d'images, cela ne signifie pas pour autant qu'il préconise l'usage séparé de ce langage sans interactions avec la communication orale et l'écriture alphabétique.

Quels nouveaux codes narratifs, quelles nouvelles rhétorique pourraient se développer avec l'ID ? Lévy donne une ou deux idées sur la pragmatique de l'ID. Élaborer une (nouvelle) proposition au moyen de l'ID, c'est essentiellement modifier "l'écologie des objets" modélisant un domaine. La proposition elle-même peut prendre la forme du film de la modification du modèle. Modification qui se fera elle-même de manière très visuelle, au moyen d'idéogrammes-outils. L'argumentation de la proposition passe par une démonstration (au sens infographique et non logico-mathématique !) du fonctionnement du nouveau modèle. La démonstration/simulation ou actilogie met en valeur les effets pertinents de la proposition. Les contres arguments passent par des actilogies mettant en évidence les effets indésirables ou non pertinents de la proposition rejetée.




Hugues Peeters - 04/11/1998

LÉVY Pierre, L'idéographie dynamique. Vers une imagination artificielle ?, (Paris, La Découverte, 1991).
Le concept de l'idéographie dynamique ne consiste pas faire appel à l'image pour illustrer le texte classique mais bien à inaugurer une écriture nouvelle (un instrument de pensée qui soit aussi image animée). Depuis les origines, l'écriture s'est toujours déployée sur un support statique. Les idéographies et les alphabet ont des symboles fixes qui se succèdent sur un mode linéaire. La télévision et le cinéma portent à la foi le mouvement et l'image mais ne sont pas interactifs et surtout ne permettent pas le passage à l'abstraction, le travail sur des concepts. L'ordinateur est un médium de communication capable à la foi de supporter l'image animée et l'interaction mais aussi l'abstraction. L'informatique contemporaine autorise donc la conception d'une écriture dynamique. Les caractères de cette écriture ne signifieraient pas seulement par leur forme ou leur disposition mais aussi par leur mouvement et leur métamorphose.

Le texte est divisé en trois parties. Dans la première partie, Lévy tente de clarifier le statut sémiologique de l'idéographie dynamique et de montrer que celle-ci constitue un vrai langage. Une deuxième partie traite de l'articulation entre l'idéographie dynamique et le système cognitif humain (rôle de l'imagination et des modèles mentaux dans le fonctionnement de l'intelligence et rôle de l'ordinateurs en tant que support de technologie intellectuelle). La troisième partie donne quelques indications sur l'implémentation informatique de l'idéographie dynamique. [cette dernière partie n'est pas reprise dans le résumé]



Ire PARTIE :
L'IDÉOGRAPHIE COMME LANGAGE



1. L'autre de la langue

Selon Jaron Lanier, la communication doit être rapportée à ses conditions physiques d'exercice. Notre langue, et à un moindre degré notre corps, sont les rares parties du monde physique que nous pouvons mouvoir assez vite pour qu'elles tiennent lieu de moyens de communication. Le langage a été adopté par l'homme à cause de contraintes physiques mais ce n'est pas le moyen de communication idéal. Le langage est limité, on ne peut s'en servir pour agir directement sur la réalité; il ne peut que suggérer. Plus la part du monde sensible que nous modifions est large, plus la communication est importante. La réalité virtuelle est un milieu de communication parfait puisqu'elle permet de contrôler la totalité du monde sensible du récepteur du message. Dans la réalité virtuelle, on peut créer un monde et le partager avec d'autres gens. Plutôt que de décrire quelque chose à un partenaire, on lui procure une expérience sensorielle. Lorsque les contraintes qui ont présidé à l'emploi des langues ont disparu (ce qui est le cas dans la réalité virtuelle), il n'y a plus de raison de l'utiliser comme instrument de communication. Dès lors que l'on dispose de l'équipement technique adéquat, il est donc parfaitement possible de communiquer sans symbole en manipulant directement l'apparence des choses.

Lévy ne partage pas ce point de vue. I°. La communication se définit bien comme un des modes de l'action; mais elle ne se limite à une action sur l'environnement sensoriel. Comme toute action la communication vise a transformer une situation, mais elle se distingue en ce qu'elle vise le plan des représentions. L'action sur l'environnement sensoriel est subordonné à cet objectif principal. Le plan des représentations est plus important que celui de l'expérience sensible car il commande la signification des situations. - II°. La réalité virtuelle repose sur l'utilisation d'un équipement électronique fondé sur le développement de langages formels éminemment symboliques. La communication la plus directe, la moins codée ne peut donc se concevoir sans la maîtrise préalable de d'instrument symbolique. - III°. Les mondes virtuels, même en s'en tenant à l'immédiateté de leur apparence sensible, appartiennent pleinement à l'ordre du signe. Si l'on peut transmettre directement des expériences sensorimotrices de mondes virtuels, il n'est pas possible de communiquer sans intermédiaire, sans traduction des expériences réelle du monde réel. Pour transmettre des intentions, des pensées, des images subjectives, on est toujours obligés de traduire en signe. Si nous pouvions faire partager directement nos expériences, nos intentions, nos émotions et nos idées avec le sens qu'elles ont pour nous, alors nos subjectivités seraient confondues, et ce ne seraient pas seulement les signes qui perdraient leur pertinence, mais la notion même de communication. Un monde virtuel ne possède nullement la nature massive et résistante des choses, que l'ont pourrait opposer au scintillement évanescent du langage. Il est signe lui aussi, un signe englobant et multimodale, un signe enflé à la dimension d'un monde sensible, mais toujours et de part en part un signe. Selon la classification de Peirce, les mondes virtuels seraient autant d'immenses sinsignes indexicaux dicent, des indices ou des icônes géantes s'adressant à tous les sens. Quand au langage, ce système de signe très perfectionné, il sert aussi à penser. L'usage des signes le plus propre à l'homme consiste précisément à envisager des possibles, à imaginer des réalités virtuelles. Dès que l'individu, s'extrayant de son expérience immédiate, se forge des modèles mentaux, il cesse d'être un simple conducteur et s'érige en centre d'indétermination, en source de virtualités ; il a pensé.

La réalité virtuelle n'est que le dernier en date d'une longue lignée d'utopies sémiotiques visant une communication transparente, sans brouillage ni reste. Il s'agit de court-circuiter les langues naturelles, perçues comme obstacles, médias déformants ou canaux insuffisants, pour constituer un langage absolu. Une des plus belles utopies sémiotiques est la Caractéristique Universelle de Leibniz (projet d'une écriture indépendante de la langue inspirée de la graphie chinoise où chaque caractère représenterait une idée simple et leur combinaison des idées complexes, connotation mathématique).

Mais un langage absolu est impossible. (a) La vie mentale est déjà elle-même de part en part sémiosis, vie des signes. La chose à exprimer est toujours déjà traduite en signes, mêlée aux langages, mise en scène, figurée par des icônes. La déformation ou la formation par les signes est la condition même de l'existence pensante, elle est originelle. - (b) Le langage absolu fait abstraction de l'inéluctable dimension pragmatique et interprétative de la communication. Le sens des messages que porte le langage n'est que le produit de l'activité herméneutique des destinataires. Il n'est pas immanent au message mais à une situation de communication qui excède largement la maîtrise du langage proprement dit.

Langages informatiques, cinéma et ID sont parmi les écritures, des écritures pures (cad des systèmes d'inscription autonomes vis-à-vis des langues). Elles sont en plus toutes les trois cinétiques. L'ID est un langage iconique tendant asymptotiquement vers la langue.



2. L'idéographie dynamique et les langages informatiques

Les langages informatiques sont les héritiers de travaux bien antérieurs à l'apparition des ordinateurs; la recherche sur les écritures formelles d'aide au raisonnement remonte aux Moyen-âge (R. Lulle, Leibniz, Frege). Il s'agit de système formels de la logique mathématique indépendants du langage naturel phonétique, grâce auquel on peut calculer la vérité de propositions. Elle est marquée par un idéal d'automatisme dans le raisonnement (systèmes formels en forme de machine écriture - cf. Turing). Les langages de programmation se sont développés dans le prolongement de ces écritures-machine. Un courant important de la linguistique a pensé la langue en s'inspirant des machines syntaxiques de la logique mathématique informatique, entraînant une certaine confusion (cf. Chomsky - identification partielle des langues naturelles aux systèmes formels).

Voici la principales thèses sur la langue (signification, cognition, ...) de ce courant : (a) Autonomie formelle de la syntaxe par rapport aux autres dimensions des langues, indépendamment de toute signification sémantique. - (b) Autonomie cognitive de la langue: production et décodage linguistiques indépendant de la conceptualisation (comme dans les ordinateurs); séparation de la sémantique et de la pragmatique. - (c) Existence d'un nombre fini de primitives universelles (concepts, axiomes, règles d'écriture) à partir desquelles il serait possible de tout représenter (idée constructiviste d'une capacité générative). C'est la thèse de la compositionnalité, à savoir que toute signification est le produit de la composition de ses primitives.

En conclusion, (1) il n'y a pas de langue figurative et (2) on invente a priori et arbitrairement autant de langues que l'on veut.

Dans le paradigme logiciste, on modèle les théories cognitives linguistiques sur les technologies intellectuelles que sont les écritures formelles. Lévy propose de faire l'inverse : concevoir des technologies intellectuelles à partir de ce que nous ont appris les recherches empiriques sur la langue et la cognition. Car les thèses exposées plus haut ne s'appliquent pas du tout aux langue naturelles, ni aux processus réels de construction et d'interprétation du sens.

Ainsi, Langacker caractérise une langue comme suit. (a) Dans une langue naturelle, il n'y a pas d'autonomie formelle de la syntaxe. La grammaire possède une dimension sémantique intrinsèque, accent cognitif. - (b) Le sens d'un énoncé s'identifie aux processus cognitifs d'interprétation de cet énoncé, et non à ses conditions de vérité. Dès que la reproduction et l'appréhension de significations entre en jeu, il n'y a plus d'autonomie cognitive de langue (=> idée d'un continuum entre grammaire et pragmatique). - (c) Chaque domaine de connaissance, chaque "monde" empirique suppose un découpage conceptuel différent et donc des primitives sémantiques différentes. Il n'y a ni alphabet primitif du sens, ni stricte compositionnalité de la signification.

"Un instrument de communication et de représentation symbolique dont la grammaire ferait sens, qui ferait appel aux expériences sensorielles et sociales de ses utilisateurs et qui ne se réduirait pas à la combinaison de concepts ou d'unités sémantiques élémentaires (mais qui permettrait au contraire d'engendrer indéfiniment de nouveaux concepts) serait un langage tendant vers la richesse et la souplesse des langues. C'est précisément le programme de l'idéographie dynamique." [p. 37]

Dans l'ID, le mouvement serait la syntaxe et la reconnaissance de l'idéogramme la dimension lexicale. Un langage d'image comme l'idéographie dynamique ne connaîtrait donc pas de séparation radicale entre la syntaxe et la sémantique. l'ID a pour ambition de traduire autant que possible l'imagerie mentale et de fournir un outil de conceptualisation. Elle doit permettre une interaction sensorimotrice avec les modèles qu'elle représente. L'idéographie dynamique n'est pas un langage autonome construit a priori, indépendant des domaines de connaissances et des modes de conceptualisation "régionals". Les répertoires d'idéogramme résulteront d'une ingénierie des connaissance cad d'une étude empirique des concepts et modes de pensée de groupes restreints.

Il y a plusieurs sortes d'écritures pures. Pour l'instant l'informatique n'a emprunté que la voie logico-syntaxique qui est essentiellement de nature opératoire. Si la lettre code le son, le bit code l'action. Le logiciel est une écriture au deuxième degré puisqu'il a pour objet de déclencher et commander l'écriture. D'où ce caractère circulaire des écritures machines qui par certains aspects se rapproche du fonctionnement de la pensée. L'informatique est une écriture mise en mouvement, une formalisation du mouvement même de l'écriture. Les écritures machines en général ne sont déployés que dans l'ordre du performatif, du génératif, de l'opératoire (écriture opérative). Il reste à développer l'autre face de l'écriture en mouvement, son coté expressif, représentatif (écriture expressive). L'écriture pure de l'intelligence artificielle n'a construit que des représentations internes à l'ordinateur, destinées seulement à la lecture et au traitement d'un automate. L'utilisateur humain final n'est jamais en contact sur l'écran qu'avec des symboles alphanumériques cad avec des systèmes sémiotiques d'avant l'ordinateur. Jusqu'à maintenant, les ordinateurs étaient pour leurs utilisateurs le support efficace d'ancienne technologie intellectuelle. Mais le support informatique peut permettre d'innover sur l'autre versant des écritures pures : leur face expressive.



3. L'idéographie dynamique et le cinéma

Lévy pose trois questions. (1) Existe-t-il l'équivalent d'une deuxième articulation au cinéma et dans l'idéographie dynamique ? - (2) Y a-t-il une unité correspondant au mot dans les deux langages précités ? - (3) Qu'est-ce qui distingue l'animation de l'image cinématographique du dynamisme de notre idéographie ? Lévy se base essentiellement sur les travaux de Ch. Metz (Essai sur la signification au cinéma, 1968) pour étayer ici son propos.

I. Le cinéma ne connaît pas l'équivalent des phonèmes. Tous les éléments de l'image cinématographique renvoient à un signifié. L'ID est presque dans le même rapport avec la langue que le cinéma. Tous les éléments d'un idéogramme sont signifiants. Lorsqu'a force d'analyse, on arriverait à quelque item insignifiant, ce ne serait pas l'élément d'un système, mais un ensemble quelconque de pixels. L'absence de la deuxième articulation au cinéma et dans l'idéographie dynamique renvoie ultimement à la nature fondamentalement indicielle de l'un et iconique de l'autre (cfr. Bougnoux, La communication par la bande). Quant à la double articulation des langues phonétiques, elle s'accorde avec la relation symbolique (au sens de Peirce) du signe linguistique avec son objet.

II. Il n'y pas dans un film d'entité correspondant au mot. L'image montre-t-elle un cheval ? C'est alors l'équivalent de la phrase "Voici un cheval". L'image cinématographique est parole, discours ou texte, elle n'est jamais unité de langue. Comportant intrinsèquement la dimension de la durée, l'image cinématographique rapporte nécessairement une action à un état ; il n'y pas d'image filmée que ne soit déjà "scène", et donc au moins "phrase". Le cinéma ne dispose pas de rhèmes (termes), les signes cinématographiques étant toujours au moins déjà des dicisignes (l'équivalent de propositions). Les unités discrètes ne préexistent pas au discours. On ne trouve jamais deux images identiques. Si les images des films étaient des mots, elles seraient toutes des hapax (caractère de token).

Contrairement au cinéma, l'ID connaît des termes équivalents aux mots: ce sont les idéogrammes. Une actilogie (séquence présentant l'interaction d'idéogrammes-acteurs) offre à son explorateur une image animée. Mais les scènes présentées par l'actilogie ne sont pas prélevées sur un continuum optique, elles ont été composées à partir des unités préexistantes. Étant dynamique, un idéogramme n'est certes pas identique d'un emploi à l'autre, comme le serait un caractère d'imprimerie, mais l'ensemble des variations de son aspect est cependant strictement déterminé.

Étant donné que l'axe paradigmatique (axe de la combinaison) comprend notamment le système des unités de la première articulation, et que le langage cinématographique ne posséde pas de telles unités, on peut en déduire que son axe paradigmatique sera moins marqué que celui des langues. Metz souligne que le paradigme d'image au cinéma est fragile, approximatif, modifiable, contournable. L'image ne renvoie pas à des catégories, à des concepts, mais toujours à des individus, à des moments singuliers. Étant index mobile, l'image cinématographique est nominaliste. Or les structures qui fondent l'axe paradigmatique n'apparaissent qu'au niveau des catégories, des genres ou des concepts.

L'activité intellectuelle est tissée d'un va-et-vient permanent entre la généralisation (pôle conceptuel) et le récit (pôle narratif), entre le concept et l'enchaînement singulier des faits, entre la diachronie et la classification, entre la dialectique et le diagramme ; bref entre l'espace potentiel du paradigme (axe de la sélection) et le temps du syntagme (axe de la combinaison). Or le langage cinématographique n'offre d'accès qu'à un seul des deux pôles de la pensée et de la communication. L'ID, en revanche, peut projeter des récits en images, mais elle est encore structurée par un axe paradigmatique fort. La langue s'étend sur trois étages : phonème, morphème (renvoyant éventuellement au concept), texte. Le cinéma se déploie tout entier sur le seul plan de la proposition ou du discours. Tout en étant comme le cinéma un langage d'images, l'ID permet en plus, comme la langue, l'articulation des concepts.

Dès que l'on passe de l'analyse du langage cinématographique à celle des films réels, le paysage se transforme du tout au tout. D'abord, la parole, et le son ajoutent une dimension importante. D'autre part, l'image indicielle du cinéma peut montrer ou rapporter les signes symboliques ou iconique les plus divers. Cela fait du cinéma une machine sémiotique d'une extrême richesse. Toute la richesse du cinéma est récupéré par l'idéographie dynamique, l'interactivité en plus.

III. Le cinéma et l'ID sont tous deux des écritures cinétiques. Mais leur mouvement respectifs présentent de profondes différences. Le film est l'image enregistrée d'un mouvement passé. Il n'offre pas la vision d'une action en train de se faire, encore ouverte à toutes ses virtualités. Les scénarii interactifs ne changent que très peu de chose à l'impuissance du spectateur. On s'y déplace, comme dans un labyrinthe. Avec l'ID, en revanche, on est plus pris dans le labyrinthe, on en dessine le plan. Le générateur d'idéogrammes permet de fabriquer des acteurs ou de préciser leur rôle. Le film interactif se contentait d'offrir un répertoire de paragraphes, l'ID offre un traitement de texte complet.

Le cinéma est un moyen d'expression et non un instrument de dialogue. Il permet de faire des oeuvres, non de débattre pied à pied de la validation d'un modèle ou de la pertinence d'une représentation. En revanche, l'actilogie dans l'ID est toujours modifiable, perpétuellement à remettre en scène. L'action qu'elle présente est en train de se faire, et non définitivement enregistrée.

L'idéographie dynamique propose une image "plus interactive" que le cinéma. On l'explore sur un mode hypertextuel au lieu de suivre une séquence. Mais l'essentiel n'est pas là, il est dans la coprésence dialectique permanente de l'image à l'écran et de la caméra idéale que forment le générateur d'idéogrammes et le metteur en scène. Ce n'est pas l'image comme un tout qui se "déroule" : chaque idéogramme-acteur réagit aux autres idéogrammes et aux sollicitations de l'explorateur de manière autonome. Les élément de l'image bougent pour leur propre compte.

Le cinéma enregistre, monte et restitue un flux optique tandis que l'idéographie dynamique est une écriture dont les symboles mêmes sont des acteurs animés. Ce serait donc à bon droit qu'on appellerait l'idéographie dynamique, plutôt que le cinéma, une cinémato-graphie.

Contrairement à la plupart des hyperdocuments, l'idéographie ne se contente pas d'offrir à l'explorateur un parcours dans un réseau organisé par d'autres, elles fournit aussi les moyens de répondre par le même médium, exactement comme on répond verbalement à qui vous adresse la parole.

Le mouvement génératif du logiciel opère, commande, dispose, efface, inscrit de manière interactive, mais il ne figure pas en tant que tel. Le mouvement propre des langages informatiques ne fait pas signe pour l'utilisateur humain mais seulement pour l'automate. L'animation des images de cinéma est, elle, parfaitement figurative, mais n'étant qu'une animation enregistrée, elle est dépourvue de dynamisme, au sens étymologique de réserve de virtualités. L'idéographie que Lévy propose est la seule écriture pure dont le mouvement soit à la foi figuratif et dynamique.



4. Grammaire et iconnicité

Comment concevoir la grammaire d'un langage d'image ? Selon Metz, il semble que le cinéma soit dépourvu de grammaire ou, s'il en a une, que ce ne soit pas du tout à la manière des langues. La reconnaissance de la structure grammaticale d'une phrase nous aide incontestablement à la comprendre. Or, à l'inverse, ce serait plutôt parce qu'on a saisi un film que l'on en décode la syntaxe. Dans les films, il y a des codes (culturels par exemple) mais ils sont beaucoup plus lâches que les codes linguistiques. Il y aurait une rhétorique du cinéma, des genres de films, des conventions (historiques, en évolution permanente) du discours cinématographique, mais pas de syntaxe à proprement parler. La syntaxe gouverne l'ordre des mots ; le cinéma n'ayant pas de mot, il est donc impossible qu'il en soit pourvu. Si le cinéma n'a pas besoin de grammaire, c'est parce que la fonction de la grammaire, qui est d'articuler des propositions, est toujours déjà parfaitement remplie par le langage cinématographique, et cela sans qu'il soit besoin de faire appel à l'appareillage auxiliaire d'un code. La syntaxe sert à construire le discours, or l'image cinématographique est d'emblée proposition ou discours. (cfr. supra).

Mais, les langues, elles, ont besoin d'une syntaxe parce qu'elles ne travaillent qu'à partir d'éléments symboliques. Venant combler un déficit iconique, la grammaire leur ajoute la dimension de l'image, elle permet aux mots de représenter des scènes. La grammaire est le tropisme de la langue vers le cinéma. Pour avancer ceci, Lévy s'appuie sur les travaux de Langacker. Pour cet auteur, la signification d'un énoncé linguistique ne s'identifie pas à ses conditions de vérité mais au processus cognitif réel nécessaire à sa compréhension ou à sa formulation. La syntaxe ne serait pas un aspect algorithico-formel du langage, coupé de la sémantique, ce serait au contraire un des médias de symbolisation que les langues mettent à notre disposition, au même titre par exemple que le lexique (la grammaire peut être vue comme un répertoire de motifs iconiques).

Lévy reformule la proposition de Langacker : la grammaire est fondamentalement de l'ordre du signe, et plus particulièrement du signe iconique (l'iconisme implique isomorphie entre la forme de l'expression et la forme du contenu). Par exemple dans presque toute les langues du monde, le sujet est avant le complément d'objet. Par delà leur aspect conventionnel, les grammaires ont une fonction iconicisante : c'est grâce à la grammaire qu'une suite de mots fait image.

Il devrait donc être possible, selon Langacker, de traduire toute grammaire en un ensemble de procédés de mise en scène visuelle. Utiliser une construction grammaticale donnée, ce serait sélectionner une image particulière pour modéliser une situation. C'est pourquoi la grammaire peut être considérée comme un répertoire de schémas et de motifs symboliques, de pattern (routines cognitives). "La lampe au dessus de la table," "la table sous la lampe", "la table est sous la lampe" : ces trois expressions désignent exactement le même état de chose, mais elles ne correspondent pas à la même imagerie mentale, au même processus cognitif d'interprétation.

L'ID est plus proche du symbole que ne l'est l'image enregistrée du cinéma. Elle composée d'unités discrètes. Cependant, l'ID n'est pas autant débarrassée du grammatical que le cinéma. Mais peut-on concevoir une grammaire qui ne se déploie pas uniquement dans le temps, ou dans la linéarité de l'écriture alphabétique, mais plutôt dans un espace à trois, quatre, ou n dimensions ? Lévy pose la question de la grammaticalisation de l'espace et du mouvement. Il est difficile d'imaginer ce que peut être une grammaire spatiale et cinématique. Or la grammaire de la langue des signes est précisément de ce type. Le concept de grammaire spatiale a été énoncé pour la première fois par Klima et Belluigi (The signs of language, 1979). Qu'est ce qu'une grammaire spatiale ? "Tout ce qui se déroule linéairement, séquenciellement et temporellement dans le langage parlé devient, dans les Signes, simultané, concurrent et multi-stratifié" (Sacks O., Des yeux pour entendre, voyage au pays des sourds, 1990). "Le récit n'est plus linéaire et prosaïque. Le discours y est très découpé, passe sans cesse de la vue normale au gros plan, puis au plan d'ensemble et de nouveau au gros plan, en incluant même des scènes de zoom arrière et avant, exactement comme travaille un monteur de film" (Stokoe W. C., Syntactic Dimensionality : Language in Four Dimensions, 1979). Ceci conforte la conception cinématographique de la grammaire défendue ici. L'idéographie dynamique aura beaucoup à apprendre de la linguistique des signes.

Lévy conçoit la grammaire de l'ID comme un répertoire systématique des différents procédés disponibles pour mettre en scène un même modèle fondamental. Une construction grammaticale décide de la saillance relative et de l'ordre d'apparition des sous-structures. Les jugements sur les phrases bien ou mal formulées reposent en fait sur l'interaction plus ou moins harmonieuse et la compatibilité des traits figuratifs et des images. Cependant, l'ID ne doit pas tourner au système formel à syntaxe rigide. Un véritable langage d'images doit être naturel, c'est-à-dire proche du processus cognitif réel. Aucune expression ne sera donc interdite. Les règles grammaticales pourraient être mises à l'épreuve par des fonctions de test pour vérifier la cohérence cognitive des modèles.

Il est impossible de séparer un concept quelconque de son contexte ou de son domaine cognitif. Un domaine est un espace de représentation ou un "champ de potentiel" conceptuel, qui devrait toujours (moyennant codage) pouvoir se représenter sur un écran. Langacker suppose qu'il existe quelques domaines fondamentaux, de bas niveau dans la hiérarchie conceptuelle, cognitivement irréductibles (par exemple l'expérience du temps ou l'espace). Mais la plupart des expressions linguistiques correspondent à des niveaux d'organisation conceptuelle plus élevés. Et surtout, la plupart des prédications font appel à plusieurs domaines cognitifs. Dans une occurrence particulière d'un mot, seulement un ou quelque domaines sont véritablement centraux pour l'interprétation d'un énoncé. La centralité d'un domaine peut se définir comme la probabilité de son activation à l'occasion de l'interprétation d'une expression. Ce qui est spécifié dans un domaine peut être utilisé dans d'autres. Les domaines qui entrent en jeu pour l'interprétation d'une expression sont reliés les uns aux autres, interdépendants. On peut donc parler d'une structure hypertextuelle ou hyperspatiale du sens (hyperespace conceptuel).

En ce qui concerne l'idéographie dynamique, cela signifie qu'un domaine de connaissance au sens large se déploiera nécessairement dans un ou plusieurs domaine cognitifs reliés les uns aux autres. Il faudra donc prévoir des outils de construction de matrice complexes. Pour limiter l'explosion hypertextuelles, l'ingénierie de la connaissance s'attachera à déterminer les espaces de représentation centraux d'un domaine de connaissance. Il faudra aussi doter le logiciel d'outils de déplacement dans l'hyperespace conceptuel et des instruments de zoom avant et arrière. Les idéogrammes ne pourront évidemment interagir que s'ils se trouvent dans le même espace cognitif et à la même échelle.

L'objectif n'est pas de créer un succédané visuel de la langue phonétique. Mais il n'est pas inutile de proposer la correspondance entre les catégories grammaticales dans le langage phonétique et leur équivalent dans l'idéographie dynamique, afin de mettre en évidence certaines équivalences cognitives.

-Le nom désigne une chose dans un domaine. Dans l'ID, il correspondrait à un idéogramme et à certains aspects de son champ d'action

-Les expressions relationnelles, en général, déclenchent l'image d'interconnexion entre entités. Langacker définit l'interconnexion comme une opération cognitive évaluant la position relative d'entités. Il y a quatre types fondamentaux de relation : l'inclusion, la coïncidence, la séparation et la proximité.

- Les relations atemporelles (adjectifs, adverbes prépositions) auraient comme traduction l'aspect statique des relations entres idéogrammes et champ d'action (couleur, taille, etc..).

- Les relation temporelles (les verbes) "animent" la représentation suggérée par la proposition. Une phrase correcte suscite donc toujours chez son interprète la figuration d'"un processus", une image dynamique, un "film".

- Pour le rapport sujet-objet, la détermination des idéogrammes et des champs d'action qui bougent, par opposition à ceux qui restent immobiles, correspond au choix du terme sujet et du terme objet dans une phrase. Selon Langacker, tous les noms se traduisent d'un point de vue cognitif par la délimitation d'une région dans un domaine. On remarquera que les opérations cognitives de base déclenchées par l'occurrence de catégories grammaticales dans le discours peuvent se traduire par des schèmes spatiaux et topologiques. Les travaux de Langacker rejoignent ceux de René Thom selon qui tout domaine de connaissance (ou ontologie intelligible) peut se représenter sous la forme de saillances (occupant une régions de l'espace) et de prégnances (flux ou messages émis et captés par des saillances).



5. L'idéographie dynamique et la langue

Il y a une tension de l'écriture à s'émanciper de la langue phonétique pour constituer un langage visuel autonome, une idéographie. Même la calligraphie arabe a exalté la forme et le rythme visuel. L'hypothèse de Lévy est que l'idéographie n'a jamais accédé à sa pleine dimension parce qu'il lui manquait le mouvement, le dynamisme qui est demeuré le privilège de la parole. Un énoncé dans l'ID ne transcrit pas une phrase d'une langue phonétique, il traduit, par la médiation de l'image et du mouvement, un modèle mental. L'ID serait la première écriture à être en même temps, et au sens plein du terme, une langue.

Lévy pose également la question du rapport entre la langue et le corps. Les animaux, dont l'homme, sont plus sensibles aux sons produits par des représentants de leur espèce qu'aux vocalisations des autres êtres vivants. Ils "se représentent mentalement le stimulus [émis par leurs congénères] comme le geste articulatoire qui sert précisément à le produire, alors qu'ils se représenteraient les autres sons de façon simplement acoustique" (Mehler J., Dupoux E., Naître humain). Pour qu'une écriture deviennent un mode de communication aussi naturel que le sont les langues, il faudrait qu'elle soit autant enracinée dans l'expérience corporelle que la parole ou les signes. Or, il semble douteux que l'écriture puisse être jamais en contact aussi direct avec le noyau de spontanéité sensorimotirce qui rend l'expression et la compréhension linguistique si consubstantielles à l'homme. L'écriture est évidemment moins "incarnée" que la langue. D'où le plus grand pouvoir expressif de la calligraphie manuelle, où subsiste le geste. L'idéographie dynamique se rapprochera de la langue dans la mesure où elle aura acquis un caractère d'immédiateté sensorimotrice. L'explorateur devra pouvoir se projeter corporellement dans les mouvements des idéogrammes. C'est moins l'articulation logico grammatical de l'idéographie dynamique qui la séparerait d'une langue que son aspect désincarné, son interface écran (d'où le bénéfice que l'on pourrait retiré d'utilisation par gestes, d'écrans virtuels commandés par le mouvement des yeux). La lecture et l'écriture ont acquis un caractère de seconde nature alors même qu'elles ne sont nullement codées dans le patrimoine génétique humain. On ne peut pas exclure a priori qu'il puisse se construire de nouvelles et très étroites imbrications entre les systèmes cognitifs humains et des systèmes sémiotiques d'origine culturelle comme l'I.D.

L'hémisphère gauche (plus particulièrement l'ère de Broca) joue le rôle le plus important dans le décodages des énoncés linguistiques. Or, la reconnaissance de la configuration spatiale est plutôt traitée par l'hémisphère droit. Puisque l'ID est un langage de formes visuelles en mouvement, il semble que son usage doive relever principalement de l'activité de l'hémisphère droit et, dans ce cas, ne serait pas une vraie langue, tout au moins au sens neurologique du terme. Mais, de récentes recherches montrent qu'une langue d'images ne serait pas nécessairement traitée par le cerveau droit. L'hémisphère gauche est aussi essentiel aux signes. L'usage des signes implique les mêmes canaux neuronaux que ceux de la parole, plus les voies neuronales associées au traitement des informations visuelles. Cela laisse supposer que notre système cognitif gère au moins deux espaces : un espace perceptif, sensorimoteur, commun à tout le monde et un autre espace, sémiotique, formel ou linguistique. Ce second espace reste en sommeil chez la plupart d'entre nous, mais il est activé et développé pleinement par les signeurs. Une langue peut être visuelle et spatiale plutôt que linéaire et sonore. Loin de leur faire tourner le dos à la langue, l'ID pourrait permettre à ses utilisateurs de développer l'autre dimension de la langue.





IIe PARTIE
L'IDÉOGRAPHIE DYNAMIQUE COMME TECHNOLOGIE INTELLECTUELLE



6. Les signes et la pensée

Les langages, et au premier chef les langues sont des technologies intellectuelles. Ceci a été mis en évidence par l'observation de sourds qui n'ont eu accès ni à la langue phonétique ni à celle des Signes. Lorsqu'on ne dispose pas du secours d'une langue pour penser, on ne peut avoir aucune notion de ce qu'est une question, la perception du temps est extrêmement brumeuse, et en général on a peu accès aux univers purement symbolique.

Cela signifie-t-il que la pensée ne commence qu'avec la langue ? Le comportement des animaux et des très jeunes enfants manifeste cependant une certaine forme d'activité intellectuelle. Vygotsky (Pensée et langage, 1935) a soutenu que la pensée et la langue avaient des origines distinctes. Seule l'espèce humaine internalise des systèmes de communication pour en faire des instruments de pensée. Il existe donc une pensée sans langue, mais cette pensée n'est pas pour autant dépourvue de signes. Ce sont les images mentales. Les cartes cognitives des animaux correspondent plutôt à des modèles mentaux ou à des complexes de concepts/percepts qu'à des images. Ces cartes ont un certain degré d'abstraction. Toutefois, les modèles mentaux des animaux ont des limites. Ils ne vont pas jusqu'au montage d'interface ou des systèmes de traduction réciproques entre modèles mentaux et supports de communication. La pensée des animaux ne se matérialise pas dans autant de corps que le nôtre. Ainsi, les chimpanzé aiment peindre, mais ils ne se servent jamais de la peinture pour représenter quoique ce soit. Ils ne parviennent pas à réinterpréter la peinture comme un support de signes aptes à traduire leurs images mentales. Cela peut s'expliquer de diverses manières. Peut-être les perceptions visuelles des singes ne donnent-elles pas lieu à des images mentales aussi prégnantes et persistantes que chez les humains, d'où une faible propension à extérioriser ces images. En admettant que les singes aient des images mentales aussi vives que les nôtres, peut être ne peuvent-ils pas jouer avec elles, les manipuler avec assez d'aisance pour les traduire en signes extériorisés. Les singes ne parviennent pas à combiner de nouvelles images mentales à partir d'éléments d'origine perceptuelle puisés dans leur mémoire à long terme.

Ce n'est donc pas l'emploi de la langue, mais la variété et l'intensité de l'usage des signes qui distinguent la pensée de la non-pensée. Dans Les technologies de l'intelligence, Lévy montrait que chaque nouveau système sémiotique ouvrait de nouvelles avenues à la pensée, de nouveaux espaces cognitifs inconnus jusqu'alors.



7. L'imagination

La tendance qui, depuis les années quarante, porte à étudier le cerveau suivant des métaphores informatiques n'est pas une nouveauté absolue (cfr. la logique : simple technologie intellectuelle, elle finit par devenir le parangon d'une pensée rigoureuse, et la tradition philosophique l'identifie à la raison). Cette tendance s'inscrit dans une structure très ancienne décomposable en 4 opérations simultanées : (1) découpage-sémiotisation de certaines dimensions des processus psychiques - (2) couplage des processus ainsi réifiés avec des systèmes de signes matériels "extérieurs" - (3) retour transformateur de l'artifice sur les représentations qu'une culture se fait de leur corrélât naturel - (4) modification réelle des processus psychiques.

Lévy restreint sont propos à la modélisation et à la simulation sur ordinateur. L'usage croissant des ces techniques pourrait contribuer à redéfinir notre appréhension de l'imagination. L'ordinateur nous permet de manipuler et de simuler des modèles bien plus facilement que si nous étions limités aux faibles capacités de notre mémoire à court terme. De ce fait la simulation est bien une aide à l'imagination. Or, selon le mouvement d'aliénation des fonctions psychiques dans leur instruments, il s'ensuit une tendance à considérer l'imagination elle-même comme une faculté de simulation de modèles. Ce faisant, on modularise l'imagination, on l'isole des autres fonctions psychiques, on la transforme en objet réel, alors qu'elle n'est qu'une dimension d'analyse des processus cognitifs. Les modèles mentaux apparaissent comme des entités stables et bien découpées, quoiqu'ils renvoient vraisemblablement à une réalité distribuée, hétérogène et plus proche de l'attracteur instable ou du processus fluide. L'ID n'est donc pas conçue comme une pure et simple projection de l'imaginaire. Elle réifiera les quasi-objets indéterminés de l'imagination, elle fabriquera des signes destinés à être introjectés et repris par l'activité imaginante. Toutefois dans la suite de ce texte, Lévy décide de parler de l'imagination "comme si" elle était "réellement" une activité de production de modèle mentaux, alors qu'elle ne l'est que partiellement.

Les représentations mentales. Chacun de nous se fait des représentation internes sur un mode schématique ou imagé. L'idéographie dynamique fournit des analogues externes des ces représentations internes pour certain domaines de connaissance. N'étant pas contraint par les ressources limitées de la "mémoire de travail" biologique, ces analogues externes peuvent être beaucoup plus complexes et maintenus plus longtemps sans effort dans le champs de l'attention.

On distingue trois formes de représentation : les représentations propositionnelles, les modèles mentaux et les images. 1) Les représentations propositionnelles sont les représentations linguistiques. - 2) Les modèles mentaux sont des analogues structurels du monde. Un modèle mental est un digramme même s'il ne se présente pas comme l'image précise d'un schéma. Il n'est pas nécessairement liés à une seule modalité perceptive. On peut lui donner des traductions visuelles mais aussi tactiles, proprioceptives ou des équivalents sous forme de schèmes moteurs. Selon Philip Jonhnson-Laird (Mental Models), le modèle permet d'inférer directement ou d'"observer". Il permet de donner la bonne réponse simplement en inspectant le modèle. - 3) Les images mentales ont les mêmes propriétés que les images perçues. elles sont le corrélât perceptuel des modèles. Il peut y avoir plusieurs images mentales du même modèle. L'image mentale n'est pas nécessairement "réaliste". Elle peut se contenter d'actualiser seulement les traits figuratifs ou les propriétés physiques nécessaires à l'exécution de la tâche. D'autre part, nombre d'objets abstraits n'ont simplement pas d'image physique (l'éducation nationale, le cash flow, la justice,...). Un logiciel d'imagination assistée par ordinateur devra donc se concentrer sur certains traits figuratifs pertinents des domaines de connaissances en cause plutôt que sur une simulation réaliste. L'image mentale ne peut être cantonnée au rôle d'une simple réplique de la perception. Permettant de faire synthétiquement un matériel complexe et de se référer à des objets absents, elle joue une fonction sémiotique. Cfr. Paivo (Imagery and Verbal Processes, 1971) : les systèmes de codage linguistiques et visuels ont autant d'importance l'un que l'autre dans l'organisation de notre mémoire à long terme et ils remplissent des fonctions analogues - cfr. déjà Sartre (L'imaginaire, 1940) "L'image n'est ni une illustration ni un support de la pensée, mais [...] elle est elle même pensée et [...] à ce titre elle comprend un savoir, des intentions".

Il importe de ne pas confondre image et modèle mental. Une image est une "vue" du modèle. Les images ne représentent que les traits perceptibles et transitoires des modèles. Dans l'ID, un modèle correspond à une ensemble structuré d'idéogrammes (un répertoire), cad une collection d'objets. Une image est-ce que l'on voit à l'écran. Explorer un modèle, c'est décliner les images et les enchaînements d'images qui expriment un répertoire d'idéogrammes. Le modèle correspond donc à un niveau plus fondamental. Les outils pour passer d'une image à l'autre du même modèle ne sont pas les mêmes que ceux qui servent à passer d'un modèle à l'autre.

L'ID ayant résolument opté pour les modèles et les images, il importe de repérer ce qui les distinguent des représentations propositionnelles :

I°. Analogique/numérique : les représentations propositionnelles sont discontinues (cfr. Fodor). Elles résultent de la combinaisons d'unités discrètes, sans isomorphie avec ce qu'elles désignent. Les imageries mentales présentent, par contre, un isomorphisme avec les images directement suscitées par la perception (et les représentions perceptives présentent à leur tour un isomorphisme avec les objets eux-mêmes). Notons qu'une représentation analogique peut avoir une composante conventionnelle très importante (cfr. les signes d'une carte routière).

II°. Spécifique/général : contrairement aux représentations propositionnelles qui peuvent facilement désigner un concept, les images et modèles sont hautement spécifiques. On ne peut pas se former une image d'un triangle en général, mais seulement celle d'un triangle particulier. L'inconvénient des représentations analogiques est leur difficulté à représenter le général. Mais il est possible d'utiliser des modèles ou des images spécifiques comme représentant prototypique d'une classe, ou encore des idéogrammes mettant en valeur un trait saillant appartenant à tous les éléments de la classe (métonymie).

Le rappel mnémonique d'un modèle ou d'une image est en général plus aisé que celui d'une proposition. On retient mieux les modèles parce qu'il sont plus structurés, plus élaborés que les représentations linguistiques. Ils demandent une activité cognitive plus intense. Celui qui construit ou modifie explicitement un modèle au moyen de l'ID a fait preuve d'une activité cognitive non négligeable ; d'autre part, celui qui explore le modèle reçu est également dans une position active. Paivo (Imagery and Verbal Processes) a mis en évidence le rapport entre les performances mnémoniques et l'image. La valeur d'imagerie des mots a de puissant effets mnémotechniques. En associant des images à des concepts, l'ID fonctionnera comme mnémotechnique.

Un exemple : une carte est un modèle analogique d'un territoire, combiné avec des signes de type digital. La carte devient véritable technologie intellectuelle dès le moment où, indépendamment de sa présence concrète, son image mentale est utilisée par un individu pour évaluer la distance entre deux points d'un territoire ou pour établir une stratégie quelconque. Même quand elle n'est physiquement plus là, la carte est devenue un élément essentiel de l'outillage mental d'un sujet cognitif. L'ambition de Lévy est de faire de l'ID une technologie intellectuelle du même type que la carte. L'idéographie doit pouvoir servir de base à une représentation mentale figurative et dynamique. L'ID aurait donc deux fonctions dialectiquement liées : (1) traduire visuellement des modèles "préexistants" - (2) servir de point d'appui à de nouveaux types de représentations mentales et de raisonnements sur ces représentations. Il s'agit dans ce cas de fournir de nouveaux signes à l'activité mentale.



8. Raisonnement

Plusieurs travaux de sciences cognitives ont montré que le raisonnement spontané des êtres humains a peu de chose à voir avec la mise en oeuvre des règles d'inférence logiques formelles classiques. Les principes formels généraux ont beaucoup moins d'importance pour la pensée intelligente que la pragmatique de la communication en situation et les structures de connaissances spécifiques (les modèles mentaux). Selon la théorie de Jonhnson-Laird : a) A partir de prémisses (données sur un mode propositionnel) et de nos connaissances générales du domaine, nous construisons un modèle mental (interprétation des prémisses) - b) l'exploration de modèle nous conduit à une conclusion provisoire. - c) Nous cherchons ensuite systématiquement les interprétations des prémisses (modèle mentaux alternatifs) qui contrediraient cette conclusion pour vérifier si la conclusion est valide. - d) si l'on trouve un exemple qui invalide la conclusion, le cycle recommence avec une autre conclusion provisoire.

La faible capacité de notre mémoire de travail (mémoire à court terme) interdit d'explorer suffisamment longtemps des modèles mentaux trop complexes et d'envisager plusieurs modèles mentaux simultanément. D'autre part, nous n'avons pas de guide pour la recherche systématique de contre-exemple. C'est pour remédier à ces limitations du raisonnement naturel que la logique a été inventée. La logique est en effet elle aussi une technologie intellectuelle. Avec la logique, le raisonneur n'a plus à interpréter les prémisses ; à la limite on est dispensé de "comprendre" (cfr. les ordinateurs "bêtes mais parfaitement logique").

La manipulation de propositions suivant des règles abstraites exerce une très forte pression sur les ressources de la mémoire de travail et même plus forte que celle des modèles et des images. L'image est une forme de représentation mentale économique parce que ses éléments sont organisés en structures fortement intégrées. C'est pourquoi il est plus facile de raisonner à partir de représentations figuratives. Mais dans ce cas, pourquoi utiliser la logique formelle ? Tout simplement parce que la logique, en tant que technologie intellectuelle, est indissociable de l'écriture. Tout raisonnement logique formel un peu long ou complexe suppose l'emploi de signes écrits. D'autre part, la logique offre un mode de raisonnement certain, ce que le raisonnement spontané à partir de l'exploration de modèles alternatifs des prémisses ne fournit pas toujours.

Lévy présente l'ID comme une technologie intellectuelle alternative à la logique. L'informatique autorise un stockage externe des modèles mentaux, mais sans leur faire perdre, comme l'écriture statique, leur caractéristiques essentielles puisqu'il permet le jeu interactif avec des représentations iconiques et dynamiques. Sans toutefois obliger l'esprit à passer par des règles abstraites dont l'application est souvent contre-intuitive (cfr. exemple du modus tollens p. 87). Nous envisageons spontanément plusieurs modèles mentaux de la réalité compatible avec les prémisses. La différence entre un raisonnement formel et un raisonnement spontané est que l'univers du premier se réduit à l'ensemble des prémisses explicites et à ce qui peut en être déduit, tandis que le second fait intervenir toutes la connaissances que nous avons de la situation évoquée par les prémisses explicites et porte donc sur un domaine de connaissance beaucoup plus vaste. L'informatique permet d'envisager des instruments d'aide au raisonnement qui soient plus près du fonctionnement cognitif spontané.

Les outils d'aide à la visualisation de modèless peuvent rendre des services dans les cas où l'on a besoin de raisonner sur des domaines concrets dont les traits pertinents s'inscrivent dans l'espace. Des expériences de psychologie cognitive ont montré que lorsque les données d'un problème sont présentées sous forme figurative, les sujets réussissent à résoudre un plus grand nombre de problèmes que lorsqu'ils sont soumis à une représentation verbale (cfr. Denis M.). L'imagerie mentale intervient aussi dans la résolution de problèmes à données non spatiales. Elle sert alors à représenter de manière symbolique les données abstraites (ex: la durée, les intersections entre classes).

Il n'existe pas qu'une seule rationalité, mais plusieurs normes de raisonnements et procédures de décision, fortement reliées à l'usage de technologies intellectuelles particulières. Il est fort possible que se stabilisent de nouvelles technologies intellectuelles à support informatique qui feraient apparaître "irrationnels", ou du moins très grossiers, des raisonnements utilisants pourtant la logique classique et la théorie des probabilités.

Par ailleurs, Lévy souligne que la logique formelle possède elle aussi une dimension d'ordre iconique ou idéographique. "Dans une formule logique, les signes ne reproduisent pas seulement l'ordre des concepts, mais [...] cet ordre est lui-même visible, repérable comme une forme prégnante" (Eco U., Le Signe, p. 183). Ce ne sont nullement les signes pris individuellement (les cercles, hachures des intersections, ...) qui font images - un concept ou un ensemble ne ressemble pas à des cercles - mais les relations entre les signes, la grammaire qui les organise. Selon Peirce, même les expressions algébriques sont iconiques. Dans l'ID, les symboles élémentaires eux-mêmes y sont des icônes, et non pas seulement la syntaxe qui les organise.

La théorie du raisonnement de Peirce est très proche de celle de Johnson Laird. Là ou le psychologue invoque des modèles mentaux, le philosophe fait appel à des icônes. "Les énoncés abstraits sont sans valeur dans le raisonnement s'ils ne nous aidaient pas à construire des diagrammes" (Peirce, Écrits sur le signe). Selon Peirce, tout raisonnement met en jeu l'inspection d'icônes (= simulation de modèles mentaux). Peirce parle d'une faculté d'observation abstractive. Le raisonnement abductif consiste à faire fonctionner un modèle mental de l'ensemble d'une situation qui soit compatible avec les parties de la situation que l'on peut observer réellement. Lévy fait l'hypothèse que la déduction et l'induction ne sont que des cas particulier ou des éléments partiels d'une activité de raisonnement "complète" définie comme construction, simulation et comparaison de modèles mentaux. La déduction correspond à l'inspection de modèles mentaux statiques. Elle ne s'occupe que de relations entre classes (appartenance, intersection, etc.) à l'exclusion de représentations de processus ou de relations de cause à effet. L'apparition de technologies intellectuelles et de systèmes sémiotiques faisant appel à l'informatique devrait remettre en perspective la déduction et l'induction, qui pourraient alors ne plus apparaître que comme des cas spéciaux de la connaissance par simulation.



9. Communication

Il n'y a de communication véritable que si les interlocuteurs comprennent ou interprètent les énoncés qui leur sont destinés. Comprendre une proposition revient à imaginer à quoi le monde ressemblerait si elle était vraie. Cela revient à établir une correspondance entre des représentations propositionnelles (l'énoncé à interpréter) et des modèles mentaux, éventuellement construits pour l'occasion (le sens de l'énoncé).

La signification n'est pas un texte mental ou existentiel (le signifié) qui redoublerait un signifiant. Chez les anciens Grecs, le symbole était un fragment de poterie qui s'imbriquait dans un autre fragment et permettait ainsi d'identifier les parties d'un contrats, les porteurs d'un message secret, etc. La signification pourrait être pensé à partir de cette métaphore des fragments qui se rejoignent plutôt que selon la conception classique de la traduction. Lévy propose de complexifier cette image initiale en considérant (1) que les êtres symbolisants sont des machines ou des dispositifs plutôt que des objets statiques ; (2) qu'ils ne proviennent pas d'une unité originelle rompue ; (3) que chacun d'eux appelle la construction de l'autre plutôt qu'il ne cherche son correspondant parmi des entités préexistantes.

La signification s'identifierait alors à l'imbrication ou à l'embrayage provisoire de deux ou plusieurs machines sémiotiques hétérogènes et intraduisibles : le texte (au sens large) d'une part, les dispositif qui "symbolisent" avec le texte, d'autre part. L'écriture ne fonctionne que si elle déclenche en nous un ensemble de processus non seulement de décodage, mais encore d'association avec une série indéfinie de messages, de souvenirs, d'habitudes, d'affects, de multiplicités intensives ou de qualités existentielles qui formeront "l'autre fragment". Pour fonctionner, un texte doit embrayer sur des appareils sociaux, cognitifs et autres. c'est cela qui lui fait prendre sens, bien plus que la liste ordonnée qu'il dénote. Les dispositifs qui "symbolisent" avec les textes ont des substances d'expression sans doutes descriptibles mais intraduisibles ou "indicibles" au sens de Wittgenstein (cfr. Lévy, La machine univers, pp. 125-129). Mais l'intraduisible s'il ne peut se dire, peut encore être déclenché, suscité. Des textes, des discours en général embrayent effectivement sur l'indicible, symbolisent avec lui, et c'est pourquoi la communication est possible.

Qu'est-ce que l'interprétation minimale d'énoncés descriptifs ? Selon Johnson-Laird, c'est l'établissement d'un lien entre l'énoncé et un modèle mental de l'état de chose qu'il décrit. Le modèle mental, condensant toute une épaisseur d'expérience et de culture, mobilisé par les simulations qui le figurent, suspendu par son caractère toujours hypothétique, est déjà plus proche de la réalité compliquée du sens que le "signifié" classique de la linguistique structurale. Au fur et à mesure que nous interprétons un discours descriptif, chaque mot, chaque phrase réduit successivement le nombre de modèles mentaux alternatifs compatibles avec ce que nous entendons ou lisons. Des expériences (cfr. Johnson-Laird) ont montré que les sujets construisent un modèle mental à partir de descriptions cohérentes et déterminées de lieux, par exemple, mais abandonnent les modèles spatiaux en faveur d'une représentation verbale superficielle dès qu'ils rencontrent une indétermination de la description. Quand on ne comprend pas bien, on peut encore retenir des phrases. Mais, c'est ne rien comprendre à ce que l'on entend. La compréhension serait donc fondamentalement une affaire de construction et de manipulation interne de modèles mentaux. Penser, ce serait essentiellement "percevoir autrement", envisager la réalité sous un autre angle.

Selon Lévy, le modèles mentaux qui servent de support à la compréhension et à la pensée sont toujours iconiques, mais toutes les icônes (tous les modèles) ne sont pas des images. Peirce distingue 3 types d'icônes mentales : (1) les images qui mettent en jeu des ressemblances qualitatives avec leur objet (par ex. identité de couleur ou de forme) - (2) les diagrammes dont les parties sont entre elles dans les mêmes rapports que les parties de l'objet - (3) les métaphores "qui représentent le caractère représentatif d'un representamen [d'un signe] en représentant son caractère représentatif dans quelque chose d'autre" (Peirce, p. 149). La plupart des gens ont besoin d'exemples et de métaphores pour comprendre une proposition ou un concept abstraits, les seules définitions suffisent rarement. Avec Lakoff et Johnson (Les métaphores de la vie quotidienne), Lévy fait l'hypothèse que les êtres humains ne peuvent véritablement comprendre des concepts et des propositions abstraites qu'en les assimilant métaphoriquement, ou par association à des expériences concrètes. Nous ne comprenons que si, à une extrémité ou à une autre de nos réseaux associatifs et de nos activités élaboratrices, se découvre quelque icône (pas nécessairement une image). Un des objectifs de l'ID est de figurer ou d'iconiser même les idées ou les savoirs les plus abstraits.

Dans l'ID, la compréhension d'un concept "par sa définition" correspond à trois directions d'exploration. (1) L'idéogramme figure de manière imagée la signification du concept et en donne une première appréhension globale. - (2) la situation de l'idéogramme dans les divers réseaux sémantique du répertoire d'idéogrammes exprime de manière diagrammatique ses relations taxinomiques avec les autres concepts du même domaine. - (3) On peut analyser l'objet informatique sous-jacent à l'idéogramme et détailler ses attributs. La "compréhension par l'exemple" correspond à la découverte et réaction de l'idéogramme dans les actilogies. Le détour par l'abstrait (un abstrait ici tout relatif puisque fortement iconisé) sera donc rencontré pour ce qu'il est, un geste instrumental, et non comme une contrainte sans signification.

On peut définir la langue comme un instrument servant à déclencher la construction ou l'objectivation de modèle mentaux. La langue est comme un intermédiaire entre les modèles mentaux du locuteur et ceux de l'émetteur. La prise de parole est comme une tentative pour susciter l'activation ou la modification de modèles mentaux dans l'esprit de l'autre. On peut appeler concrets les énoncées qui orientent fermement l'activité d'imagerie mentale de leurs interprètes et abstraits ceux qui accordent une plus grand latitude à cette activité, qui se laissent illustrer par un grand nombre de films différents mais qui auraient cependant tous quelques traits diagrammatiques en commun. Lorsqu'on a affaire à un thème concret, la langue peut être assimilée à une technique pour déclencher la projection de certains films dans la tête des récepteurs. Dans le cas de thèmes moins concrets, la langue est alors un projecteur d'hyperfilms se jouant dans des espaces abstraits, diagrammatiques. Un hyperfilm n'est pas seulement un film de "représentation abstraites" mais aussi une matrice de films concrets possibles. Lévy fait l'hypothèse que, moyennant certaines conventions, les hyperfilms correspondant à l'activation de modèles mentaux "abstraits" peuvent toujours avoir une traduction diagrammatique spatio-temporelle, sinon figurative, sur un mode métonymique ou métaphorique. Les matrices de films possibles doivent donc pouvoir elles-mêmes se représenter sous formes iconiques.

Sous un certain rapport, le langage est donc une technique servant à déclencher la projection d'hyperfilms dans les esprits. Mais, on n'est jamais sûr d'avoir activé le bon film, le bon modèle mental. Car ce n'est ni le modèle ni l'image que l'on transmet, mais des énoncé linguistiques qui devront faire l'objet d'une activité cognitive complexe pour être compris. Si tel est le cas, pourquoi ne pas transmettre, sinon directement le modèle mental lui-même, au moins une traduction analogique et imagée de ce modèle, sans passer par les mots ? Lévy voit l'ID comme une alternative au langage phonétique dans la transmission et la manipulation d'hyperfilms. Chacun sait qu'un bon schéma vaut souvent mieux qu'un long discours.

Les images fournies par le diagramme, le plan, la photo, etc. sont des instruments utiles pour la communication de modèles simples. Mais, dès que sont en jeu plusieurs entités en interaction dynamique ou que l'on veut décrire une réalité en transformation rapide, l'image fixe est inadéquate. L'image animé séquentielle (le film classique), elle, n'a pas le caractère hypothétique et plastique du modèle mental. L'ID propose un outil de construction et de consultation d'hyperfilms qui servirait à transmettre et à manipuler des modèles en supprimant l'étape intermédiaire du langage phonétique. Communiquer au moyen de l'ID permettrait , dans les cas où l'image animée est plus efficace que la langue phonétique, de réduire la part d'indétermination qui handicape parfois la communication fonctionnelle.

Si Lévy cherche à mettre en évidence la possibilité théorique d'un pur langage d'images, cela ne signifie pas pour autant qu'il préconise l'usage séparé de ce langage sans interactions avec la communication orale et l'écriture alphabétique.

Quels nouveaux codes narratifs, quelles nouvelles rhétorique pourraient se développer avec l'ID ? Lévy donne une ou deux idées sur la pragmatique de l'ID. Élaborer une (nouvelle) proposition au moyen de l'ID, c'est essentiellement modifier "l'écologie des objets" modélisant un domaine. La proposition elle-même peut prendre la forme du film de la modification du modèle. Modification qui se fera elle-même de manière très visuelle, au moyen d'idéogrammes-outils. L'argumentation de la proposition passe par une démonstration (au sens infographique et non logico-mathématique !) du fonctionnement du nouveau modèle. La démonstration/simulation ou actilogie met en valeur les effets pertinents de la proposition. Les contres arguments passent par des actilogies mettant en évidence les effets indésirables ou non pertinents de la proposition rejetée.




Hugues Peeters - 04/11/1998