Les mathématiques, un pont entre le visible et l’intelligible

La tradition du visuel en mathématiques

Le visuel a une longue tradition et une riche motivation en mathématiques. Les Éléments d’Euclide abondent en représentations géométriques, bien que la méthode axiomatique déductive utilisée par Euclide ne repose pas directement sur l’aspect visuel. Mais l’intuition visuelle est essentielle dans son choix des axiomes (appelés par lui des « notions communes ») et des postulats et dans sa façon d’introduire des définitions (qui sont, en fait, ou bien des notions primitives, dont le poids intuitif fait inutile leur définition, ou bien un mélange d’intuition et de logique du sens commun). Ses preuves utilisent aussi, assez souvent, un support visuel. Le visuel, le rationnel et l’intuitif se trouvent toujours chez Euclide dans une collaboration étroite.

Les mathématiques islamiques et de la Renaissance commencent au VIII^e siècle, avec Al-Khwarizmi et vont jusqu’au XVI^e siècle, avec Cardano ; c’est une période où se manifeste une tendance d’algébrisation qui va réduire la place du visuel, mais on pratique la justification d’une formule par des moyens géométriques ou appelant à des diagrammes.

Le XVII^e siècle connaît deux changements majeurs : la création du calcul infinitésimal, par Newton et Leibniz, et l’algébrisation de la géométrie (source de diminution du rôle du visible), par Descartes. Un exemple typique de la nouvelle façon de faire appel au visuel est l’utilisation par Fermat d’un diagramme pour calculer l’aire délimitée par une hyperbole. On a ici une continuation des tentatives des vieux grecs de capturer des processus d’approximation à une infinité d’étapes (le cas de l’aire d’un segment de parabole), mais maintenant on est dans une situation bien plus avancée. La situation est symptomatique pour la manière dont le visuel est impliqué : plus on avance dans le processus d’approximation, plus le visible cède la place à l’intelligible dépourvu de visibilité.

Le XVIII^e siècle, avec Euler, D’Alembert et Lagrange, marque une orientation clairement algébrique, au détriment de la géométrie, donc du visuel. Mais, d’autre part, Kant accentue la place centrale des diagrammes et des intuitions visualisables, en mathématiques.

La rupture entre le visible et l’intelligible : le XIX^e siècle

Le XIX^e siècle est dramatique par au moins trois événements : l’émergence des géométries non euclidiennes, le décalage considérable entre les faits de l’analyse mathématique et notre intuition visuelle et les surprises fournies par l’exploration de l’arithmétique transfinie. On assiste à une véritable rupture entre le visible et l’intelligible, en contraste avec le développement antérieur, caractérisé par une relative concordance entre l’aspect logique et l’aspect intuitif, visible des notions et des théorèmes. Cette rupture va s’accentuer au XX^e siècle, de plus en plus nombreux sont les résultats qui se trouvent en conflit avec nos attentes, avec nos représentations intuitives. La possibilité des géométries autres que celle d’Euclide est venue comme un choc logique (mettant en doute la logique d’Aristote), un choc philosophique (mettant en doute les idées de Kant), une contestation de la nature exclusivement déductive de la géométrie, qui se montre dans une dépendance essentielle de la physique. La confiance dans une séparation nette entre le sujet et l’objet, attribut important de la mentalité galiléo-newtonienne, ne résiste plus. On voit maintenant les limites du visuel. Les représentations, dans le monde euclidien, des géométries non euclidiennes, appartiennent à la stratégie de Platon proposant la métaphore de la cave. Nous sommes des êtres euclidiens, nos intuitions sont celles d’Euclide et de Newton. John Wallis [1663] a montré que le postulat des parallèles est équivalent à l’existence des figures similaires qui ne sont pas congruentes. Donc le fait que tous les cercles sont similaires est le privilège de la géométrie d’Euclide. Il s’ensuit que l’existence d’une constante universelle de la circularité est limitée à la géométrie euclidienne, par exemple, toutes les mathématiques utilisant le nombre pi sont valables seulement dans le contexte euclidien.

En ce qui concerne l’analyse mathématique, la surprise a été fournie par les fonctions continues partout non différentiables, par les fonctions jouissant de la propriété de la valeur intermédiaire (propriété de Darboux), mais partout discontinues, par la non-concordance entre les notions d’intégrale et de fonction primitive. La bataille pour la rigueur dans la définition des notions de base de l’analyse mathématique a été gagnée en payant un prix très cher : le divorce entre l’aspect logique et le support intuitif et visuel, entre signification et rigueur, entre sémantique et syntaxe. La dynamique des infinitésimaux a été remplacée par la vision statique, atemporelle du jargon epsilon-delta.

En ce qui concerne l’arithmétique transfinie de Cantor, on a adopté, par la quasi-totalité des mathématiciens, l’hypothèse de Cantor d’un isomorphisme entre cette arithmétique et l’arithmétique ordinaire, bien que les résultats de Gödel et Cohen concernant l’axiome du choix et l’hypothèse du continu réclamaient une attitude plus réservée. Mais les résultats récents mettent en doute la consécutivité du dénombrable et du continu (le premier problème de Hilbert ; voir Woodin [1999]). On attend une nouvelle axiomatisation de la théorie des ensembles ? Il s’ensuit que l’on ne sait pas encore si la nature visible de séquence associée aux nombres naturels se retrouve dans l’ensemble des cardinaux transfinis.

Et pourtant, le visible reste très important

Si Kant restait au XVIII^e siècle, avec son accent sur l’intuition visuelle, une île de résistance contre la domination de l’esprit algébrique, Ch. S. Peirce a joué le rôle de défendre dans le XIX^e siècle, l’importance du visuel, avec sa pensée diagrammatique. En essence, cette pensée repose sur une métaphore qui allait avoir un rôle essentiel au XX^e siècle : la métaphore de la flèche ; voir la théorie des catégories d’Eilenberg & McLane. Cette métaphore semble exprimer un aspect essentiel de notre approche du monde ainsi que de l’architecture de notre cerveau car cette architecture fait l’objet des mathématiques dans la même mesure que le monde qui nous entoure. Par les mathématiques, notre pensée se rapporte non seulement à la réalité extérieure, mais aussi à elle-même. C’est ici à la fois sa faiblesse et sa force.

Si la forme principale du langage naturel est la variante parlée, la variante écrite étant secondaire, pour le langage mathématique c’est l’opposé. Sans sous-estimer l’importance du discours parlé du mathématicien, c’est seulement la variante écrite qui permet la validation d’un résultat mathématique. Mais cette variante appartient au visuel. Il faut aussi souligner que les mathématiques sont usuellement présentées, pour des raisons d’économie, sous une forme linéaire, mais dans leur vraie nature elles sont bidimensionnelles et parfois tridimensionnelles, si l’on tient compte de la nature de tous les symboles et de toutes les expressions, ainsi que de toutes les représentations graphiques et parfois des programmes de calculateur appartenant à la composante artificielle du langage mathématique. Le discours mathématique, dans sa forme la plus complexe, est aujourd’hui une véritable polyphonie (Bakhtin), un orchestre (Pontriagin), un montage vertical dans la façon proposée par Eisenstein pour le film. A. J. Greimas a proposé la distinction entre le linéaire et le modulaire, en ce qui concerne la poésie, tenant compte de sa tendance (manifestée par les divers aspects de la prosodie) à s’évader du linéaire du langage commun et à s’inscrire dans une structure polydimensionnelle. C’est exactement la même tendance, bien que pour des raisons différentes, qui se manifeste en mathématiques. Mais, à vrai dire, l’explication de cette similarité est très simple. La poésie et les mathématiques sont des produits de la créativité humaine, qui a besoin de la contribution des deux hémisphères du cerveau. Il est vrai que les structures logiques et du langage sont le privilège de l’hémisphère gauche du cerveau, mais ça concerne seulement la façade des mathématiques. Dans leur laboratoire de création, les mathématiques ont besoin de l’intuition et de l’imagination qui se trouvent sous le contrôle de l’hémisphère droit du cerveau. Il semble que la psychologie de la créativité est la même pour les sciences et pour les arts (Hadamard, Poincaré 1963).

Un autre argument fort en faveur du visuel est sa priorité par rapport à tout autre sens, dans le domaine de la synaesthesia ; voir, par exemple, Erzsebet [1970]. Tout autre sens fait appel au potentiel métaphorique du visuel.

Le visible stimule la vocation anaphorique et cataphorique du langage mathématique

Étant donnée la nature écrite, graphique, donc visible du langage mathématique, ce langage a une fixité et une stabilité qui permettent facilement de regarder le développement antérieur du discours mathématique, qui est l’objet des relations anaphoriques et, pour des raisons de symétrie, on peut aussi faire référence au développement ultérieur, qui est l’objet des relations cataphoriques. Les structures anaphoriques et cataphoriques sont systématiquement utilisées. Les références peuvent concerner des parties situées à une distance arbitraire, à gauche ou à droite, fait dicté par la manière de construction en étapes du texte mathématique, où chaque étape est explicitement basée sur les étapes antérieures. Ces flèches allant de droite à gauche sont la source des structures anaphoriques du texte, tandis que celles allant de gauche à droite sont la source des structures cataphoriques. Pratiquement, il faut fréquemment tourner les pages, lorsqu’on lit un texte mathématique. Le renvoi est une de ses marques caractéristiques. Ce fait donne aux textes mathématiques un statut de lien organique entre le local et le global, entre la partie et la totalité, impliquant la possibilité et le risque d’invalider un texte très long comme effet d’une erreur locale.

Les métaphores visuelles de la composante artificielle

Le besoin de donner aux acquisitions antérieures une expression aussi simple que possible mène à l’introduction de certains symboles artificiels qui vont remplacer des constructions compliquées en langue naturelle. Ainsi prend naissance la composante artificielle du langage mathématique, qui est essentiellement visuelle. Cette composante imite, à certains égards, la structure du langage naturel ; par exemple, elle utilise systématiquement des métaphores visuelles qui s’organisent dans une suite de métaphores. Les signes + et – connaissent un transfert métaphorique des nombres naturels aux nombres entiers, puis un autre transfert, allant des nombres entiers aux nombres rationnels, puis un troisième transfert métaphorique, allant des nombres rationnels aux nombres réels et on peut aller plus loin. Il y a ensuite des analogies menant à ce qu’on pourrait considérer des semi-métaphores, par exemple, le passage des signes de réunion et d’intersection des ensembles aux signes de disjonction et de conjonction des propositions logiques ou le passage allant de la lettre S (somme) au signe de l’intégrale de l’analyse mathématique. Voir mieux dans Marcus [1973, 1990].

On voit seulement ce qui est continu, on comprend seulement ce qui est fini

C’est la remarque de René Thom (1993 : 85-86). Il y a un conflit entre le visible et l’intelligible, ces deux attributs ont besoin l’un de l’autre, mais en même temps sont incompatibles. On comprend seulement ce qui est fini, mais on voit effectivement seulement ce qui est continu. Le fini est un cas particulier du discret, qui est le contraire du continu. Bertrand Russell attirait l’attention, il y a plus d’une centaine d’années, sur le fait qu’une discipline ne peut pas devenir une science si elle n’est pas capable de quantifier son domaine, en partant d’un inventaire d’unités de base. Ferdinand de Saussure avait la même conception, avec application à la linguistique, où il a montré comment, partant de la phonétique, qui est le domaine du continu, on peut arriver à la phonologie, qui est le domaine du discret. Le continu sonore est perceptible et visible dans une représentation graphique, il est le point de départ pour construire le domaine plus abstrait de la phonologie. Les phonèmes sont des unités invisibles, mais intelligibles. L’itinéraire menant du continu sonore de la parole au discret abstrait de la langue est justement l’action du linguiste. Réduire le nombre des paramètres d’un problème à un nombre fini aussi petit que possible c’est le but de toute recherche scientifique.

On comprend ainsi pourquoi on donne une attention systématique à l’étude du continu à l’aide du dénombrable et à l’étude du dénombrable à l’aide du fini. Dans ces processus d’approximation, leur complexité est essentielle ; si elle est trop grande, l’approximation respective est compromise.

Mais il y a aussi maintenant l’approximation du fini à l’aide du dénombrable. Par exemple, un fragment fini d’un langage est prolongé en une suite infinie, dont la structure générative et analytique est attribuée, par approximation, au fragment envisagé. Cette opération est appelée inférence grammaticale. On doit choisir une variante parmi une infinité de variantes possibles. Ce choix décide notre lecture du fragment envisagé.

On constate donc que la tendance d’interpréter « voir » comme « comprendre » (surtout en anglais, « I see » signifie souvent « I understand ») est en conflit avec la réalité.

Le désordre n’est jamais total

Le paradoxe de la situation présentée ci-dessus est le fait que le fini est dépourvu de structure. Dès qu’on cherche à transgresser la nature amorphe du fini, on va introduire une règle, qui conduit inévitablement à un ensemble infini ou à une suite infinie. La façon humaine de lire le fini est de le plonger dans une entité infinie, afin de lui attribuer un ordre. C’est la façon d’utiliser les grammaires formelles dans l’étude des langues naturelles.

D’autre part, il semble que le désordre total n’est pas accessible à un être humain. La théorie de Ramsey a comme slogan la remarque de T. S. Motzkin : « Le désordre complet est impossible. À l’intérieur de chaque structure assez large il y a une plus petite structure très régulière » ; voir la Préface du livre de Graham-Rothschild-Spencer (1990). On cite à cet égard le théorème de Van der Waerden (Si les entiers positifs sont coloriés avec un nombre fini de couleurs, alors il y aura une classe d’entiers de la même couleur, contenant trois nombres x, y, z tels que x + y = z) et le théorème de Ramsey (Si un graphe G a un nombre assez large de sommets, nombre qui dépend de k, alors il y a dans G un sous-ensemble de k sommets qui est ou bien complet, ou bien indépendant).

L’arbitraire, lui aussi, peut nous tromper. Des expressions comme « ensemble arbitraire » et « fonction arbitraire » sont au-delà du visuel. Tracer un triangle arbitraire c’est impossible. Il y a des théorèmes qui confirment les contraintes d’un ensemble arbitraire de points sur la droite (Lebesgue) ou d’une fonction réelle arbitraire d’une variable réelle (Blumberg, Sierpinski).

L’aléatoire (au sens de Kolmogorov & Chaitin) aussi implique un ordre. On donne d’habitude l’exemple frappant suivant. Un mot infini aléatoire sur l’alphabet du français inclut comme un sous-mot fini « Les fleurs du mal » de Baudelaire. Le chaotique, à son tour, révèle un ordre caché, qui se manifeste dans la structure, souvent visible, des attracteurs du système dynamique envisagé.

Mais l’ordre mathématique peut manifester une opposition brutale avec notre intuition et avec notre perception visuelle. Presque tous les systèmes dynamiques sont chaotiques, presque toutes les fonctions continues dans un intervalle I ne sont monotones dans aucun intervalle contenu dans I.

Il semble parfois que l’intelligible et le visible sont dans un état de guerre.

La géométrie est l’art de raisonner juste sur des figures fausses

Cette remarque, attribuée à Henri Poincaré, mérite une attention spéciale, elle est d’ailleurs en connexion avec la remarque de Thom, discutée ci-dessus et avec l’interaction du discret avec le continu. Prenons les définitions 1 et 2 du Livre I des Éléments d’Euclide : un point est ce qui n’a pas de parties ; une ligne est une longueur sans épaisseur. Deux choses sont importantes ici ; les objets mathématiques appartiennent à un univers de fiction (il n’y a pas dans l’univers observable des points et des lignes d’Euclide) ; dès qu’on veut les représenter visuellement, on va les falsifier, le point aura des parties et la ligne aura une épaisseur, donc on arrive à la situation signalée par Poincaré.

Ce scénario se répète toujours ; le cas le plus significatif est celui des objets fractals. Comme objet mathématique, un fractal est le résultat d’un comportement asymptotique, la limite d’une suite infinie dont les premières étapes admettent une représentation visuelle ; mais cette représentation devient de plus en plus faible et disparaît totalement à la limite. De cette façon, un objet fractal au sens mathématique du mot est parfaitement intelligible, mais totalement invisible. Pour combler ce contraste, on adopte comme un compromis la représentation d’un objet fractal par ses approximations visibles. Les boules de neige (courbe de Koch) deviennent ainsi des objets fractals visuellement très beaux. On est ainsi exactement dans la situation de Poincaré. Malgré la fausseté de la représentation, on ne peut pas nier l’avantage de cette démarche, car on est toujours dans la situation d’utiliser l’approximation. La plupart des nombres réels sont connus seulement d’une façon approximative.

Le sens commun et l’intuition arrivent parfois en conflit avec la vérité

C’est la remarque de Bertrand Russell. L’espace euclidien à trois dimensions défend parfois ses mystères mieux que dans le cas des dimensions supérieures à trois (voir la conjecture de Poincaré). Des questions apparemment très claires, comme la longueur d’une courbe et l’aire d’une surface, où la représentation visuelle semble simplifier les choses, se sont montrées être un piège très dangereux. L’itinéraire de Jordan à Lebesgue et Fréchet est significatif à cet égard. Les difficultés viennent du fait que l’intuition visuelle couvre seulement une petite partie de tels concepts comme fonction continue, fonction différentiable, courbe, surface, etc. On est ainsi toujours en danger de se tromper.

La gloire des mathématiques est leur capacité à nous dévoiler des faits qui sont bien au-delà des frontières du visible, en assurant une interaction permanente de l’intelligible avec le visible : leur mariage est solide et essentiel pour le progrès de la connaissance, une preuve claire de la force de l’intelligence humaine. Toute tentative de fixer des limites aprioriques aux mathématiques risque d’être infirmée.