Réflexion cognitive ou anthropologique
L'idée est qu'il est possible de décrire dans le langage et avec les concepts d'une autre science le processus de la mathématique. Mais en quoi consiste ce processus ? En une activité de l'esprit, ou en la production/reproduction d'un certain rapport social, telles sont les deux réponses principalement disponibles aujourd'hui. La première donne lieu à la réflexion cognitive des mathématiques, la seconde à leur réflexion anthropologique.
La réflexion cognitive
La réflexion cognitive des mathématiques est puissamment crédibilisée, dans le milieu mathématicien et para-mathématicien, par l'importance de l'appareil institutionnel du mouvement cognitif, l'engagement dans les recherches cognitives étant, on le sait, l'une des valorisations possibles de la compétence mathématique : en d'autres termes, la contribution méthodologique des mathématiques aux disciplines de la recherche cognitive constitue une sorte de cheval de Troie pour la réflexion cognitive des mathématiques. On observe d'ailleurs que les mêmes esprits qui, il y a dix ou quinze ans, s'orientaient naturellement, à partir d'un intérêt intellectuel très vaste pour la science et la philosophie, vers l'histoire ou la philosophie des mathématiques, suivent aujourd'hui la voie d'une spécialisation du côté des sciences cognitives et de leur débat.
L'approche dite cognitiviste de l'intelligence artificielle et des sciences cognitives est en fait restée à distance de toute réflexion des mathématiques, ou plutôt elle en a seulement redoublé la réflexion logique : ce qui a été historiquement la pensée de Hilbert, que les propositions mathématiques pouvaient s'inscrire comme énoncés bien formés d'un langage logique du premier ordre, et l'activité mathématique être décrite comme activité de dérivation dans un système formel, conformément à un mode d'inférence - l'ensemble de cette fresque constituant globalement une réflexion des mathématiques - a simplement été transposé en une réflexion de la pensée en général, qui s'est donc vue assimilée à l'inférence dans un système logique par le point de vue dit computo-représentationnaliste. Tout au plus la psychologie cognitive associée à ce courant (1) a-t-elle spéculé avec timidité sur une notion de "modèle mental" suggérant que l'inférence logique elle-même, à l'instar de la saisie élémentaire des relations géométriques et du raisonnement élémentaire sur celles-ci, présupposaient une certaine "disposition" interne, dans un "espace" psychologique, des objets concernés par l'inférence, la saisie, le raisonnement. Il s'est donc marqué à l'occasion que la psychologie cognitive du cognitivisme rejoignait en partie la profonde description kantienne de l'activité mathématique comme raisonnement par construction de concepts.
Mais en fait, une telle vision, qui réactive, au plan d'une psychologie, le thème kantien du schématisme, et donc, implicitement, concède la non réductibilité de la pensée logico-mathématique à la discursivité logique en affirmant le rôle essentiel d'un principe de figurabilité, appartient déjà par l'esprit à la seconde époque des sciences cognitives, celle de la modélisation connexionniste, des grammaires cognitives, et du programme dit de la "vie artificielle". Aujourd'hui, Peneloppe Maddy, dans son Realism and Mathematics, propose justement une interprétation cognitive de l'intuition des ensembles finis, qui se réfère à la psychologie hebbienne, c'est-à-dire, à travers un de ses prédécesseurs, à la modélisation connexionniste. Son but est de valider la conception réaliste des mathématiques, c'est-à-dire la conception défendant que les mathématiques sont le discours vrai sur un (réel) externe. Elle prétend l'établir à deux niveaux et de deux façons. D'une part, elle s'appuie sur l'argument dit d'indispensabilité, selon lequel, puisque les mathématiques sont l'instrument d'une physique mathématique en phase avec le monde, elles participent de la vérité réaliste au sens quinien : une "vérité-cohérence" qui de toute manière est la seule sorte de vérité à laquelle puisse prétendre la science selon cet auteur. D'autre part, elle soutient qu'il y a un soubassement intuitif des mathématiques, un ensemble de vérités pourvues d'une garantie évidentielle et descriptibles comme liées à des propriétés objectives, soubassement et ensemble que la systématicité théorique de la mathématique intègre. Au-delà, il lui reste à montrer que la rationalité qui préside à l'investigation mathématique au sein du système pleinement élaboré de sa théoricité coïncide avec la rationalité hypothético-déductive ambiante de la science. L'aspect "cognitif" important est donc ici la description de l'appréhension de la vérité finitaire. P. Maddy fait l'hypothèse que les réseaux neuraux en charge de la reconnaissance et la configuration des scènes perceptives deviennent capables, par un processus d'apprentissage qu'elle serait sans doute d'accord pour concevoir à la Edelman (1), de détecter des objets, puis des distributions plurielles typiques de deux ou trois objets, un ou plusieurs "pattern d'activation" d'"assemblées neurales" de plus ou moins haut niveau, formant une constellation hiérarchique, étant à chaque fois l'instantiation physiologique de la faculté de détection considérée. Plus généralement, on pourrait ainsi fonder au niveau de la perception des objets dans l'espace et de l'implantation neurologique des Gestalt finitaires le contenu théorique de la théorie des ensembles finis.
La question que je veux simplement poser est celle du caractère réfléchissant d'une telle objectivation psychologique de la mathématique. Le problème, au fond, est de savoir si une connaissance des pourquoi peut être une réflexion. Peneloppe Maddy a tendance à répondre à cette sorte de question en invoquant le slogan de l'épistémologie naturalisée : même si la référence à cette organisation psychologique du sujet n'a, comme toute épistémologie naturalisée, aucune valeur de justification fondationnelle, elle constituerait un discours dont l'adjonction à l'ensemble du réseau interdépendant des discours scientifiques procurerait une corroboration sinon satisfaisante, du moins substantielle et indépassable de la mathématique comme de la totalité du dispositif cohérent de la science. En somme, cette esquisse de théorie cognitive de la mathématique finitaire mettrait en rapport notre intuition de vérités finitaires avec une théorie en troisième personne - présupposant naturellement, entre autres chose, les vérités mathématiques finitaires elles-mêmes - dans laquelle notre intuition et ses référents ont des répondants objectifs, et leur corrélation est pensée objectivement. Du point de vue strictement logique, il s'agit d'une confirmation par des implications revenant de façon non contradictoire sur le thème, implications qui en l'occurrence n'ont pas cours à l'intérieur du système conceptuel de la science considérée, la mathématique, mais se situent dans un contexte plus large où figure aussi le discours psycho-neurologique. La discussion classique à l'égard du projet et de la mise en œuvre d'une telle épistémologie porte sur l'acceptabilité de l'abandon de la perspective fondationnelle : Putnam, par exemple, ne cesse d'affirmer que le besoin d'une auto-justification de la raison ne peut pas être éliminé, et que l'épistémologie naturalisée ne saurait, quelle que soit sa valeur, nous tenir quitte de l'épistémologie véritable (qu'il conçoit, quant à lui, comme essentiellement relativiste (2) ). Mais le problème que je veux poser ici est tout autre : en supposant que l'on valide comme justification de la mathématique finitaire, au sens qui vient d'être précisé, l'ébauche d'explication cognitive proposée par P. Maddy, je demande plutôt si cette explication réfléchit les mathématiques. En d'autres termes, donne-t-elle à voir la pensée des mathématiques ? L'exercice partiellement opaque de l'arithmétique élémentaire est-il éclairé pour l'investigation pensante qu'il est, le rapport vivant de la mathématique aux objets finitaires, tel qu'il ne cesse de donner lieu aux constructions et aux affirmations les plus passionnantes et les plus complexes, est-il éclairé par de telles explications ? Il me semble que non.
Certes, le discours de P. Maddy réfléchit la mathématique finitaire en tant qu'il l'objective doublement : dans les configurations plurales d'objets d'une part, dans les modes d'activation des assemblées neurales d'autre part : il y a bien là à la lettre réflexion, mais c'est d'une réflexion vers une strate objective, et non pas d'un retour vers et d'une reprise par le pour soi (ou le pour nous de la culture) qu'il s'agit. À tel point que, de ce point de vue, la mathématique elle-même est plus réfléchissante que son explication cognitive : l'axiomatisation de Peano, ou la caractérisation du fini par la non existence d'une injection vers une partie propre dans le contexte de la théorie des ensembles, ou encore le discours de la constructivité et de la récursivité constituent à chaque fois une manière pour l'esprit d'assumer autrement, avec plus de richesse et plus de profondeur, la mathématique finitaire. Ce qui est pensé et compris dans les objets finitaires est modifié d'autant que les règles de leur prédication et leur colligation/combination sont altérées, renouvelées : je désigne ici typiquement le ressort de ce que j'ai appelé dans mon ouvrage de 1991 herméneutique formelle ; je reviendrai plus loin sur la valeur que possède cette vue mienne par rapport à la question de la réflexion des mathématiques. Mais il est en revanche absolument clair, je crois, que l'explication cognitive de Maddy n'a aucune espèce d'incidence sur notre mode de possession ni mathématique ni pensant en général des objets finitaires. La réflexion cognitive, en bref, est un report d'une partie de la mathématique sur une surface d'objectivité, son incidence sur le pour soi et le pour nous est médiate et à tout prendre minime : tout au plus procure-t-elle un réconfort de la non-contradiction et une appropriation heureuse du territoire des connaissances dans son ensemble à proportion de ce que certaines connaissances parviennent à revenir sur d'autres, de ce que le "lien" logique général de la connaissance s'y montre capable d'opérer dans tous les sens sans exploser, de produire de la cohérence ou de l'effet de cohérence. La réflexion n'est une réflexion au sens fort d'un retour vers le pour soi ou le pour nous que comme réflexion globale de la connaissance et pas comme réflexion des mathématiques proprement.
On peut s'attendre à rencontrer des difficultés philosophiques voisines en prenant en compte la réflexion anthropologique, puisque cette dernière semble être une démarche de réflexion objectivante à nouveau. Mais il convient à la vérité, étant donné la grande différence qu'induit ici l'intervention d'une science humaine, de regarder les choses d'un peu plus près.
La réflexion anthropologique
La réflexion dont il s'agit maintenant peut à vrai dire se présenter comme histoire des mathématiques elle-aussi : il s'agira alors de ce qu'on appelle ici histoire des mathématiques externaliste. On la baptise ici réflexion anthropologique parce qu'elle peut s'apparenter au moins à l'histoire, à l'ethnologie et la sociologie.
Rappelons brièvement, et en nous excusant de notre mauvaise information, ce que tentent de dire les discours auxquels nous pensons. Ils s'efforcent, pour l'essentiel, de décrire l'apparition datée du discours de science dont on s'occupe selon les catégories relativisantes du mode anthropologique concerné. Ainsi, s'agissant des mathématiques, on pourra étudier :
- la genèse socio-historique de la discipline, en cherchant dans les textes à quelle époque, en liaison avec quels intérêts sociaux ambiants, s'est émancipée une figure des mathématiques, autonome à la fois vis-à-vis de la philosophie (dont elles étaient indistinctes, par exemple, au moyen-âge) et de la physique et de la technique (ne peut-on pas prétendre que les recherches que nous appelons aujourd'hui mathématiques furent longtemps finalisées par des enjeux astronomiques ou balistiques, jusqu'au dix-huitième siècle inclus en tout cas ?)
- les savoir-faire tacites qui opèrent en deçà de l'auto-présentation théorique de la mathématique, ce qui, en l'occurrence peut d'une première manière se faire sans sortir de l'histoire dite intrinsèque, en regardant de près les calculs ou les justifications offerts de fait par les textes ; mais on peut aller plus loin du côté de ce genre d'enquête, en étudiant le rapport des mathématiques à certaine façon d'écrire, de lire, de dessiner, en analysant, sous l'angle des traits qu'elle manifeste de façon saillante au niveau statistique, la gestualité qui fait la mathématique ;
- les variantes culturelles du projet mathématique : la manière dont se place la mathématique dans une vie nationale est différente selon la nation considérée ; cette variation peut également être regardée selon l'axe historique, bien entendu ; les "programmes de recherche" dominants dans tel ou tel pays, de même, peuvent être mis en rapport avec telle ou telle option ou particularité socio-politique du pays considéré.
- on peut encore examiner la production mathématique comme textualité littéraire standard. S'intéresser à l'évolution de la typographie mathématique, de l'industrie de l'édition mathématique, au sein de celle de l'édition universitaire en général. Aux différents genres littéraires propres à la mathématique, comme le mémoire, le traité, la communication à l'Académie, l'article, l'encyclopédie, le polycopié etc.
- on peut enquêter sur l'institutionnalisation, sur l'école mathématique et la recherche mathématique telles qu'elles s'organisent : sur le rôle de l'enseignement des mathématiques dans une politique générale du savoir, sur la fonctionnarisation de la recherche, le développement des départements de mathématiques dans les universités, sur la fonction des grandes écoles dans la sélection d'un corps de mathématiciens éminents (en France). Des questions de ce type peuvent, à nouveau, être posées en répertoriant la diversité des réponses qui leur sont données dans le fait à la fois selon l'axe historique et selon l'axe ethnologique par exemple.
On comprend le bien le principe de cette sorte d'approche : dire tout ce qui est peut être dit d'universel dans certaines limites du discours mathématique sans l'écouter pour ce qu'il dit, mais en analysant la distribution dans l'espace et le temps des valeurs de tels ou tels paramètres de signification plus large qui le concernent. S'agit-il en l'occurrence d'une réflexion des mathématiques ? En un sens, à nouveau, oui : le discours mathématique est projeté sur un certain nombre de plans non mathématiques où une image de lui peut être prise ; chacune de ces images, par principe, emporte quelque chose de son essence. À la différence de ce qui a lieu dans la réduction cognitive, ce n'est pas sur une couche constituée de l'objectivité que la mathématique est réfléchie, elle est plutôt réfléchie en tant que projetée sur l'intersubjectivité elle-même. Ce que retient l'anthropologie du mathématiser afin d'en faire le matériau de son analyse, c'est quelque chose de la mathématique qui est reçu bien au-delà du cercle mathématicien, tel ou tel aspect plus largement intersubjectif de la mathématique.
La frontière entre l'étude intrinsèque et l'étude externaliste peut d'ailleurs être extrêmement fine. Par exemple, une étude des styles des mathématiciens, si elle est étude de la manière dont ils mettent en œuvre des moyens conceptuels, une structure d'exposition, dont ils privilégient tel ou tel mode calculatoire, tel ou tel cadre théorique, est principalement intrinsèque. Cependant que la remarque selon laquelle les manuels anglo-saxons de l'apogée du bourbakisme étaient infiniment plus "talkative" et imagés que les manuels français, remarque qui, dans ma jeunesse, était fréquente et s'argumentait en opposant le style des ouvrages de S. Lang à ceux de J. Dieudonné, semble faire déjà partie de l'approche externaliste, alors même qu'elle reste très "immanente" en un sens à la communauté mathématique.
Le problème de l'assignation du caractère authentiquement réflexif à l'anthropologie des mathématiques est au fond celui de savoir si quelque chose revient au discours mathématique de la signification qu'il projette sur des plans d'intersubjectivité autres que le plan qui lui est propre. La recherche mathématique elle-même peut être décrite comme l'élaboration de la signification mathématique dans l'enceinte de la communauté mathématique : à ce titre, elle produit des effets de dévoilement et de compréhension. Mais lorsqu'une signification systématique est associée à la projection du discours mathématique dans d'autres contextes de production/réception de discours, sur d'autres plans d'intersubjectivité, est-il clair que cette signification se laisse rattacher a posteriori à l'enjeu de signification de la mathématique elle-même ? En d'autres termes y a-t-il dialogue entre la mathématique et la trace qu'elle laisse dans la société et l'histoire, cette trace fait-elle partie de ce qui concerne la mathématique, est-ce une façon de récupérer réflexivement l'entreprise de pensée qu'est la mathématique de décrire cette trace ?
Une réponse absolument négative serait sûrement mensongère. La signification mathématique se destine à la communauté scientifique plus large qu'elle, et au-delà, à des communautés encore plus larges, celles de la culture ou de la citoyenneté. D'autre part, elle ne peut réaliser l'élaboration questionnante des contenus mathématiques que par les voies d'une intersubjectivité spécifique : les modalités très particulières de cette dernière - ainsi, l'école mathématique dans ce qu'elle a de propre - ont tout à voir avec la pensée et l'aventure que les mathématiques sont. Par conséquent la réflexion anthropologique réfléchit en effet les mathématiques sur des plans auxquels elles ont part, même si elles n'y sont guère présentes comme telles, ou sur des conditions de leur mise en œuvre qui leur sont essentielles, même s'il fait partie de ces conditions qu'elles s'effacent comme thème au sein de la vie mathématique au sens strict.
Cependant, réfléchir les mathématiques comme l'entreprise pensante, la tension vivante qu'elles sont, cela ne peut pas être simplement les réfléchir de cette manière. Nous sommes en fait partis d'un problème qui était celui de la non-visibilité au premier abord de cette entreprise/cette passion , cette pensée/cette vie que sont les mathématiques. Une telle non-visibilité doit évidemment être mise en rapport avec ceci que les projections de la mathématique sur les plans de significations extra-mathématiques semblent ne pas la réfléchir : mais ce qui est ainsi reconnu vrai du rapport de chaque individu avec la mathématique deviendrait-il faux lorsqu'on passe au bilan statistique ou structural qui peut être tiré de ces rapports individuels ? Il est a priori peu naturel de supposer que la simple compilation intelligente de modes de réception des mathématiques dont leur vie est absente produise un discours ou une image qui réfléchisse cette vie.
En fait, la manière dont nous venons de poser le problème lui donne pour ainsi dire sa réponse : nous avons demandé si la signification projetée sur quelque plan externe pouvait revenir dans l'interne. Mais une signification n'est pas soumise à une mécanique de la fusic, elle ne saurait revenir qu'à la faveur d'une adresse qui la retourne. Autant dire que la réflexion anthropologique ne sera réflexion des mathématiques que si ce qu'elle recueille est susceptible de parler à la mathématique. Toute la question est donc simplement de savoir ce qui délimite la frontière du dialogue de la mathématique. Quelles significations, bien que, peut-être, dégagées selon une méthode anthropologique indifférente à l'enjeu mathématique, se laissent-elles réinsérer au dialogue propre qui fait la mathématicité ?
J'ai pris tout à l'heure un exemple positif qui peut en la matière nous aider : je crois directement évident que l'analyse anthropologique de l'école de la mathématique est une réflexion authentique de la mathématique, j'anticipe d'ailleurs que d'autres mathématiciens en jugeraient pareillement. J'en nommerai le symptôme suivant : un mathématicien professionnel, engagé dans la plus savante des recherches (la plus absconse et la moins communicable), plongé dans la socialité parisienne d'un dîner où le sujet de l'enseignement des mathématiques, de leur place et leur rôle de sélection dans l'enseignement secondaire, des programmes, des grandes écoles se trouve débattu - et, comme on le sait, cette discussion s'élève fréquemment parmi les gens lettrés - un tel mathématicien donc se sentira lié à cette discussion, éprouvera qu'il doit en dire quelque chose, et cherchera même à y projeter son expérience la plus personnelle, à faire valoir ce qu'il croit avoir appris en apprenant/inventant les contenus les plus difficiles, en participant à l'école auto-formante des élus de la recherche. Et c'est la donnée de cette implication qui fait que l'anthropologie (l'histoire, la sociologie) de l'école sont des réflexions véritables de la mathématique. Le discours de la mathématique a envie de s'adresser dans le débat sur son école, le discours de ce débat est entendu de qui joute dans l'arène mathématique.
Mais le critère d'implication - formulé en l'occurrence comme critère dialogal - est le critère herméneutique. L'implication que je viens d'essayer d'établir résulte de la fonction centrale de l'école de la mathématique par rapport à ce qui fait de la mathématique une tradition herméneutique propre. Rien ne peut valoir comme objet, comme langage, comme problème, comme enjeu de la mathématique indépendamment d'une validation collective dont l'école est l'élément premier, et la forme jamais oubliée (toute socialité mathématique - si haute soit elle - a quelque chose d'une école). La mathématique est vivante comme investigation pensante d'énigmes qui lui sont propres, et dont elle propose indéfiniment des versions : mais cette conformation herméneutique du champ mathématique, possiblement dissimulée par certaines manières de l'envisager, est à certains égards tout particulièrement manifestée par l'institution de l'école, en dernière analyse parce que la transmission est un moment clef du "modèle philosophique" de l'herméneutique, et parce que l'école mathématique a comme spécificité de rester toujours en un sens propriétaire de ce qui s'y transmet, de prédéterminer et charger d'une valeur-pour-elle tout objet de la mathématique.
Il est donc absolument concevable que des résultats de l'anthropologie des mathématiques constituent des supports pour leur réflexion. À cela il suffit seulement que le regard anthropologique considéré ait porté sur quelque aspect de la mathématique ayant à voir avec le mouvement herméneutique qu'elle est, d'une part, et d'autre part que les significations dégagées soient de fait assumées jusqu'à leur ré-adresse au sein de ce dialogue des textes, des sujets, des objets qu'est ledit mouvement herméneutique. Mais, si une telle assomption a lieu, a-t-on encore affaire à un traitement externaliste de la mathématique ? L'extériorité revendiquée par cette catégorie d'analyses se définit-elle autrement que comme extériorité au dialogue vivant de la mathématique ?
(1) Cf. Edelman G.M., The Remembered Present A Biological Theory of Consciousness, New York, Basic Books, 1989.
(2) Cf. Définitions. Pourquoi ne peut-on pas "naturaliser" la raison, Paris, Editions de l'Eclat, 1992.
ffffffff
