ANNALES
DE LA FACULTÉ
DES SCIENCES
DE TOULOUSE
Mathématiques

CATHERINE GOLDSTEIN

L'arithmétique de Pierre Fermat dans le contexte de la correspondance de Mersenne : une approche microsociale

Tome XVIII, n° S2 (2009), p. 25-57.

<http://afst.cedram.org/item?id=AFST_2009_6_18_S2_25_0>

© Université Paul Sabatier, Toulouse, 2009, tous droits réservés.

L'accès aux articles de la revue « Annales de la faculté des sciences de Toulouse Mathématiques » (http://afst.cedram.org/), implique l'accord avec les conditions générales d'utilisation (http://afst.cedram.org/legal/). Toute reproduction en tout ou partie cet article sous quelque forme que ce soit pour tout usage autre que l'utilisation à fin strictement personnelle du copiste est constitutive d'une infraction pénale. Toute copie ou impression de ce fichier doit contenir la présente mention de copyright.

cedram

Article mis en ligne dans le cadre du
Centre de diffusion des revues académiques de mathématiques

http://www.cedram.org/
# L'arithmétique de Pierre Fermat
dans le contexte de la correspondance de Mersenne :
une approche microsociale

CATHERINE GOLDSTEIN(*)

## Les paradoxes de Pierre Fermat

Un loup solitaire... ayant commerce de tous côtés avec les savants¹. Un magistrat concentré sur ses devoirs publics, notant ses observations mathématiques comme s'il «s'occupa[i]t d'autre chose et se hâta[i]t vers de plus hautes tâches», mais prêt à mobiliser tout Paris pour connaître les questions arithmétiques qui y circulent et à défier l'Europe entière avec les siennes². Un paresseux autoproclamé qui fustige néanmoins «le courage défaillant» et l'indolence de ses prédécesseurs et se vante à l'occasion d'une « pénible et laborieuse méditation»³.

Notre image de Pierre Fermat, de l'homme autant que du mathématicien, provient d'une myriade de fragments créés par lui-même, par ses contemporains ou par ses nombreux historiens, et à la cohérence incertaine. Il est extrêmement facile, comme je viens de le faire, d'en faire surgir des contradictions locales. Les historiens de Fermat ont plutôt essayé de servir une sélection particulière des informations disponibles dans un récit aussi harmonieux que possible qui permette de caractériser sa personnalité mathématique ou la nature de son travail⁴. Selon la sélection et les critères

<footnote>(*) CNRS-Institut de mathématiques de Jussieu (UMR 7586), «Histoire des sciences mathématiques», 175 rue du Chevaleret F-75013 Paris.
cgolds@math.jussieu.fr</footnote>

<footnote>(1) La première partie de la phrase vient de Mahoney 1973/1994, p. xi ; la seconde d'un rapport à Colbert, cité dans Henry 1879-80, p. 481.</footnote>

<footnote>(2) Respectivement : ... *quasi aliud agens et ad altiora festinans*, Samuel de Fermat, Préface de l'édition de Diophante de 1670, reproduit dans Fermat, OC I, p. 307 ; lettres de Fermat à Mersenne du 13 janvier et du 16 février 1643, Fermat, OC II, p. 247 et 250, et écrits LXXIX et LXXXI de 1657, Fermat, OC II, p. 332-5.</footnote>

<footnote>(3) Lettre de Kenelm Digby à Fermat du 5 décembre 1657, Fermat, OC II, p. 361, et *Observations sur Diophante* 44 et 45, Fermat, OC I, p. 337-8 et 340.</footnote>

<footnote>(4) Les problèmes de méthode que suscite un tel projet — l'établissement d'un récit biographique continu à partir de sources rares et dispersées — sont discutés dans l'ouvrage classique de Arsenio Frugoni (Frugoni 1954) ; cf. aussi, en liaison avec le problème de l'invention technique, Bechtel 1992.</footnote>
d'harmonie retenus, tel ou tel trait de l'activité de Fermat prend alors
valeur de schème global : le Fermat excellingant à la résolution de puzzles
mathématiques contraste ainsi avec le théoricien fondateur de nouvelles dis-
ciplines⁵ ; la quasi-absence de démonstrations dans son œuvre connue est
tour à tour érigée en signe distinctif ou minimisée en une simple difficulté de
rédaction⁶. Ces tentatives pour étiqueter Fermat par un label reconnaissable
aujourd'hui et les controverses qui en ont résulté ont donc plutôt entretenu
que dissipé l'idée d'un personnage et d'une œuvre énigmatiques.

Nous nous heurtons ici à deux écueils : l'un résulte d'une focalisation trop étroite sur Fermat lui-même, l'autre de l'ambition même de lui attribuer une identité humaine ou scientifique. Le premier tend à restreindre les sources pertinentes, le second à détacher les comportements des circonstances qui leur donnent sens, les deux à interpréter résultats et attitudes par référence à des normes conçues comme universelles, faute d'accès à celles opérant dans l'environnement de Fermat. L'anachronisme cru — sur ce qui constitue un problème intéressant, voire un problème tout court, ou sur ce que doit faire un mathématicien — est ainsi à l'origine d'une bonne partie de l'énigme Fermat.

Pourtant, je ne suggère pas ici de faire ressurgir un milieu tout en-
tier, avec ses héros propres et ses accessoires : seulement d'en compren-
dre quelques règles, quelques usages parfois tacites, de déterminer quels
actes mathématiques y sont possibles ou nécessaires. Prenons un exem-
ple : fin 1642 et début 1643, Fermat cherche à obtenir communication
d'écrits arithmétiques de Bernard Frenicle et se heurte à ce qu'il perçoit
comme la réticence de Pierre Bruslart de Saint-Martin qui y a déjà accès ;
après plusieurs manœuvres inefficaces, Fermat suggère enfin : « [M. de Saint-
Martin] m'obligerait de choisir des plus difficiles [questions] qui sont résolues
dans les écrits qu'il a de M. Frenicle, et, si je n'en fais pas la solution, je
consens de ne voir point le dit travail de M. Frenicle, que je désire plutôt
voir pour apprendre quelles sont les questions que pour la solution qu'il en
donne⁷ ». L'épisode se prête bien sûr à plusieurs interprétations : il pourrait

<footnote>(5) Respectivement : « Fermat is a problem-solver » (Mahoney 1973/1994, p. 204) ; « the Theory of numbers as an independent discipline of mathematics originated with P. S. (de) Fermat. » (Bell 1951, p. 223) ou « les réflexions prolongées de Fermat sur l'analyse diophantienne devaient le conduire à créer une nouvelle branche des mathématiques, la théorie des nombres » (Itard 1950, p. 18).</footnote>

<footnote>(6) Respectivement : « Fully general, rigorous proofs were not his forte » (Mahoney 1973/1994, p. 203) ; « Jamais ou presque il ne pousse à fond une démonstration [...] Cette sorte de nonchalance lui fit parfois manquer des découvertes » (Itard 1950, p. 2-3) ; « Fermat's weakness lay in the extreme difficulty he always experienced at writing up discoveries. [...] But no man can be a good mathematician, let alone a great one, if he cannot make the difference between a theorem and a conjecture, between intuition and proof » (Weil 1973, p. 1149).</footnote>

<footnote>(7) Fermat OC II, lettre LV, p. 252.</footnote>
servir à illustrer tout autant le sentiment de supériorité mathématique de
Fermat que sa dépendance par rapport aux cercles parisiens auxquels ap-
partiennent Frenicle et Saint-Martin. Mais ce qui retiendra mon attention
ici, c'est que les deux puissent être exprimés conjointement et que cette ten-
sion se trouve rapportée à une division dans le travail mathématique même,
entre questions et solutions. Il serait aussi illusoire de prétendre décrire la
personnalité de Fermat à partir de l'assurance (ou de la dépendance) ex-
primée ici que d'attribuer une valeur essentielle, intrinsèque, à ce découpage
des mathématiques. En revanche, rendre compte de la configuration intel-
lectuelle et sociale spécifique qui peut suggérer à Fermat de lier sa réussite
(voire même son accès à l'information) à sa capacité de trouver des solutions
à des questions déjà résolues semble à la fois plus prometteur et plus acces-
sible. Loin de tenter d'extraire des situations concrètes un comportement
moyen, une expression de soi typique, il s'agit donc d'examiner en détail
ces situations en tant qu'elles construisent à la fois des conduites et des
mathématiques.

Qu'apporte ici une analyse micro-sociale⁸ ? Elle incite tout d'abord à
rendre explicites les constructions historiographiques de Fermat et l'effet
même des sources utilisées. Cette première étape suggère une nouvelle con-
textualisation, qui prend cette fois en compte la totalité des échanges con-
nus dans le milieu où sont produites ces sources. L'examen des pratiques
mathématiques y met alors en évidence les caractères que Fermat partage
avec ses correspondants et ceux qui, par contraste, doivent être considérés
comme propres à lui, au moins au sein de ce milieu spécifique. Une part
importante de ce que nous percevons comme le travail de Fermat n'est ainsi
que la trace, projetée sur lui, d'activités collectives dont Fermat hérite les
formes et les contraintes. Sa responsabilité s'en trouve dégagée partielle-
ment, la singularité de sa position précisée. Evitant le recours à la psycholo-
gie et les considérations générales sur le métier de mathématicien⁹, cette
restitution en relief du paysage mathématique dans lequel nous voyons Fer-
mat opérer fait finalement s'évanouir plusieurs des contradictions repérées
plus haut. C'est ce que je voudrais montrer en me concentrant pour simpli-
fier sur l'arithmétique¹⁰.

<footnote>(8) Pour une présentation de démarches placées sous cette rubrique, voir par exemple le désormais classique Revel 1996. Jacques Revel évoque ainsi dans sa présentation (p. 12) « le choix de faire toute sa place à l'historicité des configurations étudiées — celles des acteurs, celle des situations relationnelles, celle des énoncés ».</footnote>

<footnote>(9) Deux types d'explication délicates à historiciser et donc particulièrement vulnérables à l'anachronisme ; sur la variation du métier des mathématiques et des valeurs associées dans le cas particulier de la théorie des nombres, voir aussi Goldstein 1989.</footnote>

<footnote>(10) Comme dans les classifications usuelles des disciplines mathématiques à cette époque, Fermat et ses interlocuteurs distinguent entre questions arithmétiques (ou : questions sur les nombres) et questions géométriques, mais l'algèbre, les fractions, viennent troubler les définitions traditionnelles de l'arithmétique comme domaine des quantités</footnote>
# 1. Les recherches de Fermat sur les nombres : retour aux sources

Il est bien connu que nous disposons, sur les recherches arithmétiques de Fermat, de deux types de sources : les observations de Fermat sur l'édition par Claude Gaspard Bachet de Méziriac des *Arithmétiques* et des *Nombres polygones* de Diophante, d'une part, et d'autre part sa correspondance. C'est à la forme de ces sources et à celle des mathématiques qu'elles renferment, et non à leur interprétation technique qui a déjà fait l'objet de nombreux travaux, que je voudrais m'attacher ici.

## 1.1. Les Observations sur Diophante

Ces observations, insérées par Samuel de Fermat dans sa propre réédition des *Arithmétiques* de Diophante, en 1670, sont issues selon lui des notes manuscrites faites par son père dans les marges de son exemplaire du livre. Au nombre de quarante-huit, non datées, elles sont de longueur inégale (de quelques lignes à une page dans le grand in-folio de 1670) ; nous ignorons à quel usage exact les destinait Fermat et quels éventuels remaniements son fils a pu effectuer.

Les trois quarts des observations concernent la résolution d'un ou de plusieurs problèmes, soit ceux mêmes de Diophante et Bachet, soit inspirés par eux, et dont on cherche des solutions rationnelles positives. Par exemple, il s'agit de trouver « trois carrés tels que le produit de deux quelconques d'entre eux, augmenté de la somme des deux mêmes carrés, fasse un carré¹¹» (observation 6) ou «quatre ou même un plus grand nombre, allant jusqu'à l'infini, de triangles [rectangles en nombres] de même aire¹²» (observation 23). Un quart des observations renferme des critiques de Bachet ou de Viète, portant en particulier sur les restrictions imposées aux énoncés par leurs procédures de résolution. Ainsi, pour trouver deux cubes dont la somme soit égale à la différence de deux cubes donnés, Bachet doit se limiter (pour obtenir des solutions rationnelles positives) au cas où le plus grand des cubes donnés est supérieur au double de l'autre ; Fermat commente (observation 8) : «Nous nous affranchissons facilement de la condition par itération de l'opération et construisons généralement aussi bien [une solution à] cette question qu['aux] suivantes, ce que ni Bachet, ni même Viète n'ont

<footnote>discrètes et de la géométrie comme domaine des grandeurs continues. Les questions sur les nombres couvrent à peu près le champ de l'arithmétique théorique (ou « spéculative »), euclidienne par exemple, mais aussi les thématiques diophantiennes dont le statut est a priori plus contesté puisqu'on y cherche des solutions rationnelles. C'est dans cette acception globale en usage dans l'environnement de Fermat que je parlerai ici d'arithmétique.</footnote>

<footnote>(11) *Tres quadratos ut productus ex binorum multiplicatione, adsumptâ eorumdem summâ, quadratum faciat*, Fermat, OC I, p. 293.</footnote>

<footnote>(12) *Quatuor aut etiam plura in infinitum triangula aequalis areae*, Fermat, OC I, p. 309.</footnote>
pu faire¹³». Neuf observations¹⁴ contiennent d'autres types de propositions ; quatre sont des théorèmes généraux portant sur des entiers — comme le fait que tout nombre est somme d'au plus trois nombres triangulaires, d'au plus quatre carrés, etc. (observation 18) —, dont un (« tout nombre premier de la forme $4n + 1$ est une seule fois l'hypoténuse d'un triangle rectangle¹⁵», observation 7) sert de préliminaire à une série de problèmes ; cinq sont des énoncés d'impossibilité, telle la célébrissime observation 2, consacrée au Grand Théorème de Fermat¹⁶.

Les liens éventuels entre les questions ne vont pas plus de soi que dans Diophante lui-même, les observations de Fermat suivant d'ailleurs souvent les données des problèmes de Diophante ou Bachet auxquels elles se rattachent. Deux relations principales apparaissent pourtant : les énoncés peuvent être liés par une commune méthode de résolution, ou par des transformations qui font passer d'un problème à un autre. Ainsi, neuf problèmes sont explicitement ramenés à la méthode dite de la triple équation, traitée dans l'observation 43. Un exemple de la seconde relation est fourni dans l'observation 8 : Fermat y passe, circulairement, de la recherche de deux cubes rationnels positifs de somme égale à la somme de deux cubes rationnels positifs donnés à celle de deux cubes de somme égale à la différence de deux cubes donnés ; ce procédé lui permet justement de se débarrasser des restrictions imposées par la méthode de Bachet qu'il critique au passage. Les deux relations ne sont pas toujours indépendantes : certaines méthodes de Fermat reposent justement sur une transformation de variables qui conduit donc à une reformulation d'énoncés.

Si nous nous tournons maintenant vers les réponses proposées, nous constatons qu'à peu près la moitié des observations sont accompagnées d'indications sur les procédures de résolution (ou de renvois à une autre observation où celles-ci sont expliquées), que neuf bénéficient d'une solution numérique explicite, cinq d'une construction générale ; presque toutes les combinaisons sont aussi représentées. Une seule des neuf observations contenant des théorèmes, en revanche, bénéficie d'une preuve, par descente in-

<footnote>(13) *Determinationem operationis iteratione facillime tollimus et generaliter tum hanc quaestionem, tum sequentes quaestiones construimus, quod nec Bachetus, nec ipse Vieta expedire potuit*, Fermat, OC I, p. 297.</footnote>

<footnote>(14) Ces catégories ne sont bien sûr pas exclusives.</footnote>

<footnote>(15) *Numerus primus qui superat unitate quaternarii multiplicem, semel tantum est hypotenusa trianguli rectanguli*, Fermat OC I, p. 293-4.</footnote>

<footnote>(16) Deux autres énoncés (observations 33 et 45) sont liés au cas des puissances quatrièmes du Grand Théorème, donc tout comme lui se ramènent en définitive à une question sur les entiers ; une observation (25) porte sur l'impossibilité de décomposer certains nombres comme 21 en somme de deux carrés, même fractionnaires, et complète donc l'observation 7 déjà évoquée ; la dernière relève directement d'analyse entière, elle concerne le fait que l'équation $y^2 + 2 = x^3$, qui possède une infinité de solutions rationnelles positives, n'a pas d'autre solution entière (positive) que $25 + 2 = 27$ (observation 42).</footnote>
finie¹⁷. Dans la plupart des observations restantes, est annoncée une méthode de résolution générale ou de démonstration, sans qu'elle soit donnée¹⁸ : « En examinant soigneusement notre méthode, nous avons enfin obtenu la solution générale ; nous ne soumettons qu'un exemple¹⁹ » (observation 30) ; « Nous avons résolu cette question ... Mais ce n'est pas ici le lieu d'ajouter davantage sur le principe et l'emploi de cette méthode, l'exiguité de la marge n'y suffirait certes pas²⁰ » (observation 34).

Même si la nature des observations, commentaires fragmentaires sur d'autres textes, rend l'interprétation délicate, nous retrouvons donc ici les traits qui ont souvent déconcerté les lecteurs de Fermat, dès la fin du 17e siècle : l'éparpillement apparent des questions, dont les liens n'apparaissent qu'au niveau des procédures de résolution ; l'absence presque totale de démonstrations rédigées complètement ; des explications allusives ; en revanche, la revendication fréquente et paradoxale de la généralité et de la rigueur, qu'elle soit celle des méthodes, celles des solutions et des preuves, voire celles des énoncés eux-mêmes dans le cas des théorèmes sur les entiers. Fermat commente ainsi l'observation 46 qui porte sur les progressions arithmétiques : « J'estime qu'il n'est pas possible de donner en nombres un théorème plus beau ou plus général. Je n'ai ni le temps, ni la possibilité d'en mettre la démonstration en marge²¹ ».

Les contraintes imposées aux observations par leur contexte matériel pouvaient en partie justifier ces caractéristiques. C'est donc aux autres documents disponibles, les lettres en l'occurrence pour la théorie des nombres, qu'il a semblé naturel de s'adresser. La correspondance a ainsi constitué par force pour les historiens non seulement une aide à la datation des observations ou une source de renseignements supplémentaires sur les résultats de Fermat, mais aussi, de manière plus subreptice peut-être, le filtre majeur pour appréhender la nature de sa pratique mathématique.

<footnote>(17) Il s'agit de l'observation 45 et du théorème « L'aire d'un triangle rectangle en nombres n'est pas un carré » ; sur l'histoire de ce résultat et sa signification pour Fermat, voir Goldstein 1995.</footnote>

<footnote>(18) Il est possible de reconstituer la démarche de Fermat pour la plupart des problèmes diophantiens, voir Itard 1949, Weil 1984, ch. II, et surtout Fermat 1999, ch. II et IV pour le détail de chaque problème. Notons toutefois l'aide précieuse fournie même dans ce cas par d'autres écrits, en particulier l'Inventum novum de Jacques de Billy, forgé à partir de sa correspondance avec Fermat.</footnote>

<footnote>(19) Methodum nostram sedulo consolentes, tandem generaliter solvimus: exemplum tantum subjiciemus, Fermat, OC I, p. 325.</footnote>

<footnote>(20) Quaestionem hanc... resolvimus.... Sed de ratione et usu nostrae hujus methodi non est hujus loci plura addere, non sufficeret sane marginis exiguitas, Fermat, OC I, p. 329.</footnote>

<footnote>(21) Nec existimo pulchrius aut generalius in numeris posse dari theorema. Cujus demonstrationem margini inserere nec vacat, nec licet, Fermat, OC I, p. 341.</footnote>
## 1.2. La correspondance

Or, ces lettres nous sont parvenues sous plusieurs formes. Les auto-
graphes sont en tout petit nombre et une seule, adressée au jésuite Jacques
de Billy en août 1659, concerne des questions arithmétiques ; la plupart des
lettres disponibles ont été recopiées à différentes époques dans des recueils
ou des papiers manuscrits, et sont souvent fragmentaires ou remaniées —
Paul Tannery remarquait déja au siècle dernier que certaines utilisent des
notations différentes de celles de Fermat. Enfin plusieurs lettres ne sont ar-
rivées jusqu'à nous qu'à travers des imprimés, eux aussi de nature variée :
collection épistolaire autour de Fermat lui-même ou d'un de ses correspon-
dants, ou autour d'un événement spécifique (le *Commercium epistolicum* de
1658 résultant des défis européens de Fermat), appendice à l'ouvrage d'un
autre auteur (par exemple le supplément à un écrit de Frenicle retrouvé par
l'historien Joseph E. Hofmann), opuscule fondé sur des lettres de Fermat,
mais complètement restructuré (le *Doctrinae Analyticae Inventum Novum*
de Jacques de Billy que Samuel de Fermat avait adjoint à son édition des
*Arithmétiques*)²².

En laissant de côté l'Inventum novum dont rien n'indique combien de
lettres il fusionne, nous disposons d'un peu plus d'une centaine de lettres
de ou à Fermat — disons 121 pour fixer les idées, mais il faut se souvenir
que les divers éditeurs ont rassemblé ou séparé certains fragments, ce qui
induit une fluctuation de quelques unités —, neuf fois moins par exem-
ple que pour Mersenne. Ecrites entre 1636 et 1665, elles se répartissent à
peu près équitablement entre les deux périodes 1636-1650 (67 lettres) et
1651-1665 (54), mais l'état des sources correspondantes, j'y reviendrai, est
très différent. Parmi ces lettres, 63, écrites par ou à neuf correspondants²³,
évoquent des questions arithmétiques, dont 42 (six correspondants) pour la
première période.

Même si nous savons que certains échanges ont été discontinus (ceux
avec Roberval s'interrompent par exemple entre 1637 et 1640), il est clair
que de nombreuses lettres ont disparu. La part des lettres arithmétiques
écrites par Fermat est écrasante dans ce qui subsiste : 38 contre 4 (2 par
Roberval, 2 par Frenicle de Bessy) pour la première période, 17 contre 4
dans la deuxième — en particulier si nous disposons de 37 lettres ou frag-

<footnote>(22) Tous les exemples cités sont disponibles, au moins en traduction française, dans les Œuvres complètes de Fermat lui-même (Fermat 1894 ou 1999) ; certains documents proviennent des archives de ses contemporains (Descartes, Huygens, Mersenne en particulier). Mais la variation du corpus fermatien accessible du 17ᵉ siècle jusqu'à nos jours n'a pas été sans incidence sur les différentes représentations de l'activité de Fermat.</footnote>

<footnote>(23) Ce nombre est celui des destinataires directs dont nous avons trace, mais certains, comme Mersenne, servent aussi de relais vers d'autres mathématiciens.</footnote>
ments de lettres adressées par Fermat à Mersenne, nous n’en connaissons
aucune de Mersenne à Fermat. Un effet évident de cette transmission dis-
criminatoire a été d’accorder à Fermat l’initiative des échanges non seule-
ment dans leur contenu technique mais aussi, implicitement, dans leur mode
de fonctionnement. Or, cette sélection témoigne au contraire de l’impact
décisif du cercle parisien, jusque dans la conservation actuelle des docu-
ments. Les lettres mathématiques de la première période dont nous dis-
posons sont toutes adressées à des Parisiens familiers de Mersenne — la
seule exception, Descartes, en est à peine une puisque ce dernier, correspon-
dant régulier de Mersenne, est en contact étroit avec le cercle parisien qui
lui sert longtemps d’intermédiaire avec Fermat. En revanche, les relations
scientifiques de Fermat au sud de la France, à Bordeaux par exemple, ne
nous sont encore connues que par les allusions contenues dans ces corre-
spondances parisiennes²⁴ : celles-ci en montrent l’étendue et l’importance
précoce, sans donner accès à leur éventuel effet mathématique.

Pour autant, les liens avec les correspondants parisiens ne sont pas in-
différenciés. Certains d’entre eux entretiennent avec Fermat une relation
personnelle, parallèle aux activités de l’académie parisienne proprement
dite : c’est le cas de Pierre de Carcavi, responsable de l’introduction de
Fermat dans le réseau de Mersenne, qui devient un intermédiaire crucial
après la mort de ce dernier en 1648. D’autre part, les lettres à Roberval,
par exemple, mélangent questions géométriques et arithmétiques, alors que
celles à Frenicle sont exclusivement consacrées aux nombres. Après 1650, la
plupart des correspondants restent connectés peu ou prou à Paris : à côté
d’anciens comme Frenicle ou Carcavi, Blaise Pascal représente ainsi une
nouvelle génération, remplaçant son père Etienne comme destinataire. Le
jésuite Billy lui-même, alors professeur à Dijon, était en contact épistolaire
avec Mersenne avant 1648. Les exceptions viennent du défi européen de 1657
lancé par Fermat, qui le met en contact avec des mathématiciens étrangers,
en particulier anglais : mais même dans ce cas, c’est Kenelm Digby qui
réside alors à Paris et fréquente Frenicle qui sert de médiateur privilégié. Il
y a donc une forte concentration géographique dans les sources dont nous
disposons.

La répartition dans le temps, quant à elle, n’est pas homogène. Entre
1636 et 1644 à peu près, le flot de lettres est assez régulier, avec quelques
pics autour de polémiques ou de problèmes spécifiques, et si quelques thèmes
sont propres à certains destinataires, l’impression dominante est celle d’un
réseau unique soudé par de multiples interactions : d’importants recoupe-

<footnote>(24) Typiquement, Fermat rappelle en 1636 à Roberval qu’il a résolu, 7 ans environ
auparavant, un problème posé par ce dernier à des correspondants borderline avec qui
Fermat se trouvait alors, lettre XIII, Fermat OC II, p. 71.</footnote>
ments apparaissent dans les sujets abordés, de fréquentes allusions sont faites aux autres correspondants. Entre 1645 et 1654, très peu de lettres existent, une seule touchant quelque peu l'arithmétique : pendant cette période, Mersenne voyage, puis meurt, la Fronde éclate, Fermat est sérieusement malade, il obtient une position convoitée à la Chambre de l'Edit à Castres, bref, événements personnels, institutionnels et politiques s'accumulent qui expliquent en partie cette rupture dans les traces épistolaires. À partir de 1654, à l'exception près déjà mentionnée des lettres à Carcavi, nous avons affaire à des îlots concentrés, personnellement et thématiquement : des échanges en 1654 avec Pascal à propos du calcul des chances (où affleurent certaines questions arithmétiques) ; le commerce épistolaire lié aux défis Européens de Fermat en 1657-8 qui met en scène, directement ou non, William Brouncker, John Wallis, Bernard Frenicle, Christian Huygens, Franz Van Schooten, Kenelm Digby ; une polémique en 1658 avec Claude Clerselier sur la dioptrique ; les lettres à Billy sur l'analyse diophantienne dont est issu l'Inventum Novum et dont nous n'avons plus que la maigre trace de 1659. Il est donc naturel d'examiner les deux périodes séparément.

## 1.3. Formes et thèmes de l'arithmétique dans la correspondance (1636-1650)

Qu'en est-il de la première période²⁵ ? Un thème est présent tout au long, celui dit des parties aliquotes, c'est-à-dire l'étude des diviseurs propres de certains types d'entiers et la recherche de nombres dont la somme des diviseurs a des propriétés particulières : nombres parfaits, égaux à la somme de leurs diviseurs propres ; nombres sous-multiples, égaux à une fraction fixée de cette somme. Dès le 24 juin 1636, Fermat annonce à Mersenne qu'il a envoyé «il y a déjà longtemps, la proposition des parties aliquotes à M. de Beaugrand, avec la construction pour trouver infinis nombres de même nature» (Fermat, OC II, p. 20) ; le 20 février 1639, il répond à un problème : «Vous m'avez envoyé 360 duquel les parties aliquotes sont au même nombre comme 9 à 4, et moi je vous envoie 2016 qui a la même propriété» (Fermat OC II, p. 179) ; en 1640, il explique ses «fondements pour l'invention des nombres parfaits» (Fermat OC II, p. 198) ; le 7 avril 1643, il affirme qu'un produit de 19 entiers (non nécessairement premiers) proposés par Mersenne, et dont le plus grand est 214 748 364 800 000, est sous-quintuple de la somme de ses parties aliquotes (Fermat OC II, p. 255).

<footnote>(25) Rappelons que Fermat a commencé les mathématiques bien avant 1636, date de sa première lettre à Mersenne. Ceci dit, son intérêt pour l'arithmétique s'est nettement épanoui et diversifié durant la période à laquelle nous avons accès par ses lettres, cf. Itard 1949, Mahoney 1973/1994, Weil 1984.</footnote>
D'autres sujets apparaissent plus ponctuellement, selon l'actualité d'un défi particulier, de la lecture ou de la rédaction d'un ouvrage : sommes de carrés et calcul de sommes de puissances discutés entre 1636 et 1638 avec Roberval ou André Jumeau de Sainte-Croix (via Mersenne), carrés magiques avec Frenicle en 1640, triangles rectangles en nombres avec Frenicle et Saint-Martin entre 1640 et 1643.

Outre ces thèmes collectifs, quelques énoncés reviennent à plusieurs reprises, à l'initiative de Fermat et sans susciter apparemment un intérêt commun. Le principal est « trouver un triangle rectangle en nombres d'aire carrée » (voir note 17), parfois accompagné de variantes (« trouver un quarré-quarré somme de deux quarrés-quarrés ») ou d'énoncés analogues (« trouver un cube somme de deux cubes »). Toutes ces questions sont impossibles et liées aux deux premiers cas du Grand Théorème de Fermat. Ce dernier les propose à peu près à chaque nouvel interlocuteur, à Jean Gillot et Descartes en 1638, à Sainte-Croix probablement vers cette date, à Frenicle en 1640²⁶.

Plusieurs propositions et problèmes apparaissent à la fois dans les lettres et dans les observations, mais la correspondance, datée, permet de percevoir deux évolutions coordonnées. La première, commune aux divers interlocuteurs, opère au niveau de l'organisation des échanges en série, sur une courte échelle de temps : à la transmission initiale, faite d'énoncés de problèmes et de solutions explicites, succèdent éventuellement celle de règles et surtout l'explicitation de principes, de méthodes. Par exemple, Fermat réplique début 1643 à deux questions de Saint-Martin (avec qui il ne semble pas avoir été en contact auparavant) : « La seconde question est celle-ci : un nombre étant donné, déterminer combien de fois il est la différence des côtés d'un triangle qui ait un quarré pour différence de son petit côté aux deux autres côtés. Le nombre qu'il donne est 1 803 601 800. Je réponds qu'en l'exemple proposé, il y a 243 triangles qui satisfont à la question et qu'il n'y en peut pas avoir davantage. La méthode universelle dont je lui ferai part s'il me l'ordonne est belle et digne de remarque... » (Fermat, OC II, p. 250).

Le problème s'inscrit en fait dans toute une série d'autres discutés les années précédentes avec Frenicle et pour lesquels il s'agit d'identifier la forme particulière des quantités à exprimer (somme de carrés, différence de carrés, ou comme ici double d'un carré), puis de dénombrer de combien de façons un entier fixé peut s'écrire sous cette forme. Après plusieurs allers et retours, qui ont commencé comme dans l'échange précédent par des énoncés et des solutions brutes, voici comment Frenicle accueille le 2 août 1641 une

<footnote>(26) Respectivement Mersenne, *Correspondance* VII, p. 402 et Fermat OC II, p. 65 et 195. Voir sur ce point Goldstein 1995, chapitre 11.</footnote>
question de Fermat, «Etant donné un nombre, trouver combien de fois il
peut être la somme des deux petits côtés d'un triangle rectangle» : «Pour
soudre ces problèmes, il faut considérer que tout nombre premier, différent
de l'unité d'un nombre divisible par 8, est la somme des deux petits côtés
d'un triangle, et tout nombre qui la somme des deux petits côtés d'un trian-
gle auquel les côtés sont premiers entre eux, diffère de l'unité d'un nombre
divisible par 8. Sur ces fondements, il faut faire la même chose avec ces nom-
bres qu'on feroit sur les nombres premiers pairement pairs +1, pour trouver
ce qui est requis par les problèmes, si on demandoit des hypoténuses au lieu
de la somme des deux petits côtés. Il seroit superflu de déduire cela plus
au long : intelligent loquor. Si votre méthode est autre que celle-là, vous
m'obligerez de me la communiquer...» (Fermat, OC II, p. 231). De la même
manière, le 18 octobre 1640, Fermat explique à Frenicle : «il m'importe de
vous dire le fondement sur lequel j'appuie les démonstrations de tout ce
qui concerne les progressions géométriques, qui est tel : tout nombre pre-
mier mesure infalliblement une des puissances -1 de quelque progression
que ce soit, et l'exposant de la dite puissance est sous-multiple du nom-
bre premier donné -1, et après qu'on a trouvé la première puissance qui
satisfait à la question, toutes celles dont les exposants sont multiples de
l'exposant de la première satisfont tout de même à la question» (Fermat
OC II, p. 209)²⁷. Nous voyons bien ici apparaître, au cours d'un échange,
des théorèmes généraux sur les entiers : mais ils interviennent comme fonde-
ments, préliminaires à la résolution de problèmes. La même organisation
présidait d'ailleurs dans l'observation (7) traitant d'hypoténuses de trian-
gles rectangles, déjà évoquée. Même lorsqu'ils sont logiquement antérieurs,
les théorèmes ne sont explicités, s'ils le sont, qu'à un stade ultérieur des
échanges.

Une deuxième évolution perceptible est la focalisation progressive de
Fermat sur de nouvelles thématiques, qui sont issues de la formulation même
des fondements intervenant dans la résolution des anciens problèmes. Par
exemple, la recherche sur les nombres parfaits conduit Fermat à examiner les
diviseurs de 2ⁿ - 1, c'est-à-dire de la somme d'une progression géométrique
de raison 2 (c'est le contenu du «fondement de l'invention des nombres
parfaits» évoqué plus haut), puis à centrer son attention, plus généralement,
sur les diviseurs de nombres de la forme an - 1 et an + 1 (en particulier
les fameux «nombres de Fermat», 2²ⁿ + 1). De la même façon, l'étude des
triangles rectangles en nombres conduit à la représentation des nombres sous
forme de somme de deux carrés (expression de l'hypoténuse), de somme d'un
carré et du double d'un carré, etc. Cette évolution opère sur une échelle de
temps plus longue que la première, sur laquelle elle se greffe. Avant 1650, les

<footnote>(27) Il s'agit de ce que l'on appelle maintenant le petit théorème de Fermat.</footnote>
problèmes et les solutions, monnaie d'échange courante, restent la plupart du temps exprimés dans les termes anciens (nombres sous-multiples effectifs ou triangles rectangles en nombres par exemple).

## 1.4. Les formes d'intervention de Fermat : un bilan (1636-1650)

Un dernier aspect que je voudrais souligner est la grande variété des formes d'intervention de Fermat que nous pouvons détecter dans les lettres de cette période, même si nous nous limitons à l'arithmétique. Fermat propose bien sûr à ses interlocuteurs des problèmes et des théorèmes, souvent soigneusement distingués. Par exemple : « trouver un triangle rectangle en nombres, dont l'aire soit un carré. Etant donnée la somme du produit des trois côtés d'un triangle rectangle en nombres et de son hypoténuse, trouver les bornes entre lesquelles se trouve son aire [...] À ces quatre problèmes, nous ajoutons deux théorèmes, inventés par nous, qui attendent leur démonstration de M. de Sainte-Croix ou si nous avons espéré vainement, la recevront de nous-mêmes. Ils sont certes très beaux : tout nombre est égal à un, deux ou trois nombres triangulaires ; à un, deux, trois ou quatre carrés ; un, deux, trois, quatre ou cinq pentagones... et ainsi par une progression continue à l'infini. [...] »<fnref n="28" />».

On remarquera que les problèmes posés peuvent être possibles (comme le deuxième) ou impossibles (comme le premier, ainsi d'ailleurs que les deux derniers à peu près équivalents au premier et non retranscrits ici), la forme stéréotypée des énoncés de problèmes («trouver... », dans quelques cas «trouver... ou montrer que c'est impossible») ne permettant pas de distinguer à première vue. À l'inverse, le problème sur l'aire apparaît comme théorème dans l'observation 45 («il n'y a pas de triangle rectangle en nombres d'aire carrée») ; nous reviendrons sur cette variation ultérieurement, notons seulement qu'elle offre un artifice pour proposer un énoncé «négatif», c'est-à-dire concluant à l'impossibilité d'une question, car l'intérêt de tels énoncés est controversé.

Mais Fermat communique aussi des questions ouvertes, dont il ne connaît pas la solution ou, surtout, dont la preuve lui échappe ; il ne manque pas alors d'en afficher la situation indécise. « Permettez-moi de changer de

<footnote n="28">²⁸) Dum igitur difficilioribus numeris tentationem honestamus, ut ipse loquitur, ita proponimus: Invenire triangulum rectangulum numero, cujus area aequetur quadrato. Datâ summâ solidi sub tribus lateribus trianguli rectanguli numero et ipsius hypotenusae, invenire terminos intra quos area consistit. [...] Quatuor problematis duo theoremata adjungimus, quae, a nobis inventa, a Domino de Sainte-Croix demonstrationem exspectant aut, si frustra speravimus, a nobis ipsis nanciscentur. Sunt autem pulcherrima: Omnis numerus aequatur uni, duobus aut tribus triangulis; uni, 2, 3, aut 4 quadratis; uni, 2, 3, 4 aut 5 pentagonis, ... et eo continuo in infinitum progressu (Fermat OC II p. 65).</footnote>
matière, écrit-il ainsi à Roberval en 1636, et de vous demander la démonstration de cette proposition que j'avoue franchement que je n'ai encore su trouver, quoique je sois assuré qu'elle est vraie» (Fermat OC II, p. 62). De même, quelques années plus tard, à propos des nombres dits de Fermat : «Je vous avoue tout net [...] que je n'ai pu encore démontrer l'exclusion de tous les diviseurs en cette belle proposition que je vous avois envoyée et que vous m'avez confirmée, touchant les nombres 3, 5, 17, 257, 65537, etc.» (Fermat OC II, p. 208).

Réciproquement, il envoie aussi toutes sortes de réponses : des solutions numériques à des problèmes posés par lui-même ou par d'autres (nous en avons vu des exemples ci-dessus), des constructions plus ou moins générales (Fermat OC II, p. 277), des promesses d'exemples «à l'infini». Nous avons aussi déjà rencontré des explications sur ses fondements, ainsi que des annonces de méthodes et de preuves. Ces dernières, dont nous avons vu qu'elles ne sont pas communiquées spontanément dans un premier temps, semblent rarement réclamées par les correspondants de Fermat. Frenicle commente ainsi une réponse (numérique) de Fermat : «J'ai mille remerciements à vous faire de la limitation des côtés que vous m'avez envoyée, laquelle véritablement je prise fort. [...] Si la démonstration de cette limitation était courte, vous m'obligeriez beaucoup de me l'envoyer ; car si elle est trop longue, je ne voudrois pas que vous vous détournassiez de vos études à cette occasion» (Fermat OC II, p. 227). Le temps que nécessitait leur écriture est fréquemment invoqué contre la communication des preuves. En 1636, confronté à une question de Sainte-Croix («trouver deux nombres composés, eux et leur somme, de trois carrés»), Fermat donne une solution numérique (99 et 176), une construction permettant d'en trouver une infinité d'autres, et conclut : «J'ajouterois la démonstration, mais le temps ne me le permet pas. En tout cas, vous pourrez faire l'essai sur la construction que je vous envoie» (Fermat OC II, p. 30).

Dernier type d'intervention frappant, l'insistance sur un travail en commun : Fermat tente fréquemment d'engager ses interlocuteurs à une collaboration mathématique, que la distance et la nécessité d'établir d'abord une confiance réciproque semblent vouer à l'échec. «Je vous entretiendrai un jour de mon progrès, écrit-il à Mersenne vers 1640, si M. Frenicle me vient au secours et m'abrège par ce moyen ma recherche des abrégés. En tout cas, je vous conjure de faire en sorte que M. de Roberval joigne son travail au mien, puisque je me trouve pressé de beaucoup d'occupations qui ne me laissent que fort peu de temps à vaquer à ces choses» (Fermat OC II, p. 199). C'est l'idéal baconien, souligné par la citation fréquente de la devise du *Novum Organum, multi pertransibunt et augebitur scientia*,
que les échanges de problèmes, d'exhortations, de nombres, d'explications, entendent alors réaliser.

## 1.5. L'arithmétique dans la période 1651-1665

Quels changements se manifestent-ils pendant la deuxième période, après 1650 ? La première différence est que l'initiative, sur les questions arithmétiques, vient alors plus nettement de Fermat — à l'exception peut-être des échanges avec Jacques de Billy, qui s'intéresse depuis longtemps aux problèmes diophantiens. Du même coup, si les thèmes débattus sont proches de ceux de la première période, ils sont tout de suite exprimés dans les termes nouveaux que l'évolution mise à jour plus haut suggérait. En 1654, Fermat propose directement à Pascal, comme une question ouverte, de trouver une preuve satisfaisante de la primalité des nombres $2^{2^n} + 1$. Et si le premier défi européen met encore en scène les parties aliquotes (par exemple : « trouver un cube, qui ajouté à la somme de ses parties aliquotes fasse un carré », Fermat OC II, p. 332), les autres questions posées révèlent plus explicitement l'aboutissement des intérêts de Fermat<sup>29</sup>. Ainsi en est-il de l'énoncé central, connu maintenant sous le nom de Pell-Fermat : « étant donné un nombre non carré, sont donnés une infinité de carrés qui, multipliés par le nombre donné et l'unité étant ajoutée, fassent un carré »<sup>30</sup>. Ainsi en est-il plus nettement encore des assertions proposées dans la foulée, en 1658 : tout nombre premier de la forme $3n + 1$ est somme d'un carré et du triple d'un carré ; tout nombre premier de la forme $8n + 1$ ou $8n + 3$ est somme d'un carré et du double d'un carré, le produit de deux nombres premiers de la forme $20n + 3$ ou $20n + 7$ est somme d'un carré et du quintuple d'un carré<sup>31</sup>. À ces questions, s'ajoutent certains théorèmes et problèmes diophantiens que nous avons rencontrés dans les observations, comme la division d'une somme de deux cubes rationnels fixés en deux autres cubes rationnels. Quant aux énoncés de prédilection de Fermat, ils continuent à jouer le même rôle : le théorème sur l'aire des triangles rectangles en nombres, par exemple, est mentionné à Pascal en 1654, puis à Wallis en 1658, enfin dans une lettre à Carcavi destinée au jeune Huygens en 1659<sup>32</sup>.

La seconde nouveauté de la période illustre encore l'engagement plus marqué de Fermat, mais s'exprime dans la nature des communications. Nous

<footnote n="29"><sup>29</sup> Pour Fermat lui-même, le premier problème même est lié à l'étude des nombres de la forme $2n^2 - 1$, voir la lettre de Fermat à Frenicle incluse dans le livre de ce dernier, Fermat 1999, p. 487-90, et l'analyse de Weil 1987, p. 91-7.</footnote>

<footnote n="30"><sup>30</sup> *Dato quovis numero non quadrato, dantur infiniti quadrati qui, in datum numerum conducti, adscitâ unitate conficiant quadratum* (Fermat OC II, p. 335).</footnote>

<footnote n="31"><sup>31</sup> Fermat OC II, p. 403 et 405 respectivement, Fermat annonçant qu'il ne possède pas de preuves de cette dernière assertion.</footnote>

<footnote n="32"><sup>32</sup> Fermat OC II, p. 313, 376, 431 sq.</footnote>
savons par exemple que Fermat a envoyé à certains correspondants (Carcavi, Frenicle au moins) quelques preuves détaillées, l'une étant publiée en supplément de la solution de Frenicle aux défis européens³³. Nous trouvons de plus des métacomentaires élaborés sur ce domaine et des esquisses de bilans. Le second défi de 1657 est ainsi accompagné d'une défense programmatique de la recherche sur les entiers et deux lettres, de Fermat à Pascal et Carcavi respectivement, résument ses principaux résultats sur les nombres. La première, en 1654, annonce l'envoi prochain d'un écrit dont Fermat espère la mise au point par son interlocuteur en vue d'une impression³⁴. La présentation est centrée sur le théorème déjà rencontré : tout nombre est somme d'au plus 3 nombres triangulaires, 4 carrés, etc, et invoque comme préliminaire à sa démonstration la proposition que tout nombre premier de la forme $4n + 1$ est somme de deux carrés (avec la construction de ces carrés) ; d'autres théorèmes de représentation des nombres, ainsi que le résultat fétiche sur l'aire des triangles, les accompagnent. Fermat promet ensuite l'invention de propositions diophantiennes (et « s'il [lui] reste du temps », d'autres sur les carrés magiques).

Le second bilan n'est pas explicitement un projet de livre, mais un état des lieux ; plus complet que le premier écrit, il est structuré de manière quelque peu différente. Il organise d'abord toute une liste d'énoncés autour d'une méthode de démonstration, la méthode de descente infinie, que Fermat présente brièvement à partir de l'inévitable résultat sur l'aire des triangles rectangles en nombres ; une longue liste de théorèmes que nous avons déjà rencontrés suit alors, théorèmes négatifs ou positifs, mais dont Fermat affirme qu'ils relèvent tous de cette méthode. Une deuxième partie évoque brièvement l'invention de règles pour résoudre les équations diophantiennes. Le texte se termine par quelques questions ouvertes et, accompagné du motto baconien, par un appel à la postérité comme incarnation potentielle des collaborateurs espérés. On remarquera qu'alors, les problèmes de parties aliquotes (dont Fermat annonçait un petit traité les résolvant par algèbre dès 1636) ont à peu près complètement disparu. En revanche, Fermat insiste à plusieurs reprises dans cette lettre sur la généralité de son travail : par exemple, à propos du problème clé des défis (celui dit maintenant de Pell-Fermat), il commente : « J'avoue que M. Frenicle a donné diverses solutions particulières et M. Wallis aussi, mais la démonstration générale se trouvera par la descente dûment et proprement appliquée : ce que je leur indique, afin qu'ils ajoutent la démonstration et construction générale du théorème et du

<footnote>(33) Fermat OC II, p. 434, Hofmann 1944, et Fermat 1999, p. 487-90</footnote>

<footnote>(34) Fermat OC II, p. 312-3. Comme nous le savons, seule la portion diophantiennne a été partiellement rédigée, l'échange avec Billy ayant abouti à la mise au net d'une explication illustrée des méthodes de construction de Fermat, sur une série de problèmes résolus, avec des solutions numériques, mais sans démonstrations. Voir sur ces méthodes, Weil 1984 et Fermat 1999.</footnote>
## 2. Pratiques sur les nombres dans la correspondance de Mersenne : problèmes, théorèmes, méthodes, règles, fondements

Près de deux mille lettres ont été reproduites dans les dix-sept volumes de la *Correspondance* de Mersenne, dont la moitié à peu près sont écrites directement à ou par Mersenne ; elles s'étendent de 1617 à 1648, avec une nette augmentation à partir de 1635, lorsque se met aussi en place une académie « toute mathématique », annoncée à Nicolas Claude Fabri de Peiresc le 23 mai³⁷. Environ cent soixante lettres évoquent l'arithmétique : leur proportion dans la correspondance de Mersenne est donc bien plus faible que la proportion de lettres sur l'arithmétique dans la correspondance de Fermat pour la période correspondante ; en revanche, les prendre en compte fait plus que tripler les documents à notre disposition. Ces lettres mettent en scène une quarantaine de correspondants, qui présentent une grande diversité dans le niveau de leurs connaissances mathématiques, dans leur statut social, dans leur situation géographique et professionnelle.

### 2.1. Les modes d'échange

J'ai étudié ailleurs cette correspondance comme un lieu social spécifique pour les mathématiques³⁸ et je me contenterai ici de rappeler les principales conclusions pertinentes pour mon propos. Les sujets mathématiques qui y apparaissent sont ceux que nous avons déjà rencontrés : parties aliquotes, carrés magiques, triangles rectangles — ainsi que des questions combina-toires qui occupent un rôle plus important que dans les textes de Fermat. Quant aux modes de fonctionnement des échanges, il en existe trois principaux, qui peuvent être parfois mélangés : un mode conversationnel où est demandé l'avis, l'opinion, du destinataire sur un thème mathématique, en général ouvert, en des termes assez vagues ; un mode pédagogique où sont communiqués en vue d'une instruction des résultats et des questions qui ont circulé auparavant dans d'autres lettres, souvent dans un cas plus difficile ; enfin, un mode de test où sont proposés des problèmes (plus rarement des théorèmes) dont au moins une solution est déjà connue de l'auteur³⁹.

<footnote>(37) Mersenne, *Correspondance*, V, p. 209, voir Fletcher 1996 sur ces données. Dans l'analyse présentée ici, ont été incluses quelques lettres supplémentaires issues des correspondances de Fermat, Descartes et Huygens, mais il faut souligner que la plupart de la correspondance de Fermat portant sur l'arithmétique, par exemple, est déjà reproduite dans celle de Mersenne.</footnote>

<footnote>(38) Voir Goldstein 2001, ainsi que la prépublication « Numbers and letters ».</footnote>

<footnote>(39) Pour éviter les malentendus que cette présentation par force trop brève pourrait faire naître, je rappelle qu'il ne s'agit que des modes d'échange captés dans la correspondance ; celle-ci donne justement peu d'accès au travail en collaboration rapprochée, entre personnes se rencontrant fréquemment, comme on en a des traces pour Frenicle, Mersenne et Saint-Martin par exemple.</footnote>
Ce dernier mode sert à éprouver les connaissances et les méthodes du destinataire et, plus subtilement, à lui communiquer l'étendue de celles de l'auteur. C'est sans conteste la plus efficace pour stimuler les recherches sur un sujet donné. En 1631, Mersenne demande à Descartes «son opinion» sur l'existence, débattue à Paris, de nombres sous-doubles (c'est-à-dire égaux à la moitié de la somme de leurs diviseurs propres) autres que le seul déjà connu, 120. D'une entrée en matière de ce genre, conversationnelle, Descartes n'a aucune peine à se dégager : « A quoy je n'ay rien a dire pource que je ne le sais point, ny n'ai jamais eu envie de le savoir » (Mersenne *Correspondance* III, p. 211). Mais le problème réapparaît en 1638, cette fois dans le cadre d'un défi commun de Sainte-Croix et de Frenicle : Fermat trouve de suite un nouvel exemple (672) et Descartes se jette lui-même à la tâche, obtenant des listes de nombres comme le sous-double 1476304896 ou le sous-triple 30240 (qui vaut le tiers de la somme de ses diviseurs). Dans les années suivantes, outre les approfondissements sur les fondements de ces recherches, auxquels j'ai déjà fait référence plus haut, diverses questions analogues continuent à circuler dans les lettres, les résultats initiaux étant communiqués sur un mode pédagogique, directement ou par les livres de Mersenne, aux nouveaux arrivants et aux mécènes. Le mode de test, les défis, ne sont pas une forme exceptionnelle, mais une forme normale de communication : « C'est contre le stile des Géomètres de proposer aux autres des questions qu'ils ne peuvent soudre eux-mêmes », va jusqu'à écrire Descartes à Mersenne (Mersenne, *Correspondance*, VII, p. 128).

## 2.2. La prédilection pour les problèmes

L'importance des défis dans les échanges va de pair avec la prédilection manifestée pour les problèmes comme forme d'énoncés intéressante. La distinction entre problèmes et théorèmes est classique. On en trouve une longue discussion dans le *Commentaire sur le premier livre des Eléments d'Euclide* de Proclus : elle se conclut par la remarque que la fin des problèmes dans les *Eléments* est marquée par « ce qu'il fallait faire » et celle des théorèmes par « ce qu'il fallait démontrer »⁴⁰. Au 17ᵉ siècle, cette division des énoncés semble s'être figée, c'est un lieu commun rappelé dans toute discussion générale de l'activité mathématique, même si, comme c'est d'ailleurs le cas dans l'Antiquité, elle est aussi contestée et adaptée. Dans son cours de mathématique de 1683 à l'usage du dauphin, François Blondel indique : « Ces mêmes propositions s'appellent Théorèmes lorsqu'elles s'arrêtent à la seule connaissance et démonstration d'une vérité dans une question proposée ... ; ou Problèmes lorsqu'elles ordonnent de faire quelque chose sur la question proposée, qu'elles exécutent ce qui est ordonné et qu'elles

<footnote>(40) Voir Caveing 1990, p. 133-137.</footnote>
démontrent qu'elles ont satisfait aux conditions de la question et au commandement». Jacques Ozanam, dans son *Dictionnaire mathématique* de 1691, lie cette division des propositions à une division des mathématiques en spéculatives ou théoriques, qui s'arrêtent à la connaissance d'une chose, et pratiques, qui enseignent à faire et à exécuter une chose : le « Theoreme est une proposition speculative qui exprime les proprietez d'une chose» (p. 7), «le probleme est une proposition qui tend à la pratique». Ou encore, «si la proposition, écrit Charles de Neuvéglise en 1700, n'expose que la vérité à connaître, elle s'appelle théorème, mais si elle propose quelque opération à faire, c'est un problème».

Ainsi lié à l'action⁴¹, le problème occupe une place importante dans les conceptions de la science de réformateurs tels que Pierre de la Ramée ou Francis Bacon, où l'accent est mis sur son caractère actif et opératoire ; il en est de même dans le réseau savant de Mersenne. Celui-ci réclame ainsi de ses interlocuteurs qu'ils lui fournissent des problèmes à rechercher et transmettre, Fermat en propose pour «stimuler les savants» parisiens, Billy essaie un temps de conserver les siens par-devers lui en vue d'une publication, témoignant *a contrario* par ses réticences de la valeur qu'il attache à de tels énoncés⁴². Plusieurs propositions changent d'ailleurs de statut pour trouver leur chemin plus aisément dans les échanges de la correspondance : Frenicle indique ainsi dans un de ses manuscrits comment transformer le résultat d'une recherche en problème à poser⁴³, Fermat change à l'occasion, comme nous l'avons vu, l'énoncé négatif de son Grand Théorème en un problème apparemment résoluble.

Notons qu'il ne s'agit pas du tout, comme pour les fameux problèmes de Hilbert à l'aube du 20ᵉ siècle, de dégager les questions crucales, ouvertes, qui occuperaient une position stratégique dans le développement à venir des mathématiques, mais bien de reformater en un exercice difficile si possible, mais dont l'expression peut être comprise de tous, les traces de ses propres inventions, afin de tester d'un même coup la valeur de ces inventions et le talent des interlocuteurs. La forme en est d'ailleurs stéréotypée : «trouver telle et telle chose, ou montrer que c'est impossible», parfois accompagné par la donnée d'un exemple simple, comme nous l'avons vu précédemment.

Cette prédilection pour les problèmes a des conséquences sur la nature des résultats : ce doivent être des constructions, voire des réponses

<footnote>(41) Celle-ci pouvant d'ailleurs rester toute intellectuelle, voir Cifoletti 2001.</footnote>

<footnote>(42) Voir par exemple la réponse de Descartes du 15 avril 1630 : «Pour des Problemes, je vous en envoyeray un milion pour proposer aus autres, si vous le desirés» (Descartes, *Œuvres*, I, p. 139) ; Fermat, OC II, p. 5 et 248 ; «Je prie Vostre R<sup>nce</sup> de ne me point demander pour maintenant la solution de semblables problemes et de ne les pas emettre par Paris» (Mersenne, *Correspondance*, XI, p. 326).</footnote>

<footnote>(43) Voir Goldstein 2001.</footnote>
numériques explicites⁴⁴. Dans certains cas, une règle, c'est-à-dire une procédure dont la mise en œuvre conduit automatiquement à une solution numérique, peut être réclamée et parfois donnée. Les théorèmes apparaissent presque toujours comme préliminaires ou fondements, c'est-à-dire en amont de la procédure de construction d'une solution du problème ou en guise d'explication, plutôt que comme résultats intéressants par eux-mêmes.

## 2.3. La méthode et l'organisation du travail

L'analyse du réseau de lettres met aussi en évidence la fréquente occurrence du mot « méthode ». Cette notion est une clé importante pour articuler la conception de l'organisation du savoir mathématique et sa mise en œuvre. La méthode dirige l'heuristique ou la présentation, stimule et ordonne l'invention vers l'obtention des règles et des solutions⁴⁵. C'est aussi, à rebours, un moyen de délimiter un champ de questions, précisément ceux que la méthode traitera : ce champ peut être restreint à un cadre disciplinaire, comme la méthode de descente infinie de Fermat pour les entiers, ou au contraire concerner l'ensemble des processus de la connaissance et de sa transmission, comme dans le *Discours de la méthode* cartésien.

Dans une lettre à Mersenne du 13 juillet 1638⁴⁶, Descartes met parfaite-ment en évidence la manière dont sont liés ces différents moments de la recherche et les modes admis de sa communication : « Pour la façon dont je me sers à trouver les parties aliquotes, je vous diray que ce n'est autre chose que mon analyse, laquelle j'aplique à ce genre de questions aussi bien qu'aux autres et il me faudrait du temps pour l'expliquer en forme d'une règle, qui pust estre entendue par ceux qui usent d'une autre méthode. Mais j'ay pensé que si je mettais icy une demi-douzaine de nombres dont les parties aliquotes fissent le triple, vous n'en feriez peut-estre pas moins d'estat que si je vous envoyais une regle pour les trouver⁴⁷. C'est pourquoi je les ai cherchés et les voicy.

<footnote>(44) La prédilection est la même en géométrie ; Henk Bos a bien montré d'ailleurs comment la *Géométrie* de Descartes restructure en vue d'une édition des recherches dont le cœur est le problème de Pappus ; il a aussi souligné le rôle des problèmes à cette époque, voir Bos 1993, p. 23-57 et Bos 2001.</footnote>

<footnote>(45) La littérature secondaire abonde sur cette notion phare de la période moderne, voir en général Gilbert 1960, Desan 1987, Dear 1998 ; sur l'organisation d'un corpus de problèmes autour d'une méthode, voir Cifoletti 1990, et pour l'arithmétique, Goldstein 1995 et 2001.</footnote>

<footnote>(46) Descartes, *Œuvres*, II, p. 250-1.</footnote>

<footnote>(47) De fait, Mersenne intègre tels certains nombres de Descartes dans ses publications.</footnote>
<table><tr><td>30240 dont les parties sont</td><td>90720</td></tr><tr><td>32760</td><td>98280</td></tr><tr><td>23569920</td><td>70709760</td></tr><tr><td>142990840</td><td>428972544</td></tr><tr><td>66433720320</td><td>199301160960</td></tr><tr><td>403031236608</td><td>1209093709824</td></tr></table>

J'en adjoute icy encore un autre dont les parties aliquotes font le quadruple [...]. Je mets les nombres et leurs parties, affin que s'il se glissait quelque erreur de plume, on peut corriger l'un par l'autre».

La méthode (ici l'analyse algébrique que Descartes, après Viète, essaie d'ériger en instrument universel) sert donc à fabriquer une règle, puis des solutions qui sont exprimées, comme l'énoncé mais contrairement à la méthode, dans un langage commun à tous les correspondants du réseau. La formulation de la règle en langage ordinaire est souvent longue et donc omise, comme ici.

## 2.4. Les preuves

Dans un tel contexte d'échanges, les preuves passent au second plan. Tout d'abord, certains types de preuves sont critiqués à cette époque, et en particulier les preuves par l'absurde, catégorie dont relève par exemple la descente infinie, en ce qu'elles n'éclairent pas le phénomène exploré<fnref n="48" />. L'analyse, quel qu'en soit le type (algébrique, combinatoire), est favorisée par rapport à la synthèse. Mais surtout, dans le cas ordinaire d'un problème possible, la preuve concernerait la validité de la construction ou de la solution numérique proposées : il s'agirait donc d'une vérification qui est la plupart du temps laissée à l'interlocuteur. En août 1638, Descartes, qui avait justement déclaré peu de temps auparavant : «je n'ay que faire d'ajouter la demonstration de cecy car j'épargne le temps et en matière de problèmes, il suffit de donner le *facit*, puis ceux qui l'ont proposé peuvent examiner s'il est bien résolu ou non», témoigne d'ailleurs des limites des procédés de vérification collective : «Je n'avais point remarqué l'erreur de plume qui estoit au dernier de ses nombres [sous-triples, probablement de Frenicle] car j'avois seulement examiné le second et l'ayant trouvé bon n'avois point

<footnote n="48">⁴⁸) Les critiques viennent à la fois de ceux qui souhaitent une plus stricte adéquation aux normes syllogistiques aristotéliennes et des analystes hostiles dans la filiation ramusienne aux preuves euclidiennes synthétiques, voir Barbin 1988 et Mancosu 1995.</footnote>
douté des autres.» (Descartes, *Œuvres* II, p. 94, Mersenne, *Correspondance*, VIII, p. 55).

La plupart du temps, une ou plusieurs solutions numériques constitue une réponse satisfaisante. Après avoir donné quelques règles partielles pour construire des carrés magiques, Théodore Deschamps, un médecin de Bergnerac, conclut : « J'ay voulu mettre icy ces quatre seulement pour faire voir la variété des accouplement des nombres réciproques et leurs divers entrelacs » (Mersenne, *Correspondance*, IX, p. 545). L'efficacité respective des méthodes des protagonistes est testée sur leur aptitude à produire une solution supplémentaire à un problème et surtout des solutions très grandes, dont la taille même témoigne qu'elles ne peuvent avoir été trouvées par hasard. La gestion de la généralité est donc délicate et si Fermat, comme nous l'avons dit, parle souvent de celle de ses recherches, de l'universalité de sa méthode, ou simplement de l'infinité de solutions qu'il trouve, il ne semble exister aucune preuve de résultats de ce type dans la littérature contemporaine, sauf celles qui se ramènent aux cas connus dès l'Antiquité, l'infinité des nombres premiers ou des triangles pythagoriciens. Le dénombrement est d'ailleurs chez les arithméticiens une manière de manifester un contrôle complet de solutions⁴⁹. Les discussions qui s'engagent sur l'efficacité des méthodes concernent davantage leur fécondité, c'est-à-dire leur aptitude à produire à volonté de nouvelles solutions, que leur généralité intrinsèque.

## 2.5. Les polémiques structurantes : énoncés impossibles et rôle de l'algèbre

Quels conflits surgissent-ils sur les énoncés? Principalement deux, dont l'un engage spécifiquement Fermat, c'est celui des « problèmes impossibles». Ceux-ci ne rencontrent pas la faveur des autres correspondants : ce qui précède suggère que c'est parce qu'ils sont en fait des théorèmes déguisés, qui ne donnent pas lieu à la construction effective d'une solution concrète. Le cas le plus frappant est la dispute en 1643 avec Frenicle et Saint-Martin qui rompent les échanges avec Fermat car celui-ci leur a posé des problèmes qu'ils croient sans solutions⁵⁰ : « Vous m'écrivez que la proposition de mes questions impossibles a fâché et refroidi MM. de Saint-Martin et Frenicle et que ç'a été le sujet qui m'a rompu leur communication ... J'ai résolu toutes les questions que j'ai proposées à ces Messieurs, dont je ne vous

<footnote>(49) Sur cette question, voir Goldstein 2001.</footnote>

<footnote>(50) Si le dédain pour ces questions est répandu (on le retrouve exprimé au cours des défis européens de 1657-8), il est possible que la radicalité de la réaction vienne de ce que Fermat a présenté les questions comme possibles, ce qu'elles sont d'ailleurs dans ce cas. À ce stade, Frenicle et Fermat avaient en fait établi une certaine confiance réciproque qui s'accompagne en principe de l'explicitation du statut des énoncés.</footnote>
conterai maintenant qu'un exemple, pour leur ôter seulement la mauvaise
impression qu'ils avoient conçue contre moi, comme leur ayant proposé un
amusement et un travail inutile» (Fermat, OC II, p. 260-1). Fermat fournit
alors une réponse numérique à l'une des questions, réponse dont le nombre
de chiffres manisfeste l'intervention d'une méthode adaptée : «Peut-être ne
croiront-ils pas que j'aie trouvé ces questions à tâtons et par rencontre»
(Fermat, OC II, p. 261).

Une autre fracture plus importante oppose les amateurs de problèmes
sur les entiers et leurs détracteurs. De Beaune esquive ainsi un problème
soumis par Mersenne : «Je vous supplie de me dispenser de la recherche
de ceste question, pour m'appliquer, aus heures de mon loisir, à de plus
sérieuses : ceste question n'estant d'aulcun usage et ne tombant poinct soubs
la science des rapports, qui les considere universelement aussi bien entre
les lignes commensurables et incommensurables si bien que la recherche
en seroit extremement laborieuse et de nul proffict, ce qui n'arrive pas
en celles de geometrie et celles d'arithmétique qui tombent soubs la sci-
ence des proportions, les autres estant de peu de consideration et n'estant
d'aulcun usage» (Mersenne, *Correspondance* VIII, p. 360)⁵¹. La restriction
des solutions requises aux seuls entiers n'apparaît donc pas comme une con-
trainte intéressante, mais comme une simple perte de généralité. Les plus
explicites à adopter ce point de vue sont les Analystes (algébristes) comme
Descartes ou de Beaune, alors que Mersenne lui-même et certains proches,
Frenicle, Sainte-Croix, Saint-Martin, figurent de manière proéminente dans
l'autre camp. Pour les premiers, la méthode principale qui résoudra tous les
problèmes est algébrique ; elle permet d'opérer uniformément et universelle-
ment sur les différents types de grandeurs (continues et discrètes), assurant
ainsi une refonte partielle des domaines traditionnellement distingués de la
géométrie et de l'arithmétique. Les analystes sont prêts à restreindre en
conséquence le corpus des problèmes jugés intéressants — l'exemple le plus
fameux est bien sûr celui de la *Géométrie* de Descartes où la géométrie est
assimilée aux seuls problèmes relevant d'une équation polynomiale.

Or, l'algèbre symbolique et la théorie des équations telles que les con-
coivent Viète ou plus tard Descartes sont a priori inadaptées pour tenir
compte de la spécificité des entiers, ce dont sont tout à fait conscients les
plus compétents des arithméticiens : «Je sais, écrit Frenicle, que l'algèbre
de ce pays n'est pas propre à soudre les problèmes de cette sorte» (Fer-
mat OC II, p. 227). Il s'agit donc pour eux de développer des méthodes
spécifiques pour résoudre toutes les questions portant sur les entiers et du

<footnote>(51) La question est un problème sur les ellipses à certains segments entiers, posé par Frenicle, et qui fait intervenir le dénombrement de nombres sommes de carrés. Sur ce problème et les positions des protagonistes, voir Goldstein 2001.</footnote>
même coup de montrer les limites du projet algébriste. La même suggestion apparaît dans la dédicace de Mersenne à M. de Bourges dans les *Préludes de l'harmonie universelle ou questions curieuses...* : « La neuvième question [qui concerne les parties aliquotes] vous fournira d'idées pour examiner les plus sçavans Analystes qui se vantent de résoudre toutes sortes de problèmes numériques. » (Mersenne, *Correspondance* IV, p. 213).

Confrontés aux problèmes arithmétiques, les algébristes adoptent deux stratégies. Soit ils essaient de profiter de ce que, dans l'économie des échanges de ce groupe, seules quelques solutions numériques sont requises, soit, comme de Beaune, ils disqualifient les problèmes arithmétiques en affirmant que ceux-ci sont sans valeur pratique et qu'ils ne relèvent pas d'une véritable science procédant méthodiquement, mais au contraire du pur hasard ou d'un simple tâtonnement patient, qui égrênerait l'un après l'autre les entiers. Ainsi, lorsque vers 1631, Descartes refuse encore de s'intéresser aux problèmes sur les parties aliquotes, il commente : « Pour chercher telles questions, il y faut ordinairement plus de patience que d'esprit et elle n'apportent aucune utilité » (Mersenne, *Correspondance* III, p. 211). Il réussit bien à produire plus tard des sous-multiples, en satisfaisant au plus près aux exigences du réseau, sans chercher à approfondir les fondements du problème : son approche consiste à utiliser des sous-multiples déjà connus et à les transformer en nouvelles solutions à partir de quelques identités algébriques. Cette stratégie, qu'il tente de répéter, échoue sur certaines questions d'analyse entière ou de dénombrement exact des solutions, qui exigent une maîtrise de l'arithmétique de la situation : Descartes se retranche alors vers une critique de la question posée<fnref n="52" />.

Cette double opposition, entre arithméticiens et algébristes sur l'intérêt des problèmes sur les entiers, entre Fermat et la plupart de ses interlocuteurs sur les énoncés d'impossibilité, structure le champ de l'arithmétique dans le réseau de correspondance de Mersenne. D'autres sources seraient nécessaires pour mieux apprécier la pérennité de cette structuration dans le troisième quart du 17e siècle : je me contenterai de souligner la cohérence de ces débats avec certains de ceux du *Commercium epistolicum*. Là encore, nous assistons à un dénigrement des « problèmes impossibles » par les mathématiciens anglais et hollandais confrontés aux problèmes favoris de Fermat, et, plus généralement à un manque d'intérêt des algébristes pour les questions entières<fnref n="53" />.

<footnote n="52">⁵² Voir lettres 707 de Descartes à Mersenne, 718 de Descartes à Frenicle, 720 et 737 de Descartes à Mersenne, Mersenne *Correspondance*, VIII, p. 191-3, 279-82, 302-3, 413-6, resp.</footnote>

<footnote n="53">⁵³ Van Schooten revendique explicitement cette qualité : « ma méthode... expliquant comment on peut par le moyen de l'Algèbre découvrir les chemins par lesquels ces nombres peuvent être cherchés... », Fermat 1999, p. 424. Remarquons d'ailleurs qu'il est alors</footnote>
### 3. Entre arithmétique et algèbre : la position de Fermat

Cette reconstitution des modes d'interaction et des enjeux arithmétiques dans le réseau des correspondants mersenniens permet en retour de préciser les particularités du travail de Fermat. Paradoxalement, les traits qui, par contraste, frappent le plus l'attention lorsqu'on examine son œuvre rétro-spectivement — par exemple l'abondance de problèmes éparpillés et sans démonstrations qui s'y trouvent —, sont communs à ces interlocuteurs, dans la première période au moins. J'insiste sur le fait qu'il ne s'agit nullement de caractéristiques propres à l'arithmétique théorique de cette époque dans son ensemble, mais des modes d'interaction en usage dans le champ social particulier où sont produites nos sources principales. Problèmes astucieux et solutions explicites y constituent, en tant que biens partagés au-delà des différences de langages et de méthodes, des monnaies d'échange permettant de mettre en valeur, au sens le plus fort, ces mêmes méthodes. C'est tout l'enjeu de se faire communiquer des problèmes déjà résolus pour les résoudre à son tour, mentionné dans l'introduction, qui se trouve ainsi élucidé<fnref n="54" />. Fermat participe donc pleinement à ce milieu, avec les mêmes normes de fonctionnement que ces correspondants<fnref n="55" /> ; lui aussi par exemple organise par méthodes des énoncés portant sur des objets a priori disparates.

Mais Fermat occupe aussi à l'intérieur du réseau mersennien une position singulière, au sens où il est le seul à appartenir à la fois aux deux grands camps que l'étude des polémiques sur les énoncés arithmétiques a permis de dégager : il est algébriste parmi les arithméticiens et arithméticien parmi les algébristes.

Dès sa première lettre au réseau de Mersenne, en avril 1636, Fermat mentionne ses méthodes algébriques et les progrès qu'elles lui ont permis de faire : «J'ai trouvé aussi beaucoup de sortes d'analyses pour divers problèmes tant numériques que géométriques, à la solution desquels l'analyse de Viète n'eût su suffire.» (Fermat OC II, p. 5). Puis, à Roberval en décembre : «Pour ce qui est des nombres et de leurs parties aliquotes, j'ai trouvé une méthode générale pour soudre toutes les questions par algèbre,

<footnote>incapable de fournir explicitement les solutions demandées, le chemin algébrique pur s'avérant trop long en pratique.</footnote>

<footnote n="54">⁵⁴ On notera à ce propos la nette opposition d'un Wallis à ce mode de fontionnement : «Je ne vois pas ce qui pourrait mieux profiter à la Science que l'exposé méthodique qu'ils pourraient faire au monde savant de ce qu'ils regardent comme leur appartenant en propre, plutôt que de proposer à d'autres, ainsi qu'ils l'ont fait, de trouver à nouveau ce qu'ils pensent avoir inventé» (Fermat 1999, p. 395).</footnote>

<footnote n="55">⁵⁵ C'est une des raisons pour lesquelles l'épithète d'« amateur » qui lui est souvent attribuée parce qu'il ne semble pas se conformer aux règles désormais en usage de la publication mathématique est particulièrement inapproprié ; Fermat n'est pas sociologique-ment (je parle ici de la sociologie du réseau savant) un naïf ou un marginal, ignorant de l'usage effectif de ses interlocuteurs.</footnote>
de quoi j'ai fait dessein d'écrire un petit Traité. » (Fermat OC II, p. 93). Vers 1643, les problèmes parus impossibles à Saint-Martin et à Frenicle relèvent aussi d'une méthode algébrique, analogue à celle que Fermat communique à Mersenne pour Saint-Martin sur les extrema, et qu'explicite plus tard le traité composé par Billy⁵⁶.

Par exemple, considérons la question suivante, la première des trois proposées le 31 mai 1643 (Fermat OC II, p. 259) : trouver un triangle rectangle en nombres dont le plus grand côté soit carré ainsi que la somme des deux autres. Elle figure aussi dans l'observation 44 et y illustre justement la méthode de Fermat pour traiter les équations doubles : « Voici notre méthode : que la question proposée soit cherchée par la méthode ordinaire. Si la solution ne réussit pas une fois le calcul effectué parce que la valeur de l'inconnue est déficiente et donc comprise comme moindre que zéro... nous tentons à nouveau la question et posons comme valeur de la racine 1N – le nombre que nous trouvons dans le premier calcul de la racine inconnue égal à un nombre déficient, sans aucun doute une nouvelle équation sera produite qui représentera la solution de la question par des nombres vrais»⁵⁷. Utilisons en effet l'expression des côtés d'un triangle rectangle a, b, c à l'aide des nombres générateurs : $a = 2pqd$, $b = d(p^2 - q^2)$, $c = d(p^2 + q^2)$, avec $p$ et $q$ premiers entre eux, $p > q$, $p - q$ impair — j'utilise pour simplifier les notations actuelles, qui ne sont pas celles de Fermat ; les conditions du problème conduisent à chercher des solutions rationnelles $x, u, v$ de

$$ \begin{cases} 1 & + x^2 = u^2 \\ 1 & + 2x - x^2 = v^2 \end{cases} \qquad (I) $$

avec $x = q/p$ et donc $x < 1$.

Or la méthode ordinaire, exposée dans Diophante, fondée sur la factorisation de $u^2 - v^2 = (u - v)(u + v) = x(2x - 2)$ et l'identification des facteurs pour éliminer les termes constants, fournit ici $u = \frac{3}{2}x - 1$ et donc la solution $x = \frac{12}{5}$, $u = \frac{13}{5}$, $v = \frac{1}{5}$, soit $q = 12$ et $p = 5$ qui donnerait un côté $b$ négatif.

La solution attribuée à Fermat dans l'Inventum novum de Billy (problèmes 45 et 22) consiste à effectuer un changement de variable à partir de la première solution inadéquate et à prendre comme nouveaux nombres

<footnote>(56) Sur cette méthode en général, voir Cifoletti 1990.</footnote>

<footnote>(57) Methodus nostra haec est : Quaeratur quaestio proposita secundum methodum vulgarem. Si non succedat solutio post absolutam operationem, quia nempe valor numeri notâ defectus insignitur et ideo minor esse nihilo intelligitur ... iterum quaestionem temtemus et pro valore radicis ponamus 1N-numero quem sub signo defectus aequari radici incognitae in prima operatione invenimus, probigit nova haud dubie aequatio quae per veros numeros solutionem quaestionis repræsentabit, Fermat OC I, p. 337-8.</footnote>
générateurs $p = X + 5$, $q = 12$, ce qui conduit aux nouvelles équations

$$ \begin{cases} 169 + 5746X + 169X^2 = U^2 \\ 169 + 10X + X^2 = V^2 \end{cases}, \qquad (II) $$

pour lesquelles, par factorisation et identification des facteurs (de façon à éliminer cette fois les termes de plus haut degré), on obtient la solution

$$ X = \frac{2048075}{20566}, \quad U = \frac{2372159}{1582}, \quad V = \frac{2165017}{20566}, $$

soit $p = 2150905$, $q = 246792$, et finalement, le triangle rectangle solution de (I)

$$ a = 1061652293520 \quad b = 4565486027761 \quad c = 4687298610289 $$

que Fermat fait communiquer à Saint-Martin et Frenicle en 1643 pour les inciter à reprendre les échanges.

Il est évidemment plus difficile d'observer Fermat aux prises avec les analystes dans la première période, dans la mesure où la réaction principale de ceux-ci est, comme nous l'avons dit, de ne pas s'engager sur les questions arithmétiques. De plus, c'est tout au long de cette période que l'intérêt de Fermat pour les questions arithmétiques se développe et mûrit<fnref n="58" />. En revanche, les défis de 1657-8 mettent clairement en évidence son désir de défendre les problèmes sur les entiers face aux analystes. C'est le sens du programme ouvrant le second défi, auquel j'ai fait allusion plus haut : «Il en est à peine qui proposent des questions purement arithmétiques, il en est à peine qui les comprennent. Est-ce parce que l'Arithmétique fut jusqu'à présent traitée géométriquement plutôt qu'arithmétiquement ? C'est ce qu'indiquent assurément la plupart des ouvrages tant des Anciens que des Modernes ; c'est ce qu'indique Diophante lui-même. Bien qu'il se soit éloigné de la Géométrie un peu plus que les autres, en restreignant l'Analyse aux nombres rationnels, les Zététiques de Viète prouvent plus qu'assez que cette partie n'est pas séparée complètement de la Géométrie, eux dans lesquels la méthode de Diophante est étendue à la quantité continue et donc à la Géométrie. C'est pourquoi l'Arithmétique revendique comme son patrimoine propre la doctrine des nombres entiers<fnref n="59" />». L'unification entre

<footnote n="58">⁵⁸) Les échanges impliquant Descartes et Gillot début 1638 tournent à l'avantage de ces derniers ; ce n'est plus le cas un peu plus tard avec le problème sur l'ellipse posé par Frenicle à Descartes, mais nous n'avons pas trace de problèmes arithmétiques posés à Descartes par Fermat à partir de cette date, ni d'ailleurs d'éventuelles réactions de Gillot ou Descartes aux problèmes favoris, impossibles, de Fermat, cf. Descartes, *Œuvres*, II, p. 91-4, 195-6.</footnote>

<footnote n="59">⁵⁹) *Quaestiones pure arithmeticas vix est qui proponat, vix qui intelligat. Annon quia Arithmetica fuit hactenus tractata geometrice potius quam arithmetice? Id sane innuunt*</footnote>
géométrie et arithmétique par immersion dans la géométrie, fût-elle ana-
lytique — telle que l’incarne l’algèbre symbolique de Viète, telle que la
revendique en 1639 Florimond de Beaune dans la citation donnée plus haut
— est donc selon Fermat un frein au développement adéquat de la disci-
pline arithmétique, dont le noyau doit être la doctrine des nombres entiers.
Fermat accompagne ce programme de propositions et de problèmes liés à
la représentation des entiers, sous forme de sommes de carrés ou de combi-
naisons variées de carrés et de leurs multiples, comme le problème de « Pell-
Fermat». Si Fermat brouille ici la distinction standard entre théorème et
problème, puisqu’il réclame à la fois la construction et la démonstration de
l’infinité des solutions, c’est justement que sa méthode favorite, la méthode
de descente infinie, qui joue un rôle clé dans son programme, est à la fois
un mode d’obtention (exhaustive) de solutions quand elles existent⁶⁰ et un
mode de preuve, susceptible aussi de fonctionner comme réponse légitime
lorsque le problème est impossible.

La marque personnelle de Fermat est bien l'intérêt constant pour les
preuves et les constructions générales en tant que telles. Si certaines ques-
tions impossibles apparaissent comme des leitmotive, ce n'est pas parce
qu'il aimerait singulièrement ce type de questions, comme le lui reprochent
certains détracteurs, mais parce qu'elles relèvent du mode de preuve origi-
nal qu'il a mis au point. C'est bien cette spécificité qu'il revendique en
1643 : «je crois que les démonstrations de toutes ces propositions pourront
malaisément venir d'ailleurs que de moi» (Fermat OC II, p. 251) et explicite
encore en 1659, dans sa lettre à Carcavi, lorsque, revenant sur la proposition
de «Pell-Fermat», il commente : «J'avoue que M. Frenicle a donné diverses
solutions particulières et M. Wallis aussi, mais la démonstration générale
se trouvera par la descente dûment et proprement appliquée : ce que je
leur indique, afin qu'ils ajoutent la démonstration et construction générale
du théorème et du problème aux solutions singulières qu'ils ont données»
(Fermat OC II, p. 433).

La double position de Fermat correspond non seulement à une double
maîtrise mathématique, de l'algèbre et des propriétés arithmétiques, mais
bien aussi à une maîtrise sociale, dans le sens où Fermat semble conscient des
enjeux du domaine et capable de situer chaque interlocuteur et d'adapter à
lui ses problèmes. Parfait écho des critiques que nous avons déjà rencontrées

<footnote>pleraque et Veterum et Recentiorum volumina; innuit et ipse Diophantus. Qui licet a Geometria paulo magis quam caeteri disesserit, dum Analyticen numeris tantum ratio- nalibus adstringit, eam tamen partem Geometria non omnino vacare probant satis su- perque Zetetica Vietae, in quibus Diophanti methodus ad quantitatem continuam, ideoque ad Geometriam porrigitur. Doctrinam itaque de numeris integris tanquam peculiare sibi vindicat Arithmetica patrimonium, Fermat OC II, p. 334-5.</footnote>

<footnote>(60) Voir par exemple la lettre de Fermat à Frenicle reproduite à la suite de l'ouvrage de Frenicle, Fermat 1999, p. 488-90.</footnote>
sous la plume de Descartes ou de de Beaune, John Wallis commente ainsi en 1657 les défis de Fermat : « Je regardais les problèmes de cette nature, dont il est aisé d'imaginer un grand nombre en peu de temps comme demandant plus de travail qu'ils n'offrent d'usage ou de difficulté » (Fermat 1999, p. 254). Encore une fois, les problèmes sur les entiers sont présentés comme inutiles, requérant plus de patience et d'entêtement que de subtilité, et relevant du tâtonnement, non de la méthode. Or, à la fin de son programme, Fermat répond précisément point à point : « les questions de cette sorte manifesteront n'être inférieures aux plus célèbres de la Géométrie ni pour la subtilité, ni pour la difficulté ou le mode de démonstration⁶¹ ». De même, lorsqu'il communique à Mersenne ces solutions à 13 chiffres pour Saint-Martin, il ajoute à l'adresse de précédents détracteurs, comme nous l'avons déjà mentionné : « peut-être ne croiront-ils pas que j'aie trouvé ces questions à tâtons et par rencontre » (Fermat OC II, p. 261)⁶².

À propos d'une nouvelle question en 1657, Fermat indique à Digby : « Je consens que M. Frenicle l'entreprenne : je suis persuadé qu'il ne la trouvera pas si aisée que les autres, que je savoir être de sa juridiction » (Fermat OC II, p. 344-5). Le problème visé (redécomposer en deux cubes rationnels un nombre somme de deux cubes rationnels donnés) est géré par la méthode algébrique déjà rencontrée. Les « juridictions » de chaque interlocuteur sont vite repérées et les questions adaptées pour mettre en relief les limites de chacun, au moins lors des premiers contacts. Aux arithméticiens comme Frenicle ou Saint-Martin, il pose comme nous l'avons vu plus haut des problèmes dont la solution repose sur une méthode algébrique ; aux algébristes potentiels comme Wallis, des problèmes « purement arithmétiques » ; à tous, ses théorèmes et problèmes de prédilection qui unissent aux difficultés des deux ordres la nécessité de mettre en forme une preuve spécifique.

## Conclusion

Les contradictions qui semblaient émailler les descriptions de Fermat sont donc plus apparentes que profondes : Fermat pose et résout une foule de problèmes d'apparence disparate parce que c'est exactement ce qu'il lui faut faire pour témoigner de sa valeur mathématique et assurer sa position dans le cadre où nous le voyons principalement agir, celui de l'académie par lettres de Mersenne et ses prolongements ; c'est par les problèmes que les méthodes se manifestent, s'éprouvent et surtout circulent, et c'est bien d'une maîtrise profonde tant des outils mathématiques disponibles que des enjeux scientifiques et sociaux que naît la capacité de Fermat à fabriquer des problèmes

<footnote>(61) Fatebuntur hujusmodi quaestiones nec subtilitate, nec difficultate, nec ratione demonstrandi, celebrioribus ex Geometria esse inferiores» (Fermat, OC II, p. 335)</footnote>

<footnote>(62) Frenicle identifie aussi tout à fait clairement ces enjeux, cf. sa manière de les gérer dans Goldstein 2001.</footnote>
difficiles, et donc à intervenir effectivement dans le champ<sup>63</sup>. Son efficacité n'est limitée que par la marge de manœuvres dans son environnement même, qui ne favorise pas ce qui, au bout du compte, singularise Fermat. Il est en effet tout aussi naturel de le décrire comme un théoricien si nous prenons en compte ses déclarations programmatiques en faveur d'une doctrine des entiers, et sa volonté affichée de la bâtir sur de nouveaux principes et de nouveaux types de preuves, que comme un mathématicien apte à poser et à résoudre des problèmes de toutes sortes. Ce dont témoigne la contextualisation proposée ici<sup>64</sup>, c'est précisément qu'il n'y a aucune contradiction entre ces différents aspects dans la pratique mathématique de l'environnement de Fermat.

Mais si nous sommes en mesure de résoudre, ou plus exactement de dissoudre, les paradoxes apparents dont nous sommes partis, cet épisode met aussi en lumière la difficulté de produire des énoncés historiques stables : au-delà de la sélection préférentielle de certains documents, le champ sémantique des mots utilisés pour en rendre compte est bien aussi en cause, car leurs résonances conceptuelles convoquent aussi, implicitement, des situations sociales inadéquates. L'anachronisme terminologique fait souvent écho à un anachronisme sociologique, et réciproquement. La notion de problèmes que nous avons vue en jeu ici par exemple est toute aussi éloignée de celle associée au balisage de la science future (comme les problèmes de Hilbert au congrès international de Paris en 1900, déjà évoqués) que de celle, d'ailleurs à peu près opposée, associée à l'expression de « problem-solver » ; chacune est indissociable d'un fonctionnement spécifique des échanges scientifiques et de la valorisation des résultats. De la même façon, souligner que Fermat est probablement celui dans ce cercle qui s'intéresse le plus à la question des preuves ne signifie ni que toutes celles qu'il a annoncées

<footnote>(63) « Il convient de considérer les énoncés et les actes non pas comme des projections de modèles intemporels et immatrisables, mais comme des solutions aux problèmes de communication qui surgissent au sein d'interactions précisément situées », Alban Bensa, « De la micro-histoire vers une anthropologie critique », in Revel 1996, p. 69.</footnote>

<footnote>(64) Elle n'est bien sûr pas la seule possible. Mais outre les aspects privilégiés ici, elle apporte également des éléments importants dans d'autres débats classiques, comme la datation des travaux de Fermat. Par exemple, les éditeurs de Fermat 1999 suggèrent que le théorème sur l'aire des triangles rectangles en nombres n'a été reconnu comme impossi- ble par Fermat que tardivement, en 1640 au plus tôt, car il n'apparaîtrait auparavant que sous la forme « trouver un triangle rectangle d'aire carrée », qu'ils interprètent comme un énoncé ouvert. La prise en compte de la correspondance de Mersenne réfute cet argu- ment de deux façons : un document supplémentaire montre que le 27 juillet 1638 déjà, cet énoncé est avec d'autres problèmes impossibles proposé comme défi à Jean Gillot, sous la forme standard « trouver... ou montrer que c'est impossible » (Mersenne, *Cor- respondance*, VII, p. 402) ; l'examen des échanges fait ici montre de plus nettement que les questions posées ne sont jamais des questions ouvertes, dans un premier contact, mais bien des questions dont la réponse est déjà connue de l'auteur. Bien entendu, ceci ne prouve rien sur la date de l'observation 45 et de la preuve qu'elle contient.</footnote>
étaient correctes<sup>65</sup>, ni que ses contemporains ignoraient complètement cet aspect des mathématiques : tout au plus que le contenu des communications privilégiait les solutions effectives à des problèmes et que la validation de toute preuve est en définitive un acte collectif<sup>66</sup>.

Il n'a pas été question ici de restituer la totalité d'un champ disciplinaire, mais d'indiquer que nos documents mêmes sont constitutifs d'une configuration sociale spécifique et de nous pencher sur ce qui, dans les pratiques arithmétiques de Fermat, relevait de ce collectif par lequel nous y avions accès. Pourtant, et ceci me semble un point fondamental de l'histoire sociale prônée ici, ce n'est pas seulement la norme de ce milieu que nous pouvons ainsi comprendre, mais, à travers l'étude des oppositions qui s'y explicitent, les positions singulières des différents protagonistes. Autrement dit, il ne s'agit pas seulement de fabriquer des contextes qui permettent d'élucider des conduites particulières en les inscrivant dans des collectifs multiples, et donc de considérer ces protagonistes comme de l'« exceptionnel normal ». L'histoire sociale des mathématiques, ou plus généralement d'une création culturelle, se doit aussi, *réciproquement*, de restituer l'« exceptionnel » tout court, en particulier celui des œuvres. Fermat n'apparaît pas ici comme un homme moyen du premier 17<sup>e</sup> siècle, un praticien des mathématiques parmi d'autres exactement équivalents ; il n'est pas non plus exceptionnel par simple contraste, sur le fond indifférencié de ces contemporains : il peut nous être restitué comme occupant une position particulière dans une configuration sociale de pratiques de savoirs dont il domine le fonctionnement et les enjeux propres.

## Bibliographie

Evelyne Barbin, 1988, « La démonstration mathématique : significations épistémologiques et questions didactiques », *Actes de l'université d'été d'histoire des mathématiques*, Poitiers : IREM, p. 6-28.

Guy Bechtel, 1992, *Gutenberg et l'invention de l'imprimerie*, Paris : Fayard.

Eric Temple Bell, 1951, *Mathematics Queen and Servant of Science*, New York : McGraw-Hill.

Henk Bos, 1993, *Lectures in the history of mathematics*, Providence : AMS.

-2001, *Redefining Geometrical Exactness*, New York, Berlin, etc. : Springer.

<footnote n="65"><sup>65</sup> Cette remarque vise bien à éviter les malentendus sur le Grand Théorème de Fermat.</footnote>

<footnote n="66"><sup>66</sup> Voir sur ce point Goldstein 1989. Cet aspect a été récemment repris dans un contexte contemporain par Claude Rosental, Rosental 2003.</footnote>
Giovanna Cifoletti, 1990, *La Méthode de Fermat. Son statut et sa diffusion* (Cahiers d'Histoire et de Philosophie des Sciences 33), Paris : Belin.

–2001, « L’utilité de l’entendement et l’utilité de l’action. Discussion sur l’utilité des mathématiques au 16ᵉ siècle », *Revue de synthèse* 122, 4e S. 2-3-4, p. 503-520.

Peter Dear, 1998, « Method and the Study of Nature », in Daniel Garber and Michael Ayers, eds., *The Cambridge History of Seventeenth-Century Philosophy*, New York & Cambridge : Cambridge University Press.

Philippe Desan, 1987, *La naissance de la méthode*, Paris : Nizet.

René Descartes, *Œuvres complètes*, éditées par C. Adam & P. Tannery, 13 vols., 1897-1913, Paris : Cerf.

Pierre de Fermat, OC, *Œuvres complètes*, éditées par C. Henry & P. Tannery, 4 vols., 1891-1912, et Supplément, édité par C. de Waard, 1922, Paris : Gauthier-Villars

– 1999, *Œuvres de Pierre Fermat, t. 1, La théorie des nombres*, textes traduits par Paul Tannery, introduits et commentés par Roshdi Rashed, Christian Houzel et Gilles Christol, Paris : Blanchard.

Neal Gilbert, 1960, *Renaissance Concept of Method*, New York : Columbia University Press.

Catherine Goldstein, 1989, « Le métier des nombres aux XVIIᵉ et XIXᵉ siècles » *in* Michel Serres (éd.), *Éléments d'Histoire des Sciences*, Paris : Bordas, p. 274-295.

–1995, *Un théorème de Fermat et ses lecteurs*, Saint-Denis : Presses Universitaires de Vincennes.

– 2001, « L’expérience des nombres de Bernard Frenicle de Bessy », *Revue de synthèse* 122, 4e S. 2-3-4, p. 425-454.

Arsenio Frugoni, 1954, *Arnaldo da Brescia nelle fonti del secolo XII*, Rome : ISIME. Traduction française : *Arnaud de Brescia*, 1993, Paris : Belles Lettres.

Charles Henry, 1879-80, « Recherches sur les manuscrits de Pierre de Fermat », *Bulletin di Bibliografia e di Storia delle Scienze Mathematiche e Fisiche*, 12, p. 477-568, 619-740 ; 13, p. 437-501.

Joseph E. Hofmann, 1944, « Neues ber Fermats zahlentheoretische Herausforderungen von 1657 », *Abhandlungen der Preuischen Akademie der Wissenschaften Jahrgang 1943. Math.-naturw. Klasse* 9, Berlin : Verlag der Akademie der Wissenschaften.

Jean Itard, 1949, « Les méthodes utilisées par Fermat en théorie des nombres », *Revue d'histoire des sciences* 3, p. 21-28.

–1950, *Pierre Fermat, Beihefte zur Zeitschrift Elemente der Mathematik* 10, Bâle : Birkhäuser.

Michael Mahoney, 1973, *The Mathematical Career of Pierre de Fermat (1601-1665)*, Princeton : Princeton University Press. 2ᵉ édition corrigée, 1994.

Paolo Mancosu, 1996, *Philosophy of Mathematics and Mathematical Practice in the Seventeenth Century*, New York, Oxford : Oxford University Press.

Marin Mersenne, *Correspondance*, éditée par M. Tannery, C. de Waard, B. Rochot, A. Beaulieu, 17 vol., 1932-1988, Paris : CNRS (à partir du 5ᵉ volume).
L'arithmétique de Pierre Fermat dans le contexte de la correspondance de Mersenne

Jacques Revel (éd.), 1996, *Jeux d'échelles. La micro-analyse à l'expérience*, Paris : Hautes Etudes, Gallimard et Le Seuil.

Claude Rosental, 2003, *La trame de l'évidence*, Paris : PUF.

André Weil, 1973, « Review of *The Mathematical Career of Pierre de Fermat (1601-1665)* by M. S. Mahoney », *Bulletin of the American Mathematical Society* 79, p. 1138-49.

– 1984, *Number Theory: An Approach through History from Hammurapi to Legendre*, Boston : Birkhäuser.