A.- F._, ressortissant français et domicilié en France, a cotisé à l'assurance-vieillesse, survivants et invalidité suisse durant diverses périodes depuis le mois de juin 1972. A partir du 1er octobre 1991, il a été mis au bénéfice d'une rente pour couple de l'assurance-invalidité suisse, remplacée, au décès de son épouse, par une rente simple d'invalidité dès le 1er novembre 1994. Le montant de cette dernière rente (de 1735 fr. en 2001) a été calculé sur la base d'un revenu annuel moyen de 59 784 fr., d'une durée de cotisations suisse de 13 ans et deux mois, en application de l'échelle de rente 39 et en prenant en compte les périodes d'assurance en France.
Après que le prénommé eut accompli sa 65ème année, la Caisse suisse de compensation (ci-après : la caisse) lui a alloué, dès le 1er mars 2001, une rente ordinaire de vieillesse d'un montant mensuel de 1296 fr., y compris un complément différentiel, en remplacement de la rente d'invalidité perçue jusque là (décision du 3 juillet 2001).
B.- L'assuré a recouru contre cette décision devant la Commission fédérale de recours en matière d'assurancevieillesse, survivants et invalidité pour les personnes résidant à l'étranger (ci-après : la commission), qui l'a débouté par jugement du 15 octobre 2001.
C.- F._ interjette recours de droit administratif contre ce jugement, en concluant implicitement à son annulation et à l'allocation d'une rente de 1735 fr., correspondant au montant de la rente d'invalidité qu'il percevait jusque là.
La caisse conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.
Considérant en droit :
1.- Le litige porte sur le montant de la rente de vieillesse accordée au recourant, qui conteste le fait qu'elle soit inférieure de 440 fr. à la rente d'invalidité qu'il percevait jusque là.
2.- a) Selon l'art. 16 par. 1 de la Convention de sécurité sociale entre la Confédération suisse et la République française, du 3 juillet 1975 (RS 0.831. 109.349. 1; ci-après : la convention), la pension d'invalidité est transformée, le cas échéant, en pension de vieillesse dès que se trouvent remplies les conditions notamment d'âge, requises par la législation du pays en vertu de laquelle elle a été attribuée.
En l'occurrence, il est constant que le recourant a droit à une rente de vieillesse de l'AVS suisse à partir du 1er mars 2001 (cf. art. 21 al. 1 let. a LAVS), en remplacement de la rente d'invalidité en cours jusqu'alors (art. 30 LAI).
b) Lorsque, dans le cas d'un ressortissant français, le droit à une pension de vieillesse est ouvert selon la législation suisse (c'est-à-dire lorsqu'il est possible de porter en compte au moins une année entière de revenus, de bonifications pour tâches éducatives ou pour tâches d'assistance; cf. art. 29 al. 1 LAVS), la rente doit être calculée selon les règles de cette même législation, sans égard aux périodes d'assurance accomplies en France. En d'autres termes, la rente est calculée au prorata des années d'assurances accomplies en Suisse et du revenu déterminant qui s'y rapporte (voir à ce sujet l'exposé de l'OFAS intitulé "Principales règles concernant les rentes AVS et AI dans les conventions internationales conclues par la Suisse", RCC 1982 p. 337 sv.).
c) En l'espèce, comme l'a démontré la première instance de recours, le calcul de l'administration (opéré en vertu de la législation suisse) n'apparaît en aucune manière critiquable. En particulier, la caisse a procédé, à juste titre, au calcul comparatif prévu par l'art. 33bis al. 1 LAVS, pour retenir la solution la plus favorable à l'assuré. L'intimée a ainsi constaté qu'il aurait droit à une rente mensuelle de 796 fr., y compris le supplément pour personne veuve (art. 35bis LAVS), calculée sur la base des éléments déterminant la rente d'invalidité à laquelle elle se substitue (mais après déduction des années de cotisations à l'étranger).
3.- Selon l'art. 16 par. 2 de la convention, si le total des prestations auxquelles un assuré peut prétendre de la part de chacun des régimes d'assurance-vieillesse des deux pays est inférieur au montant de la pension ou rente d'invalidité, il a droit à un complément différentiel à la charge du régime qui était débiteur de ladite pension ou rente.
Dans le cas particulier, l'assuré était au bénéfice d'une rente d'invalidité suisse dont le montant s'élevait à 1735 fr. par mois avant la modification de celle-ci en rente de vieillesse. Par ailleurs, il perçoit une rente française de vieillesse de 439 fr. (soit 1754, 33 FF, au cours moyen de 0.25 fr.). En tenant compte de la rente ordinaire de vieillesse de 796 fr. à laquelle il aurait droit ainsi que des prestations de vieillesse françaises, il peut dès lors prétendre un complément différentiel de 500 fr. (1735 - 439 - 796). C'est donc à bon droit que l'intimée a fixé le montant de la rente de vieillesse du recourant à 1296 fr.
Si le recourant perçoit désormais une rente de vieillesse moins élevée que la rente d'invalidité à laquelle elle s'est substituée, cela résulte exclusivement du fait que les périodes de cotisations étrangères ne peuvent être prises en compte dans ce calcul. Peu importe à cet égard qu'après son 60ème anniversaire, il percevait déjà parallèlement à la rente suisse d'invalidité, une rente française de vieillesse. Il ne saurait en tirer aucun droit pour le calcul des prestations auxquelles il peut prétendre de la part de l'assurance-vieillesse suisse, dès lors que la Convention de sécurité sociale prévoit que le complément différentiel doit être fixé, jusqu'à concurrence du montant de la rente d'invalidité, en tenant compte des rentes de vieillesse tant suisse que française (art. 16 par. 2). La disposition conventionnelle garantit ainsi à l'intéressé le maintien du revenu acquis sous forme de prestation d'invalidité avant sa transformation en prestation de vieillesse (Message concernant une convention de sécurité sociale conclue avec la France, du 19 novembre 1975, FF 1975 II 2212), mais non pas le droit à une rente de vieillesse suisse équivalente à la rente d'invalidité précédemment versée par l'assurance-invalidité suisse.
Partant, le recours se révèle mal fondé.
Par ces motifs, le Tribunal fédéral des assurances,
vu l'art. 36a al. 1 let. b OJ,
prononce :
I. Le recours est rejeté.
II. Il n'est pas perçu de frais de justice.
III. Le présent arrêt sera communiqué aux parties, au recourant par voie édictale, à la Commission fédérale de recours en matière d'assurance-vieillesse, survivants
et invalidité pour les personnes résidant à
l'étranger ainsi qu'à l'Office fédéral des assurances
sociales.
Lucerne, le 13 mai 2002
Au nom du
Tribunal fédéral des assurances
Le Président de la IIIe Chambre :
La Greffière :