A.- A._, marié, de nationalité française, domicilié à X._ (France), a travaillé en Suisse comme frontalier depuis le mois de janvier 1980 jusqu'à la fin du mois de février 1986. Il a ensuite bénéficié d'indemnités journalières d'assurance-maladie. A partir du 1er mars 1987, il a été mis au bénéfice d'une rente de l'assurance-invalidité suisse, ainsi que d'une rente complémentaire pour son épouse. A l'origine, ces prestations s'élevaient, respectivement, à 1123 fr. et à 337 fr.
par mois. Elles étaient calculées sur la base d'un revenu annuel moyen de 34 200 fr., d'une durée de cotisations de sept ans et de l'échelle de rente 44.
Après que l'assuré eut accompli sa 65ème année, la Caisse suisse de compensation lui a alloué, en remplacement de la rente d'invalidité et à partir du 1er octobre 2000, une rente ordinaire simple de vieillesse, de 376 fr. par mois, assortie d'une rente complémentaire en faveur de son épouse, de 113 fr. par mois. Les rentes étaient calculées sur la base d'un revenu annuel moyen de 45 828 fr., d'une durée de cotisations de sept années, entraînant l'application de l'échelle de rente 10 (décision du 29 septembre 2000).
B.- Statuant le 2 février 2001, la Commission fédérale de recours en matière d'assurance-vieillesse, survivants et invalidité pour les personnes résidant à l'étranger a rejeté le recours formé contre cette décision par A._.
C.- Contre ce jugement, A._ interjette un recours de droit administratif dans lequel il demande que "les années de rentes d'invalidité" soient prises en compte dans le calcul de sa rente de vieillesse.
La Caisse suisse de compensation conclut au rejet du recours. Quant à l'Office fédéral des assurance sociales (OFAS), il ne s'est pas déterminé à son sujet.

Considérant en droit :
1.- A l'appui de sa conclusion, le recourant se borne à alléguer que "les années de rentes d'invalidité sont plus nombreuses que les années de travail". A l'encontre du jugement attaqué, il ne développe aucun argument critique.
Sa motivation, des plus sommaires, est donc à la limite de la recevabilité au regard des exigences de l'art. 108 al. 2 OJ. De toute façon, la conclusion du recours est mal fondée, comme on le verra ci-après.
2.- Conformément à l'art. 13 de la convention de sécurité sociale du 3 juillet 1975 entre la Confédération suisse et la République française (ci-après : la convention), la rente d'invalidité qui était allouée au recourant à partir du 1er mars 1987 a été calculée en tenant compte des périodes d'assurance et des périodes assimilées accomplies selon les dispositions légales françaises, dans la mesure où elles ne se superposaient pas aux périodes de cotisations suisses. Comme le recourant avait cotisé en Suisse pendant sept ans et un mois et en France pendant 24 ans, la caisse de compensation a appliqué l'échelle de rente 44, ce qui a conduit au versement d'une rente d'invalidité complète au sens des <ref-law>.
3.- a) Selon l'art. 16 § 1 de la convention, la pension d'invalidité est transformée, le cas échéant, en pension de vieillesse dès que se trouvent remplies les conditions notamment d'âge, requises par la législation du pays en vertu de laquelle elle a été attribuée. En l'occurrence, il est constant que le recourant a droit à une rente de vieillesse de l'AVS suisse à partir du 1er octobre 2000 (cf. <ref-law>), en remplacement de la rente d'invalidité qui était jusqu'alors en cours (<ref-law>).
b) Lorsque, dans le cas d'un ressortissant français, le droit à la pension de vieillesse est ouvert selon la législation suisse (c'est-à-dire lorsqu'il est possible de porter en compte au moins une année entière de revenus, de bonifications pour tâches éducatives ou pour tâches d'assistance; cf. <ref-law>), la rente doit être calculée selon les règles de cette même législation, sans égard aux périodes d'assurance accomplies en France. En d'autres termes, la rente est calculée au prorata des années d'assurances accomplies en Suisse et du revenu déterminant qui s'y rapporte (voir à ce sujet l'exposé de l'OFAS intitulé "Principales règles concernant les rentes AVS et AI dans les conventions internationales conclues par la Suisse", RCC 1982 p. 337 sv.). Dès lors, contrairement à ce que voudrait le recourant, il n'est pas tenu compte des périodes durant lesquelles il a perçu une rente de l'assurance-invalidité suisse, alors qu'il était domicilié à l'étranger et qu'il n'était plus affilié à l'AVS/AI.
Pour le suplus, comme l'a démontré le premier juge, le calcul de l'administration (opéré en vertu de la législation suisse) n'apparaît d'aucune manière critiquable. En particulier, la caisse a procédé, à juste titre, au calcul comparatif prévu par l'<ref-law>, pour retenir la solution la plus favorable à l'assuré. On ne peut donc que renvoyer aux motifs du jugement attaqué et constater que la rente de vieillesse à laquelle peut prétendre le recourant, ainsi que la rente complémentaire pour son épouse, s'élèvent bien, respectivement, à 376 fr. et à 113 fr.
par mois (valeur au 1er octobre 2000).
4.- Selon l'art. 16 § 2 de la convention, si le total des prestations auxquelles un assuré peut prétendre de la part de chacun des régimes d'assurance-vieillesse des deux pays est inférieur au montant de la pension ou rente d'invalidité, il a droit à un complément différentiel à la charge du régime qui était débiteur de ladite pension ou rente.
Dans le cas particulier, le recourant a envoyé à la Caisse suisse de compensation, le 14 mars 2001, des attestations de pensions établies par l'organisme de sécurité sociale française en ce qui concerne le montant des pensions de vieillesse versées par cette institution. La caisse a transmis ces attestations au Tribunal fédéral des assurances. Il n'appartient toutefois pas à ce dernier de décider maintenant si le recourant a ou non droit au complément différentiel prévu par la convention. C'est à la caisse qu'il incombera d'examiner cette question et de rendre à ce sujet une décision.

Par ces motifs, le Tribunal fédéral des assurances,
vu l'art. 36a OJ,
prononce :
I. Le recours est rejeté.
II. Il n'est pas perçu de frais de justice.
III. Le présent arrêt sera communiqué aux parties, à la Commission fédérale de recours en matière d'assurance- vieillesse, survivants et invalidité pour les personnes
résidant à l'étranger et à l'Office fédéral des
assurances sociales.
Lucerne, le 25 mai 2001
Au nom du
Tribunal fédéral des assurances
Le juge présidant la IIe Chambre :
Le Greffier :