A.- A._, marié, de nationalité française, domicilié à X._ (France), a travaillé en Suisse comme frontalier depuis le mois de janvier 1980 jusqu'à la fin du mois de février 1986. Il a ensuite bénéficié d'indemnités journalières d'assurance-maladie. A partir du 1er mars 1987, il a été mis au bénéfice d'une rente de l'assurance-invalidité suisse, ainsi que d'une rente complémentaire pour son épouse. A l'origine, ces prestations s'élevaient, respectivement, à 1123 fr. et à 337 fr. par mois. Elles étaient calculées sur la base d'un revenu annuel moyen de 34 200 fr., d'une durée de cotisations de sept ans et de l'échelle de rente 44. Après que l'assuré eut accompli sa 65ème année, la Caisse suisse de compensation lui a alloué, en remplacement de la rente d'invalidité et à partir du 1er octobre 2000, une rente ordinaire simple de vieillesse, de 376 fr. par mois, assortie d'une rente complémentaire en faveur de son épouse, de 113 fr. par mois. Les rentes étaient calculées sur la base d'un revenu annuel moyen de 45 828 fr., d'une durée de cotisations de sept années, entraînant l'application de l'échelle de rente 10 (décision du 29 septembre 2000). B.- Statuant le 2 février 2001, la Commission fédérale de recours en matière d'assurance-vieillesse, survivants et invalidité pour les personnes résidant à l'étranger a rejeté le recours formé contre cette décision par A._. C.- Contre ce jugement, A._ interjette un recours de droit administratif dans lequel il demande que "les années de rentes d'invalidité" soient prises en compte dans le calcul de sa rente de vieillesse. La Caisse suisse de compensation conclut au rejet du recours. Quant à l'Office fédéral des assurance sociales (OFAS), il ne s'est pas déterminé à son sujet.