A.- P._ était au bénéfice d'une rente ordinaire de vieillesse pour couple depuis le 1er novembre 1988.
Au mois de mars 2000, la Caisse suisse de compensation a appris que l'épouse de l'assuré était décédée le 18 août 1995. Aussi, par décision du 16 mai 2000, a-t-elle supprimé la rente de vieillesse pour couple à partir du 31 août 1995 et l'a remplacée par une rente simple. Elle a en outre réclamé à P._ la restitution d'un montant de 2544 fr., représentant la différence entre la somme des rentes mensuelles pour couple perçues à tort (7568 fr.) et celle des rentes mensuelles simples dues depuis le 1er septembre 1995 (5024 fr.). Cette décision indiquait par ailleurs que l'intéressé avait la faculté de demander la remise de son obligation de restituer.
B.- Saisie d'un recours contre cette décision, la Commission fédérale de recours en matière d'assurance-vieillesse, survivants et invalidité pour les personnes résidant à l'étranger l'a rejeté par jugement du 21 mai 2001 et a transmis le dossier à la caisse pour qu'elle rende une décision sur la demande de remise de l'obligation de restituer les prestations.
C.- P._ interjette un recours de droit administratif contre ce jugement.
La caisse demande au Tribunal fédéral des assurances de ne pas entrer en matière sur le recours. L'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit :
1.- Le jugement entrepris expose de manière exacte et complète les dispositions légales applicables au présent cas, de sorte qu'il suffit d'y renvoyer.
2.- En l'espèce, il est constant que l'épouse du recourant est décédée le 18 août 1995, ce qui justifiait la suppression du droit à la rente de vieillesse pour couple et son remplacement par une rente simple de vieillesse à partir du 1er septembre suivant (<ref-law> en vigueur jusqu'au 31 décembre 1996).
Par ailleurs, l'intimée était fondée à réclamer les rentes mensuelles pour couple indûment perçues (<ref-law>) aux conditions qui président à la révocation, par son auteur, d'une décision administrative (<ref-ruling> consid. 2c). En l'occurrence, la caisse avait continué d'allouer une rente de vieillesse pour couple après le 31 août 1995 parce qu'elle ignorait que l'épouse de l'assuré était décédée le 18 août précédent, événement dont elle n'a été informée qu'au mois de mars 2000. Dès lors qu'il s'agit indéniablement d'un fait important de nature à conduire à une appréciation juridique différente, mais qui a été découvert après coup, on est en présence d'un motif de révision procédurale (<ref-ruling> consid. 2d et les arrêts cités). Dans ces circonstances, l'obligation de restituer les rentes mensuelles pour couple indûment perçues n'est pas liée à une violation de l'obligation de renseigner. Il s'agit simplement de rétablir l'ordre légal, après la découverte d'un fait nouveau (<ref-ruling> consid. 2e).
Par ailleurs, la décision par laquelle la caisse intimée a fixé le montant que le recourant doit restituer ne fait pas obstacle à un réexamen, au stade de la procédure de remise sur laquelle la caisse est appelée à se prononcer aux termes du jugement cantonal, du calcul de la compensation avec les arriérés de rente simple échus. En effet, la compensation n'est qu'un mode d'exécution de l'obligation de restituer les prestations indûment perçues. C'est pourquoi le point de savoir si la caisse intimée était en droit d'éteindre la dette, dont la remise est demandée, par compensation avec les arriérés de rente simple échus ne pourra être définitivement tranché que dans le cadre de la procédure relative à la remise éventuelle de l'obligation de restitution (cf. <ref-ruling> consid. 5b).
Cela étant, le jugement entrepris n'est pas critiquable et le recours se révèle mal fondé.

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est rejeté.
II. Il n'est pas perçu de frais de justice.
III. Le présent arrêt sera communiqué aux parties, à la Commission fédérale de recours en matière d'assurance- vieillesse, survivants et invalidité pour les personnes
résidant à l'étranger, et à l'Office fédéral des
assurances sociales.
Lucerne, le 29 avril 2002
Au nom du
Tribunal fédéral des assurances
Le Président de la IIIe Chambre :
Le Greffier :