A.- Par décision du 28 décembre 1998, la Caisse suisse de compensation (la caisse) a fixé le montant de la rente mensuelle de vieillesse de M._ à 523 fr. dès le 1er novembre 1998, puis à 529 fr. à partir du 1er janvier 1999.
Le prénommé a déféré cette décision à la Commission fédérale de recours en matière d'AVS/AI pour les personnes résidant à l'étranger, en concluant à l'allocation d'une rente plus élevée. Dans sa réponse, la caisse a conclu à ce que sa décision soit réformée au détriment de l'assuré, la rente devant être fixée à 487 fr. dès le 1er novembre 1998 et portée à 492 fr. à compter du 1er janvier 1999. Par lettre du 7 juillet 1999, la commission de recours a invité M._ à lui faire savoir s'il entendait maintenir son recours ou s'il désirait le retirer. Le prénommé a persisté dans ses conclusions.
Par jugement du 4 avril 2000, la commission a réformé la décision au détriment de l'assuré dans le sens des propositions de la caisse. Ce jugement a toutefois été annulé par arrêt du Tribunal fédéral des assurances du 5 février 2001 (H 206/00), pour violation du droit de l'assuré d'être entendu.
B.- Donnant suite à cet arrêt, la commission de recours a dûment informé M._, par lettre du 27 février 2001, qu'elle envisageait de confirmer le dispositif de son jugement du 4 avril 2000, en d'autres termes de réformer la décision de la Caisse suisse de compensation du 28 décembre 1998 au détriment du recourant. Dans la même écriture, la commission de recours a également attiré l'attention de celui-ci sur la possibilité qu'il avait de retirer son recours, ce que l'intéressé a fait le 25 mars 2001.
Par jugement du 3 avril 2001, la commission de recours a pris acte du retrait du recours et rayé l'affaire du rôle.
C.- M._ interjette recours de droit administratif contre ce jugement dont il demande implicitement l'annulation, en concluant au versement d'une rente de vieillesse plus élevée.
La caisse intimée renonce à présenter des observations.
Quant à l'Office fédéral des assurances sociales (OFAS), il ne s'est pas déterminé.

Considérant en droit :
1.- En instance fédérale, peut seule être examinée la validité de la déclaration de retrait du recours que le recourant a signée le 25 mars 2001.
Il s'ensuit que les conclusions du recourant sont irrecevables dans la mesure où elles tendent à la réforme de la décision du 28 décembre 1998, dans le sens d'une augmentation de sa rente de vieillesse. En revanche, le recours de droit administratif remplit les conditions posées par l'art. 108 al. 2 OJ (<ref-ruling>), car le recourant laisse entendre qu'il avait retiré son recours contre sa volonté, en raison des menaces que la commission de recours avait fait peser sur le montant de sa rente.
2.- Comme le litige n'a pas pour objet l'octroi ou le refus de prestations d'assurance, le Tribunal fédéral des assurances doit se borner à examiner si les premiers juges ont violé le droit fédéral, y compris par l'excès ou par l'abus de leur pouvoir d'appréciation, ou si les faits pertinents ont été constatés d'une manière manifestement inexacte ou incomplète, ou s'ils ont été établis au mépris de règles essentielles de procédure (art. 132 en corrélation avec les art. 104 let. a et b et 105 al. 2 OJ).
3.- Si la commission de recours a fait savoir au recourant, dans sa lettre du 27 février 2001, qu'elle envisageait de réduire le montant de la rente de vieillesse, c'était précisément pour lui permettre de retirer son recours et d'obvier ainsi à une péjoration de sa situation.
En ce sens, l'avertissement dont le recourant a fait l'objet de la part de l'autorité judiciaire inférieure l'a été dans son intérêt, conformément à ce que la jurisprudence requiert (<ref-ruling>-168 consid. 2 et les références).
Le recourant était libre de donner les suites qu'il entendait à l'avertissement qui lui avait été signifié : il pouvait retirer son recours ou le maintenir. Dans cette dernière éventualité, le recourant aurait conservé la possibilité de déférer le fond de l'affaire à l'autorité de recours de seconde instance (le Tribunal fédéral des assurances), si le jugement rendu ne l'avait pas satisfait.
Cependant, en procédant ainsi, il aurait pris sciemment le risque de subir définitivement une aggravation de sa situation.
C'est dire que le recourant n'a pas été contraint de retirer son recours contre sa volonté, mais qu'il s'est désisté en toute connaissance de cause. Sa déclaration de retrait du 25 mars 2001 n'était donc pas entachée d'un vice du consentement (cf. <ref-ruling> consid. 1b et la référence), si bien que la commission de recours a rayé à juste titre l'affaire de son rôle. Le recours est mal fondé.
4.- La procédure n'est pas gratuite, s'agissant d'un litige qui ne porte pas sur l'octroi ou le refus de prestations d'assurance (art. 134 OJ a contrario). Le recourant, qui succombe, supportera les frais de justice (art. 153a, 156 al. 1 OJ).

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Dans la mesure où il est recevable, le recours est
rejeté.
II. Les frais de justice, d'un montant total de 500 fr., sont mis à la charge du recourant et sont compensés avec l'avance de frais, d'un même montant, qu'il a
effectuée.
III. Le présent arrêt sera communiqué aux parties, à la Commission fédérale de recours en matière d'assurance- vieillesse, survivants et invalidité pour les personnes
résidant à l'étranger, et à l'Office fédéral des
assurances sociales.
Lucerne, le 25 février 2002
Au nom du
Tribunal fédéral des assurances
Le Président de la IIe Chambre :
Le Greffier :