A.- Par décision du 28 décembre 1998, la Caisse suisse de compensation (la caisse) a fixé le montant de la rente mensuelle de vieillesse de M._ à 523 fr. dès le 1er novembre 1998, puis à 529 fr. à partir du 1er janvier 1999. Le prénommé a déféré cette décision à la Commission fédérale de recours en matière d'AVS/AI pour les personnes résidant à l'étranger, en concluant à l'allocation d'une rente plus élevée. Dans sa réponse, la caisse a conclu à ce que sa décision soit réformée au détriment de l'assuré, la rente devant être fixée à 487 fr. dès le 1er novembre 1998 et portée à 492 fr. à compter du 1er janvier 1999. Par lettre du 7 juillet 1999, la commission de recours a invité M._ à lui faire savoir s'il entendait maintenir son recours ou s'il désirait le retirer. Le prénommé a persisté dans ses conclusions. Par jugement du 4 avril 2000, la commission a réformé la décision au détriment de l'assuré dans le sens des propositions de la caisse. Ce jugement a toutefois été annulé par arrêt du Tribunal fédéral des assurances du 5 février 2001 (H 206/00), pour violation du droit de l'assuré d'être entendu. B.- Donnant suite à cet arrêt, la commission de recours a dûment informé M._, par lettre du 27 février 2001, qu'elle envisageait de confirmer le dispositif de son jugement du 4 avril 2000, en d'autres termes de réformer la décision de la Caisse suisse de compensation du 28 décembre 1998 au détriment du recourant. Dans la même écriture, la commission de recours a également attiré l'attention de celui-ci sur la possibilité qu'il avait de retirer son recours, ce que l'intéressé a fait le 25 mars 2001. Par jugement du 3 avril 2001, la commission de recours a pris acte du retrait du recours et rayé l'affaire du rôle. C.- M._ interjette recours de droit administratif contre ce jugement dont il demande implicitement l'annulation, en concluant au versement d'une rente de vieillesse plus élevée. La caisse intimée renonce à présenter des observations. Quant à l'Office fédéral des assurances sociales (OFAS), il ne s'est pas déterminé.