Faits:
A. X._, ressortissant étranger né le 22 mai 1936, a travaillé en qualité de médecin radiologue à l'Hôpital Y._ de 1970 à 1985. A la suite de son départ vers l'étranger en 1985, il a obtenu le remboursement de ses cotisations à l'AVS.
De 1986 à 2005, le prénommé a effectué plusieurs remplacements auprès de cet hôpital. Un extrait du compte individuel (du 25 septembre 2007) atteste le versement de cotisations de décembre 1988 à décembre 2000 (en moyenne durant un à deux mois par an, sauf en 1996 et 2000 où il est fait état de périodes respectives de 12 et 6 mois). En juillet 2006, il a été informé que l'hôpital ne ferait plus appel à ses services, car le personnel était au complet. Le 17 août 2006, X._ a demandé le versement d'une rente de vieillesse. La caisse de compensation a opposé un refus, justifié par l'absence de domicile en Suisse et de convention de sécurité sociale entre la Suisse et le pays d'origine (décision du 2 octobre 2006, confirmée sur opposition le 16 novembre 2006).
Le 12 décembre 2006, X._ a présenté une demande de remboursement des cotisations versées de 1986 à 2005. La caisse a rejeté sa demande, par décision du 13 juin 2007 confirmée sur opposition le 16 juillet 2007, au motif que les cotisations versées par les étrangers après l'accomplissement de l'âge ordinaire de la retraite n'étaient pas remboursées et que le droit au remboursement des cotisations versées avant le 22 mai 2001 était périmé.
B. Contestant la péremption de son droit, X._ a déféré cette décision au Tribunal administratif fédéral, qui l'a débouté par jugement du 20 août 2008.
C. X._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation, avec suite de dépens, en concluant derechef au remboursement des cotisations déduites de son salaire de 1986 au 22 mai 2001.
L'intimé conclut au rejet du recours, ce que l'Office fédéral des assurances sociales propose également dans son préavis.
Par ordonnance du 12 décembre 2008, le Tribunal fédéral a rejeté la demande d'assistance judiciaire présentée par le recourant.
Considérant en droit:
1. D'après l'art. 18 al. 3 LAVS dans sa teneur depuis le 1er janvier 1997, date de l'entrée en vigueur de la 10e révision de l'AVS, les cotisations payées conformément aux art. 5, 6, 8, 10 ou 13 LAVS par des étrangers originaires d'un Etat avec lequel aucune convention n'a été conclue peuvent être, en cas de domicile à l'étranger, remboursées à eux-mêmes ou à leurs survivants. Le Conseil fédéral règle les détails, notamment l'étendue du remboursement. Selon la let. h dernière phrase des dispositions finales de la modification du 7 octobre 1994 (10e révision de l'AVS), l'art. 18 al. 3 LAVS (nouveau) s'applique aux personnes dont les cotisations AVS n'ont pas encore été remboursées et dont le droit au remboursement n'est pas encore prescrit.
Conformément à la délégation prescrite à l'art. 18 al. 3 LAVS, l'autorité exécutive a édicté l'ordonnance sur le remboursement aux étrangers des cotisations versées à l'assurance-vieillesse et survivants, du 29 novembre 1995 (OR-AVS, RS 831.131.12), en vigueur depuis le 1er janvier 1997, laquelle a remplacé une précédente ordonnance du même nom, du 14 mars 1952 (OR). D'après l'art. 1er OR-AVS (principe), les étrangers avec le pays d'origine desquels aucune convention n'a été conclue, ainsi que leurs survivants, peuvent demander le remboursement des cotisations versées à l'assurance-vieillesse et survivants, conformément aux dispositions suivantes, si ces cotisations ont été payées, au total, pendant une année entière au moins et n'ouvrent pas droit à une rente (al. 1). La nationalité au moment de la demande de remboursement est déterminante (al. 2). Selon l'art. 2 al. 1 OR-AVS (moment du remboursement), le remboursement des cotisations peut être demandé dès que l'intéressé a, selon toute vraisemblance, cessé définitivement d'être assuré, et que lui-même, ainsi que son conjoint et ses enfants âgés de moins de 25 ans, n'habitent plus en Suisse. A l'art. 7 OR-AVS (extinction et prescription), le Conseil fédéral a prévu que le droit au remboursement s'éteint par le décès de la personne ayant droit à la prestation. Il se prescrit par cinq ans dès l'accomplissement de l'événement assuré. Malgré la terminologie légale, la jurisprudence a précisé qu'il s'agit d'un délai de péremption et non de prescription (arrêt H 197/01 du 28 février 2003 consid. 2.2).
2. Le litige porte sur la péremption du droit du recourant de demander le remboursement des cotisations prélevées sur son salaire, de 1986 à 2001.
3. Le recourant soutient que l'intimée a interprété l'art. 7 OR-AVS de façon erronée en considérant que la notion d' « accomplissement de l'événement assuré » correspondait à l'âge légal de la retraite, soit 65 ans pour un homme. A son avis, cette interprétation devrait tenir compte de l'art. 2 OR-AVS, car les quelques ressortissants étrangers qui continuent à travailler plus de cinq ans après l'âge légal de la retraite (et qui sont ainsi toujours assurés) seraient dans l'impossibilité de demander le remboursement des cotisations versées avant l'âge de la retraite, tant qu'ils n'auraient pas achevé leur activité lucrative en Suisse. Il serait dès lors aberrant de leur opposer à ce moment la péremption du droit de demander le remboursement de leurs cotisations, au motif qu'ils ont atteint l'âge de la retraite depuis plus de cinq ans. Pour ces personnes, le délai de péremption prévu par l'art. 7 OR-AVS ne peut commencer à courir que dès le moment où elles cessent d'être assurées, c'est-à-dire lorsqu'elles mettent un terme à leur activité lucrative.
Dans son cas, le recourant soutient qu'il a toujours été assuré jusqu'à l'âge de 70 ans et deux mois et qu'il n'a pu réclamer le remboursement de ses cotisations avant le mois de juillet 2006, moment auquel son contrat de travail a pris fin. L' « accomplissement de l'événement assuré » ne serait ainsi que l'âge auquel l'étranger cesse d'être assuré, savoir lorsqu'il arrête d'exercer une activité lucrative en Suisse.
4. On ne saurait suivre le point de vue du recourant. En effet, comme l'autorité fédérale de surveillance le relève à juste titre dans son préavis, la jurisprudence s'est déjà clairement prononcée sur cette question dans l'arrêt H 197/01 du 28 février 2003 précité, où il a été jugé (consid. 3.3 de cet arrêt) que l'accomplissement de l'événement assuré, au sens de l'art. 7 OR-AVS, correspond au moment où la personne atteint l'âge donnant droit à la rente de vieillesse de l'AVS (art. 21 al. 1 LAVS). Cette définition de l'accomplissement de l'événement assuré ressortait d'ailleurs jadis explicitement de l'art. 3 OR (en vigueur jusqu'au 31 décembre 1996), dont un cas d'application avait donné lieu à l'arrêt H 313/92 du 27 juillet 1993; il y était prévu que les cotisations pouvaient être remboursées lorsque l'étranger avait atteint l'âge prescrit à l'art. 21 al. 1 LAVS (...) et n'avait pas droit à une rente de vieillesse en vertu de l'art. 18 al. 2 LAVS (al. 1 let. a), étant précisé que le droit au remboursement des cotisations prenait naissance le premier jour du mois suivant celui où avait été atteint l'âge prescrit (al. 2).
Le recourant se méprend aussi lorsqu'il soutient que l'art. 2 OR-AVS aurait fait obstacle au remboursement de ses cotisations, à compter du moment où il avait atteint l'âge donnant droit à la rente, en raison de l'activité lucrative qu'il continuait à exercer occasionnellement en Suisse. En effet, dès lors que le législateur n'a pas lié le droit au versement d'une rente de vieillesse à la cessation de toute activité lucrative du bénéficiaire au-delà de l'âge légal de la retraite, il aurait été contraire au principe de l'égalité de traitement des assurés ainsi qu'à la systématique de la loi (art. 21 al. 1 LAVS) d'empêcher expressément, par une disposition réglementaire d'exécution, le remboursement des cotisations aux personnes qui ne remplissent pas les conditions légales ouvrant droit à la rente (art. 18 al. 2 LAVS) quand elles continuent à travailler au-delà de l'âge ordinaire de la retraite. L'interprétation que le recourant propose de l'art. 2 OR-AVS est ainsi incompatible avec le principe du remboursement posé à l'art. 1 al. 1 OR-AVS.
L'interprétation du recourant de l'art. 2 OR-AVS est finalement inconciliable avec l'art. 7 de la même ordonnance et surtout avec le texte clair de l'art. 24 al. 1 LPGA, qui prévoit que le droit à des prestations s'éteint cinq ans après la fin du mois pour lequel la prestation était due. Si l'on suivait le raisonnement du recourant, il pourrait ainsi définir lui-même la notion de l'accomplissement de l'événement assuré et repousser le délai de péremption de l'art. 7 OR-AVS.
5. Sous réserve de la condition de l'année entière de cotisations (art. 1 al. 1 OR-AVS) qui n'est pas sujette à discussion, rien n'empêchait le recourant de demander à temps le remboursement des cotisations versées jusqu'en mai 2001, ainsi qu'il l'avait fait en 1985 pour les cotisations prélevées de 1970 à 1985.
Dans le cas particulier, le délai de péremption de cinq ans de la créance en remboursement (art. 7 OR-AVS) n'a pas commencé à courir à partir de l'année 2006, comme le recourant le voudrait, mais dès l'accomplissement de l'événement assuré, c'est-à-dire lorsque le recourant a atteint l'âge de 65 ans en mai 2001 (art. 21 al. 1 let. a LAVS). Son droit au remboursement des cotisations versées jusqu'en mai 2001 était donc périmé depuis quelques mois lorsqu'il s'est adressé à la caisse intimée, le 17 août 2006. Mal fondé, le recours sera rejeté, étant précisé que la décision administrative et le jugement attaqué ne procèdent aucunement d'une violation des art. 9 et 27 Cst.
6. Le recourant, qui succombe, supportera les frais de la procédure (art. 66 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties, au Tribunal administratif fédéral, Cour III, et à l'Office fédéral des assurances sociales.
Lucerne, le 21 août 2009
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Le Greffier:
Meyer Berthoud