Faits:
A. C._, né en 1960, a travaillé en qualité de maçon et d'homme d'entretien. Souffrant de lombosciatalgies, il a cessé son activité lucrative en 1996 et s'est annoncé à l'assurance-invalidité le 19 juillet 1996. Par décision du 5 août 1998, l'Office de l'assurance-invalidité pour le canton de Vaud lui a alloué une rente entière d'invalidité à partir du 1er mars 1997, fondée sur un taux d'invalidité de 100 %.
Dans le cadre de la révision du droit à cette prestation, l'Office de l'assurance-invalidité pour le canton de Vaud a fait savoir à C._ que son degré d'invalidité s'élevait désormais à 41,72 % et qu'il envisageait en conséquence de supprimer la rente d'invalidité, compte tenu de son domicile à l'étranger (cf. projet de décision du 19 mars 2001). L'intéressé a protesté, en produisant divers avis médicaux. Par décision du 20 mars 2002, l'Office AI pour les assurés résidant à l'étranger, désormais compétent, a supprimé la rente à partir du 1er mai 2002.
B. C._ a déféré cette décision à la Commission fédérale de recours en matière d'AVS/AI pour les personnes résidant à l'étranger, en concluant au versement d'une rente entière d'invalidité à partir du 1er mai 2002. A l'appui de son recours, il a produit plusieurs avis médicaux.
Par jugement du 10 avril 2003, la commission a admis entièrement les conclusions du recours.
C. Par écriture du 21 mai 2003, l'Office AI pour les assurés résidant à l'étranger s'est adressé au Tribunal fédéral des assurances en ces termes : « Nous vous transmettons ci-joint le recours de droit administratif interjeté par l'Office AI du canton de Vaud contre le jugement de la Commission fédérale de recours AVS/AI pour les personnes résidant à l'étranger du 10.04.2003 dans la cause citée en marge ». En annexe, figurait un mémoire de recours rédigé sur papier à entête de l'Office de l'assurance-invalidité pour le canton de Vaud, daté du 16 mai 2003 et signé par deux responsables de cet office; les conclusions tendaient à l'annulation du jugement du 10 avril 2003 et à la confirmation de la décision du 20 mars 2002.
L'intimé a conclu au rejet du recours, avec suite de dépens. L'Office fédéral des assurances (OFAS) a renoncé à se déterminer. L'Office AI pour les assurés résidant à l'étranger a également renoncé à prendre position, alléguant que l'examen du droit matériel incombait à l'office recourant.

Considérant en droit:
1. Le Tribunal fédéral des assurances examine d'office les conditions de recevabilité du recours (<ref-ruling> consid. 1a et la jurisprudence citée).
2. A l'issue de la procédure de révision du droit à la rente initiée par l'Office de l'assurance-invalidité pour le canton de Vaud, l'Office AI pour les assurés résidant à l'étranger, à qui le dossier avait été transmis en raison du départ de l'assuré à l'étranger, a supprimé la rente d'invalidité jadis accordée par le premier office nommé, en application de l'<ref-law>. La commission fédérale de recours a annulé cette décision, au motif que la suppression de la rente procédait en réalité d'une reconsidération de la décision du 5 août 1998 et que les conditions jurisprudentielles n'en étaient pas remplies.
L'Office AI pour les assurés résidant à l'étranger, qui a rendu la décision administrative en jeu, a été désigné à juste titre comme partie intimée devant la commission fédérale de recours ensuite du recours formé par l'assuré contre la décision du 20 mars 2002. Il convient dès lors d'examiner si l'Office de l'assurance-invalidité pour le canton de Vaud, indépendamment de l'Office AI pour les assurés résidant à l'étranger (qui n'a pas interjeté de recours de droit administratif ni manifesté son intention de le faire, mais s'est contenté de transmettre au Tribunal fédéral des assurances l'écriture de l'Office de l'assurance-invalidité pour le canton de Vaud du 16 mai 2003), a qualité pour recourir contre le jugement du 10 avril 2003.
3. 3.1 Aux termes de l'art. 103 let. a OJ, a qualité pour recourir quiconque est atteint par la décision attaquée et a un intérêt digne de protection à ce qu'elle soit annulée ou modifiée.
La jurisprudence considère comme intérêt digne de protection, au sens de cette disposition, tout intérêt pratique ou juridique à demander la modification ou l'annulation de la décision attaquée que peut faire valoir une personne atteinte par cette dernière. L'intérêt digne de protection consiste ainsi en l'utilité pratique que l'admission du recours apporterait au recourant ou, en d'autres termes, dans le fait d'éviter un préjudice de nature économique, idéale, matérielle ou autre que la décision attaquée lui occasionnerait. L'intérêt doit être direct et concret; en particulier, la personne doit se trouver dans un rapport suffisamment étroit avec la décision; tel n'est pas le cas de celui qui n'est atteint que de manière indirecte ou médiate (<ref-ruling> consid. 3, 127 V 3 consid. 1b, 82 consid. 3a/aa).
On ajoutera que les collectivités publiques ou les établissements publics peuvent se prévaloir de l'art. 103 let. a OJ s'ils sont atteints de la même manière que les administrés (<ref-ruling> consid. 3, 127 II 38 consid. 2d, 125 II 194 consid. 2a/aa); en revanche, l'intérêt public à une application correcte et uniforme du droit ne suffit pas à leur conférer la qualité pour recourir (<ref-ruling> consid. 5a et les références).
3.2 En l'occurrence, on ne voit pas que l'Office de l'assurance-invalidité pour le canton de Vaud soit touché par le jugement attaqué comme le serait un particulier. En vérité, le seul intérêt que cet office pourrait, le cas échéant, faire valoir se confond en effet avec l'intérêt à une application correcte du droit, ce qui ne suffit pas à lui conférer la qualité pour recourir au sens de l'art. 103 let. a OJ conformément à la jurisprudence précitée.
4. 4.1 A également qualité pour recourir, toute autre personne, organisation ou autorité à laquelle la législation fédérale accorde le droit de recours (art. 103 let. c OJ).
Sous l'empire du droit en vigueur jusqu'au 31 décembre 2002, les décisions des autorités de recours devaient être notifiées par lettre recommandée aux caisses de compensation ou aux offices AI intéressés (art. 201 let. c RAVS). Les personnes et les offices à qui, en vertu de l'<ref-law>, étaient notifiées les décisions des autorités de recours, étaient autorisés à former un recours de droit administratif contre ces décisions auprès du Tribunal fédéral des assurances (<ref-law> en corrélation avec l'<ref-law>). En principe, étaient considérés comme « intéressés » au sens de l'art. 201 let. c RAVS, la caisse de compensation ou l'office AI qui avait rendu la décision attaquée dans la procédure de recours (SVR 2002 IV n° 40 p. 125 consid. 1, 2000 IV n° 20 p. 59 et les références; voir aussi <ref-ruling> consid. 1 et 218 consid. 1d; RCC 1992 p. 392 consid. 1). Aussi, dans plusieurs arrêts, la Cour de céans a-t-elle jugé que l'autorité qui n'avait pas rendu la décision litigieuse ne pouvait se voir reconnaître la qualité pour interjeter recours de droit administratif (consid. 5.2 de l'arrêt K. du 5 décembre 2003, I 772/02; consid. 4.2 de l'arrêt C. du 26 août 2002, I 796/01). A deux reprises toutefois, la compétence pour recourir de l'office cantonal de l'assurance-invalidité a été admise bien que la décision eût été rendue par l'office AI pour les assurés résidant à l'étranger (arrêts B. du 28 août 2001, I 87/99, et S. du 22 janvier 2004, I 232/03), au motif que le premier office avait instruit le dossier de la cause qui avait fait l'objet d'une décision du second.
A la suite de l'adoption de l'<ref-law>, une adaptation rédactionnelle de l'<ref-law> s'est imposée. Les prescriptions relatives à la qualité pour recourir et à la notification des jugements ont dès lors été énoncées à l'<ref-law>, alors que l'<ref-law> a été abrogé (cf. VSI 2002 p. 249). Désormais, sous le titre marginal « Droit de recours des autorités », l'<ref-law>, dans sa teneur - applicable en l'espèce - en vigueur depuis le 1er janvier 2003, dispose que l'office fédéral, les caisses de compensation intéressées et les offices AI peuvent former un recours de droit administratif auprès du Tribunal fédéral des assurances contre les jugements rendus par les autorités de recours (al. 1); les jugements rendus par les autorités de recours doivent leur être notifiés par lettre recommandée (al. 2). L'entrée en vigueur du nouvel <ref-law> n'a toutefois rien changé à la situation qui prévalait jusque-là, savoir que l'office AI qui a rendu la décision litigieuse est, de ce chef, le seul office AI qui a qualité pour recourir contre un jugement rendu par l'autorité de recours.
4.2 La jurisprudence isolée des arrêts B. (I 87/99) et S. (I 232/03) qui s'écarte de la jurisprudence constante du Tribunal fédéral des assurances ne saurait être confirmée ici. De surcroît, cette pratique engendre une certaine insécurité juridique, car aussi bien les offices cantonaux de l'assurance-invalidité que l'office AI pour les assurés résidant à l'étranger pourraient alors recourir contre des jugements que la juridiction de recours de première instance ne leur aurait même pas notifiés, comme c'est d'ailleurs le cas en l'espèce.
Par ailleurs, l'<ref-law> a instauré une procédure d'opposition dans l'AI. Or, à teneur de l'<ref-law>, l'opposition est adressée à l'office AI qui a rendu la décision, si bien qu'il est difficilement concevable qu'un office tiers ait ensuite qualité pour interjeter un recours de droit administratif. Il se peut certes qu'un office AI conteste la compétence d'un autre office, mais dans ce cas, il incombe à l'OFAS de trancher le conflit, conformément à l'<ref-law>.
Il s'ensuit que l'Office de l'assurance-invalidité pour le canton de Vaud n'a pas non plus qualité pour recourir en vertu de l'art. 103 let. c OJ.
5. Le litige porte sur le droit de l'intimé à des prestations d'assurance, si bien que la procédure est gratuite (art. 134 OJ).
L'Office de l'assurance-invalidité pour le canton de Vaud, qui succombe, est débiteur d'une indemnité de dépens à l'intimé (art. 159 al. 1 OJ).

Par ces motifs, le Tribunal fédéral des assurances prononce:
1. Le recours de l'Office de l'assurance-invalidité pour le canton de Vaud est irrecevable.
2. Il n'est pas perçu de frais de justice.
3. Le recourant versera à l'intimé la somme de 2'000 fr. (y compris la taxe à la valeur ajoutée) à titre de dépens pour l'instance fédérale.
4. Le présent arrêt sera communiqué aux parties, à la Commission fédérale de recours en matière d'AVS/AI pour les personnes résidant à l'étranger, à l'Office AI pour les assurés résidant à l'étranger, à la Caisse suisse de compensation et à l'Office fédéral des assurances sociales.
Lucerne, le 19 novembre 2004
Au nom du Tribunal fédéral des assurances
Le Président de la Ire Chambre: Le Greffier: