Faits:
A. Par écriture du 21 mai 2008, D._ a adressé au Tribunal des assurances du canton de Vaud (aujourd'hui : Cour des assurances sociales du Tribunal cantonal du canton de Vaud) un recours dirigé contre la Caisse suisse de compensation, la Centrale de compensation et la Caisse cantonale genevoise de compensation, concernant les actes ainsi désignés :
« - la décision sur opposition du 21 avril 2008 par laquelle la Caisse suisse de compensation refuse d'exécuter le jugement prononcé le 18 juillet 1991 par la Commission cantonale genevoise de recours en matière d'AVS, d'AI et d'APG;
- le retard mis par la Caisse suisse de compensation à exécuter la décision de justice susmentionnée;
- le retard mis par la Caisse cantonale genevoise de compensation à exécuter la décision de justice susmentionnée ».
Il a conclu à ce que la Caisse suisse de compensation ou la Caisse cantonale genevoise de compensation ou la Centrale de compensation ou la Confédération suisse fussent condamnées à lui payer diverses sommes (167'234 fr. au total) augmentées d'intérêts, sans retard ni tergiversation, au prononcé de la mainlevée définitive à l'opposition formée au commandement de payer n° X._ notifié à la Centrale et Caisse suisse de compensation (Confédération suisse), à l'octroi d'une indemnité de 1'423 fr. pour dommage matériel et d'une indemnité de 10'000 fr. pour tort moral (ces prétentions ont ensuite été retirées), ainsi qu'une indemnité de procédure.
La Caisse cantonale genevoise de compensation et la Centrale de compensation / Office de l'assurance-invalidité pour les assurés résidant à l'étranger ont conclu principalement à l'irrecevabilité du recours.
Par jugement du 14 avril 2009, le tribunal cantonal a déclaré le recours irrecevable, dans la mesure où il n'était pas devenu sans objet.
B. D._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation avec suite de dépens. A titre principal, il conclut à ce que la Caisse cantonale genevoise de compensation ou la Caisse suisse de compensation soient condamnées à lui payer diverses sommes (167'234 fr. au total) augmentées d'intérêts, sans retard ni tergiversation. Subsidiairement, il conclut à ce que les deux caisses prénommées soient condamnées à lui payer la rente AI extraordinaire qui lui est due - y compris postérieurement au premier avril 1998 - aux termes du jugement prononcé le 18 juillet 1991 par la Commission cantonale genevoise de recours. A titre plus subsidiaire, il demande au Tribunal fédéral de renvoyer la cause au Tribunal cantonal vaudois ou à toute autre autorité compétente pour qu'elle prononce une décision dans le sens des considérants. Quoi qu'il soit décidé, il requiert la tenue d'une audience publique de plaidoirie.
Il n'a pas été ordonné d'échange d'écritures.

Considérant en droit:
1. 1.1 Il ressort de l'écriture du 21 mai 2008 que son auteur a saisi le tribunal cantonal des assurances d'un recours concernant le retard mis par l'une ou l'autre caisse de compensation à exécuter le jugement prononcé le 18 juillet 1991 par la Commission cantonale genevoise de recours en matière d'AVS, d'AI et d'APG. En revanche, le recourant ne s'est pas plaint d'un retard ou d'un refus d'exécuter l'arrêt du Tribunal fédéral des assurances du 19 décembre 2003, bien qu'il eût auparavant rappelé à l'office AI qu'il devait s'y conformer (lettre du 13 février 2008).
Dans l'arrêt du 19 décembre 2003, auquel il est renvoyé (I 330/02), le Tribunal fédéral des assurances avait transmis la cause à l'Office de l'assurance-invalidité pour les assurés résidant à l'étranger (l'office AI) pour décision au sens des considérants de cet arrêt (consid. 6.3). Entre-temps, la question du versement de la rente extraordinaire d'invalidité a fait l'objet d'un projet de décision du 11 juillet 2008, dans lequel l'office AI a informé le recourant qu'il envisageait de confirmer la suppression de la rente extraordinaire dès le 1er novembre 1996 et de reprendre le versement de la rente extraordinaire dès le 1er juin 2002. Dès lors que l'instruction de ce cas suit actuellement son cours devant l'autorité administrative désignée par l'arrêt du 19 décembre 2003, le recourant n'aurait en principe aucun intérêt digne de protection à porter l'affaire devant le juge des assurances, à moins d'être confronté à un refus de statuer ou un retard injustifié de l'office AI (art. 56 al. 2 LPGA). Certes, le recourant s'est référé à l'art. 56 LPGA dans son écriture du 21 mai 2008, mais il ne s'est pas plaint d'un retard dans l'exécution de l'arrêt du 19 décembre 2003.
Comme le sort de la poursuite n° X._ a été définitivement réglé dans l'arrêt du Tribunal fédéral du 24 novembre 2008 (<ref-ruling>) par le constat de sa nullité, l'opposition du 21 avril 2008 à cette poursuite que le recourant a qualifié de « décision sur opposition » n'a plus d'objet. Seule reste en discussion à ce stade la question de l'exécution du jugement du 18 juillet 1991.
1.2 L'exécution forcée ayant pour objet une somme d'argent s'opère par la poursuite pour dettes (art. 38 LP). Le recourant ne semble pas ignorer cette règle, puisqu'il a fait notifier successivement deux commandements de payer, l'un à la Centrale et Caisse suisse de compensation (le 9 avril 2008), l'autre à la Confédération suisse (le 30 mai 2008).
Il s'ensuit que le recourant a saisi à tort le tribunal cantonal des assurances pour faire exécuter la décision de justice du 18 juillet 1991 et obtenir le paiement de rentes de l'AI, car cette juridiction n'était pas compétente pour prendre des mesures d'exécution forcée. Le grief de violation de l'art. 61 let. c LPGA (constatation incomplète des faits déterminants et violation du principe de la maxime d'office) adressé aux premiers juges n'a donc pas d'objet, dès lors qu'il ne leur incombait pas de se prononcer sur des questions d'exécution relevant de la LP. Tout l'argumentaire que le recourant développe aux ch. 1 à 9 de son mémoire est ainsi dénué de pertinence.
En procédure fédérale, le recourant reprend les conclusions qu'il a formées en première instance et conclut à ce que les deux caisses de compensation intimées soient condamnées, alternativement, à lui payer divers montants en exécution du jugement du 18 juillet 1991. Pour les motifs qui viennent d'être exposés, le Tribunal fédéral ne saurait, à l'instar de la juridiction cantonale, se substituer aux organes de poursuite compétents et ordonner les mesures d'exécution forcée que le recourant requiert.
Sur ce point, le recours est manifestement mal fondé, à supposer que le recourant ait un intérêt digne de protection à obtenir l'annulation ou la modification du jugement du 14 avril 2009 (art. 89 al. 1 let. c LTF).
2. Le recourant soutient que le Tribunal cantonal des assurances a violé les art. 69 al. 1bis LAI et 61 let. a LPGA en mettant les frais de justice à sa charge. A son avis, le procédé est contraire au droit, car son recours cantonal n'était pas dirigé contre une décision d'un office AI mais à l'encontre de caisses de compensation; de plus, le litige portait sur l'exécution d'une décision attributive de prestations existante.
L'art. 69 al. 1bis LAI fait uniquement référence à des contestations portant sur l'octroi ou le refus de prestations de l'AI devant le tribunal cantonal des assurances, sans opérer de distinction quant à l'autorité administrative qui a rendu la décision litigieuse. Dans son écriture du 21 mai 2008, le recourant a conclu au paiement de prestations en argent de l'AI. Comme il a succombé, les frais de la procédure cantonale ont été mis à sa charge à bon droit.
3. En procédure cantonale, le recourant a renoncé à une audience publique (réplique du 19 septembre 2008). La demande qu'il forme devant le Tribunal fédéral afin d'y tenir une audience de plaidoirie doit être rejetée, faute de compétence du tribunal cantonal et de l'autorité de céans pour prendre les mesures d'exécution forcée qu'il requiert (sur la question de la tenue de débats publics et oraux, voir notamment l'arrêt 9C_555/2007 du 6 mai 2008 consid. 3.2).
4. Le recourant, qui succombe, supportera les frais de procédure (art. 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Dans la mesure où il est recevable, le recours est rejeté.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties, à la Cour des assurances sociales du Tribunal cantonal du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 21 octobre 2009
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Le Greffier:
Meyer Berthoud