Faits:
A. C._, né en 1938, marié, de nationalité française, est entré en Suisse en 1963 et y a travaillé deux ans. Il a ensuite résidé à l'étranger, avant de s'établir en Suisse en 1968 où il est depuis lors domicilié. Dès le 1er novembre 1981, il a été mis au bénéfice d'une rente entière d'invalidité. En octobre 2003, le montant de la rente s'élevait à 2'110 fr. Elle était assortie d'une rente complémentaire pour conjoint de 633 fr.
Par décision du 23 septembre 2003, la Caisse de compensation des banques suisses a remplacé les prestations de l'assuré en cours par une rente de vieillesse de 1'439 fr. par mois, assortie d'une rente complémentaire de 432 fr. par mois pour son épouse, dès le 1er novembre 2003. La rente de vieillesse était calculée en fonction d'une durée de cotisation de 15 années et 10 mois, entraînant l'application de l'échelle de rente 30 (correspondant à 68,18 pour cent de la rente complète).
Parallèlement, la Caisse nationale d'assurance vieillesse en France a alloué à l'assuré une «retraite personnelle en application de la convention Accord Communauté européenne - Suisse». Cette rente était calculée en fonction, notamment, de la durée d'assurance de l'intéressé au régime général français de sécurité sociale (56 trimestres). Son montant était de 199,17 EUR dès le 1er septembre 2003 (202,55 EUR dès le 1er janvier 2004).
L'assuré a formé une opposition à la décision de la caisse de compensation, que celle-ci a rejetée le 6 février 2004.
B. C._ a recouru contre la décision sur opposition en concluant au versement d'un complément différentiel conformément à l'art. 16 par. 2 de la Convention franco-suisse de sécurité sociale.
Statuant le 16 décembre 2005, le Tribunal des assurances du canton de Vaud a rejeté le recours.
C. C._ interjette un recours de droit administratif contre ce jugement. Principalement, il conclut à son annulation et au renvoi de la cause au tribunal des assurances pour qu'il se prononce sur l'application à son cas de la jurisprudence pertinente de la Cour de justice des Communautés européennes. Subsidiairement, il conclut à la réforme du jugement attaqué en ce sens qu'il a droit à un complément différentiel.
La caisse de compensation renonce à prendre position. Quant à l'Office fédéral des assurances sociales (OFAS), Secteur des conventions internationales, il conclut au rejet du recours.
D. Le 25 juin 2007, les deux Cours réunies de droit social du Tribunal fédéral ont tenu une séance conformément à l'art. 23 al. 2 et 3 LTF.

Considérant en droit:
1. La loi du 17 juin 2005 sur le Tribunal fédéral (LTF; RS 173.110) est entrée en vigueur le 1er janvier 2007 (RO 2006 1205, 1242). L'acte attaqué ayant été rendu avant cette date, la procédure reste régie par l'OJ (<ref-law>; <ref-ruling> consid. 1.2 p. 395). Les règles de la LTF et ses dispositions d'exécution sur l'organisation du Tribunal fédéral s'appliquent cependant à celui-ci dès leur entrée en vigueur.
2. A l'appui de sa conclusion principale, le recourant fait valoir que les premiers juges n'ont pas examiné s'il pouvait se prévaloir du complément différentiel auquel il prétend en application de la jurisprudence de la Cour de justice des Communautés européennes (CJCE). Pour respecter la garantie de la double instance, la cause devrait, selon lui, être renvoyée à l'autorité cantonale pour qu'elle se prononce sur cette question.
Un tel renvoi ne se justifie pas en l'espèce, quand bien même les premiers juges n'ont pas discuté la question, pourtant soulevée devant eux, de l'applicabilité de la jurisprudence de la CJCE. En effet, le recourant s'est exprimé de manière détaillée, de même que l'Office fédéral des assurances sociales. La cause est donc en état d'être jugée à ce stade de la procédure.
3. La rente d'invalidité allouée précédemment au recourant tenait compte des périodes françaises de cotisation, conformément à la Convention de sécurité sociale entre la Confédération suisse et la République française du 3 juillet 1975 (ci-après: Convention franco-suisse). Le système de cette convention, dite de «type A», se caractérise en effet par le principe du risque, selon lequel l'invalide qui en remplit les conditions reçoit, en lieu et place de deux rentes partielles versées par les assurances des deux pays concernés (rentes calculées au prorata des périodes d'assurance accomplies), une seule rente d'invalidité; celle-ci est versée par l'assurance à laquelle il était affilié lors de la survenance de l'invalidité (en l'espèce la Suisse), qui prend en compte la totalité des périodes de cotisation, y compris celles qui ont été accomplies dans l'autre pays (voir <ref-ruling> consid. 4 p. 250).
4. 4.1 La rente de vieillesse qui a succédé à la rente d'invalidité a été calculée sur la base des seules cotisations à l'assurance suisse. La caisse a procédé à un calcul comparatif prévu par l'<ref-law>. Selon cette disposition, les rentes de vieillesse ou de survivants sont calculées sur la base des mêmes éléments que la rente d'invalidité à laquelle elles succèdent, s'il en résulte un avantage pour l'ayant droit. En l'espèce, la caisse a appliqué cette disposition, car il en résultait un avantage pour l'intéressé, même en faisant abstraction des périodes de cotisation en France. Ce point n'est pas contesté.
4.2 L'Accord du 21 juin 1999 entre la Confédération suisse, d'une part, et la Communauté européenne et ses Etats membres, d'autre part, sur la libre circulation des personnes (Accord sur la libre circulation des personnes, ALCP; RS 0.142.112.681) est entré en vigueur le 1er juin 2002. Selon l'art. 1er al. 1 de l'Annexe II «Coordination des systèmes de sécurité sociale» à l'accord, fondée sur l'art. 8 de l'accord et faisant partie intégrante de celui-ci (art. 15 de l'accord) en relation avec la section A de cette annexe, les parties contractantes appliquent entre elles en particulier le Règlement (CEE) n° 1408/71 du Conseil du 14 juin 1971 relatif à l'application des régimes de sécurité sociale aux travailleurs salariés, aux travailleurs non salariés et aux membres de leur famille qui se déplacent à l'intérieur de la Communauté, ainsi que le Règlement (CEE) n° 574/72 du Conseil du 21 mars 1972 fixant les modalités d'application des régimes de sécurité sociale aux travailleurs salariés, aux travailleurs non salariés et aux membres de leur famille qui se déplacent à l'intérieur de la Communauté, ou des règles équivalentes. L'<ref-law>, entré en vigueur le 1er juin 2002, renvoie à ces deux règlements de coordination.
4.3 Bien que le recourant, ressortissant français, tombe dans le champ d'application personnel, matériel et temporel de l'ALCP, l'application des dispositions pertinentes du Titre III, chapitre 2 (invalidité) et chapitre 3 (vieillesse et décès [pensions]) du règlement n° 1408/71 relatives au remplacement d'une rente d'invalidité par une rente de vieillesse ne lui donne pas un résultat plus favorable.
En effet, selon les dispositions de ce règlement, à partir du moment où une rente d'invalidité de l'assurance-invalidité suisse, qui avait été allouée selon le principe du risque en tenant compte de périodes d'assurance accomplies à l'étranger conformément à une convention bilatérale de sécurité sociale, est remplacée par une rente de vieillesse de l'assurance-vieillesse et survivants suisse, elle-même calculée uniquement en fonction des périodes suisses, l'Etat, qui avait été jusqu'alors libéré du versement d'une prestation, verse à son tour une rente de vieillesse ou - si l'âge de la retraite prévu par cet Etat n'est pas atteint - une rente d'invalidité (<ref-ruling> consid. 7.1 p. 382 ss).
Le calcul de la caisse est conforme à ces principes. A juste titre, l'intimée n'a pas tenu compte des périodes d'assurance française dans le calcul comparatif prescrit par l'<ref-law>. En effet, le principe de la protection de la situation acquise, prévu par cette disposition de la LAVS, ne s'applique pas au montant d'une rente qui avait été calculé en tenant compte de périodes d'assurance accomplies à l'étranger; le calcul comparatif se fait en fonction des périodes suisses uniquement (<ref-ruling> consid. 3 p. 374).
4.4 On rappellera que, dans le champ d'application de l'art. 46 par. 1 du règlement n° 1408/71, les rentes de vieillesse de l'AVS et les rentes d'invalidité de l'AI sont fixées de manière autonome, c'est-à-dire compte tenu seulement des périodes accomplies sous la législation nationale (<ref-ruling> consid. 6 p. 379, consid. 9.4 p. 388, et 390 consid. 7.3.1 p. 403). Autrement dit, il n'est pas nécessaire de faire application de l'art. 46 du règlement n° 1408/71, qui prescrit le calcul comparatif suivant: en premier lieu, le montant de la prestation qui serait dû est calculé en vertu des seules dispositions de la législation nationale, soit en prenant en compte uniquement les périodes d'assurance selon le droit interne (art. 46 par. 1 let. a point i du règlement n° 1408/71); en second lieu, le montant de la prestation qui serait dû est calculé selon l'art. 46 par. 2 du règlement n° 1408/71; en vertu de cette disposition, les prestations sont calculées conformément à une procédure de totalisation et de proratisation selon laquelle le montant de la rente d'un Etat est fixé en fonction du rapport existant entre la durée des périodes d'assurance accomplies dans cet Etat et la durée totale des périodes accomplies dans des différents pays. Or la Suisse a pu maintenir le calcul autonome des rentes, dès lors qu'il n'entrait pas en conflit avec le principe communautaire selon lequel le montant garanti en appliquant cette méthode ne peut pas être inférieur au montant résultant de la totalisation des périodes d'assurance et du calcul prorata, ce qui a nécessité de procéder à un ajustement dans la revalorisation des périodes d'assurance antérieures à 1973 (<ref-ruling> consid. 6 p. 379).
4.5 Enfin, ni l'ALCP, ni les règlements n° 1408/71 et n° 574/72 ne prévoient de protection de la situation acquise lors du remplacement d'une rente d'invalidité par une rente de vieillesse d'un Etat. Il n'y a pas matière à paiement d'un complément différentiel destiné à compenser un éventuel découvert (<ref-ruling> consid. 7.3 p. 383).
4.6 En conclusion, le calcul de la caisse est conforme aussi bien au droit national qu'aux dispositions du Titre III du règlement n° 1408/71.
5. Le recourant soutient qu'il a droit à un complément différentiel en vertu de l'art. 16 de la Convention franco-suisse de sécurité sociale. Cet article dispose plus particulièrement ceci:
«1 La pension d'invalidité est transformée, le cas échéant, en pension de vieillesse dès que se trouvent remplies les conditions notamment d'âge, requises par la législation du pays en vertu de laquelle elle a été attribuée.
(...)
2 Si le total des prestations auxquelles un assuré peut prétendre de la part de chacun des régimes d'assurance-vieillesse des deux pays est inférieur au montant de la pension ou rente d'invalidité, il a droit à un complément différentiel à la charge du régime qui était débiteur de ladite pension ou rente».
En l'espèce, il est constant que le total des prestations de l'AVS suisse et de la sécurité sociale française est inférieur à la rente d'invalidité précédemment allouée au recourant. Aussi bien celui-ci soutient-il que cette disposition de la convention bilatérale, plus favorable en l'espèce, continue à s'appliquer, nonobstant l'entrée en vigueur de l'ALCP. Il se prévaut de la jurisprudence rendue par la CJCE en matière de conventions de sécurité sociale plus favorables, dans un cas concret, que le règlement n° 1408/71.
6. Sous le titre «Conventions de sécurité sociale auxquelles le présent règlement se substitue», l'art. 6 du règlement n° 1408/71 a la teneur suivante:
«Dans le cadre du champ d'application personnel et du champ d'application matériel du présent règlement, celui-ci se substitue, sous réserve des dispositions des art. 7, 8 et de l'art. 46 par. 4, à toute convention de sécurité sociale liant:
a) soit exclusivement deux ou plusieurs Etats membres;
b) soit au moins deux Etats membres ou un ou plusieurs autres Etats, pour autant qu'il s'agisse de cas dans le règlement desquels aucune institution de l'un de ces derniers Etats n'est appelée à intervenir».
L'art. 7 du règlement énumère des dispositions internationales auxquelles le présent règlement ne porte pas atteinte, notamment les conventions adoptées par la Conférence internationale du travail, ainsi que les dispositions des conventions de sécurité sociale mentionnées à l'Annexe III.
Au point 22 de l'arrêt du 7 février 1991, Rönfeldt, C-227/89, Rec. 1991, p. I-323, qui portait sur les modalités de calcul d'une pension de retraite, la CJCE a d'abord rappelé que, comme elle l'avait déjà jugé dans l'arrêt du 7 juin 1973, Walder, 82/72, Rec. 1973, p. 559, les art. 6 et 7 du règlement n° 1408/71 laissent clairement apparaître que la substitution de celui-ci aux stipulations des conventions de sécurité sociale intervenues entre Etats membres a une portée impérative et n'admet aucune exception, en dehors des cas expressément mentionnés par le règlement. Elle a cependant statué que les art. 39 par. 2 et 42 (ex-art. 48 et 51) du Traité instituant la Communauté européenne (Traité CE) s'opposent à la perte des avantages de sécurité sociale qui découleraient de l'inapplicabilité, par suite de l'entrée en vigueur du règlement, des conventions en vigueur entre deux ou plusieurs Etats membres et intégrées à leur droit national. Dans un arrêt du 9 novembre 1995, Thévenon, C-475/93, Rec. 1995, p. I-3813, la Cour a limité la portée de ce principe en ce sens qu'il ne saurait s'appliquer aux travailleurs qui n'ont exercé leur droit à la libre circulation qu'après l'entrée en vigueur du règlement. Dans un tel cas, le travailleur ne peut prétendre avoir subi une perte des avantages de sécurité sociale qui aurait résulté pour lui d'une convention bilatérale (points 25 et 26). Cette jurisprudence a été confirmée dans un arrêt du 9 novembre 2000, Thelen, C-75/99, Rec. 2000, p. I-9399. Ultérieurement, dans un arrêt du 5 février 2002, Kaske, C-277/99, Rec. 2002, p. I-1261, la Cour a encore précisé que les principes dégagés dans l'arrêt Rönfeldt qui permettent d'écarter l'application du règlement n° 1408/71 pour continuer à appliquer au travailleur ressortissant d'un Etat membre une convention bilatérale à laquelle ce règlement s'est normalement substitué valent également dans le cas où ce travailleur a exercé un droit à la libre circulation avant l'entrée en vigueur dudit règlement et avant que le Traité soit applicable dans son pays d'origine (point 28). Ce qui est donc déterminant pour l'application des dispositions d'une convention bilatérale plus favorable au regard de la jurisprudence de la CJCE, c'est que le travailleur ait fait usage de son droit à la libre circulation avant l'entrée en vigueur du règlement n° 1408/71.
7. Aux termes de l'<ref-law>, dans la mesure où l'application du présent accord implique des notions de droit communautaire, il sera tenu compte de la jurisprudence pertinente de la Cour de justice des Communautés européennes antérieure à la date de sa signature. La jurisprudence postérieure à la date de la signature de l'accord sera communiquée à la Suisse. En vue d'assurer le bon fonctionnement de l'Accord, à la demande d'une partie contractante, le comité mixte déterminera les applications de cette jurisprudence. Indépendamment de cette procédure, les arrêts rendus postérieurement à la date fixée peuvent au besoin être utilisés en vue d'interpréter l'ALCP, surtout s'ils ne font que préciser une jurisprudence antérieure (<ref-ruling> consid. 2 p. 56, 130 II 113 consid. 5.2 p. 119).
La question est donc de savoir si la jurisprudence précitée de la CJCE peut être appliquée par le juge suisse avec l'entrée en vigueur de l'ALCP. Le Tribunal fédéral des assurances a laissé indécise cette question (<ref-ruling> consid. 7.2 p. 62, 130 V 150 consid. 7.3 et 7.4 p. 155, consid. 2.6 et 10.1 non publiés de l'<ref-ruling>; Voir aussi SILVIA BUCHER, Die Rechtsprechung des Eidgenössischen Versicherungsgerichts zum Freizügigkeitsabkommen (FZA): ein Überblick über einige Urteile mit weiterführenden Bemerkungen, RSAS 2004 p. 420 ss). Dans une autre affaire que celles jugées dans ces arrêts, qui portait comme ici sur le remplacement d'une rente de l'assurance-invalidité par une rente de vieillesse, le Tribunal fédéral des assurances n'a pas eu à se prononcer sur le versement d'un complément différentiel selon la Convention franco-suisse, attendu que le cumul des rentes suisse et française n'entraînait pas un découvert susceptible d'être compensé par ce complément (VSI 2004 p. 208 plus spécialement p. 213 consid. 5.2 [arrêt H 281/03 du 27 février 2004]). En l'espèce, la situation est différente, puisque le montant des rentes suisse et française est inférieur au montant de la rente d'invalidité dont bénéficiait précédemment le recourant. Le problème de l'applicabilité d'une convention bilatérale de sécurité sociale plus favorable doit ainsi être résolu.
8. 8.1 L'ALCP renferme trois dispositions spécifiques qui règlent les relations de l'ALCP avec les accords existants, en s'inspirant des diverses solutions prévues par la Convention de Vienne du 23 mai 1969 sur le droit des traités (RS 0.111; Convention de Vienne). Les accords de double imposition ne sont pas affectés par l'accord sectoriel (art. 21). Les autres accords existants, qui concernent par exemple la coopération transfrontalière ou le petit trafic frontalier, ne sont pas non plus affectés par le nouvel accord; toutefois, en cas de conflit entre celui-ci et les accords existants, le nouvel accord prévaut (art. 22) (voir à ce sujet, DANIEL FELDER, Appréciation juridique et politique du cadre institutionnel et des dispositions générales des accords sectoriels, in: FELDER/KADDOUS [édit.], Accords bilatéraux Suisse-UE [Commentaires], Bâle 2001, p. 137 sv.).
En matière de sécurité sociale, sous le titre «Relation avec les accords bilatéraux en matière de sécurité sociale», l'<ref-law> dispose ce qui suit :
«Sauf disposition contraire découlant de l'Annexe II, les accords de sécurité sociale bilatéraux entre la Suisse et les Etats membres de la Communauté européenne sont suspendus dès l'entrée en vigueur du présent accord, dans la mesure où la même matière est réglée par le présent accord».
Le principe de la suspension des conventions bilatérales souffre des exceptions. Tout d'abord, comme cela ressort du texte de l'art. 20 précité, la suspension ne vaut que pour les personnes qui entrent dans le champ d'application matériel et personnel des règles communautaires. En outre, certaines des dispositions des conventions mentionnées à l'Annexe II à l'ALCP restent pertinentes, conformément à l'art. 7 par. 2 let. c du règlement n° 1408/71 et à son Annexe III. Il s'agit pour l'essentiel des règles conventionnelles qui exigent l'exportation des prestations en espèces vers un Etat tiers (voir à ce sujet BETTINA KAHIL-WOLFF, La Suisse face au droit social de l'Union européenne, in: KAHIL-WOLFF/GREBER [édit.], Sécurité sociale: aspects de droit national, international et européen, Genève/Mu-nich/Bruxelles/Paris 2006 p. 367, note 785; voir aussi <ref-ruling>; cf. également l'art. 46 par. 4 du règlement n° 1408/71). Ces exceptions n'entrent pas en considération en l'espèce.
8.2 Dans son préavis, l'OFAS indique que lors des négociations sur l'ALCP, la Suisse tenait absolument à écarter le risque de devoir déterminer, en tenant compte de la jurisprudence Rönfeldt, dans tous les cas tombant à la fois dans le champ d'application du règlement n° 1408/71 et d'une convention bi- ou multilatérale, lequel des deux instruments contient les dispositions les plus favorables à l'intéressé. Elle estimait, comme la majorité des experts des Etats membres de l'Union européenne en matière de sécurité sociale, que ce double examen ne correspondrait pas à une coordination multilatérale optimale et poserait des problèmes d'interprétation considérables. Par exemple, il serait impossible de déterminer dans certains cas (ainsi le versement d'une indemnité forfaitaire ou le versement d'une rente) quelle est la réglementation la plus favorable pour l'intéressé. Afin de créer une situation juridique claire et dans un souci d'assurer une application efficace de l'accord, il a été prévu à l'art. 20 de l'ALCP que les accords bilatéraux de sécurité sociale entre la Suisse et les Etats membres de la Communauté européenne seraient suspendus dès l'entrée en vigueur de l'ALCP, dans la mesure où la même matière est réglée. En précisant, au début de l'<ref-law>, que les dispositions contraires découlant de l'Annexe II sont réservées, l'objectif était de garantir que les dispositions des conventions bi- ou multilatérales auxquelles le règlement ne porte pas atteinte demeurent néanmoins applicables, conformément à l'art. 7 de ce règlement.
8.3 Pour la doctrine quasi unanime, il semble aller de soi que les conventions bilatérales de sécurité sociales plus favorables continuent à s'appliquer après l'entrée en vigueur de l'ALCP (KAHIL-WOLFF, op. cit., p. 368 n. 801; EDGARD IMHOF, Eine Anleitung zum Gebrauch des Personenfreizügigkeitsabkommens und der VO 1408/71 über die einzelnen Leistungszweige, in: MOSIMANN [édit.], Aktuelles im Sozialversicherungsrecht, Zurich 2001, p. 108, note 291; STEPHAN BREITENMOSER/MICHAEL ISLER, Der Rechtsschutz gemäss dem Personenfreizügigkeitsabkommen vom 21. Juni 1999 im Bereich der sozialen Sicherheit, in: SCHAFFHAUSER/SCHÜRER [édit.], Die Durchführung des Abkommens EU/CH über die Personenfreizügigkeit [Teil Soziale Sicherheit] in der Schweiz, St-Gall 2001, p. 210; SUSANNE LEUZINGER-NAEF, Sozialversicherungsgerichtsbarkeit und Personenfreizügigkeitsabkommen Schweiz-EG, RSJ 99/2003, p. 196, note 7; RAYMOND SPIRA, La procédure selon l'accord dans des cas interétatiques, in: ERWIN MURER [édit.], L'accord sur la libre circulation des personnes avec l'UE et ses effets à l'égard de la sécurité sociale en Suisse, Berne 2001, p. 89; contra, mais sans référence à la jurisprudence européenne: MARIA VERENA BROMBACHER STEINER, Die soziale Sicherheit im Abkommen über die Freizügigkeit der Personen in: Accords bilatéraux Suisse-UE [Commentaires] p. 368 ad let. d; JOSEF DOLESCHAL, Die Regelung der Sozialen Sicherheit im Personenverkehrsabkommen mit der Europäischen Union, Soziale Sicherheit 1999 p. 124 [passage traduit à contresens dans la version française de l'article, Réglementation en matière de sécurité sociale dans l'accord avec l'Union européenne sur la libre circulation des personnes, Sécurité sociale 1999 p. 124]). Ces avis majoritaires sont en général motivés par un renvoi pur et simple à la jurisprudence Rönfeldt et Thévenon.
8.4 Pour l'interprétation de cet accord, il y a lieu de se conformer aux règles d'interprétation habituelles déduites de la Convention de Vienne. En particulier, l'art. 31 par. 1 de cette convention prescrit que les traités doivent s'interpréter de bonne foi suivant le sens ordinaire attribué aux termes du Traité dans leur contexte et à la lumière de son objet et de son but (<ref-ruling> consid. 6.3 p. 60, 130 II 113 consid. 6.1 p. 121).
D'autre part, pour apprécier pleinement la portée que revêtent pour la Suisse les arrêts pertinents de la CJCE, il y a lieu de considérer que l'ALCP s'insère dans une série de sept accords qui, non seulement sont sectoriels, mais encore ne portent que sur des champs d'application partiels des quatre libertés que sont la libre circulation des personnes, des marchandises, des capitaux et des services; il ne s'agit donc pas d'une participation pleine et entière au marché intérieur de la Communauté européenne (cf. Message du 23 juin 1999 relatif à l'approbation des accords sectoriels entre la Suisse et la CE, FF 1999 p. 5473). Les arrêts de la CJCE fondés sur des notions ou des considérations dépassant ce cadre relativement étroit ne sauraient donc, sans autre examen, être transposés dans l'ordre juridique suisse. Il en va ainsi, par exemple, de la notion de citoyenneté européenne, qui est absente de l'ALCP et qui ne saurait donc trouver à s'appliquer à la Suisse (<ref-ruling> consid. 6.2 p. 121).
8.5 Ces principes d'interprétation étant posés, on notera tout d'abord qu'il n'est pas possible de tirer une conclusion définitive du texte même de l'<ref-law>. La suspension des conventions bilatérales visait à garantir que la réglementation applicable puisse être réactivée en cas de dénonciation de l'accord prévu à l'<ref-law> (message précité, p. 5624). Il s'agissait de clarifier la situation pour le cas où cette éventualité se produirait, tout en voulant démontrer clairement que pendant la durée de validité de l'accord la coordination prévue par celui-ci s'appliquait (DOLESCHAL, loc. cit., p. 124). On ne peut cependant pas en déduire une volonté d'exclure la possibilité de recourir à des dispositions divergentes d'une convention bilatérale en présence d'un cas concret où elle se révélerait plus favorable.
D'autre part, il n'y a pas de véritable hiérarchie entre le règlement et les dispositions de l'ALCP ou de ses annexes (voir JEAN MÉTRAL, L'accord sur la libre circulation des personnes: coordination des systèmes de sécurité sociale et jurisprudence du Tribunal fédéral des assurances, in: HAVE/REAS 2004, p. 187, note 15). Or, sous réserve des termes utilisés - l'utilisation du mot «suspension» étant dictée par la nécessité de faire renaître au besoin les conventions antérieures - l'<ref-law> correspond en substance à l'art. 6 du règlement n° 1408/71 (KAHIL-WOLFF, op. cit., p. 368 n. 801), que le juge suisse est tenu d'appliquer en tenant compte des interprétations données par la Cour avant la date de la signature des dispositions du règlement.
Dans ces conditions, il convient bien plutôt, d'interpréter l'<ref-law> et les dispositions du règlement à la lumière de leur finalité, de sorte que ces textes puissent recevoir une application conforme à leurs objectifs (cf. FABRICE FILLIEZ, Application des accords sectoriels par les juridictions suisses : quelques repères, in Accords bilatéraux Suisse-UE [Commentaires], Bâle 2001, p. 202).
Dans ces conditions, il convient bien plutôt, d'interpréter l'<ref-law> et les dispositions du règlement à la lumière de leur finalité, de sorte que ces textes puissent recevoir une application conforme à leurs objectifs (cf. FABRICE FILLIEZ, Application des accords sectoriels par les juridictions suisses : quelques repères, in Accords bilatéraux Suisse-UE [Commentaires], Bâle 2001, p. 202).
8.6 8.6.1 La jurisprudence ici en discussion de la CJCE repose sur l'idée que l'application du règlement n° 1408/71 ne doit pas conduire à la perte d'avantages de sécurité sociale résultant de conventions de sécurité sociale en vigueur entre deux ou plusieurs Etats membres et intégrés à leur droit national; le travailleur qui a exercé son droit à la libre circulation ne doit pas être pénalisé du fait des règlements communautaires par rapport à la situation qui aurait été la sienne s'il avait été régi par la seule législation nationale. Cette jurisprudence repose aussi sur l'idée que l'intéressé était en droit, au moment où il a exercé son droit à la libre circulation, d'avoir une confiance légitime dans le fait qu'il pourrait bénéficier des dispositions de la convention bilatérale (arrêt Kaske, précité, point 27). Cette confiance se trouve placée généralement dans des droits en cours d'acquisition qui s'étendent souvent sur une longue période, notamment - comme ici - les assurances-pensions.
8.6.2 Cette jurisprudence trouve sa source dans les art. 39 par. 2 et 42 (ex-art. 48 et 51) du Traité instituant la Communauté européenne (Traité CE). L'art. 39 par. 2 du Traité pose le principe selon lequel la libre circulation des personnes implique l'interdiction de toute discrimination fondée sur la nationalité, entre les travailleurs des Etats membres, en ce qui concerne l'emploi, la rémunération et leurs autres conditions de travail. Quant à l'art. 42, il charge le Conseil d'adopter, dans le domaine de la sécurité sociale, les mesures nécessaires pour l'établissement de la libre circulation des travailleurs, de manière à permettre aux travailleurs migrants et à leurs ayant droits:
a) la totalisation, pour l'ouverture et le maintien du droit aux prestations, ainsi que pour le calcul de celles-ci, de toutes les périodes prises en considération par les différentes législations nationales;
b) le paiement des prestations aux personnes résidant sur les territoires des Etats membres.
C'est au titre de cette compétence que le Conseil a adopté le règlement n° 1408/71.
8.6.3 La Suisse n'est évidemment pas partie au Traité CE. Mais les objectifs de l'ALCP - qui, selon son préambule, vise la réalisation de la libre circulation des personnes entre la Suisse et la Communauté européenne «en s'appuyant sur les dispositions en application dans la Communauté européenne» - sont énoncés à l'<ref-law>. Sur la base de ces objectifs, l'ALCP garantit pour tous les travailleurs salariés et indépendants la reconnaissance par étapes d'un droit de libre circulation quasi identique à celui existant en droit communautaire (voir ROBERT MOSTERS/ASTRID EPINEY, L'Accord sur la libre circulation des personnes: un aperçu in: KAHIL-WOLFF [édit.], Assujettissement, cotisations et questions connexes selon l'Accord sur la libre circulation des personnes CH-CE, Berne 2004, p. 23). Quant aux principes de coordination mentionnés à l'art. 42 du Traité et rappelés ci -dessus, ils sont repris pratiquement mot pour mot à l'art. 8 let. c et d de l'ALCP et concrétisés dans le règlement n° 1408/71, qui fait partie de l'acquis communautaire repris par la Suisse. En matière de sécurité sociale, il s'agit donc d'éliminer les obstacles à la libre circulation qui pourraient résulter de l'absence de coordination des régimes nationaux. Sur ce point, les objectifs du Traité et de l'ALCP se confondent pratiquement.
8.6.4 Par conséquent, lorsque les principes de l'ALCP en matière de sécurité sociale recouvrent des notions de droit communautaire, avec une même finalité, l'interprétation par la CJCE qui en découle doit, en règle ordinaire, être considérée comme faisant partie de l'acquis communautaire que la Suisse s'est engagée à reprendre, sous réserve que la jurisprudence en cause soit antérieure à la date de la signature de l'accord (cf. <ref-ruling> consid. 6.5 p. 124). On doit ainsi conclure à l'applicabilité de conventions de sécurité sociale plus favorables dans un cas concret, pour autant - conformément aux conditions posées par la CJCE (supra consid. 6) - que l'intéressé ait exercé son droit à la libre circulation avant l'entrée en vigueur pour la Suisse de l'ALCP et du règlement n° 1408/71 auquel renvoie l'accord.
8.7 Les objections soulevées par l'OFAS dans ses déterminations ne justifient pas une autre solution.
On ne dispose pas d'éléments qui permettraient de tenir pour établi que l'intention de toutes les parties contractantes était de déclarer inapplicables les dispositions de conventions bilatérales éventuellement plus favorables (cf. art. 31 par. 4 de la Convention de Vienne; sur l'admissibilité limitée de l'interprétation tirée de l'intention des parties, voir : OLIVIER JACOT-GUILLARMOD, Strasbourg, Luxembourg, Lausanne et Lucerne: méthodes d'interprétation comparées de la règle internationale conventionnelle, in: Les règles d'interprétation, Principes communément admis par les juridictions, Fribourg 1989, p. 113; KNUT IPSEN, Völkerrecht, 5ème éd. Munich 2004, p. 143, ch. 15). On peut au contraire supposer que les Etats membres de la Communauté ou du moins certains d'entre eux, partaient de l'idée que le régime applicable, par rapport aux conventions bilatérales serait le même que pour les Etats membres de la Communauté.
Quant aux difficultés d'ordre pratique invoquées par l'OFAS, si elles ne sauraient être minimisées (cf. BETTINA KAHIL-WOLFF/ROBERT MOSTERS, Struktur und Anwendung des Freizügigkeitsabkommens Schweiz/EG in: Durchführung des Abkommens EU/CH über die Personenfreizügigkeit [Teil Soziale Sicherheit] in der Schweiz, Saint-Gall 2001, p. 14) elles n'apparaissent pas considérables et encore moins insurmontables. D'une part, les règles de base de coordination des conventions bilatérales et du règlement n° 1408/71 s'inspirent largement des mêmes principes: les cas où une convention est plus favorable sont a priori peu nombreux. D'autre part, ces difficultés ne sont pas spécifiques à la Suisse mais concernent aussi d'autres Etats de la Communauté. On ajoutera à ce propos que dans l'affaire Thévenon, le Conseil, la Commission et les gouvernements intéressés avaient invité la Cour à revenir sur sa jurisprudence Rönfeldt. L'argument principal était précisément que l'application parallèle des conventions bilatérales et du règlement aboutirait à une insécurité juridique et causerait des problèmes administratifs (voir à ce propos, PRODROMOS MAVRIDIS, La sécurité sociale à l'épreuve de l'intégration européenne, Etude d'une confrontation entre libertés du marché et droits fondamentaux, Athènes/Bruxelles 2003, p. 353 sv.). Or, dans ce même arrêt Thévenon, la Cour, même si elle a limité la portée de l'arrêt Rönfeldt, n'en a pas moins réaffirmé le principe - confirmé par la suite - selon lequel l'application des règlements communautaires ne doit pas conduire à un résultat moins favorable pour l'assuré que celui qui résulte de l'application d'une convention bilatérale de sécurité sociale.
Quant au cas particulier mentionné par l'OFAS (indemnité forfaitaire ou rente) il vise une situation tout à fait spéciale, qui peut donner lieu à interprétation, mais qui a été réglée par la jurisprudence (voir <ref-ruling>).
9. En conclusion, il convient, conformément à la jurisprudence précitée de la CJCE, d'appliquer l'art. 16 par. 2 de la Convention franco-suisse de sécurité sociale. Il y a lieu, dès lors, de renvoyer la cause à la caisse intimée pour qu'elle calcule et verse le complément différentiel au recourant prévu par cette disposition. Le recours est ainsi bien fondé.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis et le jugement du Tribunal des assurances du canton de Vaud du 16 décembre 2005, ainsi que la décision sur opposition du 6 février 2004, sont annulés.
2. La cause est renvoyée à la Caisse de compensation pour nouvelle décision au sens des motifs.
3. Il n'est pas perçu de frais de justice.
4. La Caisse de compensation versera au recourant une indemnité de 2'500 fr. (y compris la taxe à la valeur ajoutée) à titre de dépens pour la procédure fédérale.
5. Le Tribunal des assurances du canton de Vaud statuera sur les dépens pour la procédure de première instance, au regard de l'issue du procès de dernière instance.
6. Le présent arrêt sera communiqué aux parties, au Tribunal des assurances du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 4 juillet 2007
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Juge présidant: La Greffière: