Faits: A. C._, né en 1938, marié, de nationalité française, est entré en Suisse en 1963 et y a travaillé deux ans. Il a ensuite résidé à l'étranger, avant de s'établir en Suisse en 1968 où il est depuis lors domicilié. Dès le 1er novembre 1981, il a été mis au bénéfice d'une rente entière d'invalidité. En octobre 2003, le montant de la rente s'élevait à 2'110 fr. Elle était assortie d'une rente complémentaire pour conjoint de 633 fr. Par décision du 23 septembre 2003, la Caisse de compensation des banques suisses a remplacé les prestations de l'assuré en cours par une rente de vieillesse de 1'439 fr. par mois, assortie d'une rente complémentaire de 432 fr. par mois pour son épouse, dès le 1er novembre 2003. La rente de vieillesse était calculée en fonction d'une durée de cotisation de 15 années et 10 mois, entraînant l'application de l'échelle de rente 30 (correspondant à 68,18 pour cent de la rente complète). Parallèlement, la Caisse nationale d'assurance vieillesse en France a alloué à l'assuré une «retraite personnelle en application de la convention Accord Communauté européenne - Suisse». Cette rente était calculée en fonction, notamment, de la durée d'assurance de l'intéressé au régime général français de sécurité sociale (56 trimestres). Son montant était de 199,17 EUR dès le 1er septembre 2003 (202,55 EUR dès le 1er janvier 2004). L'assuré a formé une opposition à la décision de la caisse de compensation, que celle-ci a rejetée le 6 février 2004. B. C._ a recouru contre la décision sur opposition en concluant au versement d'un complément différentiel conformément à l'art. 16 par. 2 de la Convention franco-suisse de sécurité sociale. Statuant le 16 décembre 2005, le Tribunal des assurances du canton de Vaud a rejeté le recours. C. C._ interjette un recours de droit administratif contre ce jugement. Principalement, il conclut à son annulation et au renvoi de la cause au tribunal des assurances pour qu'il se prononce sur l'application à son cas de la jurisprudence pertinente de la Cour de justice des Communautés européennes. Subsidiairement, il conclut à la réforme du jugement attaqué en ce sens qu'il a droit à un complément différentiel. La caisse de compensation renonce à prendre position. Quant à l'Office fédéral des assurances sociales (OFAS), Secteur des conventions internationales, il conclut au rejet du recours. D. Le 25 juin 2007, les deux Cours réunies de droit social du Tribunal fédéral ont tenu une séance conformément à l'art. 23 al. 2 et 3 LTF.