Faits: A. S._, né en 1960, célibataire, travaillait depuis 1990 comme employé d'exploitation au service des Chemins de fer fédéraux suisses (CFF). Il a été admis avec effet au 1er février 1990 à la Caisse de pensions et de secours des Chemins de fer fédéraux suisses devenue, à partir du 1er janvier 1999, la Caisse de pensions des CFF (ci-après: la caisse de pensions). En 1997, son médecin traitant l'a adressé au Centre hospitalier Z._ en raison de l'apparition d'un oedème du mollet droit lié à des symptômes tels que sentiments de tension et douleurs à la mobilisation. Lors des investigations, un anévrisme artériel poplité droit a été découvert et exclu chirurgicalement par la confection d'un pontage, afin d'éliminer les risques de rupture spontanée et d'embolisation artério-artérielle. Une année plus tard, le premier pontage s'étant fermé, un deuxième pontage, synthétique cette fois, a dû être confectionné. En 1999, ce dernier pontage a dû être prolongé, en raison de l'apparition d'une dilatation anévrismale de son anastomose distale. On a craint l'éventualité d'une amputation si les complications se multipliaient, mais la situation s'est stabilisée par la suite. Les diverses récidives ont été attribuées à des activités professionnelles inadaptées. S._ a été totalement incapable de travailler à partir du 5 mai 1998. Avec l'autorisation de son médecin traitant, le docteur J._, il a repris le travail le 18 novembre 1998 à 50 pour cent. Son employeur lui a attribué un travail léger de comptage. Très vite, l'intéressé a ressenti de violentes douleurs et sa jambe droite a présenté une enflure conséquente. Les 19, 20 et 23 novembre 1998, des travaux très légers lui ont été confiés, tels que le timbrage de catalogues et la mise en place de prospectus. Les douleurs n'ont pas diminué et le docteur J._ a prescrit un nouvel arrêt de travail à partir du 24 novembre 1998. Tant le médecin traitant que le service médical des CFF ont émis un pronostic pessimiste quant à l'évolution du cas et ils ont exprimé l'avis qu'il n'existait plus de possibilité de réadaptation de l'intéressé au sein de l'entreprise des CFF. Le 12 avril 2000, les CFF ont informé l'employé qu'il serait mis au bénéfice d'une pension d'invalidité complète à partir du 31 mai 2000. Les rapports de travail ont été résiliés à la même date. En plus d'une pension d'invalidité, la caisse de pensions a versé à son affilié un supplément fixe correspondant à 75 pour cent de la rente AVS simple maximale. B. Auparavant, le 11 septembre 1998, S._ avait présenté une demande de prestations de l'assurance-invalidité sous la forme d'un reclassement dans une nouvelle profession et d'une rente. Par décision du 27 mars 2002, l'Office de l'assurance-invalidité pour le canton de Vaud a refusé de lui accorder une rente. L'office a considéré que dans des activités adaptées (activités relativement statiques), en position assise ou debout, le requérant serait en mesure d'exercer, moyennant une période de formation, des activités d'opérateur sur machines-outils, de montage et de contrôle en milieu industriel ou de tri du courrier à la poste. Dans de telles activités, il serait à même de réaliser un revenu annuel de 58'768 fr. Comparé à un revenu sans invalidité de 66'926 fr. par an, il en résultait un degré d'invalidité de 12,18 pour cent, insuffisant pour ouvrir droit à une rente. S._ a communiqué une copie de cette décision à la caisse de pensions, laquelle s'est procuré le dossier de l'assurance-invalidité le concernant. C. Le 29 juillet 2002, la caisse de pensions a informé S._ qu'elle supprimait avec effet au 1er août 2002 le supplément fixe qu'il percevait jusqu'alors. Elle lui a réclamé, en outre, la restitution du supplément, perçu selon elle indûment, pour la période du 1er juin 2000 au 31 juillet 2002, par 45'857 fr. 50 (26 x 1'763 fr. 75). L'affilié était en outre redevable d'un intérêt de 4,25 pour cent pour la même période, soit 2'429 fr. 10. Au total, le montant à restituer s'élevait à 48'286 fr. 60 (45'857 fr. 50 + 2'429 fr. 10). La caisse de pensions motivait cette mesure par le fait que l'assuré avait déclaré, lors d'un entretien avec un responsable de la division de réadaptation de l'office AI, ne plus pouvoir reprendre d'activité professionnelle, même adaptée. Elle invoquait l'art. 40 de son règlement, selon lequel elle était en droit de réduire ou de refuser le paiement du supplément fixe si le bénéficiaire d'une pension d'invalidité s'opposait aux mesures de réadaptation de l'AI. D. Le 10 février 2003, S._ a ouvert action en concluant au paiement par la caisse de pensions du supplément fixe dès et y compris le 1er août 2002, avec intérêts à 5 pour cent l'an pour chacune des échéances, à hauteur de 1'763 fr. 75 par mois. Il demandait en outre au tribunal de dire qu'il ne devait pas restituer le montant de 48'286 fr. 60. La caisse de pensions a conclu au rejet de la demande et, reconventionnellement, au paiement des suppléments fixes perçus du 1er juin 2000 au 31 juillet 2002, par 45'857 fr. 50. Statuant le 29 juin 2005, le Tribunal des assurances du canton de Vaud a rejeté la demande de S._ et il a condamné celui-ci à restituer à la caisse de pensions la somme de 45'857 fr. 50. Il a donné acte au demandeur de la renonciation de la défenderesse à la perception d'intérêts moratoires. E. S._ interjette un recours de droit administratif en concluant à la réforme du jugement cantonal en ce sens qu'il a droit au maintien du paiement du supplément fixe (ou rente complémentaire d'invalidité) et qu'il ne doit pas le montant de 45'857 fr. 50. Subsidiairement, il demande au tribunal de dire qu'il n'est pas tenu de rembourser ce montant. Subsidiairement encore, il conclut à l'annulation du jugement attaqué. La caisse de pensions conclut au rejet du recours. Quant à l'Office fédéral des assurances sociales, il renonce à se déterminer.