A.- A._, né en 1930, a été employé au service de l'entreprise X._ SA jusqu'au 30 novembre 1985. A ce titre, il a été affilié au Fonds de prévoyance en faveur du personnel de X._ SA (ci-après : le Fonds). A partir du 28 juillet 1985, A._ a présenté une incapacité totale de travail, qui s'est prolongée, à un taux variable, jusqu'au 30 juin 1986. Après avoir tenté de reprendre une activité lucrative, il s'est annoncé à l'assurance-invalidité. Il a été mis au bénéfice par cette assurance d'une demi-rente du 1er juillet 1986 au 30 juin 1987 et du 1er décembre 1987 au 28 février 1988. Depuis le 1er mars 1988, il a perçu une rente entière. Le Fonds lui a pour sa part accordé une pension d'invalidité, fondée tout d'abord sur une incapacité de gain de 50 pour cent pour le mois de janvier 1988, puis de 100 pour cent jusqu'au 31 mars 1995, soit jusqu'à l'accomplissement par l'affilié de sa 65ème année. A cette date, le Fonds a mis fin au service de la rente et a versé à l'assuré un capital de retraite de 88'851 fr. 45. B.- Par écriture du 3 novembre 1997, A._ a assigné la Fondation en paiement d'une rente d'invalidité viagère, ainsi que d'une rente de vieillesse, avec intérêts à 5 pour cent sur le montant des arrérages de rentes dès leur exigibilité. La défenderesse a reconnu devoir au demandeur une rente annuelle de 4787 fr. 45 dès le 1er avril 1995, plus les intérêts, à condition que le demandeur restitue au Fonds le capital nécessaire au financement de cette rente. Statuant le 23 mars 2000, le Tribunal des assurances du canton de Vaud a condamné la défenderesse à verser au demandeur une rente viagère annuelle d'invalidité de 4787 fr. 45 dès le 1er avril 1995, avec intérêts à 5 pour cent l'an dès le 31 octobre 1997. Il a statué en outre que le demandeur était débiteur de la défenderesse du montant de 66'492 fr. 35 avec intérêts à 5 pour cent l'an dès le 7 janvier 1998. C.- A._ interjette un recours de droit administratif contre ce jugement en concluant à la réforme du chiffre III de son dispositif en ce sens que le demandeur est débiteur de la défenderesse d'un montant de 39'265 fr. 20 avec intérêts à 5 pour cent l'an dès le 7 janvier 1988. Subsidiairement, il conclut à l'annulation du jugement attaqué et au renvoi de la cause à l'autorité cantonale pour instruction complémentaire et nouveau jugement au sens des motifs. Le Fonds conclut au rejet du recours. Quant à l'Office fédéral des assurances sociales (OFAS), il renonce à se déterminer à son sujet.