Faits:
A. A.a A._, né en 1961, travaillait au service de la société V._ S.à.r.l. A ce titre, il était assuré en prévoyance professionnelle, depuis 1985, par la Fondation collective LPP de la Rentenanstalt, à Zurich (ci-après : la Fondation collective Rentenanstalt), qui lui remettait chaque année un certificat d'assurance par l'intermédiaire de son employeur.
M._ entra pour sa part au service de V._ S.à.r.l. en 1995. Il fit transférer à la Fondation collective Rentenanstalt la prestation de libre passage de l'institution de prévoyance de son ancien employeur. La fondation accusa réception d'un montant de 127'498 fr. 25, qu'elle crédita toutefois par erreur sur le compte de A._, le 19 septembre 1995.
A.b Pour les années 1992 à 1996, les certificats d'assurance remis à A._ faisaient état d'un avoir de vieillesse de 19'819 fr. au 31 décembre 1992, 23'733 fr. au 31 décembre 1993, 27'810 fr. au 31 décembre 1994, 161'776 fr. au 31 décembre 1995 et 174'497 fr. au 31 décembre 1996. Le salaire annuel de l'assuré est passé de 61'800 fr. en 1992 à 69'000 fr. en 1996.
Le 21 août 1996, A._ demanda à la Fondation collective Rentenanstalt les conditions d'un retrait de son avoir de prévoyance pour l'acquisition d'un bien immobilier et le montant dont il pouvait disposer. Par lettre du 27 août suivant, la caisse l'informa d'un montant disponible de 170'794 fr. au 1er septembre 1996 pour l'acquisition d'un logement. Un montant de 125'402 fr. 80 fut finalement remis à l'assuré le 30 juin 1997 en vue de l'achat, avec son épouse, d'un appartement de 5 pièces sur la commune de L._, pour le prix de 400'000 fr. L'acte de vente fut signé le 3 juillet suivant.
A.c A la suite d'une lettre du 14 mars 1998, reçue le 16 mars, par laquelle M._ lui demandait quelles prestations de vieillesse lui seraient allouées une fois atteint l'âge de 65 ans révolus, la Fondation collective Rentenanstalt prit conscience de l'erreur commise en 1995. Elle informa M._ de cette erreur, en précisant que celle-ci demeurerait sans conséquence pour lui, et s'adressa à A._ en vue d'obtenir le remboursement du montant qui lui avait été crédité à tort. Ne parvenant pas à trouver un accord dans ce sens, elle lui fit notifier, le 8 décembre 1998, un commandement de payer la somme de 68'152 fr., plus intérêt à 5 % dès le 2 juillet 1997, auquel il fit opposition; elle exposa également à l'assuré qu'elle avait «retiré» son avoir de vieillesse de 59'347 fr. (recte : 59'417 fr.) au 31 décembre 1997 en vue de régulariser la situation.
B. Par acte du 11 septembre 2000, la Fondation collective Rentenanstalt a ouvert une action contre A._, tendant au paiement de 96'800 fr. avec intérêt à 5 % dès le 1er janvier 2000 et à la levée de l'opposition au commandement payer du 8 décembre 1998. L'assuré a conclu au rejet de l'action et demandé reconventionnellement que l'institution de prévoyance soit condamnée à restituer «en capital, frais et intérêts, les 59'347 fr. retirés [de son avoir de vieillesse au 31 décembre 1997]»; il a également conclu au paiement par la Fondation collective Rentenanstalt d'un montant de 10'401 fr. pour ses frais de défense avant l'ouverture du procès.
Par jugement du 16 juin 2003, le Tribunal des assurances du canton de Vaud a admis les conclusions de la Fondation collective Rentenanstalt «dans le sens des considérants». Il a notamment constaté, quant au principe, l'obligation pour A._ de restituer «le capital versé à tort le 1er septembre 1995 avec les intérêts, sous déduction de ses frais et impenses dûment établis».
C. A._ interjette un recours de droit administratif contre ce jugement, en reprenant pour l'essentiel les conclusions prises en première instance. A l'appui de son recours, il a produit un décompte du dommage qu'entraînerait pour lui la restitution du montant indûment versé, ainsi que plusieurs pièces destinées à prouver ce dommage.
L'intimée conclut au rejet du recours, de même que l'Office fédéral des assurances sociales.
Considérant en droit:
1. Le jugement entrepris constitue un jugement partiel sur le fond, qui peut, sur les points qu'il tranche définitivement, faire l'objet d'un recours de droit administratif (ATF 129 II 384, 122 V 153 consid. 1 et les arrêts cités). Ces points concernent le principe de l'obligation de restituer, la prescription de la créance en restitution, la licéité du «retrait» de l'avoir de prévoyance au 31 décembre 1997 effectué par l'intimée et les intérêts mis à la charge du recourant.
2. Selon la jurisprudence, l'obligation de restituer des prestations de la prévoyance professionnelle versées à tort est régie par les art. 62 ss CO, en matière de prévoyance obligatoire comme dans le domaine de la prévoyance plus étendue, à défaut de norme statutaire ou réglementaire (ATF 128 V 50, 128 V 236). Contrairement à ce que voudrait le recourant, il n'y a pas lieu de revenir sur ces arrêts récents, dans lesquels le Tribunal fédéral des assurances a déjà évalué les arguments en faveur d'une telle solution, par rapport aux motifs d'appliquer la réglementation prévue par l'art. 47 LAVS (abrogé depuis l'entrée en vigueur de la LPGA, le 1er janvier 2003).
3. 3.1 Selon l'art. 67 CO, l'action pour cause d'enrichissement illégitime se prescrit par un an à compter du jour où la partie lésée a eu connaissance de son droit de répétition. Le recourant voudrait que l'on applique, même dans le cadre de cette disposition légale, non pas la règle de la connaissance effective (ATF 128 V 241 consid. 3b, 127 III 427 consid. 4b), mais les principes déduits de l'art. 47 LAVS, à savoir que le délai de prescription (ou de péremption) d'une année commence déjà à courir au moment où l'administration aurait pu se rendre compte de l'erreur commise en faisant preuve de l'attention raisonnablement exigible.
3.2 Dès lors que l'on soumet l'obligation de restituer aux art. 62 ss CO, il convient en principe d'appliquer ces dispositions avec leurs avantages et inconvénients respectifs pour l'enrichi et le lésé, sans en dénaturer le sens ou la portée, quand bien même elles s'incorporent dans un système régi en partie par le droit public. C'est pourquoi le Tribunal fédéral des assurances se réfère expressément à la jurisprudence relative à l'art. 67 CO en matière civile, plutôt qu'à la notion retenue dans le cadre de l'art. 47 LAVS, pour fixer le début du délai de prescription d'une éventuelle créance de restitution (ATF 128 V 240 sv. consid. 3). Au demeurant, on voit mal quelles circonstances auraient dû entraîner un réexamen particulier de la prestation indûment versée à l'assuré le 30 juin 1997, si ce n'est la demande de renseignements de M._, reçue par l'institution de prévoyance le 16 mars 1998 et par laquelle elle s'est aperçue de sa méprise (les faits auxquels se réfère le recourant sont tous antérieurs au paiement de l'indu et n'entrent donc pas en considération). Autrement dit, le moment où l'intimée devait s'apercevoir de son erreur et celui où elle s'en est effectivement rendue compte coïncident, ce qui rend vaine l'argumentation du recourant.
Vu ce qui précède, le délai de prescription prévu par l'art. 67 CO a bien commencé à courir le 16 mars 1998, comme l'ont retenu les premiers juges. La réquisition de poursuite ayant donné lieu au commandement de payer du 7 décembre 1998 a donc valablement interrompu la prescription, jusqu'à concurrence du montant réclamé dans cette poursuite (cf. ATF 119 II 339). Par la suite, le recourant a renoncé à se prévaloir de la prescription entre le 25 octobre 1999 et le 8 décembre 2000, pour autant qu'elle ne soit pas acquise.
3.3 Les premiers juges n'ont pas encore tranché le point de savoir si les prétentions de la caisse excédant le montant faisant l'objet de la poursuite étaient prescrites. Ils en ont réservé l'examen au jugement qu'ils auront encore à rendre, le cas échéant, à l'issue de la présente procédure. Aussi n'y a-t-il pas lieu de trancher ici cette question.
4. 4.1 Selon l'art. 62 CO, celui qui, sans cause légitime, s'est enrichi aux dépens d'autrui est tenu à restitution (al. 1); la restitution est due, en particulier, de ce qui a été reçu sans cause valable, en vertu d'une cause qui ne s'est pas réalisée, ou d'une cause qui a cessé d'exister (al. 2).
Il n'y a pas lieu à restitution dans la mesure où celui qui a reçu indûment établit qu'il n'est plus enrichi lors de la répétition; à moins cependant qu'il ne se soit dessaisi de mauvaise foi de ce qu'il a reçu ou qu'il n'ait dû savoir, en se dessaisissant, qu'il pouvait être tenu à restituer (art. 64 CO).
Il n'y a pas lieu à restitution dans la mesure où celui qui a reçu indûment établit qu'il n'est plus enrichi lors de la répétition; à moins cependant qu'il ne se soit dessaisi de mauvaise foi de ce qu'il a reçu ou qu'il n'ait dû savoir, en se dessaisissant, qu'il pouvait être tenu à restituer (art. 64 CO).
4.2 4.2.1 Conformément à l'art. 30c LPP, l'assuré peut, au plus tard trois ans avant la naissance du droit aux prestations de vieillesse, faire valoir auprès de son institution de prévoyance le droit au versement d'un montant pour la propriété d'un logement pour ses propres besoins (al. 1). L'assuré peut obtenir, jusqu'à l'âge de 50 ans, un montant jusqu'à concurrence de sa prestation de libre passage (al. 2). Selon l'art. 25 al. 1 du règlement de l'intimée, la prestation de libre-passage correspond à la totalité de l'avoir de vieillesse à disposition.
4.2.2 Le versement de 125'402 fr. 80 dont a bénéficié le recourant le 30 juin 1997, ensuite d'une erreur de l'institution de prévoyance, excédait largement sa prestation de libre passage au sens des dispositions citées (les attestations lui ayant été remises précédemment sont à cet égard manifestement erronées). A._ s'est donc bien enrichi sans cause légitime au détriment de la Fondation collective Rentenanstalt, sans que l'acquisition d'un immeuble au moyen des fonds indûment versés change fondamentalement la situation à cet égard : ayant acquitté partiellement une dette avec la somme reçue ou évité d'en contracter une en grevant davantage son bien immobilier, il est enrichi (cf. ATF 129 III 651 sv. consid. 4.2; Gilles Petitpierre in: Thévenoz/Werro, Commentaire romand, Code des obligations I, n. 5 ad art. 62; Pierre Engel, Traité des obligations en droit suisse, 2ème éd., p. 600, Laurent Olivier Gilliard, La disparition de l'enrichissement, thèse Lausanne 1985, p. 138 ss, avec les références). Les premiers juges ont ainsi admis à juste titre le principe de l'obligation de restituer, nonobstant l'acquisition d'un immeuble par l'assuré.
4.3 Au demeurant, le recourant ne saurait se prévaloir d'une diminution de son enrichissement postérieurement au 30 juin 1997, dès lors qu'il ne peut invoquer sa bonne foi, contrairement à l'opinion des premiers juges. La bonne foi doit en effet être niée quand l'enrichi pouvait, au moment du transfert, s'attendre à son obligation de restituer, parce qu'il savait, ou devait savoir en faisant preuve de l'attention requise, que la prestation était indue (art. 3 al. 2 CC; Petitpierre, op. cit., n. 9 ad art. 64; Hermann Schulin in : Honsell/Vogt/Wiegand, Basler Kommentar zum Schweizerischen Privatrecht, Obligationenrecht I, 3ème éd., n. 9 ad art. 64).
Selon les attestations reçues par A._, son avoir de vieillesse au 31 décembre 1994 s'élevait à 27'810 fr., alors qu'il était de 161'776 fr. une année plus tard, soit quasiment le sextuple. Cet accroissement considérable ne pouvait trouver aucune justification réelle et ne devait pas échapper à l'assuré. Même si toutes les rubriques d'une attestation de prévoyance ne sont pas toujours compréhensibles dès l'abord pour un non-spécialiste, un affilié est à même de comprendre, dans les grands traits tout au moins, le sens et la portée de l'avoir de vieillesse inscrit à son compte individuel, qui représente une information capitale sur ses droits vis-à-vis de l'institution de prévoyance. Il est du reste peu vraisemblable que le recourant, associé-gérant de la société qui l'emploie, n'ait pas prêté attention aux attestations qui lui avaient été régulièrement envoyées les années précédentes et qu'il avait du reste conservées. La disproportion manifeste entre les montants indiqués dans ces attestations et le montant inscrit à son compte dès le 31 décembre 1995 aurait dû l'inciter à plus de vigilance.
4.4 Le grief de violation du droit constitutionnel à la protection de la bonne foi, soulevé par le recourant pour contester son obligation de restituer, se confond en l'occurrence avec celui tiré d'une diminution de son enrichissement au sens de l'art. 64 CO, dès lors que cette disposition tend précisément à éviter à l'enrichi de bonne foi un dommage lié à l'enrichissement et à la restitution (cf. Petitpierre, op. cit., n. 28 ad art. 64, Engel, op. cit., p. 598). Dans ce cadre également, la bonne foi ne peut être invoquée, dès lors que l'erreur commise par la caisse était reconnaissable en faisant preuve de l'attention raisonnablement exigible, comme on l'a vu (consid. 4.3 supra). A cet égard, la situation est différente de celle ayant donné lieu à l'arrêt publié dans la revue Plädoyer 2004/1, p. 73 : la disproportion entre l'avoir de vieillesse réel et celui attesté par la Fondation collective Rentenanstalt est en l'occurrence particulièrement flagrante, d'autant plus que les rapports d'assurance sont restés stables pendant les années précédant le versement indu.
5. La juridiction cantonale a admis le principe d'un intérêt moratoire de 5 % depuis l'introduction de la demande. Elle y a ajouté un «intérêt débiteur» de 5 % courant dès le jour du versement anticipé pour l'acquisition du logement et jusqu'à l'introduction de la demande, au motif que la demanderesse a été privée de l'intérêt de son capital.
5.1 En matière de prévoyance professionnelle, il est admis que des intérêts moratoires sont dus par le débiteur en demeure, à la différence de la situation qui prévalait avant l'entrée en vigueur de la LPGA dans d'autres domaines de l'assurance sociale (voir ATF 119 V 131). La demeure survient par l'interpellation (art. 102 al. 1 CO), soit, dans le cadre des art. 62 ss CO, par la déclaration du créancier manifestant clairement sa volonté de se voir restituer l'indu (Petitpierre, op. cit., n. 30 ad art. 64 CO). La date de réception de cette déclaration de volonté est déterminante (Luc Thévenoz in Thévenoz/Werro, Commentaire romand, Code des obligations I, n. 19 ad art. 102). Par ailleurs, à défaut de disposition réglementaire topique, le taux d'intérêt moratoire est de 5 % (art. 104 al. 1 CO; ATF 119 V 135 consid. 4d, 115 V 37 consid. 8c).
En fixant le début de l'intérêt moratoire à la date d'ouverture d'une action en paiement plutôt qu'à celle de la mise en demeure, la juridiction cantonale a méconnu ces règles légales. Eu égard à l'échange de correspondance entre les parties en 1998, en particulier à la teneur de la lettre du 14 août 1998 adressée à la Fondation collective Rentenanstalt par le mandataire de la recourante, on peut admettre que l'assuré se trouvait déjà en demeure à cette dernière date. Il convient de s'y référer pour fixer les intérêts moratoires dus à l'institution de prévoyance.
5.2 L'intérêt «débiteur» pris en considération par la juridiction cantonale en vue de compenser l'intérêt sur le capital dont l'intimée a été privée n'est fondé que dans la mesure où il correspond à un enrichissement illégitime du recourant (cf. Engel, op. cit., p. 598; Thévenon, op. cit. n. 5, 8 ss ad art. 62; Schulin, op. cit., n. 5, 8 ss ad art. 62, et les références).
L'enrichissement illégitime au sens des art. 62 ss CO comprend le capital ainsi que l'intérêt perçu grâce à ce capital (ATF 84 II 186 consid. 4, 80 II 159 consid. 3; Engel, op. cit., p. 599; Schulin, op. cit., no 4 ad art. 64). Le taux ne correspond pas forcément à celui de l'intérêt moratoire, mais doit être fixé de cas en cas, en fonction des circonstances (cf. arrêts cités; Spahr, L'intérêt moratoire, conséquence de la demeure in : RVJ 1990 p. 374 sv.). Les premiers juges ne pouvaient donc accorder d'emblée à l'institution de prévoyance un intérêt de cinq pour cent sur le capital indûment versé, sans que la caisse ait étayé de quelque manière ses prétentions. Sur ce point, le recours est bien fondé.
6. Le recourant reproche encore à l'intimée d'avoir opéré un «retrait» de son avoir de vieillesse restant au 31 décembre 1997, d'un montant de 59'347 fr. (en réalité 59'417 fr.). Il y voit une compensation, dont il conteste la légalité.
6.1 Abstraction faite du montant crédité à tort le 19 septembre 1995 ainsi que des intérêts y afférents, sur lesquels l'assuré n'a jamais eu de prétention légale, en dépit des attestations d'assurance qui lui ont été remises, l'avoir de vieillesse de A._ au 31 décembre 1996 était de 39'036 fr. En juin 1997, la Fondation collective Rentenanstalt lui a versé, pour l'acquisition d'une habitation, une somme nettement supérieure à ce montant, ce qui a totalement épuisé l'avoir de vieillesse légalement dû. Le versement anticipé au sens de l'art. 30c LPP entraîne en effet, simultanément, une diminution correspondante des prestations de prévoyance (art. 30c al. 4 LPP), la propriété du logement remplaçant désormais la prestation de libre-passage utilisée à cette fin (arrêt S. du 11 février 2004 prévu pour la publication [B 47/01] consid. 3.2). Il convient par conséquent de retenir que son avoir de vieillesse à la fin du mois de juin 1997 était de 0 fr. Dans cette mesure, la rectification à laquelle a procédé la Fondation collective Rentenanstalt est conforme à la loi : le recourant n'avait plus de prétention à faire valoir à l'encontre de l'institution de prévoyance, de sorte que l'on ne peut pas parler de compensation, sous réserve de ce qui suit (consid. 6.2 et 6.3 infra).
6.2 La mise en compte des bonifications de vieillesse et des intérêts au sens de l'art. 15 al. 1 let. a LPP a lieu à la fin de l'année civile (art. 11 OPP 2). Les bonifications de vieillesse et les intérêts crédités sur le compte individuel de l'assuré pour l'année 1997 et les années suivantes l'ont donc été postérieurement au versement anticipé du 30 juin 1997 pour l'acquisition d'un logement. Pour ces montants, la Fondation collective Rentenanstalt ne s'est pas limitée à une simple rectification, mais a bien compensé la créance de l'assuré avec sa propre créance en restitution de l'enrichissement illégitime. L'avoir de vieillesse au 31 décembre 1997 n'était toutefois pas susceptible d'être versé sous forme de prestations et par conséquent de faire l'objet d'une compensation (cf. art. 120 al. 1 CO; Thévenon , op. cit., note 11 ad art. 120; Wolfang Peter in : Honsell/Vogt/Wiegand , Obligationenrecht I, 3ème éd., n. 4 ad art. 120 CO, et les références; voir également ATF 128 V 228 consid. 3b; RSAS 2002 p. 260).
Il s'ensuit que la Fondation collective Rentenanstalt n'était pas en droit de «retirer» les bonifications de vieillesse et les intérêts crédités en décembre 1997 sur le compte individuel de l'assuré pour l'année 1997, soit un montant de 6'196 fr. (pièce 17 produite par l'institution de prévoyance en instance cantonale, p. 4).
6.3 L'avoir de vieillesse inscrit sur le compte individuel de l'assuré s'élevait à 59'417 fr. au 31 décembre 1997, en raison de l'erreur commise par la Fondation collective Rentenanstalt en septembre 1995, alors qu'il aurait dû être de 6'196 fr. Compte tenu de ce qui précède, cette dernière était en droit de rectifier ce compte en opérant une déduction de 53'317 fr. (59'417 - 6'196) pour rétablir la situation légale.
7. Nonobstant les termes du jugement entrepris (consid. 10), les premiers juges n'ont pas encore examiné la conclusion «reconventionnelle» prise par A._ en procédure cantonale et tendant au paiement de 10'401 fr. pour ses frais de défense avant procès. Ses conclusions sur ce point sont donc irrecevables en instance fédérale.
8. Vu la nature du litige, la procédure est onéreuse (art. 134 OJ a contrario). Les frais seront supportés à raison des deux tiers par le recourant, qui n'obtient que très partiellement gain de cause, et d'un tiers par la Fondation collective Rentenanstalt, qui a conclu au rejet pur et simple du recours.
L'intimée, en sa qualité d'institution chargée de tâches de droit public au sens de l'art. 159 al. 2 OJ, n'a pas droit à des dépens. Le recourant peut en revanche prétendre une indemnité de dépens réduite (art. 159 al. 1 OJ).
Par ces motifs, le Tribunal fédéral des assurances prononce:
1. Dans la mesure où il est recevable, le recours est partiellement admis.
2. Le jugement du 16 juin 2003 du Tribunal des assurances du canton de Vaud est réformé en ce sens qu'il est constaté :
a) que l'intimée ne peut compenser sa créance en restitution de l'enrichissement avec l'avoir de vieillesse acquis par l'assuré depuis 1997;
b) seul un intérêt moratoire est dû sur la créance en restitution, à partir du 14 août 1998.
3. Les frais de justice sont mis à la charge du recourant, à raison de 500 fr. - ce montant étant compensé avec l'avance de frais qu'il a versée -, et de l'intimée, à raison de 250 fr.
4. L'intimée versera au recourant une indemnité de dépens de 500 fr.
5. Le présent arrêt sera communiqué aux parties, au Tribunal des assurances du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 14 juin 2004
Au nom du Tribunal fédéral des assurances
Le Président de la Ire Chambre: Le Greffier: