A.- A la suite de son engagement comme archiviste chez C._, M._ fut affilié dès le 1er février 1981 à la Caisse de pensions du personnel X._ (ci-après :
la caisse).
Dès fin 1989, le prénommé connut différentes périodes d'incapacité de travail de durée variable attestées par le docteur D._, psychiatre, qui diagnostiqua une névrose d'angoisse et de caractère avec tendances dépressives et abus d'alcool occasionnels. En mars 1990, M._ fut examiné par le médecin-conseil de la caisse à la demande de l'employeur, qui souhaitait être renseigné sur le droit éventuel de son employé à des prestations d'invalidité. A l'issue de cette consultation, le médecin-conseil décida de confier un mandat d'expertise au Centre psycho-social du Département universitaire de psychiatrie Y._.
M._ ne donna pas suite à la convocation de l'expert pour le 22 mai 1990 en raison d'un état grippal. Cinq jours plus tard, il provoqua, en état d'ébriété avancé, un accident de la circulation dans lequel trois personnes perdirent la vie. Immédiatement placé en détention préventive, il fut relaxé en septembre 1990. Pour des motifs de sûreté, il fut replacé en détention préventive dès le mois de janvier 1991 jusqu'à sa condamnation le 6 décembre 1991, où il écopa d'une peine de 33 mois de réclusion pour homicide par négligence, lésions corporelles simples et ivresse au volant. Incarcéré aux Etablissements Z._ pour y subir sa peine, il fut remis en liberté le 2 juin 1993.
Entre-temps, le 14 juin 1990, son employeur avait résilié les rapports de travail avec effet immédiat pour justes motifs et avisé la caisse, le 25 juin 1990, que les cotisations ne seraient plus versées dès le 30 juin 1990, en raison de la "démission" de son employé. Informé de ces faits, le médecin-conseil considéra que la caisse n'était "plus concernée par la problématique" de l'assuré et renonça à mettre en oeuvre l'expertise psychiatrique initialement prévue en mai 1990.
M._ déposa une demande de prestations de l'assurance-invalidité le 5 octobre 1990. Vu ses démêlés avec la justice, il ne bénéficia toutefois pas de mesures de reclassement professionnel avant le 3 août 1992. Nonobstant l'obtention d'un diplôme de commerce et d'un certificat de gestionnaire qualifié en informatique, il ne parvint pas à réintégrer le monde du travail. Une expertise psychiatrique fut alors ordonnée. Dans un rapport du 21 juillet 1997, les docteurs B._ et R._, respectivement médecin associé et médecin assistant de Y._, conclurent à l'existence d'une incapacité de travail de 25 % au moins depuis le mois de février 1990, puis de 75 % au moins depuis la sortie de prison en juin 1993 et de 100 % dès le mois de novembre 1996. Par décision du 17 novembre 1997, l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après : l'office AI) mit l'assuré au bénéfice d'une rente entière d'invalidité à partir du 1er janvier 1996, soit dès la fin des mesures de reclassement.
De son côté, la caisse de pensions refusa d'octroyer des prestations à M._, motif pris que l'incapacité de travail à l'origine de son invalidité remontait, au vu de la décision précitée de l'office AI, à une date où il ne remplissait plus la condition d'assurance.
B.- Par écriture du 4 juin 1998, M._ ouvrit action devant le Tribunal des assurances du canton de Vaud, en concluant à ce que la caisse fût condamnée à lui servir des prestations d'invalidité.
Par jugement du 7 décembre 1999, le tribunal rejeta la demande de M._ pour le même motif que la caisse lui avait précédemment opposé, à savoir qu'il n'était plus assuré auprès de cette institution de prévoyance au moment déterminant.
C.- M._ interjette recours de droit administratif contre ce jugement dont il requiert implicitement l'annulation, en concluant à l'octroi de prestations d'invalidité conformément aux statuts de la caisse.
La caisse conclut principalement à l'irrecevabilité du recours, subsidiairement à son rejet. L'office fédéral des assurances sociales conclut à l'admission du recours.

Considérant en droit :
1.- Invoquant l'art. 104 OJ, la caisse intimée met en doute la recevabilité du recours dont la motivation serait, à l'en croire, insuffisante.
L'exigence selon laquelle un recours de droit administratif doit, notamment, indiquer les motifs et les conclusions du recourant, ne découle pas de l'art. 104 OJ, mais de l'art. 108 al. 2 en liaison avec l'art. 132 OJ. La jurisprudence admet que cette exigence, qui a pour but de fixer le juge sur la nature et l'objet du litige, est déjà remplie lorsque les conclusions et les motifs résultent implicitement du mémoire de recours, pour autant qu'on puisse déduire de ce dernier, considéré dans son ensemble, à tout le moins ce que le recourant demande d'une part, et quels sont les faits sur lesquels il se fonde d'autre part.
Il n'est en revanche pas nécessaire que la motivation soit pertinente, du moment qu'elle se rapporte bien au litige en question (<ref-ruling> consid. 1a et les références).
En l'espèce, le recourant conclut clairement à l'octroi de prestations d'invalidité à charge de la caisse intimée, en faisant pour l'essentiel valoir que, contrairement à ce qu'on retenu les premiers juges, son invalidité remonte à 1990 et non à 1996. Etayée par des faits précis, cette argumentation satisfait en tous points aux exigences de motivation déduites de l'art. 108 al. 2 OJ.
2.- Le litige porte sur le droit du recourant à des prestations d'invalidité à la charge de la caisse intimée, singulièrement sur le point de savoir si la condition d'assurance était remplie au moment déterminant.
a) Ont droit à des prestations d'invalidité les invalides qui étaient assurés lors de la survenance de l'incapacité de travail dont la cause est à l'origine de l'invalidité (art. 23, 2e partie de la phrase, LPP). Selon la jurisprudence, l'événement assuré au sens de l'<ref-law> est uniquement la survenance d'une incapacité de travail d'une certaine importance, indépendamment du point de savoir à partir de quel moment et dans quelle mesure un droit à une prestation d'invalidité est né. La qualité d'assuré doit exister au moment de la survenance de l'incapacité de travail, mais pas nécessairement lors de l'apparition ou de l'aggravation de l'invalidité. Cette interprétation littérale est conforme au sens et au but de la disposition légale en cause, laquelle vise à faire bénéficier de l'assurance le salarié qui, après une maladie d'une certaine durée, devient invalide alors qu'il n'est plus partie à un contrat de travail. Lorsqu'il existe un droit à une prestation d'invalidité fondée sur une incapacité de travail survenue durant la période d'assurance, l'institution de prévoyance concernée est tenue de prendre en charge le cas, même si le degré d'invalidité se modifie après la fin des rapports de prévoyance. Dans ce sens, la perte de la qualité d'assuré ne constitue pas un motif d'extinction du droit aux prestations au sens de l'<ref-law> (<ref-ruling> consid. 1a, 118 V 45 consid. 5).
L'incapacité de travail est la perte ou la diminution de la capacité de rendement de l'assuré dans sa profession ou son champ d'activités habituelles. Pour être prise en considération, la diminution du rendement professionnel doit être sensible et indiscutable; en outre, cet état de fait doit être durable (<ref-ruling> consid. 2a).
b) Conformément à l'<ref-law>, les dispositions de la LAI (<ref-law>) s'appliquent par analogie à la naissance du droit aux prestations d'invalidité. Si une institution de prévoyance reprend - explicitement ou par renvoi - la définition de l'invalidité de la LAI, elle est en principe liée, lors de la survenance du fait assuré, par l'estimation de l'invalidité par les organes de cette assurance, sauf si cette estimation apparaît d'emblée insoutenable.
Cette force contraignante vaut aussi en ce qui concerne la naissance du droit à la rente et, par conséquent, également pour la détermination du moment à partir duquel la capacité de travail de l'assuré s'est détériorée d'une manière sensible (<ref-ruling> consid. 2a et les références citées).
c) Après avoir rappelé cette jurisprudence, les premiers juges l'ont appliquée de la manière suivante au cas d'espèce :
"la décision de l'OAI fixant le début de l'invalidité au 1er janvier 1996 ne peut être tenue pour "d'emblée insoutenable" au sens de la jurisprudence topique. Aussi, dans le cas d'espèce, l'institution de prévoyance est liée par la décision des organes de l'AI et la condition d'assurance n'est pas donnée (...). Vu la définition réglementaire de l'invalidité, identique à celle de la LAI, il apparaît, selon la vraisemblance prépondérante, que la caisse de pension ne lui aurait pas reconnu une invalidité avant (le 1er juillet 1990) ou dans l'année qui suit. En outre, la reconnaissance par les experts psychiatres d'une incapacité de travail de 25 % à partir de février 1990 remonte au 21 juillet 1997; elle est ainsi de plus de sept ans postérieure à la période litigieuse et doit, de ce seul fait déjà, être considérée avec circonspection. Au surplus, elle ne touche que la capacité de travail médico-théorique et ne saurait donc être assimilée à une invalidité au sens des statuts de l'institution de prévoyance. Là encore, vu la définition de l'invalidité retenue par la défenderesse, on ne peut lui reprocher d'avoir interrompu l'examen du droit éventuel du demandeur à une rente d'invalidité de la caisse de pension suite à la fin des rapports de travail.
On ne saurait davantage lui faire grief de ne pas lui avoir reconnu le droit à une rente d'invalidité à cette époque, ni de refuser de le lui reconnaître à l'heure actuelle encore".
d) Ces considérations sont erronées pour trois raisons au moins.
aa) En premier lieu, la définition de l'invalidité adoptée par l'intimée dans ses statuts du 11 mars 1975 (ci-après : les statuts) ne se recoupe pas entièrement avec celle qui figure dans la LAI, pour les motifs que l'autorité de surveillance a pertinemment exposés dans sa prise de position, et à laquelle il suffit de renvoyer les parties.
Pour cette seule raison déjà, la décision de l'office AI ne lie pas l'intimée, contrairement à l'opinion des premiers juges.
bb) En deuxième lieu, selon la jurisprudence, la force contraignante des décisions rendues par les organes de l'AI ne s'étend, à l'égard des institutions de prévoyance, qu'aux constatations et aux appréciations qui revêtent également, dans le cadre de la procédure AI, une certaine importance pour statuer sur le droit à une rente d'invalidité (arrêt M. du 14 août 2000 [B 50/99] consid. 2b). Or, en l'espèce, comme le recourant a bénéficié de mesures de reclassement et d'indemnités journalières jusqu'au 12 janvier 1996, l'office AI devait seulement examiner son droit à une rente d'invalidité à partir de cette date en vertu de l'<ref-law>, conformément au principe de la priorité de la réadaptation sur la rente et il n'avait donc pas à se préoccuper d'une incapacité de travail invalidante remontant au-delà du mois de janvier 1995 (<ref-law>). Aussi bien, la décision de l'office AI ne lie-t-elle pas la caisse intimée.
cc) En troisième lieu, la prise en compte d'une incapacité de travail déterminante seulement à partir du 1er janvier 1995, comme l'ont fait l'intimée et la Cour cantonale en se retranchant derrière la décision de l'office AI, doit être qualifiée d'insoutenable. En effet, l'office AI a fondé sa décision sur les conclusions des docteurs B._ et R._ (rapport du 21 juillet 1997) qui font état d'une incapacité de travail de 25 % au moins depuis le mois de février 1990, et de 75 % au moins depuis la sortie de prison du recourant en juin 1993. Or, les premiers juges ne pouvaient faire fi des conclusions de ces médecins pour le seul motif que les faits déterminants s'étaient produits sept ans avant l'expertise. Rendu au terme de quatre consultations et d'un entretien téléphonique avec le médecin traitant de l'assuré, le docteur D._, le rapport d'expertise des docteurs B._ et R._ repose en outre sur une anamnèse détaillée et une étude attentive de l'ensemble du dossier AI; il a donc pleine valeur probante (cf. <ref-ruling> consid. 4a et les références). Il y a d'autant moins de raison de s'en écarter que d'autres éléments plaident en faveur de la reconnaissance d'une incapacité de travail d'une certaine importance dès les premiers mois de l'année 1990. Ainsi le docteur D._, qui suit le recourant depuis de nombreuses années, faisait état, dans un rapport du 10 novembre 1990, d'une incapacité de travail de 100 % du 15 février au 30 avril 1990 et de 50 % dès le 1er mai 1990; à cela s'ajoute que le médecin-conseil de la caisse estimait nécessaire, déjà en mars 1990, la mise en oeuvre d'une expertise psychiatrique en vue d'examiner l'éventuel droit du recourant à une rente d'invalidité; enfin, l'employeur considérait, dans un questionnaire destiné à l'office AI et rempli le 6 novembre 1990, que le rendement du recourant était diminué de 50 % depuis le mois de janvier 1989 déjà.
e) L'existence d'une incapacité de travail de 25 % depuis le mois de février 1990 étant avérée, la condition d'assurance s'en trouve ipso iure réalisée. Car ce qui constitue l'événement assuré au sens de l'<ref-law> et de la jurisprudence y relative, c'est uniquement la survenance d'une incapacité de travail "d'une certaine importance" et cela, contrairement à l'opinion des premiers juges, indépendamment du moment auquel se situe la naissance du droit à la prestation d'invalidité comme telle. Or, une incapacité de travail de 25 % doit déjà être considérée comme un événement assuré, d'autant que l'art. 32 al. 4 des statuts de l'intimée prévoit le droit à une pension d'invalidité dès que l'assuré présente une invalidité d'un taux de 25 % également.
Le recours est bien fondé. En conséquence, il se justifie d'annuler le jugement entrepris et de renvoyer la cause à l'autorité cantonale pour qu'elle fixe, conformément aux statuts de l'institution de prévoyance et aux dispositions légales applicables, le droit du recourant à une pension d'invalidité (début du droit, taux d'invalidité, montant de la pension).

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est admis et le jugement du 7 décembre 1999
du Tribunal des assurances du canton de Vaud est
annulé, la cause étant renvoyée à cette autorité pour
nouveau jugement au sens des motifs.
II. Il n'est pas perçu de frais de justice.
III. Le présent arrêt sera communiqué aux parties, au Tribunal des assurances du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 2 novembre 2000
Au nom du
Tribunal fédéral des assurances
Le Président de la IIIe Chambre :
Le Greffier :