A.- a) O._ a travaillé au service de la société M._ SA en qualité de représentant. Le 1er novembre 1990, il a cessé son activité et est parti s'installer en France pour y travailler comme indépendant. En mars 1991, il a été victime d'une hémiparésie droite avec déficit moteur du membre supérieur droit. Par décision du 1er février 1993, l'Office de l'assurance-invalidité du canton de Vaud(ci-après : l'office) lui a accordé une rente entière d'invalidité dès le 1er mars 1992.
Lors d'une révision de sa rente, les médecins de la Policlinique médicale universitaire (PMU) ont diagnostiqué un état dépressif, une fibromyalgie et un status deux ans après une myélopathie cervicale aiguë. Ils ont considéré que l'assuré jouissait d'une pleine capacité de travail dans une activité n'exigeant pas de travaux lourds et pénibles (rapport du 19 juillet 1993). Du 1er mars au 30 décembre 1994, l'assuré a bénéficié d'une mesure de reclassement sous la forme de la prise en charge d'une formation de chauffeur de taxi professionnel mais a échoué à l'examen final. Avec l'accord de l'office de réadaptation et de son médecin traitant, le docteur B._, l'assuré a été engagé en qualité de concierge par la société R._ SA à partir du 1er janvier 1995. Le 14 août 1995, le docteur B._ a attesté une incapacité de travail de 80 % de son patient depuis le 1er mai 1995. L'intéressé a cessé toute activité le 30 novembre 1995. Dans un rapport du 12 avril 1996, les médecins de la PMU ont exposé que l'assuré souffrait d'un état dépressif majeur. Ils ont jugé nulle sa capacité de travail, même dans une activité légère.
Par décision du 11 novembre 1996, l'office a alloué à l'assuré une rente entière d'invalidité depuis le 1er mai 1995.
b) Le 16 novembre 1996, O._ s'est adressé à la Fondation collective LPP de la Rentenanstalt (ci-après : la fondation), à laquelle il avait été affilié quand il travaillait au service de la société R._ SA. Il sollicitait le versement d'une rente fondée sur une invalidité totale. La fondation a refusé d'allouer des prestations, au motif principal que l'assuré était totalement invalide lors de son entrée dans l'institution, de sorte qu'il n'aurait pas dû être admis au sein de celle-ci.
B.- Le 10 février 1998, O._ a saisi le Tribunal des assurances du canton de Vaud, en concluant à son affiliation à la fondation et au versement dès le 1er mai 1995 d'une rente annuelle d'invalidité de 7428 fr. ou d'un montant fixé à dire de justice.
Par jugement du 21 avril 1999, la Cour cantonale a rejeté la demande. Les premiers juges ont considéré en particulier que l'assuré avait été régulièrement affilié à la fondation. Ils ont toutefois retenu l'existence d'une connexité matérielle et temporelle entre l'incapacité de travail subie par l'assuré avant son affiliation à la fondation et l'invalidité survenue le 1er mai 1995.
C.- O._ interjette recours de droit administratif contre ce jugement dont il demande l'annulation, en reprenant, sous suite de dépens, les conclusions qu'il avait formulées en première instance. Il fait valoir qu'il a été valablement affilié à la fondation dès le 1er janvier 1995. Il nie qu'il y ait lieu d'admettre un rapport de connexité temporelle et matérielle entre l'incapacité de travail à l'origine de l'invalidité dont il a été victime en 1991 et son invalidité subséquente.
La fondation conclut au rejet du recours. Elle soutient que le recourant était invalide à raison de deux tiers au moins lors de son engagement le 1er janvier 1995.
Elle relève qu'il existe un lien de connexité matérielle et temporelle entre l'incapacité de travail dont il a été victime avant son engagement comme concierge et son invalidité.
L'Office fédéral des assurances sociales propose également le rejet du recours.

Considérant en droit :
1.- Le litige porte sur le droit du recourant à une rente d'invalidité à charge de l'institution de prévoyance intimée.
2.- a) Les premiers juges ont correctement exposé les dispositions légales et réglementaires applicables en matière d'affiliation, de sorte qu'il suffit de renvoyer au jugement attaqué sur ce point.
b) Selon le rapport de la Policlinique médicale universitaire du 19 juillet 1993, le recourant jouissait d'une pleine capacité de travail dans une activité professionnelle adaptée. Dès cette date, le recourant était ainsi déjà en mesure d'exercer, notamment, l'activité de concierge qui a été la sienne depuis le 1er janvier 1995. Dans cette dernière activité il a perçu un gain de 5200 fr. par mois, tandis que sans invalidité il aurait pu réaliser un gain de 5800 fr. par mois. Malgré les limitations affectant sa capacité de travail, il ne subissait dès lors pas une perte de gain de deux tiers au moins lors de son engagement par la société R._ SA. C'est donc à bon droit qu'il a été affilié à la fondation depuis le 1er janvier 1995.
3.- a) Ont droit à des prestations d'invalidité les invalides qui étaient assurés lors de la survenance de l'incapacité de travail dont la cause est à l'origine de l'invalidité (art. 23, seconde partie de la phrase, LPP). Selon la jurisprudence, l'événement assuré au sens de l'art. 23 LPP est uniquement la survenance d'une incapacité de travail d'une certaine importance, indépendamment du point de savoir à partir de quel moment et dans quelle mesure un droit à une prestation d'invalidité est né. La qualité d'assuré doit exister au moment de la survenance de l'incapacité de travail mais pas nécessairement lors de l'apparition ou de l'aggravation de l'invalidité. Cette interprétation littérale est conforme au sens et au but de la disposition légale en cause, laquelle vise à faire bénéficier de l'assurance le salarié qui, après une maladie d'une certaine durée, devient invalide alors qu'il n'est plus partie à un contrat de travail. Lorsqu'il existe un droit à une prestation d'invalidité fondée sur une incapacité de travail survenue durant la période d'assurance, l'institution de prévoyance concernée est tenue de prendre en charge le cas, même si le degré d'invalidité se modifie après la fin des rapports de prévoyance. Dans ce sens, la perte de la qualité d'assuré ne constitue pas un motif d'extinction du droit aux prestations au sens de l'art. 26 al. 3 LPP (<ref-ruling> sv consid. 1a; <ref-ruling> consid. 5 et les références).
b) Comme cela ressort du texte de l'art. 23 LPP, les prestations sont dues par l'institution de prévoyance à laquelle l'intéressé est - ou était - affilié au moment de la survenance de l'événement assuré.
Cette disposition a donc aussi pour but de délimiter les responsabilités entre institutions de prévoyance, lorsque le travailleur, déjà atteint dans sa santé dans une mesure propre à influer sur sa capacité de travail, entre au service d'unnouvelemployeur(enchangeantenmêmetempsd'institutiondeprévoyance)etestmisaubénéfice, ultérieurement, d'unerentedel'assurance-invalidité : le droit aux prestations ne découle pas du nouveau rapport de prévoyance; les prestations d'invalidité sont dues par l'ancienne institution, auprès de laquelle l'intéressé était assuré lorsqu'est survenue l'incapacité de travail à l'origine de l'invalidité.
Cependant, pour que l'ancienne institution de prévoyance reste tenue à prestations, il faut non seulement que l'incapacité de travail ait débuté à une époque où l'assuré lui était affilié, mais encore qu'il existe entre cette incapacité de travail et l'invalidité une relation d'étroite connexité; dans ce cas seulement, la nouvelle institution est libérée de toute obligation de verser une rente. La connexité doit en particulier être matérielle. Il y a connexité matérielle si l'affection à l'origine de l'invalidité est la même que celle qui s'est déjà manifestée durant l'affiliation à la précédente institution de prévoyance (et qui a entraîné une incapacité de travail).
c) Le Tribunal fédéral des assurances a naguère précisé que cette jurisprudence, qui régit la répartition de la responsabilité entre institutions de prévoyance en cas de passage de l'une à l'autre, s'applique par analogie au requérant de prestations qui, non assuré selon la LPP lors de la survenance d'une invalidité partielle parce qu'il exerçait une activité indépendante, subit une aggravation de son incapacité de gain après s'être entre-temps affilié à une institution de prévoyance par la prise d'une activité dépendante. Dans un tel cas, le tribunal a jugé que l'institution de prévoyance n'est tenue à prestations que si la disparition de la capacité de gain résiduelle du travailleur est le fait d'une atteinte à la santé indépendante de celle qui est à l'origine de la première invalidité partielle (<ref-ruling> consid. 3c).
d) A la lumière des principes développés ci-dessus, le recourant ne peut prétendre une rente d'invalidité de la fondation intimée qu'à la condition que sa capacité de gain résiduelle, lors de son engagement en qualité de concierge par la société R._ SA, ait subséquemment disparu en raison d'une atteinte à la santé ne découlant pas de celle qui est à l'origine de sa première invalidité partielle. Or, tel n'est pas le cas en l'occurrence.
En effet, dans leur rapport du 12 avril 1996, les médecins de la PMU ont conclu à l'incapacité totale de travail du recourant même dans une activité légère compte tenu de ses douleurs généralisées et d'un état dépressif. Ils ont ajouté que les plaintes du patient étaient superposables à celles évoquées lors du précédent rapport médical de la PMU du 19 juillet 1993, en indiquant que les douleurs semblaient s'être progressivement aggravées depuis le mois de janvier 1995. Or, le rapport médical du 19 juillet 1993 de la PMU, mettait déjà en évidence que la symptomatologie à l'origine de la limitation de la capacité de travail du recourant n'était pas liée à une cause organique mais au contraire essentiellement à un état dépressif. L'aggravation de l'atteinte à la santé survenue en mai 1995 résulte dès lors de la même affection que celle qui était à l'origine de la première invalidité partielle du recourant. Dans ces circonstances, la fondation intimée n'a pas à répondre de l'aggravation de l'état de santé du recourant, vu le défaut d'assurance au moment déterminant.
Le recours est mal fondé.
4.- Le recourant, qui succombe, ne saurait prétendre une indemnité de dépens (art. 159 al. 1 en relation avec l'art. 135 OJ).

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est rejeté.
II. Il n'est pas perçu de frais de justice ni alloué de dépens.
III. Le présent arrêt sera communiqué aux parties, au Tribunal des assurances du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 1er mai 2000
Au nom du
Tribunal fédéral des assurances
LePrésidentdelaIIeChambre :
LeGreffier :