A.- Le Fonds de prévoyance en faveur du personnel de H._ SA (ci-après : le Fonds) a été constitué en 1963 par H._ SA (à l'époque Maison H._ SA, ci-après : H.) dans le but d'assurer son personnel contre les conséquences économiques de la vieillesse, de l'invalidité et du décès. Un contrat d'assurance-vie collective a été conclu la même année avec la compagnie d'assurance sur la vie VITA. Ce contrat fut remplacé le 7 août 1979 par une nouvelle police d'assurance conclue entre le Fonds d'une part, la VITA et la Suisse, Société d'assurance sur la vie, d'autre part.
En 1983, la VITA a constitué une fondation collective indépendante, dénommée la Fondation commune LPP de VITA, Compagnie d'assurance sur la vie à Zurich (ci-après : la Fondation commune). Par convention des 19 décembre 1984 et 15 mai 1985 passée entre le Fonds et la Fondation commune, cette dernière, en tant que nouveau preneur d'assurance, a repris tous les droits et obligations découlant du contrat d'assurance-vie collective conclu en 1979. H. a adhéré avec sa caisse de prévoyance à la Fondation commune. Un nouveau contrat d'assurance-vie collective, annulant et remplaçant les dispositions antérieures a été conclu les 19 décembre 1984 et 15/22 mai 1985 entre H. et la Fondation commune pour l'assurance du personnel. Aux termes de ce contrat, l'employeur s'affiliait à la Fondation commune qui était chargée de conclure l'assurance du personnel, "au sens défini par la LPP".
Le 25 juin 1991, H. a communiqué à la VITA qu'elle résiliait avec effet au 31 décembre 1991 les contrats d'assurance-vie collective qui avaient été conclus avec la Fondation commune pour H._ SA, M._ SA et A._ SA. Après des discussions demeurées sans résultat, la VITA a pris acte de la résiliation le 11 décembre 1991. Le 27 mai 1992, elle a adressé son décompte final à la Caisse de prévoyance en faveur du personnel de H._ SA. Il en ressort pour l'essentiel le versement déjà effectué d'un acompte de 9 850 000 fr. et l'annonce du versement d'un solde de 1 112 359 fr. 35; était déduite, à titre de frais résultant de la résiliation, la somme de 886 719 fr.
B.- Par demande du 4 mars 1994, H. et le Fonds ont ouvert action contre la VITA devant la Cour civile du Tribunal cantonal vaudois. Le juge instructeur de la Cour civile a décliné sa compétence par prononcé du 12 juillet 1994 et ordonné la transmission du dossier au Tribunal cantonal des assurances.
A la suite d'un échange d'écriture entre les mandataires des parties au sujet de la qualité pour agir, le juge instructeur du tribunal des assurances a procédé à la substitution des parties par décision incidente du 17 janvier 1996, la Fondation collective LPP de la Zurich-Vie (qui a succédé à la Fondation commune LPP, devenue entre-temps Fondation collective LPP de la VITA) étant substituée à la VITA.
C.- Le 6 février 1996, H. et la Fondation de prévoyance en faveur du personnel du groupe H._ SA ont déposé une demande adressée au Tribunal des assurances du canton de Vaud à l'encontre de la Fondation collective LPP de la Zurich-Vie. Sous suite de dépens, ils concluaient principalement à ce que la Fondation collective LPP leur verse solidairement le montant de 886 719 fr. avec intérêt à 5 % l'an dès le 1er janvier 1992; subsidiairement, à ce qu'elle leur verse solidairement ou alternativement à la seule Fondation de prévoyance, le montant de 886 719 fr., sans intérêts.
Pour sa part, la Fondation collective LPP de la Zurich-Vie concluait, sous suite de dépens, au rejet de la demande.
Après un double échange d'écritures, la juridiction cantonale a rejeté la demande et alloué, à charge des demanderesses, 5000 fr. de dépens à la défenderesse, par jugement du 17 décembre 1998 notifié le 3 février 2000.
D.- H. et la Fondation de prévoyance en faveur du groupe H._ SA interjettent recours de droit administratif contre ce jugement, dont elles requièrent l'annulation.
Sous suite de dépens, elles concluent principalement à ce que la Fondation commune leur paie solidairement ou à H. seule le montant de 886 719 fr., subsidiairement, le montant de 299 427 fr. 25, et plus subsidiairement encore, le montant de 219 603 fr., le tout avec intérêt à 5 % l'an dès le 1er janvier 1992.
La Fondation commune, actuellement Fondation collective LPP de la Zurich-Vie, conclut au rejet du recours avec suite de frais et dépens. De son côté, l'Office fédéral des assurances sociales (OFAS) propose le rejet du recours.

Considérant en droit :
1.- En instance cantonale et conformément à la décision du juge instructeur du 17 janvier 1996, la demande était dirigée contre la Fondation collective LPP de la Zurich-Vie. Aussi, est-ce à tort que la juridiction cantonale a désigné par la suite la Fondation commune LPP de la VITA comme partie intimée dans la procédure cantonale, notamment dans le rubrum de son jugement. Les parties ont été ainsi amenées pareillement à désigner dans leurs écritures au Tribunal fédéral des assurances la Fondation commune LPP de la VITA. Il s'agit d'une erreur manifeste qui ne doit cependant pas porter à conséquence dès lors que, au vu de la décision mentionnée ci-dessus du juge instructeur et des considérants du tribunal des assurances (cf. consid. 1b), la désignation des parties véritablement concernées par le litige, ne prête pas à confusion. Par économie de procédure, il convient de corriger d'office cette erreur en instance fédérale par une rectification de la dénomination des parties.
2.- La décision litigieuse n'ayant pas pour objet l'octroi ou le refus de prestations d'assurance, le Tribunal fédéral des assurances doit se borner à examiner si les premiers juges ont violé le droit fédéral, y compris par l'excès ou par l'abus de leur pouvoir d'appréciation, ou si les faits pertinents ont été constatés d'une manière manifestement inexacte ou incomplète, ou s'ils ont été établis au mépris de règles essentielles de procédure (art. 132 en corrélation avec les art. 104 let. a et b et 105 al. 2 OJ).
3.- Les premiers juges ont correctement exposé les dispositions légales applicables en matière de qualité pour agir des parties et de compétence des autorités juridictionnelles à raison de la matière (<ref-law>). Leurs conclusions relatives notamment à la qualité pour agir de la Fondation de prévoyance en faveur du personnel du groupe H._ SA et à la compétence ratione materiae en première instance du tribunal des assurances ne prêtent pas à discussion, si bien que l'on peut renvoyer à leurs considérants (consid. 1a à h du jugement cantonal).
On peut également renvoyer à leurs considérants pour ce qui a trait à la nature juridique du contrat d'affiliation à l'institution de prévoyance (consid. 2 du jugement cantonal).
4.- Les recourants ne contestent pas qu'ils ont reçu, avant signature, les conditions générales d'assurance (ci-après : CGA) accompagnant le contrat d'affiliation et leur annexe technique (édition 1984) dont ils ont pu prendre connaissance.
Les dispositions déterminantes et litigieuses en l'espèce sont les suivantes :
Art. 12
1.- Si le preneur demande le rachat intégral ou partiel du contrat, VITA verse la valeur de rachat correspondante.
Celle-ci est égale à la valeur de rachat définie à l'art. 17, diminuée d'une retenue tenant compte du risque d'intérêts et des frais de conclusion restant à amortir. La déduction s'élève au plus à 8 % de la réserve mathématique d'inventaire.
2.- Le preneur peut différer l'encaissement de la valeur de rachat de 3 ans au plus. Ce différé entraîne une remise sur la déduction. Pendant la période du différé, la valeur de rachat rapporte au moins l'intérêt au taux fixé par la LPP.
3.- Le mode de calcul de la déduction mentionnée aux al. 1 et 2 est décrit dans l'annexe technique aux conditions générales.
L'annexe technique précise que la déduction se compose d'une retenue pour risque d'intérêt (dont elle donne les paramètres permettant d'en faire le calcul) ainsi que d'une retenue pour risques de conclusions non amortis. Si moins de 12 mois se sont écoulés depuis la prise d'effet du contrat, cette dernière retenue s'élève à 2 % de la réserve mathématique d'inventaire et du montant de la prime du contrat au moment de la résiliation; pour les années contractuelles suivantes, le taux de la retenue est réduit de 0,2 % par année, soit une retenue équivalente à zéro lorsque les rapports contractuels ont duré dix ans ou davantage.
5.- Les recourants prétendent tout d'abord que les clauses citées ci-dessus sont insolites et qu'elles ne sauraient pour ce motif les lier.
a) Il est de jurisprudence que celui qui signe un texte comportant une référence expresse à des conditions générales est lié au même titre que celui qui appose sa signature sur le texte même des conditions générales. Il importe peu à cet égard qu'il ait réellement lu les conditions générales en question. La validité des conditions générales préformées est toutefois limitée par la règle dite de l'inhabituel, ou de l'insolite (Ungewöhnlichkeitsregel). En vertu de cette règle, sont soustraites de l'adhésion censée donnée globalement à des conditions générales toutes les clauses inhabituelles sur l'existence desquelles l'attention de la partie la plus faible ou la moins expérimentée en affaires n'a pas été spécialement attirée. En effet, la partie qui incorpore des conditions générales dans le contrat doit s'attendre, d'après le principe de la confiance, à ce que son partenaire contractuel inexpérimenté n'adhère pas à certaines clauses insolites. Pour déterminer si une clause est insolite, il faut se placer du point de vue de celui qui y consent, au moment de la conclusion du contrat.
La réponse est individuelle, une clause usuelle dans une branche de l'économie pouvant être insolite pour qui n'est pas de la branche. Eu égard au principe de la confiance, on se fondera sur les conceptions personnelles du contractant dans la mesure où elles sont reconnaissables pour l'autre partie. A cet égard, il ne suffit pas que le contractant soit inexpérimenté dans la branche économique en question.
Il faut en plus de ce critère subjectif que, par son objet, la clause considérée soit étrangère à l'affaire, c'est-à-dire qu'elle en modifie de manière essentielle la nature ou sorte notablement du cadre légal d'un type de contrat. Plus une clause porte atteinte aux intérêts juridiques du contractant, plus il se justifie de la considérer comme insolite (<ref-ruling> consid. 1a et les références).
b) Au sujet des valeurs de remboursement et des déductions opérées par les institutions d'assurance-vie, les premiers juges ont rappelé l'avis de l'OFAS exprimé comme suit :
"La configuration des primes dans le domaine de l'assurance collective est déterminée par le tarif collectif 84 autorisé par l'Office fédéral des assurances privées. Selon ce tarif, une institution de prévoyance peut, sous certaines conditions, procéder lors du calcul des valeurs de remboursement, à des déductions de ce que l'on appelle le capital de couverture d'inventaire. Il est prévu deux sortes de déductions. D'une part, on procède à une déduction du contrat, s'agissant du taux d'intérêt, lorsque la dissolution se produit à un moment défavorable, c'est-à-dire lorsqu'en raison d'une hausse des taux d'intérêts, le cours des papiers-valeurs a baissé. On veut ainsi éviter que la dissolution du contrat collectif n'entraîne un préjudice pour les assurés restant dans l'institution. La deuxième déduction doit compenser les frais non amortis de la conclusion du contrat. Cette déduction est autorisée lorsque l'institution de prévoyance résilie le contrat collectif dans un délai de dix ans à dater de la conclusion du contrat; plus la durée du contrat a été courte, plus cette déduction est grande. Toutefois les deux déductions ne doivent pas dépasser 8 pour cent du capital de couverture de l'inventaire (Bulletin de la prévoyance professionnelle du 12 août 1991)".
c) En l'occurrence, le fait que la clause litigieuse (art. 12 CGA) reprenne le tarif agréé et que, par ailleurs, elle figure dans de nombreuses CGA de contrats d'assurance n'est pas suffisant, contrairement à l'avis des premiers juges, pour en déduire qu'il s'agit d'une clause habituelle, et partant non insolite.
Il faut bien plutôt considérer d'abord que la clause litigieuse figure au chapitre V des CGA intitulé "Résiliation du contrat d'assurance-vie collective" dont l'art. 12 porte le titre en lettres grasses : "Rachat du contrat d'assurance-vie collective", si bien qu'elle n'apparaît pas avoir été insérée dans un endroit insolite des CGA, propre à créer un effet de surprise. En fait, elle était parfaitement reconnaissable pour le preneur d'assurance - qui n'est au demeurant pas inexpérimenté en affaires - et compréhensible au vu de sa rédaction claire ("La déduction s'élève au plus à 8 % de la réserve mathématique d'inventaire").
Par ailleurs, cette disposition n'a pas eu pour effet de créer, en 1984, un système nouveau et inhabituel. Dès le début des relations entre les parties (1963), tous les contrats d'assurance-vie collective ont en effet prévu un système de retenue sur la valeur de rachat en cas de dénonciation de la police d'assurance.
Enfin, on ne voit pas en quoi cette clause constituerait une disposition atypique dans un contrat d'assurance-vie collective. L'économie du contrat postule, de l'avis de toutes les parties, des placements de longue durée et la résiliation du contrat entraîne l'obligation d'y mettre fin dans une proportion qui peut être importante lorsqu'il s'agit d'un contrat de groupe et suivant la taille de ce dernier. Selon la situation du marché financier, il peut en résulter des pertes sur intérêts ainsi que des coûts supplémentaires liés à l'absence d'amortissement des frais.
Dès lors, il n'y a rien d'insolite à ce que les CGA prévoient un système de retenue pour combler ces pertes à la charge du preneur qui résilie et demande le rachat. D'ailleurs, les recourants en conviennent eux-mêmes puisqu'ils admettent que leurs critiques s'adressent non pas au principe même de la retenue mais à ce qu'ils appellent le renversement du fardeau de la preuve, introduit par les CGA 1984 dans le nouveau contrat de prévoyance.
d) Au sujet du système de la retenue, l'art. 6 ch. 4 des CGA de la VITA, en vigueur en 1963, précise que la valeur de rachat s'élève au moins à 92 % de la réserve mathématique d'inventaire en cas de dénonciation de la police d'assurance collective. Quant aux CGA de 1974 (art. 15 ch. 4) et 1980 (art. 12 ch. 3), elles stipulent que la valeur de rachat ne peut être inférieure à 92 % de la réserve mathématique d'inventaire. Si ces CGA ne fournissent aucune indication sur le motif de cette réduction ni sur le mode de calcul applicable - ce qui aurait pu incontestablement conduire à des conflits d'interprétation en raison de leur caractère lacunaire - celles de 1984 précisent que la déduction peut atteindre au plus 8 % selon des critères et modes de calcul fixés dans une annexe technique à laquelle elles renvoient.
On constate ainsi que dans les quatre versions successives des CGA, la déduction sur la valeur de rachat peut atteindre 8 %. Alors que les premières versions des CGA sont muettes sur le mode de calcul de la retenue, celles de 1984 en définissent précisément le système. Sous cet aspect, on ne voit pas qu'il y ait inversion de fardeau de la preuve qui demeure à la charge de l'assureur. En réalité, une telle réglementation portant sur la manière détaillée de calculer la retenue s'apparente à la fixation contractuelle du dommage, système qui a pour effet de faciliter au créancier la preuve de la survenance et de l'étendue de son préjudice (cf. <ref-ruling> consid. 4a; Gauch/Schluep, Schweizerisches Obligationenrecht -Allge- meiner Teil, t. II n° 3974). On ne voit cependant pas qu'elle soit étrangère à celles qui peuvent être convenues en cas de résiliation anticipée d'un contrat, en particulier d'un contrat d'assurance-vie. Les considérations des recourantes sur le caractère prétendument insolite de cette réglementation tombent ainsi à faux.
6.- Dans un deuxième moyen, les recourantes soutiennent que la clause litigieuse et plus particulièrement l'annexe technique permettant de calculer la déduction violent l'<ref-law>. A leurs yeux, les clauses controversées modifient tout le système de résiliation et de liquidation et sortent ainsi notablement du cadre légal de ce type de contrat.
a) Aux termes de l'<ref-law>, agit de façon déloyale celui qui, notamment, utilise des conditions générales préalablement formulées, qui sont de nature à provoquer une erreur au détriment d'une partie contractante et qui dérogent notablement au régime légal applicable directement ou par analogie (let. a), ou prévoient une répartition des droits et des obligations s'écartant notablement de celle qui découle de la nature du contrat (let. b). Selon la jurisprudence et la doctrine, l'exigence de conditions générales qui soient de nature à provoquer une erreur vaut aussi bien dans l'hypothèse prévue à la lettre a que dans celle visée à la lettre b. L'<ref-law> n'est donc pas applicable lorsque la seule hypothèse de la lettre a ou de la lettre b est réalisée, à l'exclusion de la condition posée préalablement (<ref-ruling> consid. 5a et l'auteur cité; Pedrazzini, Unlauterer Wettbewerb UWG, p. 192/193, ch. 12.5). Il suffit, au demeurant, que les conditions générales soient de nature à provoquer une erreur, sans qu'il importe que telle ait été l'intention de leur utilisateur ou que semblable résultat se soit effectivement produit dans la personne du cocontractant. Cette aptitude à induire en erreur peut tenir à la formulation des conditions générales, à leur situation dans le texte ou à leur présentation graphique (Gauch/Schluep, Schweizerisches Obligationenrecht, Allgemeiner Teil, vol. I, 6e éd., n. 1154).
b) En les examinant sous cet angle, on doit constater que ni la clause litigieuse ni l'annexe technique ne sont en soi de nature à provoquer une erreur au détriment du preneur d'assurances : leur libellé n'est pas ambigu. Comme on l'a déjà vu de l'art. 12 ch. 1 dernière phrase CGA, le plafonnement de la déduction à 8 % y est clairement exprimé.
A la lecture de cette clause, le preneur d'assurances ne peut ignorer la sanction contractuelle d'une résiliation.
Certes, l'annexe technique apparaît plus complexe dans sa formulation, ce qui découle aussi de la difficulté de la matière. Mais au regard de l'<ref-law>, ce qui importe est de savoir si son contenu est de nature à provoquer une erreur et non si le cocontractant est en mesure d'en maîtriser tous les aspects techniques. Or, à cet égard, l'annexe définit clairement les deux postes du dommage contractuel pouvant entrer en considération, ainsi que les conditions dans lesquelles ils peuvent être ou non retenus.
Il s'ensuit que la condition préalable posée par l'<ref-law> n'est pas réalisée dans le cas particulier, de sorte qu'il n'y a pas lieu d'examiner encore si, comme le prétendent les recourantes, les autres conditions de l'<ref-law> sont également réunies.
7.- Comme en instance cantonale, les recourantes soulèvent encore divers arguments de droit privé (existence et validité d'une clause pénale, protection de la personnalité, loi sur le contrat d'assurance) sur lesquels les premiers juges ont déjà statué. Leurs considérants n'appellent ni complément ni correction, si bien que l'on peut y renvoyer (consid. 4 et 5 du jugement cantonal).
8.- Les recourantes soutiennent encore que la réduction des prestations découlerait d'un contrat d'assurance-vie collective auquel ni les bénéficiaires ni l'employeur ne sont partie. Le contrat de prévoyance ayant été conclu avec la Fondation commune, celle-ci ne saurait dès lors imposer une réduction équivalente de ses prestations.
a) La Fondation intimée est une institution de prévoyance qui a conclu un contrat d'assurance collective avec une compagnie d'assurances agréée, à savoir la VITA. Dans un tel cas, l'assureur n'a en principe aucun lien juridique avec l'assuré ou son employeur ou encore avec les bénéficiaires de l'institution de prévoyance. Les ayants droit sont créanciers de la Fondation commune et d'elle seule.
Dans le domaine de la prévoyance obligatoire, les rapports juridiques entre l'institution de prévoyance et l'ayant droit sont régis en première ligne par la LPP et dans une certaine mesure aussi par les statuts ou règlements de l'institution, pour autant que les dispositions qu'ils renferment ne soient pas contraires aux règles impératives de la loi (<ref-law>). En revanche, en matière de prévoyance plus étendue (dite prévoyance pré-obligatoire, sous-obligatoire et sur-obligatoire), les employés assurés sont incontestablement liés à l'institution de prévoyance (de droit privé), comme par le passé, par un contrat innommé (sui generis) dit de prévoyance. Le règlement de prévoyance est le contenu préformé de ce contrat, à savoir ses conditions générales, auxquelles l'assuré se soumet expressément ou par actes concluants.
Que les prestations en faveur des bénéficiaires naissent ainsi directement de la loi ou du contrat de prévoyance, il n'en demeure pas moins que les rapports de l'institution avec l'assureur et les destinataires des prestations sont souvent ordonnés l'un à l'autre. En effet, le règlement de l'institution prévoit en général que celle-ci ne répond pas de ses obligations réglementaires dans une mesure dépassant celles de l'assureur à son égard (<ref-ruling> consid. 3 et les références citées).
b) Dans le cas particulier, H. est - quoi qu'elle en dise - partie au contrat d'assurance-vie collective qu'elle a signé le 19 décembre 1984. Par ailleurs, elle a également adhéré, par contrat du même jour, à la Fondation commune et donné son plein accord à la convention d'adhésion. Or, il ressort de cette convention que les obligations de la fondation ne peuvent en aucun cas excéder celles de la compagnie d'assurances. En conséquence, les recourantes peuvent se voir opposer les clauses du contrat de prévoyance ainsi que les conditions des CGA, en particulier la réduction des prestations selon l'art. 12.
9.- Il reste finalement à déterminer si ces dispositions contractuelles sont compatibles avec les règles impératives de la LPP.
a) Aux termes de l'<ref-law>, les institutions de prévoyance peuvent adopter le régime de prestations, le mode de financement et l'organisation qui leur conviennent dans les limites de la présente loi. Dans le cas d'institutions collectives ou d'institutions communes, font partie de ces règles laissées à la liberté d'organisation les dispositions particulières relatives à la résiliation des contrats d'affiliation passés avec certains employeurs et à la sortie de groupes d'assurés de l'institution de prévoyance (cf. <ref-ruling> consid. 5). Par ailleurs, lorsqu'une institution de prévoyance étend la prévoyance au-delà des prestations minimales, seules s'appliquent à la prévoyance plus étendue certaines dispositions impératives, énumérées à l'al. 2. Cette liberté d'organisation suppose cependant, selon la jurisprudence, le respect de principes découlant de la Constitution comme l'égalité de traitement, l'interdiction de l'arbitraire et le principe de proportionnalité (<ref-ruling> consid. 2a).
b) Dans le cas d'espèce, la Fondation commune est une institution dite enveloppante si bien qu'elle bénéficie d'une grande marge d'autonomie quant à son organisation.
Celle-ci n'est pas limitée par des dispositions légales impératives découlant directement de la LPP. Cette loi ne contient en effet pas de disposition au sujet de la résiliation par l'employeur d'un contrat de prévoyance; seul l'<ref-law> l'oblige à l'affiliation à une nouvelle institution et en prescrit quelques règles.
Il en résulte que, sous réserve de ce qui pourrait toucher à la part de prévoyance obligatoire, les dispositions contractuelles et réglementaires s'appliquent en cas de résiliation du contrat de prévoyance (cf. <ref-ruling> consid. 5).
c) C'est en vain que les recourantes soutiennent que les conditions d'une liquidation partielle sont réunies et qu'en conséquence, elles devraient se voir attribuer un capital plus élevé que celui calculé conformément à l'art. 12 des CGA. Cette question n'a en effet pas à être examinée dans le cadre de la présente procédure dès lors qu'elle ressortit en premier lieu à l'autorité cantonale de surveillance désignée selon l'<ref-law> et en dernière instance au Tribunal fédéral (<ref-law>; <ref-ruling> consid. 1c). Il ne se justifie donc pas d'examiner plus avant la motivation des premiers juges sur ce point.
Il en va de même de l'argument des recourantes afférent à la garantie des droits acquis des bénéficiaires en cas de liquidation de l'institution de prévoyance. A cet égard, on peut cependant déjà observer que cette garantie porterait d'abord sur les droits qui découlent de dispositions légales impératives et dont, par voie de conséquence, les destinataires ne sauraient être privés (cf. SVR 2000 BVG 12 57 consid. 3c). Or, il ressort des pièces du dossier que la réserve mathématique correspondant à la part obligatoire s'élève à 3 778 000 fr. sur un total de 11 119 347 fr.; il apparaît ainsi douteux que les droits acquis à la part de la prévoyance obligatoire puissent être touchés par la réglementation litigieuse.
10.- Vu la nature du litige, la procédure est onéreuse (art. 134 OJ a contrario). Les frais judiciaires seront supportés par les recourantes qui succombent (art. 156 al. 1 OJ). En revanche, bien qu'elle obtienne gain de cause et qu'elle soit représentée par un avocat, la fondation intimée n'a pas droit à des dépens (art. 159 al. 2 in fine OJ; <ref-ruling> consid. 3, 362 consid. 6).

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est rejeté.
II. Les frais de justice, d'un montant de 14 000 fr., sont mis à la charge des recourantes et sont compensés avec l'avance de frais, d'un même montant, qu'elles ont
versée.
III. Il n'est pas alloué de dépens.
IV. Le présent arrêt sera communiqué aux parties, au Tribunal des assurances du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 27 mars 2001
Au nom du
Tribunal fédéral des assurances
Le Président de la IIe Chambre :
La Greffière :