A.- La société X._ SA, dont le siège se trouvait à E._, a été déclarée en faillite le 5 septembre 1994. Le conseil d'administration était notamment composé de A._, président, et de son fils B._, secrétaire.
Le 20 mars 1995, la Caisse de compensation de la Fédération romande de métiers du bâtiment (ci-après : la caisse de compensation) a notifié à chacun des anciens administrateurs prénommés une décision par laquelle elle leur réclamait le paiement de 194 380 fr. 80 au titre de la réparation du dommage qu'elle avait subi dans la faillite de la société X._ SA (avec intérêts à 6 % l'an dès le 20 avril 1995 sur le montant de 182 328 fr. 95). B._ et son père A._ ont tous deux formé opposition contre cette décision, respectivement le 5 et le 12 avril 1995.
B.- Par acte du 5 mai 1995, la caisse de compensation a saisi le Tribunal des assurances du canton de Vaud d'une action, en concluant à la levée des oppositions précitées et à ce que A._ et B._ soient solidairement condamnés à lui payer la somme de 194 380 fr. 80 (avec intérêt à 6 % l'an dès le 20 avril 1995 sur le montant de 182 328 fr. 95).
Les anciens administrateurs ont conclu au rejet de l'action intentée par la caisse.
Par jugement du 10 décembre 1999, le Tribunal des assurances du canton de Vaud a partiellement admis les conclusions de la caisse de compensation, en ce sens qu'il a reconnu A._ et son fils B._ débiteurs solidaires de la somme de 194 380 fr. 80, mais sans les intérêts demandés.
C.- A._ et B._ interjettent, chacun de leur côté, recours de droit administratif contre ce jugement dont ils requièrent l'annulation. A titre principal, ils concluent, sous suite de frais et dépens, à la libération de l'obligation de payer les montants réclamés par la caisse de compensation et, subsidiairement, au renvoi de la cause à celle-ci pour complément d'instruction et nouvelle décision. A._ demande par ailleurs le bénéfice de l'assistance judiciaire gratuite.
La caisse de compensation conclut au rejet des recours, également sous suite de frais et dépens, tandis que l'Office fédéral des assurances sociales ne s'est pas déterminé.

Considérant en droit :
1.- Les recours de droit administratif concernent des faits de même nature, portent sur des questions juridiques communes et sont dirigés contre le même jugement, de sorte qu'il se justifie de les réunir et de les liquider dans un seul arrêt (<ref-ruling> consid. 1, 120 V 466 consid. 1 et les références; Poudret, Commentaire de la loi fédérale d'organisation judiciaire, vol. I, p. 343 s.).
2.- Le litige porte sur la responsabilité des recourants dans le préjudice subi par l'intimée, au sens de l'art. 52 LAVS et de la jurisprudence y relative (<ref-ruling> consid. 2a, 123 V 170 consid. 2a, 122 V 66 consid. 4a et les références).
Dès lors que les décisions litigieuses n'ont pas pour objet l'octroi ou le refus de prestations d'assurance, le Tribunal fédéral des assurances doit se borner à examiner si les premiers juges ont violé le droit fédéral, y compris par l'excès ou par l'abus de leur pouvoir d'appréciation, ou si les faits pertinents ont été constatés d'une manière manifestement inexacte ou incomplète, ou s'ils ont été établis au mépris de règles essentielles de procédure (art. 132 en corrélation avec les art. 104 let. a et b et 105 al. 2 OJ).
3.- Les recourants se plaignent tout d'abord d'une violation de leur droit d'être entendus, en faisant valoir que les moyens qu'ils ont invoqués en procédure cantonale n'ont pas été pris en considération ni même été discutés par les premiers juges. Plus généralement, ils reprochent à ceux-ci d'avoir procédé à une constatation manifestement incomplète des faits pertinents.
D'ordre formel, ces griefs doivent être examinés en premier lieu, car il se pourrait que le tribunal les admette et qu'il renvoie les causes à l'autorité cantonale sans en examiner le fond (<ref-ruling> consid. 2).
4.- En vertu des art. 35 al. 1 et 61 al. 2 PA (applicables par le renvoi de l'art. 1er al. 3 PA), les juridictions cantonales de dernière instance compétentes en matière d'assurances sociales sont tenues de motiver les décisions qu'elles rendent. Dans le domaine de l'AVS, cette obligation découle également de l'art. 85 al. 2 let. g LAVS. Selon la jurisprudence (arrêt non publié L. du 24 juillet 1995 [H 310/94], consid. 4a), les dispositions précitées ont la même portée que le droit d'obtenir une décision motivée qui a été déduit du droit d'être entendu garanti à l'art. 4 aCst. , aujourd'hui formalisé à l'art. 29 al. 2 Cst.
En d'autres termes, le juge des assurances sociales doit motiver ses décisions, mais il n'a toutefois pas l'obligation d'exposer et de discuter tous les faits, moyens de preuve et griefs invoqués par les parties; il peut au contraire se limiter à ceux qui, sans arbitraire, peuvent être tenus pour pertinents. Il suffit, de ce point de vue, que les parties puissent se rendre compte de la portée de la décision prise à leur égard et, le cas échéant, recourir contre celle-ci en connaissance de cause (<ref-ruling> consid. 1a; <ref-ruling> consid. 2a et les arrêts cités).
5.- a) En procédure cantonale, A._ a invoqué divers arguments pour s'opposer à l'action de la caisse intimée. En particulier, il a expliqué, dans sa détermination du 26 octobre 1995 (p. 32 à 35), qu'il avait pris la décision de retarder le paiement des cotisations d'assurance sociale afin de maintenir la société X._ SA en vie le temps qu'une personne disposée à la reprendre puisse être trouvée. Il a précisé qu'au moment où cette décision a été prise, il avait toutes les raisons de croire qu'un repreneur pourrait être rapidement trouvé, car le carnet de commandes de la société était bien rempli et les personnes intéressées à une telle reprise nombreuses. Si celle-ci ne s'est finalement pas concrétisée c'est, a-t-il ajouté, à cause des ennuis de santé de l'un des repreneurs et de l'attitude imprévisible des créanciers Patria et SBS, qui ont brusquement exigé le remboursement sans délai des dettes. Il a également invoqué, pour le cas où sa responsabilité devrait malgré tout être admise, l'existence d'une faute concomitante de la caisse, au motif que celle-ci avait laissé s'accumuler les créances de cotisations impayées, bien qu'elle était informée de la situation de la société. Enfin, il a contesté le montant du dommage.
b) A propos de la responsabilité de A._ dans le préjudice subi par la caisse, les premiers juges ont considéré ce qui suit (p. 26-27 du jugement entrepris) :
"On constate qu'il (A._) a dirigé la société de manière permanente, à l'exception de quatre mois pendant lesquels elle a été reprise par le sieur R._, et qu'il en était, jusqu'à la faillite, en fait, le seul patron. A ce titre, il lui appartenait de veiller au respect des obligations envers la demanderesse, ce qu'il n'a pas fait avec toute la diligence que l'on était en droit d'attendre de lui. En effet s'il n'est pas contesté qu'il a fait de grands efforts en vue de sauver la société, soit en tentant de la remettre à un tiers dans les meilleures conditions possibles, il n'en demeure pas moins qu'il ne pouvait pas ne pas se rendre compte que ses démarches pouvaient ne pas être couronnées de succès et, conformément à la jurisprudence, force est d'admettre qu'il a commis à tout le moins une négligence grave en relation de causalité avec le dommage subi par la caisse.
Il s'ensuit que l'action dirigée contre lui doit être admise dans le sens des conclusions prises par la demanderesse".
c) Sommaire, cette motivation doit être qualifiée d'insuffisante au regard des moyens soulevés en instance cantonale par A._ (supra consid. 4b). Ceux-ci n'étaient en effet pas dénués de pertinence au point que les premiers juges auraient pu, comme ils l'ont fait, se passer de les examiner.
aa) Ainsi, les motifs que le recourant a allégués pour justifier le fait qu'il avait retardé le paiement des cotisations peuvent être de nature, selon la jurisprudence, à faire apparaître l'inobservation de prescriptions en matière d'AVS comme légitime ou non fautive (cf. <ref-ruling> consid. 1b, 193 consid. 2b; RCC 1985 p. 603 consid. 2 et 647 consid. 3a). Les premiers juges étaient donc tenus d'en examiner la pertinence à la lumière des circonstances du cas. A cet égard, leur conclusion selon laquelle A._ "ne pouvait pas ne pas se rendre compte que ses démarches pouvaient ne pas être couronnées de succès" ne satisfait pas à l'exigence de motivation. Car une telle conclusion méritait à tout le moins d'être étayée par quelques faits précis, tels que l'état des dettes de la société au moment des négociations en vue de trouver un repreneur, l'intensité et la durée de celles-ci, ou encore les chances concrètes de celles-ci d'aboutir. A cette fin, le dossier contient d'ailleurs, outre les déclarations des parties et de nombreuses pièces comptables, les dépositions de plusieurs personnes qui étaient intéressées par la reprise de la société et qui ont été entendues comme témoins par la Cour cantonale, lors de deux audiences (des 11 mai et 10 décembre 1999). C'est le lieu de préciser que le fait que les dépositions de ces témoins ont été, de même que les déclarations des parties, longuement retranscrites dans la partie "en fait" du jugement attaqué (p. 11 à 20), ne dispensait pas les premiers juges, en présence de déclarations pour partie contradictoires, de dire clairement la version des faits qu'ils se proposaient de retenir pour construire leur raisonnement juridique. Leur tâche ne se limite pas, en effet, à constituer un dossier dans lequel le Tribunal fédéral des assurances devrait, en cas de recours, rechercher les éléments déterminants pour pouvoir statuer (cf.
<ref-ruling> consid. 6). L'établissement des faits déterminants suppose au contraire que le juge de première instance présente ceux-ci de manière aussi fidèle et précise que possible, le cas échéant en démêlant les résultats de la procédure probatoire, singulièrement les témoignages recueillis au cours de l'instruction. L'importance de cette tâche est d'autant plus grande lorsque, comme c'est le cas en l'occurrence (supra consid. 2), l'autorité de recours ne peut pas revoir avec plein pouvoir d'examen les faits de la cause, mais doit au contraire se borner à rappeler ceux qui ont été retenus dans la décision attaquée, sous réserve que leur constatation ne soit pas manifestement incomplète ou inexacte (cf. Pierre Tercier, La recherche et la rédaction en droit suisse, p. 85 no 323ss).
Cela étant, les faits constatés dans le jugement attaqué ne permettent pas de se prononcer en connaissance de cause sur le bien-fondé des justifications que A._ a mises en avant pour chercher à se disculper.
bb) Quant aux autres moyens soulevés par A._, les premiers juges ne les ont tout simplement pas discutés.
Cette manière de procéder constitue également une violation du droit d'être entendu du recourant, dans la mesure où certains de ces moyens n'apparaissent pas d'emblée dénués de fondement.
En particulier, si les premiers juges entendaient, comme ils l'ont fait, rendre le recourant responsable du dommage subi par la caisse, ils ne pouvaient pas se passer d'examiner la question de l'existence d'une éventuelle faute concomitante de celle-ci. En effet, le recourant s'est prévalu expressément de l'existence d'une telle faute.
Or, lors de son audition du 11 mai 1999, M._, directeur de la caisse intimée, a déclaré ceci : "A la fin du mois de décembre 1993, un ultime délai a été accordé à l'entreprise". Les premiers juges devaient donc se demander si la société a bénéficié d'un ou de plusieurs sursis au paiement au sens de l'art. 38bis RAVS et, le cas échéant, si ceux-ci ont été accordés conformément à ce que prévoit la disposition réglementaire précitée, sa violation pouvant, selon les circonstances, avoir pour effet d'atténuer la responsabilité des anciens administrateurs (Pra 1997 no 48 p. 250; voir aussi le consid. 5a/ad de l'arrêt du TFA du 27 juillet 1999 dans la cause L. et consorts contre Caisse cantonale vaudoise de compensation AVS/AI/APG [H 137/98]).
cc) A._ a également contesté, en instance cantonale, le montant du dommage dont la réparation lui est demandée, en faisant valoir que des cotisations impayées d'assurance sociale autres que les cotisations AVS/AI/APG/AC avaient été prises en compte par la caisse.
Or, les premiers juges se sont limités à constater que "le montant réclamé par la caisse, de 194 380 fr. 80, correspond à celui des redevances sociales non acquittées de novembre 1992 à juillet 1994. Au demeurant non contesté, il ne peut qu'être confirmé" (jugement attaqué consid. 4). Là encore, le grief du recourant n'a pas été examiné avec le soin requis : du moment que la prise en compte d'éléments étrangers au dommage était alléguée, les premiers juges étaient tenus de procéder aux constatations nécessaires, singulièrement de s'assurer que le décompte de la caisse ne comprenait que des cotisations d'assurance sociale dont le non-paiement entraîne bien un dommage au sens de l'art. 52 LAVS, soit les cotisations AVS/AI/APG/AC (cf. <ref-ruling>).
d) En résumé, la motivation du jugement attaqué ne satisfait pas aux exigences que la jurisprudence a déduites du droit d'être entendu (supra consid. 4), insuffisance qui, en l'espèce, se double ou se confond avec une constatation incomplète des faits déterminants au sens de l'art. 105 al. 2 OJ.
Lorsque, en vertu de cette disposition, le Tribunal fédéral des assurances dispose d'un pouvoir d'examen des faits qui est limité à l'arbitraire, il ne lui appartient pas, en principe, de compléter l'état de fait d'un jugement cantonal. A défaut, l'art. 105 al. 2 OJ manquerait à son but, qui est de décharger les tribunaux fédéraux de la tâche relative à l'établissement des faits afin de leur permettre de se consacrer à la tâche essentielle de veiller à l'application uniforme du droit fédéral (cf. <ref-ruling> sv. consid. 6 et les références citées).
Le recours de A._ (cause H 249/00) est donc bien fondé, ce qui entraîne l'annulation du jugement attaqué et le renvoi de la cause aux premiers juges pour qu'ils rendent un nouveau jugement, le cas échéant après avoir mis en oeuvre de nouvelles mesures d'instruction.
6.- S'agissant de B._ (cause H 256/00), les premiers juges ont, pour l'essentiel, considéré que celui-ci avait commis une négligence grave au sens de l'art. 52 LAVS en omettant d'exercer le devoir de surveillance découlant de l'art. 716 al. 1 ch. 5 CO.
Cela étant, si le nouveau jugement qui sera rendu à la suite du renvoi de la cause H 249/00 (supra consid. 5) devait, le cas échéant, constater que A._ avait des raisons suffisantes de retarder le paiement des cotisations, le reproche fait à B._ de n'avoir pas surveillé avec l'attention voulue la gestion de la société exercée par son père perdrait toute pertinence. Par ailleurs, B._ a soulevé, tant en instance cantonale que fédérale, des moyens similaires à ceux de son père (constatation insuffisante des faits, montant du dommage erroné, faute concomitante de la caisse. ..). Il se justifie par conséquent d'admettre également le recours formé par B._ pour les mêmes motifs (cf. consid. 5 supra) et d'annuler le jugement attaqué dans son ensemble.
7.- a) La procédure n'est pas gratuite, s'agissant d'un litige qui ne porte pas sur l'octroi ou le refus de prestations d'assurance (art. 134 OJ a contrario).
Si le canton n'est pas partie au procès, il n'y a pas lieu, en principe, de mettre à sa charge des frais de justice.
Toutefois, conformément à l'art. 156 al. 1er et 6 OJ, il doit être dérogé à ce principe lorsque le jugement cantonal viole de manière qualifiée les règles d'application de la justice et cause de ce fait des frais aux parties (RAMA 1999 no U 331 p. 128 consid. 4; arrêt W. du 7 avril 1998, consid. 5a et b non reproduit aux <ref-ruling>). En l'espèce, on doit admettre que cette condition est remplie, de sorte qu'il se justifie de mettre les frais de justice à la charge non pas de l'intimée, mais de l'Etat de Vaud.
Pour le même motif, les dépens dus aux recourants, qui obtiennent gain de cause (art. 159 al. 1 OJ a contrario) seront également supportés par l'Etat de Vaud (art. 156 al. 6 OJ applicable par analogie en vertu de l'art. 159 al. 5 OJ).
b) Vu le sort de son recours, la demande d'assistance judiciaire présentée par A._ est sans objet.

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Les recours sont admis et le jugement du Tribunal des
assurances du canton de Vaud du 10 décembre 1999 est
annulé.
II. La cause est renvoyée à ce tribunal pour qu'il procède conformément aux considérants.
III. Les frais de justice, d'un montant de 3000 fr., sont
mis à la charge de l'Etat de Vaud. L'avance de frais
de 6000 fr. effectuée par B._ lui est restituée.
IV. L'Etat de Vaud versera à chacun des recourants une indemnité de dépens (y compris la taxe à la valeur ajoutée) de 2500 fr.
V. Le présent arrêt sera communiqué aux parties, au Tribunal
des assurances du canton de Vaud, à l'Etat de
Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 27 mars 2001
Au nom du
Tribunal fédéral des assurances
Le Président de la IIe Chambre :
Le Greffier :