A.- La société X._ SA, dont le siège se trouvait à E._, a été déclarée en faillite le 5 septembre 1994. Le conseil d'administration était notamment composé de A._, président, et de son fils B._, secrétaire. Le 20 mars 1995, la Caisse de compensation de la Fédération romande de métiers du bâtiment (ci-après : la caisse de compensation) a notifié à chacun des anciens administrateurs prénommés une décision par laquelle elle leur réclamait le paiement de 194 380 fr. 80 au titre de la réparation du dommage qu'elle avait subi dans la faillite de la société X._ SA (avec intérêts à 6 % l'an dès le 20 avril 1995 sur le montant de 182 328 fr. 95). B._ et son père A._ ont tous deux formé opposition contre cette décision, respectivement le 5 et le 12 avril 1995. B.- Par acte du 5 mai 1995, la caisse de compensation a saisi le Tribunal des assurances du canton de Vaud d'une action, en concluant à la levée des oppositions précitées et à ce que A._ et B._ soient solidairement condamnés à lui payer la somme de 194 380 fr. 80 (avec intérêt à 6 % l'an dès le 20 avril 1995 sur le montant de 182 328 fr. 95). Les anciens administrateurs ont conclu au rejet de l'action intentée par la caisse. Par jugement du 10 décembre 1999, le Tribunal des assurances du canton de Vaud a partiellement admis les conclusions de la caisse de compensation, en ce sens qu'il a reconnu A._ et son fils B._ débiteurs solidaires de la somme de 194 380 fr. 80, mais sans les intérêts demandés. C.- A._ et B._ interjettent, chacun de leur côté, recours de droit administratif contre ce jugement dont ils requièrent l'annulation. A titre principal, ils concluent, sous suite de frais et dépens, à la libération de l'obligation de payer les montants réclamés par la caisse de compensation et, subsidiairement, au renvoi de la cause à celle-ci pour complément d'instruction et nouvelle décision. A._ demande par ailleurs le bénéfice de l'assistance judiciaire gratuite. La caisse de compensation conclut au rejet des recours, également sous suite de frais et dépens, tandis que l'Office fédéral des assurances sociales ne s'est pas déterminé.