Faits :
A.
A.a. Par contrat du 24 juillet 2008, A.A._ et B.A._ (ci-après: les époux ou les propriétaires), qui se sont mariés par la suite, ont acheté, en copropriété chacun pour moitié, l'immeuble n° 8 de la commune de.., dans le canton de Fribourg, d'une surface de 1'080 m2, comprenant une ferme (après rénovation, un appartement de 5,5 pièces) et une habitation (appelée dépendance; après rénovation, deux appartements de 2,5 et 3,5 pièces), ainsi qu'un jardin d'agrément et un pré pour le prix de 135'000 fr. Ils ont été inscrits au registre foncier le 14 novembre 2008.
L'acquisition de cet immeuble et les importants travaux de rénovation des bâtiments ont été financés essentiellement par des fonds propres des époux, un versement anticipé des avoirs de prévoyance professionnelle du mari et deux crédits de construction accordés par C._ le 3 juin 2009.
A.b. A la fin de l'année 2009, les propriétaires sont entrés en relation avec B._ (ci-après: B._ ou la banque) pour que celle-ci reprenne leurs crédits contractés auprès de C._.
Ainsi, le 22 décembre 2009, la banque leur a accordé deux prêts hypothécaires à taux fixe, le premier d'un montant de 410'000 fr. avec intérêts à 2,67% l'an net, et le second de 540'000 fr. avec intérêts à 2,08%, puis 2,67%, prêts garantis par quatre cédules hypothécaires et le nantissement d'une police d'assurance vie-prévoyance liée de l'époux et d'un avoir de compte épargne 3 de l'épouse. Était également prévue la cession du revenu locatif actuel et futur de l'immeuble.
Les travaux de rénovation ayant nécessité des fonds supplémentaires, la banque a accordé aux propriétaires un crédit complémentaire de 70'000 fr sous forme d'une limite de crédit sur leur compte courant, avec intérêts à 3,05%, lequel a été consolidé en un troisième prêt hypothécaire à taux fixe de 88'000 fr. au taux de 1,81 %, également garanti par les quatre cédules hypothécaires et les deux nantissements, ainsi que la cession du revenu locatif.
A.c. Les époux qui vivaient avec leurs enfants dans l'appartement de la ferme ont déménagé dans une villa à Marly et ont remis celui-ci en location à une société pour un loyer de 2'250 fr. par mois, charges comprises, dès le 1er avril 2011. Les circonstances de ces déménagement et mise en location sont litigieuses.
Les deux appartements de 2,5 et 3,5 pièces situés dans l'habitation ont été remis à bail respectivement pour 1'100 fr., charges comprises, dès le 1er février 2011 et pour 1'450 fr., charges comprises, dès le 1er novembre 2011.
A.d. Des créanciers ayant mis en poursuite les époux le 10 janvier 2012, leur capacité de rembourser la banque a été affectée.
Le 17 janvier 2012, le second prêt hypothécaire a été renouvelé à des conditions différentes: il était prévu que l'intégralité du revenu locatif était cédée à la banque, que les conditions des prêts à taux variable étaient applicables et qu'une indemnité serait due à la banque en cas d'insolvabilité manifeste des emprunteurs.
Le 20 avril 2012, ne percevant plus de revenus locatifs en raison de la saisie requise par les autres créanciers, la banque a dénoncé avec effet immédiat les trois prêts hypothécaires accordés aux copropriétaires et leur a imparti un délai au 22 mai 2012 pour rembourser leurs dettes, soit 410'000 fr. avec intérêts, 540'000 fr. avec intérêts, 88'000 fr. avec intérêts et deux indemnités de 14'878 fr. 20 et 691 fr. 70.
La validité de la dénonciation des prêts n'est pas contestée.
B.
B.a. Le 24 mai 2012, B._ a requis la poursuite en réalisation de gage immobilier des propriétaires, se fondant sur les quatre cédules hypothécaires. Un commandement de payer en réalisation de gage immobilier a été notifié à chacun d'eux le 19 juin 2012 pour les montants sus-indiqués.
Les débiteurs n'ont pas formé d'opposition aux commandements de payer.
B.b. En juin 2012, puis en décembre 2012 et en janvier 2013, puis encore en mai 2013, les propriétaires ont eu des discussions avec la banque, au cours desquelles ils ont formulé des propositions (de vente partielle, soit de la dépendance, de reprise du financement par une autre banque, soit D._) que la banque a refusées. La question de savoir si la banque a violé ses obligations de diligence en refusant ces propositions est litigieuse.
L'immeuble était estimé par l'Établissement cantonal d'assurance des bâtiments à 1'271'000 fr. L'experte mandatée par l'Office des poursuites l'a estimé à 990'000 fr. en février 2013 et entre 1'164'912 fr. 95 et 1'354'015 fr. en mars 2016. L'expert judiciaire a considéré que l'estimation de 1'345'000 fr. était raisonnable.
B.c. La banque a produit une créance de 1'083'958 fr. 60 (valeur au 29 mai 2013). L'immeuble a été vendu aux enchères forcées le 29 mai 2013. Il a été adjugé à la banque, seule enchérisseuse, pour le prix de 795'000 fr. La plainte déposée contre l'adjudication a été rejetée.
Du produit de la vente, la banque a reçu de l'Office le montant de 774'975 fr. 05. Elle a reçu un certificat d'insuffisance de gage de 308'983 fr. 60 (soit un total de 1'083'958 fr. 65).
L'experte mandatée par l'Office, comme l'expert judiciaire ont estimé que le prix d'acquisition se situait à 20% en dessous de la valeur d'estimation de mars 2013, le second ayant précisé que la propriété avait été acquise à une valeur entre 30% à 40% inférieure aux estimations et de plus de 40% inférieure à l'estimation découlant de la proposition de l'autre banque.
B.d. La banque a offert aux époux de racheter leur immeuble au prix de 795'000 fr. plus les frais et le montant de son découvert. Par courrier du 8 novembre 2013, elle le leur proposait pour le prix de 1'131'936 fr. 35.
Finalement, la banque a revendu l'immeuble à un tiers en mars 2014 pour le prix de 950'000 fr.
L'expert judiciaire a estimé que, probablement, la banque avait subi une perte plus importante en ayant acheté l'immeuble dans la vente aux enchères forcées puis en l'ayant revendu à un tiers que si elle avait accepté la dernière proposition de refinancement des propriétaires, si celle-ci avait été concrète, ferme et sans conditions (perte oscillant entre 91'090 fr. et 44'905 fr.).
C.
Le 11 août 2014, les époux propriétaires ont ouvert action en paiement contre la banque devant la Chambre patrimoniale du canton de Vaud, concluant à la condamnation de la banque notamment à leur payer les montants de 550'000 fr., 308'997 fr. 60, 8'638 fr. 40, 30'744 fr. 20 et 153'500 fr. (soit un total de 1'051'880 fr. 20), ainsi qu'un montant à préciser en cours d'instance, tous montants portant intérêts à 5% l'an dès le 29 mai 2013. Ils ont également conclu à la restitution au second des demandeurs de la police d'assurance vie-prévoyance liée et à la restitution au premier des demandeurs de l'avoir du compte d'épargne 3.
La Chambre patrimoniale a rejeté la demande par jugement du 27 septembre 2018.
Statuant par arrêt du 6 mai 2019, la Cour d'appel civile du Tribunal cantonal du canton de Vaud a rejeté l'appel des demandeurs et confirmé le jugement attaqué. Elle a examiné, sur la base de l'art. 97 al. 1 CO, les quatre comportements de la banque dont les demandeurs déduisaient une responsabilité de celle-ci pour violation de son devoir de diligence.
Premièrement, elle a considéré que la banque n'a pas suggéré et encore moins contraint les débiteurs à mettre leur ferme en location.
Deuxièmement, elle a jugé que la banque n'a pas violé son devoir de diligence en n'acceptant pas les propositions des débiteurs qui ne lui permettaient pas de recouvrer l'entier de sa créance, et celle de reporter la vente aux enchères: tout d'abord, la cour cantonale a constaté en fait que les propositions des débiteurs ne lui permettaient pas de recouvrer l'entier de sa créance: l'offre de refinancement de l'autre banque (D._) n'était pas ferme, comme l'avait constaté l'expert, l'employé de cette banque, E._ l'ayant d'ailleurs qualifiée seulement d'acceptable; les offres d'achat de la dépendance n'étaient pas fermes, selon l'expert judiciaire, et ne permettaient pas à la banque de recouvrer l'intégralité de ses créances, puisqu'il subsistait un découvert entre 44'905 et 40'353 fr.; en ce qui concerne la prise en compte de l'impôt sur les gains immobiliers, la cour a retenu que l'absence d'impôt sur le gain immobilier n'était pas étayée et que le témoin F._ lui-même envisageait l'éventualité d'une erreur, de sorte qu'il n'y avait pas lieu de s'écarter des chiffres de l'expert; la cour cantonale en a déduit en droit que la banque n'était pas obligée d'accepter des propositions qui ne lui permettaient pas de recouvrer l'entier de sa créance, de sorte qu'elle n'avait pas violé son devoir de diligence. Ensuite, la cour cantonale a considéré que la banque n'avait aucun devoir contractuel d'accepter un report de la vente aux enchères.
Troisièmement, la cour cantonale a considéré que la banque n'a violé aucun devoir de diligence en privilégiant son seul intérêt de créancière à obtenir le remboursement de sa créance, et que les débiteurs n'ont pas démontré en quoi l'appréciation des premiers juges serait erronée.
Quatrièmement, la cour cantonale a considéré que la banque n'a pas violé son devoir de diligence en acceptant une mise à prix de l'immeuble aux enchères de 990'000 fr., fixée par l'Office des poursuites, ni en obtenant l'adjudication au prix de 795'000 fr., inférieur aux estimations des experts, les débiteurs n'indiquant pas quelle règle aurait été violée, ce d'autant qu'une plainte à l'autorité de surveillance n'a pas abouti, les circonstances de l'adjudication ne violant aucune règle.
D.
Contre cet arrêt, qui leur a été notifié le 13 mai 2019, les demandeurs ont interjeté un recours en matière civile au Tribunal fédéral le 12 juin 2019, concluant à sa réforme en ce sens que les conclusions de leur demande sus-rappelées soient admises et, subsidiairement, à son annulation et au renvoi de la cause à la cour cantonale pour nouvelle instruction et/ou nouvelle décision dans le sens des considérants. Ils invoquent un établissement inexact et arbitraire des faits (art. 97 al. 1 LTF et 9 Cst.) et, se basant sur un état de fait modifié selon leurs voeux, une violation du droit fédéral (art. 95 let. a LTF).
Ils sollicitent l'octroi de l'assistance judiciaire pour la procédure fédérale.
La banque intimée n'a pas été invitée à se déterminer.
Considérant en droit :
1.
Interjeté en temps utile (art. 100 al. 1 LTF) par les demandeurs qui ont succombé dans leurs conclusions (art. 76 al. 1 LTF), contre une décision finale (art. 90 LTF), rendue sur appel par le tribunal supérieur du canton de Vaud (art. 75 LTF), dans une action en dommages-intérêts (art. 72 al. 1 LTF), dont la valeur litigieuse est supérieure à 30'000 fr. (art. 74 al. 1 let. b LTF), le recours en matière civile est recevable au regard de ces dispositions.
2.
2.1. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut s'en écarter que si ces faits ont été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire au sens de l'art. 9 Cst. (ATF 137 I 58 consid. 4.1.2; 137 II 353 consid. 5.1) - ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF), et si la correction du vice est susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF).
Le Tribunal fédéral se montre réservé en matière de constatations de fait et d'appréciation des preuves, vu le large pouvoir qu'il reconnaît en ce domaine aux autorités cantonales (ATF 120 Ia 31 consid. 4b; 104 Ia 381 consid. 9 et les références). Il n'intervient, du chef de l'art. 9 Cst., que si le juge du fait n'a manifestement pas compris le sens et la portée d'un moyen de preuve, a omis sans raisons objectives de tenir compte des preuves pertinentes ou a effectué, sur la base des éléments recueillis, des déductions insoutenables (ATF 137 III 226 consid. 4.2; 136 III 552 consid. 4.2).
La critique de l'état de fait retenu est soumise au principe strict de l'allégation énoncé par l'art. 106 al. 2 LTF (ATF 140 III 264 consid. 2.3 p. 266 et les références). La partie qui entend attaquer les faits constatés par l'autorité précédente doit expliquer clairement et de manière circonstanciée en quoi ces conditions seraient réalisées (ATF 140 III 16 consid. 1.3.1 p. 18 et les références). Si la critique ne satisfait pas à ces exigences, les allégations relatives à un état de fait qui s'écarterait de celui de la décision attaquée ne pourront pas être prises en considération (ATF 140 III 16 consid. 1.3.1 p. 18). Les critiques de nature appellatoire sont irrecevables (ATF 130 I 258 consid. 1.3 p. 261 s.).
2.2. Sous réserve de la violation des droits constitutionnels (art. 106 al. 2 LTF), le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Il n'est toutefois lié ni par les motifs invoqués par les parties, ni par l'argumentation juridique retenue par l'autorité cantonale; il peut donc admettre le recours pour d'autres motifs que ceux invoqués par le recourant, comme il peut le rejeter en opérant une substitution de motifs (ATF 135 III 397 consid. 1.4 et l'arrêt cité).
3.
Les demandeurs recourants reprochent tout d'abord à la cour cantonale de n'avoir pas retenu que la relation qu'ils ont nouée avec la banque relève du mandat (art. 394 CO), et non du prêt de consommation (art. 312 ss CO). Subsidiairement, selon eux, même si la relation devait être qualifiée de prêt de consommation, la responsabilité de la banque devrait s'examiner selon l'art. 97 al. 1 CO.
3.1. En doctrine, la nature juridique du contrat d'ouverture de crédit ou contrat de crédit ( Krediteröffnungs- oder Kreditvertrag) est controversée, mais il est généralement qualifié de contrat de prêt avec un élément durable de mandat, imposant notamment à la banque des devoirs d'information et de conseil (TERCIER/BIERI/CARRON, Les contrats spéciaux, n. 4808 p. 700; cf. les références à la doctrine dans l'arrêt 4C.410/1997 du 23 juin 1998 consid. 3, in SJ 1999 I 205). Le Tribunal fédéral a tour à tour laissé ouverte la question de la qualification de ce contrat (cf. les arrêts 4C.410/1997 précité consid. 3; 4C.344/2000 du 14 mai 2001 consid. 3b; 4C.153/2004 du 16 juillet 2004 consid. 3.1) ou a admis une qualification de prêt de consommation au sens des art. 312 ss CO (arrêt 4C.82/2005 du 4 août 2005 consid. 6.1) ou de contrat sui generis (arrêt 4C.345/2002 du 3 mars 2003 consid. 3.1). La question ne nécessite pas d'être thématisée plus avant en l'espèce.
Il est en effet admis en jurisprudence que l'existence de la dette de l'emprunteur, son montant et son exigibilité doivent être soumis aux règles du prêt de consommation des art. 312 ss CO (prêt ferme ou prêt en compte courant, cf. arrêts 4A_69/2018 du 12 février 2019 consid. 4; 4A_78/2018 du 12 février 2019 consid. 5 et les références citées), alors que la prétention en dommages-intérêts opposée en compensation par le client à concurrence de sa dette et déduite de la violation par la banque de ses devoirs contractuels doit être examinée à l'aune des règles du mandat (art. 398 al. 2 CO qui renvoie aux art. 321e et 97 al. 1 CO; cf. les arrêts 4C.410/1997 précité consid. 3; 4C.153/2004 précité consid. 3.1; 4A_513/2010 du 30 août 2011 consid. 7, non publié aux ATF 137 III 453).
3.2. En ce qui concerne le prêt en espèces, appelé dans la pratique bancaire, avance à terme fixe ou crédit ferme, il porte sur un montant fixe, qui doit être remboursé soit à une échéance fixe, soit ensuite de résiliation (sur la différence avec le crédit en compte courant, qui porte sur un montant variable, cf. arrêt 4A_69/2018 précité consid. 4.1.2). Ce prêt, qui peut être assorti de différentes garanties, comme des cédules hypothécaires, est soumis aux règles des art. 312 à 318 CO (arrêts 4A_69/2018 précité consid. 4; 4A_78/2018 précité consid. 5). Il appartient à l'emprunteur, qui a reçu les fonds prêtés, de prouver qu'il a remboursé sa dette (arrêt 4A_69/2018 précité consid. 4.1.1 in fine).
Lorsque des cédules hypothécaires au porteur sont remises en garantie du prêt (hypothécaire), généralement à titre de garantie fiduciaire, la créance résultant de la cédule hypothécaire coexiste avec la créance à garantir issue du rapport de base entre le créancier et le débiteur (art. 842 al. 2 CC). La créance abstraite (ou créance cédulaire) garantie par le gage immobilier, incorporée dans la cédule hypothécaire, doit faire l'objet d'une poursuite en réalisation de gage immobilier (ATF 140 III 180 consid. 5.1.1 et 5.1.2); à moins que les parties n'aient exclu par convention l'exception de discussion réelle (en faveur du débiteur), le créancier ne peut pas introduire directement une poursuite ordinaire en recouvrement de la créance causale découlant du prêt (ATF 140 III 180 consid. 5.1.4 et 5.1.5; sur le solde non couvert de la créance causale, cf. le même arrêt consid. 5.1.2 in fine).
Lorsque la poursuite en réalisation de gage immobilier est introduite, l'exécution forcée se déroule conformément aux art. 151 ss LP et aux dispositions de l'ORFI (RS 281.42). Elle est de la compétence de l'Office des poursuites. Tel est en particulier le cas de l'établissement des conditions de vente aux enchères (art. 134 LP), de la tenue des enchères publiques et de l'adjudication (art. 85 ss ORFI). Une fois la poursuite introduite, le débiteur ne peut se libérer qu'en s'acquittant de sa dette en mains de l'Office des poursuites (art. 12 al. 2 LP; ATF 127 III 182 consid. 2b p. 185; FRANK EMMEL, in Basler Kommentar, SchKG, 2e éd. 2010, no 7 ad art. 12 LP). Lors des enchères, l'immeuble est adjugé au plus offrant, à condition que l'offre soit supérieure à la somme des créances garanties par gage préférables à celle du poursuivant (art. 156 al. 1 LP avec renvoi aux art. 142a et 126 LP; art. 53 ss ORFI). Hormis le principe de l'offre suffisante de l'art. 126 al. 1 LP, l'adjudication d'un objet dans les enchères publiques n'est pas subordonnée à l'existence d'une offre permettant de couvrir la valeur estimée de l'objet (cf. JAEGER/WALDER/KULL/KOTTMANN, Bundesgesetz über Schuldbetreibung und Konkurs, 4e éd. 1997, Tome I, no 7 ad art. 126 LP; JAEGER/KULL, Das Bundesgesetz über Schuldbetreibung und Konkurs, Art. 89-158, 5e éd. 2006, no 7 ad art. 126 LP; pour la procédure de faillite, cf. toutefois les art. 258 al. 2 2e phr. LP et 130 al. 2-3 ORFI). Les décisions de l'Office des poursuites doivent faire l'objet, si elles sont contestées, d'une plainte à l'autorité de surveillance LP (art. 17 ss LP).
3.3. En ce qui concerne la prétention en dommages-intérêts opposée en compensation par le client à concurrence de sa dette et fondée sur la violation par la banque de ses devoirs contractuels, la jurisprudence a déduit des devoirs d'information et de conseil de celle-ci, tant lors des pourparlers précontractuels en vue de l'octroi du crédit que pendant la durée du contrat, voire après la fin de celui-ci, de l'obligation de diligence et de fidélité de la banque de l'art. 398 al. 2 CO.
4.
En l'espèce, les demandeurs ne reprochent à la banque que des comportements pendant la durée du contrat de crédit et pendant la procédure de réalisation de gage immobilier. La cour cantonale a relevé que, d'une part, ils ne contestent pas que la banque était légitimée à dénoncer les prêts hypothécaires, puis à poursuivre le recouvrement de sa créance par une poursuite en réalisation de gage et que, d'autre part, ils n'ont pas invoqué que la banque aurait envers eux un devoir particulier de sauvegarde de leurs intérêts.
4.1. On en déduit d'emblée que les recourants ne sauraient invoquer avec succès une violation contractuelle de la banque dans la mesure où elle n'était tenue à aucun devoir spécialement convenu d'information ou de conseil à leur égard en relation avec les crédits octroyés et qu'en tant que créancière du montant prêté, elle s'est limitée à requérir le remboursement de sa créance, garantie par gages, par la voie de la poursuite en réalisation de gage immobilier (art. 151 ss LP).
Il s'ensuit que les griefs formulés par les recourants en relation, premièrement avec le refus par la banque de leurs propositions de règlement de leur dette et de report de la vente aux enchères, deuxièmement avec le fait que la banque aurait privilégié son seul intérêt de créancière à obtenir le remboursement de sa créance et troisièmement avec le fait qu'elle aurait accepté une mise en vente de l'immeuble aux enchères publiques à 990'000 fr. et obtenu l'adjudication au prix de 795'000 fr., émargent à la procédure d'exécution forcée conduite par l'Office des poursuites. Les débiteurs pouvaient et devaient s'acquitter en mains de l'Office des poursuites (art. 12 al. 2 LP). Cas échéant, les décisions et mesures de celui-ci pouvaient et devaient faire l'objet d'une plainte à l'autorité de surveillance (art. 17 ss LP). La créancière ne commet aucune violation contractuelle lorsqu'elle se limite à procéder selon la voie de poursuite qui lui est ouverte par la LP pour le recouvrement de l'entier de sa créance.
Il s'ensuit que les griefs d'appréciation arbitraire des preuves formulés par les recourants en relation avec ces trois points sont sans objet.
4.2. Le seul reproche qui n'est pas en relation avec la procédure d'exécution forcée concerne la décision prise par les demandeurs de déménager et de mettre leur ferme en location à partir du 1er avril 2011, soit avant l'introduction de la procédure de poursuite, et ce en relation avec la problématique de l'investissement du 2e pilier de l'époux.
La cour cantonale a retenu, avec les premiers juges, que les demandeurs avaient pris seuls la décision de déménager et de mettre en location leur ferme; ni les pièces du dossier, ni les témoignages ne permettaient de retenir que la banque les aurait encouragés d'une manière ou d'une autre (" suggéré ") et encore moins contraints (" forcé "). La cour cantonale a apprécié avec circonspection les déclarations des différents témoins, soit deux employés de la banque d'une part et du conseiller des propriétaires d'autre part. Elle a relevé que les demandeurs n'ont pas allégué que la banque leur aurait demandé ou suggéré de mettre en location leur ferme, que leur conseiller n'a pas entendu l'employé de la banque G._ admettre le leur avoir suggéré, mais bien que ce n'était pas le problème de la banque, ce d'autant qu'il est intervenu postérieurement à cette mise en location, et que si la possibilité d'habiter ailleurs a été évoquée avec l'employée H._, parce que les époux trouvaient difficile de vivre à.. avec des enfants en bas âge, cela ne permettait pas encore d'admettre que la banque leur aurait suggéré ou les aurait contraints de mettre leur ferme en location.
Les recourants proposent sur trois pages, de manière appellatoire, leur propre interprétation des faits. Ainsi, ils se limitent à y opposer les déclarations de l'époux, les déclarations de leur conseiller privé, feignant d'ignorer que la cour cantonale a apprécié avec circonspection tous les témoignages. Ils ne remettent pas en cause le fait que l'employé G._ a dit que ce n'était pas le problème de la banque, ni que celui-ci était intervenu un an après la mise en location de la ferme, ni la façon dont les propos de l'employée H._ ont été retranscrits et dont la cour n'a pu déduire un quelconque encouragement ou contrainte. Ce faisant, ils ne démontrent pas en quoi l'appréciation de la cour cantonale serait arbitraire.
Le fait reproché n'étant pas établi, il n'y avait pas lieu d'examiner son illicéité, comme en a jugé à raison la cour cantonale.
5.
Le recours doit ainsi être rejeté dans la mesure où il est recevable. Étant manifestement dépourvu de chances de succès, la requête d'assistance judiciaire des recourants doit être rejetée. Ils supporteront donc les frais judiciaires (art. 66 al. 1 LTF). La partie intimée n'ayant pas été invitée à répondre, il ne sera pas alloué de dépens.
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La requête d'assistance des recourants est rejetée.
3.
Les frais judiciaires, arrêtés à 5'000 fr., sont mis à la charge des recourants.
4.
Il n'est pas alloué de dépens.
5.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Cour d'appel civile.
Lausanne, le 27 novembre 2019
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente : Kiss
Le Greffier : Piaget