Faits :
A.
A.a. Depuis le 1er novembre 1976, C._ et D._ (ci-après: les locataires, les demandeurs ou les intimés) étaient locataires de locaux commerciaux, situés au rez-de-chaussée d'un immeuble à xxx, appartenant à A._ et B._ (ci-après: les bailleurs, les défendeurs ou les recourants). Ils y exploitaient un café-restaurant.
A.b. D._, né le 22 octobre 1948, est atteint dans sa santé.
Le 9 août 2013, les locataires ont donc conclu avec " E._ Sàrl - F._ " une convention de remise de commerce de leur café-restaurant pour un montant de 150'000 fr. ( goodwill, agencement, installations et matériel inventorié compris). Cette convention était subordonnée à la conclusion d'un nouveau bail avec les bailleurs ou au transfert du bail en vigueur et devait prendre effet au 1er octobre 2013.
Le 22 juillet 2013, les locataires avaient sollicité des bailleurs le transfert du bail en faveur de " E._ Sàrl - F._ ".
A.c. Le 20 septembre 2013, les locataires, qui n'avaient pas reçu de réponse des bailleurs, ont déposé une requête tendant au transfert du bail devant la Commission de conciliation en matière de baux à loyer du district de Lausanne.
Par courrier du 24 septembre 2013, les bailleurs se sont opposés au transfert du bail, estimant que la reprise du commerce était un pas-de-porte, que le prix convenu était excessif au vu de l'inventaire et que le tiers proposé était une société qui ne présentait pas les mêmes garanties que l'engagement d'une personne à titre individuel comme c'était le cas du bail conclu avec les locataires.
La procédure de conciliation a été suspendue afin de requérir une expertise. Selon le rapport du 6 novembre 2013 du Service romand d'estimation, le mobilier et le matériel de l'établissement exploité avaient une valeur estimée à 47'615 fr.
Le 4 décembre 2013, les locataires ont fait savoir aux bailleurs qu'il était exclu qu'ils se contentent de la valeur de l'inventaire.
Le 23 décembre 2013, la Commission de conciliation a délivré une autorisation de procéder aux locataires. Cette procédure n'a pas été poursuivie: les locataires n'ont pas saisi le Tribunal des baux dans le délai de 30 jours. En effet, dans l'intervalle, le 12 novembre 2013, " E._ Sàrl - F._ " les avait informés vouloir renoncer, au vu de la situation, à la reprise du commerce.
A.d. D._ a, par conséquent, continué d'exploiter le café-restaurant lui-même: il a mis fin au contrat de travail de la seule serveuse et C._ a dû faire elle-même les courses, les nettoyages et les remplacements au restaurant, à côté de son emploi à 70 % à l'extérieur.
À compter du 1er avril 2015, les bailleurs ont conclu un bail avec un nouveau locataire, qui a racheté le matériel d'exploitation de l'établissement en versant aux locataires le montant de 50'000 fr. (complètement selon l'<ref-law>).
B.
B.a. Le 14 janvier 2014, les locataires ont saisi la Commission de conciliation d'une requête tendant à ce que les bailleurs soient condamnés à leur payer le montant de 47'615 fr. avec intérêts à 5 % l'an dès le 1er janvier 2014, à ce qu'ils soient libérés du bail avec effet à fin février 2014 et à ce que la garantie de loyer leur soit restituée. En audience, ils ont augmenté leur conclusion en paiement au montant de 200'000 fr. avec les mêmes intérêts.
Les bailleurs défendeurs ne se sont pas présentés à l'audience de conciliation et la Commission de conciliation a délivré une autorisation de procéder aux locataires.
B.b. Le 15 avril 2014, les locataires ont déposé leur demande devant le Tribunal des baux, concluant notamment, en dernier lieu, au paiement de 100'000 fr. avec intérêts à 5 % l'an dès le 1er janvier 2014.
Les bailleurs défendeurs ont conclu au rejet de la demande.
Le tribunal a entendu quatre témoins et ordonné une expertise.
L'expert judiciaire a retenu que les résultats des derniers exercices clôturés du café-restaurant se sont soldés par une perte moyenne annuelle de 17'939 fr. 82 pour les trois dernières années et de 14'819 fr. 90 pour les deux dernières années, soit jusqu'au 31 octobre 2013, la valeur de rendement pure étant dès lors nulle. Toutefois, il a considéré que l'état de santé de D._ n'avait pas permis une exploitation conforme, de sorte qu'une valeur de 130'000 fr. à 140'000 fr. correspondait, selon lui, au prix de remise probable de l'établissement au 1er octobre 2013. Il a également constaté que l'exploitation du restaurant avait été déficitaire durant les deux années suivantes.
Par jugement du 7 septembre 2018, le tribunal a condamné les bailleurs défendeurs, solidairement entre eux, à verser aux locataires demandeurs, créanciers solidaires, le montant de 21'077 fr. avec intérêts à 5 % l'an dès le 24 mai 2014. Il a retenu que les bailleurs avaient refusé sans justes motifs leur consentement au transfert du bail. Il a considéré que les locataires n'auraient eu droit à être indemnisés à hauteur de 150'000 fr. que dans le cas exceptionnel où ils ne se trouveraient plus du tout en mesure de céder leur exploitation à un tiers, ce qu'ils n'avaient ni allégué, ni prouvé. Il leur a accordé un dédommagement de 21'077 fr. avec intérêts pour les pertes d'exploitation qu'ils ont subies du 1er novembre 2013 au 31 octobre 2015 puisqu'ils ont dû continuer à exploiter leur commerce.
B.c. Statuant le 21 novembre 2019 sur appels des deux parties, la Cour d'appel civile du Tribunal cantonal du canton de Vaud a rejeté l'appel des bailleurs et, admettant l'appel des locataires, a réformé le premier jugement en ce sens que les bailleurs défendeurs sont solidairement condamnés à payer aux locataires demandeurs le montant de 100'000 fr. avec intérêts à 5 % l'an dès le 24 mai 2014.
C.
Contre cet arrêt, les bailleurs défendeurs ont interjeté un recours en matière civile au Tribunal fédéral, concluant à sa réforme en ce sens que, en substance, la demande des locataires est rejetée. Subsidiairement, ils concluent à son annulation et au renvoi de la cause à la cour cantonale pour nouvelle décision dans le sens des considérants. Ils invoquent la violation de l'<ref-law>, de l'art. 9 Cst. et des art. 263 et 42 CO.
Les locataires intimés ont conclu au rejet du recours dans la mesure où il est recevable.
Les parties ont encore chacune déposé de brèves observations.
La cour cantonale se réfère aux considérants de son arrêt.
Le 23 mars 2021, la Cour de céans a délibéré sur le recours en séance publique.

Considérant en droit :
1.
1.1. Interjeté dans le délai fixé par la loi (art. 100 al. 1, art. 46 al. 1 let. c et <ref-law>) par les recourants, qui ont succombé dans leurs conclusions en libération (<ref-law>), contre un arrêt final (<ref-law>) rendu sur appel par le tribunal supérieur du canton de Vaud (<ref-law>) dans une affaire civile (<ref-law>) dont la valeur litigieuse est supérieure à 15'000 fr. (<ref-law>), le recours en matière civile est en principe recevable.
1.2. L'état de fait a été complété d'office en vertu de l'<ref-law>. Il est en effet patent, bien qu'elle le nie, que la cour cantonale a tenu compte du courrier des locataires du 23 juin 2015, dans lequel ceux-ci indiquent avoir vendu le matériel d'exploitation de leur établissement à leur successeur pour le prix de 50'000 fr. En effet, l'autorité précédente n'a pas pris en compte la valeur de ce matériel dans le calcul du dommage.
2.
2.1. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si ces faits ont été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 2; <ref-ruling> consid. 4.1.2; <ref-ruling> consid. 5.1) - ou en violation du droit au sens de l'<ref-law> (<ref-law>), et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>).
La critique de l'état de fait retenu est soumise au principe strict de l'allégation énoncé par l'<ref-law> (<ref-ruling> consid. 2.3 et les références citées). La partie qui entend attaquer les faits constatés par l'autorité précédente doit expliquer clairement et de manière circonstanciée en quoi ces conditions seraient réalisées (<ref-ruling> consid. 1.3.1 et les références citées). Si elle souhaite obtenir un complètement de l'état de fait, elle doit aussi démontrer, par des renvois précis aux pièces du dossier, qu'elle a présenté aux autorités précédentes, en conformité avec les règles de la procédure, les faits juridiquement pertinents à cet égard et les moyens de preuve adéquats (<ref-ruling> consid. 2). Si la critique ne satisfait pas à ces exigences, les allégations relatives à un état de fait qui s'écarterait de celui de la décision attaquée ne pourront pas être prises en considération (<ref-ruling> consid. 1.3.1). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 1.3).
Concernant l'appréciation des preuves, le Tribunal fédéral n'intervient, du chef de l'art. 9 Cst., que si le juge du fait n'a manifestement pas compris le sens et la portée d'un moyen de preuve, a omis sans raisons objectives de tenir compte des preuves pertinentes ou a effectué, sur la base des éléments recueillis, des déductions insoutenables (<ref-ruling> consid. 4.2; <ref-ruling> consid. 4.2; <ref-ruling> consid. 4.3; <ref-ruling> consid. 1.4.3; <ref-ruling> consid. 2.1).
2.2. Le Tribunal fédéral applique en principe d'office le droit (<ref-law>) à l'état de fait constaté dans l'arrêt cantonal (ou à l'état de fait qu'il aura rectifié). Cela ne signifie pas que le Tribunal fédéral examine, comme le ferait un juge de première instance, toutes les questions juridiques qui pourraient se poser. Compte tenu de l'obligation de motiver imposée par l'<ref-law>, il ne traite que les questions qui sont soulevées devant lui par les parties, à moins que la violation du droit ne soit manifeste (<ref-ruling> consid. 2, 86 consid. 2). Il n'est en revanche pas lié par l'argumentation juridique développée par les parties ou par l'autorité précédente; il peut admettre le recours, comme il peut le rejeter en procédant à une substitution de motifs (<ref-ruling> consid. 1.4).
3.
Les bailleurs recourants soutiennent tout d'abord que l'action en dommages-intérêts introduite par les locataires est irrecevable en vertu de l'art. 59 al. 2 let. e CPC, au motif que le litige aurait déjà fait l'objet d'une décision entrée en force: ils reprochent à la cour cantonale d'être entrée en matière sur cette action, alors que les locataires n'avaient pas saisi le tribunal des baux après avoir reçu l'autorisation de procéder dans leur action en transfert du bail.
Préalablement, avant d'examiner l'exception de l'art. 59 al. 2 let. e CPC (cf. infra consid. 3.3-3.4), il s'agit de déterminer l'objet de l'action introduite par les locataires demandeurs et, partant, l'objet de la présente procédure de recours. Pour ce faire, il s'impose de bien distinguer l'action en transfert du bail (cf. infra consid. 3.1) de l'action en dommages-intérêts consécutive au refus du transfert (cf. infra consid. 3.2).
3.1.
3.1.1. L'action en transfert du bail à un tiers est prévue par l'<ref-law>. Aux termes de cette disposition, le locataire d'un local commercial peut transférer son bail à un tiers avec le consentement écrit du bailleur (al. 1) et le bailleur ne peut refuser son consentement que pour de justes motifs (al. 2). Si le bailleur donne son consentement, le tiers est subrogé au locataire (al. 3) et le locataire est libéré de ses obligations envers le bailleur (al. 4, 1ère phr.). Ces règles sont absolument impératives (arrêts 4A_130/2015 du 2 septembre 2015 consid. 4.1; 4A_75/2015 du 9 juin 2015 consid. 3.1.1).
Le transfert du bail commercial est un accord tripartite: le locataire initial passe un contrat avec le locataire reprenant afin d'opérer un changement de locataire; une fois que le bailleur a consenti au transfert, le locataire reprenant est subrogé aux droits du locataire initial et reprend l'ensemble des droits et obligations du locataire initial, c'est-à-dire prend sa place dans le contrat de bail (arrêts 4A_130/2015 précité consid. 4.1; 4A_75/2015 précité consid. 3.1.1).
3.1.2. Lorsque les conditions légales sont réunies, l'<ref-law> confère au locataire initial un droit subjectif à transférer son bail commercial au locataire reprenant, le bailleur ne pouvant refuser de donner son consentement qu'en présence de justes motifs (ROGER WEBER, in Basler Kommentar, Obligationenrecht, 7e éd. 2020, no 1 ad <ref-law>; DAVID LACHAT, in Commentaire romand, Code des obligations, 2e éd. 2012, no 1 ad <ref-law>; LACHAT/GROBET THORENS, in Le bail à loyer, 2019, p. 760 n. 1.5; TERCIER/BIERI/CARRON, Les contrats spéciaux, 5e éd. 2016, p. 281 n. 2086; PETER FERTIG, in Wohn- und Geschäftsraummiete, 2016, p. 319 n. 8.2; BISE/PLANAS, in Droit du bail à loyer et à ferme, 2e éd. 2017, nos 1 et 7 ad <ref-law>; FRANÇOIS BOHNET, Actions civiles, vol. II, 2e éd. 2019, §17 no 1; MATTHIAS MINDER, Die Übertragung des Mietvertrags bei Geschäftsräumen (<ref-law>), 2010, p. 65 n. 188; cf. arrêt 4A_75/2015 précité consid. 3.1.1).
Constitue notamment de tels motifs l'insolvabilité du locataire reprenant (Message du 27 mars 1985 concernant l'initiative populaire " pour la protection des locataires ", la révision du droit du bail à loyer et du bail à ferme dans le code des obligations et la loi fédérale instituant des mesures contre les abus dans le secteur locatif, FF 1985 I 1425 ch. 421.110; HIGI/WILDISEN, in Zürcher Kommentar, Die Miete, 5e éd. 2019, no 34 ad <ref-law>; WEBER, op. cit., no 5 ad <ref-law> p. 1661; LACHAT, op. cit., no 6 ad <ref-law>; LACHAT/GROBET THORENS, op. cit., p. 767 n. 4.1; TERCIER/BIERI/CARRON, op. cit., p. 282 n. 2090; BISE/PLANAS, op. cit., no 50 ad <ref-law>; MINDER, op. cit., pp. 246-250 n. 693-703; FLORIAN ROHRER, in Das schweizerische Mietrecht, 4e éd. 2018, no 22 ad <ref-law> p. 482; RICHARD BARBEY, Le transfert du bail commercial (<ref-law>), SJ 1992 p. 54) ou le fait que le locataire initial et le locataire reprenant sont convenus d'un pas-de-porte ( Schlüsselgeld; FERTIG, op. cit., p. 320 s. n. 8.4 et p. 363 n. 8.129; HIGI/WILDISEN, op. cit., no 37 ad <ref-law>; WEBER, loc. cit.; LACHAT/GROBET THORENS, op. cit., p. 762 s. n. 2.3 et p. 769 n. 4.1; MINDER, op. cit., p. 266 s. n. 744; ROHRER, op. cit., no 24 ad <ref-law> p. 483; BARBEY, op. cit., p. 55; cf. BISE/PLANAS, op. cit., no 51 ad <ref-law>), soit une contre-prestation pour la seule cession du droit d'user des locaux (arrêt 4A_175/2018 du 19 novembre 2018 consid. 3.3).
3.1.3. L'<ref-law> limite ainsi la liberté contractuelle du bailleur en faveur du locataire de locaux commerciaux (FERTIG, op. cit., p. 321 s. n. 8.6; BARBEY, op. cit., p. 53). Le but de cette disposition est d'éviter la fermeture de certaines entreprises dont l'activité est intimement liée aux locaux loués (TERCIER/BIERI/CARRON, op. cit., p. 281 n. 2087) et, donc, de sauvegarder des valeurs commerciales (" Erhalt kommerzieller Werte ", FERTIG, op. cit., p. 330 n. 8.27). Aux termes du Message du Conseil fédéral, l'intérêt du locataire à imposer au bailleur un nouveau locataire déterminé n'existe par conséquent que dans le cas où, en plus du bail, il veut aussi faire reprendre le commerce avec une plus-value qu'il a conférée à la chose louée, par exemple, sa clientèle; un tel intérêt ou, par exemple, l'intérêt de vendre des stocks de marchandises à des conditions favorables n'existe donc que pour les baux de locaux commerciaux (FF 1985 I 1424 ch. 421.110).
Étant donné que le bailleur n'est pas libre de s'opposer au transfert du contrat, l'art. 263 al. 4, 2e phr., CO prévoit en contrepartie que le locataire initial répond solidairement avec le locataire reprenant pendant une certaine durée (<ref-ruling> consid. 5.1; arrêt 4A_155/2013 du 21 octobre 2013 consid. 2.6.2 et les références citées; FF 1985 I 1425 ch. 421.110; LACHAT, loc. cit.; LACHAT/GROBET THORENS, loc. cit.; BISE/PLANAS, op. cit., no 1 ad <ref-law>; MINDER, loc. cit.).
3.1.4. L'action en transfert du bail à un tiers est une action condamnatoire (<ref-law>) et non une action en constatation de droit au sens de l'<ref-law> (HULLIGER/HEINRICH, in Handkommentar zum Schweizer Privatrecht, 3e éd. 2016, no 5 ad <ref-law> p. 421; MINDER, op. cit., p. 279 n. 774; FERTIG, op. cit., p. 366 n. 8.138; contra : WEBER, op. cit., no 3a ad <ref-law>; BOHNET, Actions civiles, §17 no 9; cf. MINDER, op. cit., p. 277 n. 769 et les références citées). Celle-ci, subsidiaire par définition, présuppose en effet qu'une action condamnatoire ne soit pas possible (<ref-ruling> consid. 2.2).
Les conclusions de l'action en transfert du bail doivent tendre à la condamnation du bailleur à faire une déclaration de volonté, c'est-à-dire à donner son consentement au transfert du bail (FERTIG, op. cit., p. 366 n. 8.139; cf. FRANÇOIS BOHNET, in Commentaire romand, Code de procédure civile, 2e éd. 2019, no 11 ad <ref-law>; ALEXANDER R. MARKUS, in Berner Kommentar, Schweizerische Zivilprozessordnung, no 3 ad <ref-law>). Le jugement tient lieu de la déclaration de volonté du bailleur dès qu'il devient exécutoire; il a un effet formateur en vertu de l'<ref-law> (BOHNET, Commentaire romand, loc. cit.; THOMAS SUTTER-SOMM, Schweizerisches Zivilprozessrecht, 3e éd. 2017, p. 137 n. 524; BOHNET, Actions civiles, §17 no 5).
3.2.
3.2.1. En matière contractuelle, les conditions d'une action en responsabilité sont énoncées à l'<ref-law>. La responsabilité est engagée lorsque quatre conditions cumulatives sont remplies: une violation du contrat (sous la forme de l'inexécution ou de la mauvaise exécution d'une obligation), une faute (qui est présumée), un rapport de causalité (naturelle et adéquate) et un dommage (arrêts 4A_41/2016 du 20 juin 2016 consid. 3.4; 4A_90/2011 du 22 juin 2011 consid. 2.2.2).
En principe, les conclusions de l'action en responsabilité tendent à la condamnation de la partie défenderesse à payer à la partie demanderesse des dommages-intérêts positifs; celle-ci doit être placée dans la position qui aurait été la sienne si la défenderesse avait satisfait à ses obligations contractuelles (LUC THÉVENOZ, in Commentaire romand, Code des obligations, 2e éd. 2012, no 33 ad <ref-law>; WOLFGANG WIEGAND, in Basler Kommentar, Obligationenrecht, 7e éd. 2020, no 38a ad <ref-law> p. 702).
3.2.2. Dans le contexte d'un transfert de bail commercial, la responsabilité du bailleur est donc, en vertu de l'<ref-law>, subordonnée aux quatre conditions suivantes: (1) une violation du contrat, consistant notamment dans le refus injustifié du bailleur au transfert du contrat de bail; (2) un dommage; (3) un rapport de causalité (naturelle et adéquate) entre la violation du contrat et le dommage; et (4) une faute (présumée).
Conformément à l'<ref-law>, le locataire demandeur supporte le fardeau de l'allégation objectif ( objektive Behauptungslast) et de la preuve ( Beweislast) des trois premières conditions (<ref-ruling> consid. 2.3 et les arrêts cités); cela signifie que, si le juge ne parvient pas à une conviction, n'est pas à même de déterminer si chacun de ces faits s'est produit ou ne s'est pas produit, il doit statuer au détriment du demandeur (<ref-ruling> consid. 4.5; <ref-ruling> consid. 2.6; <ref-ruling> consid. 2b). En revanche, la faute du bailleur est présumée, de sorte qu'il incombe à celui-ci d'apporter la preuve du contraire, à savoir qu'aucune faute ne lui est imputable (" à moins qu'il ne prouve "); il supporte ainsi le fardeau de la preuve pour le cas où le juge ne serait convaincu ni de l'existence d'une faute, ni de son absence (renversement du fardeau de la preuve; <ref-ruling> consid. 2b).
3.2.3. Le refus injustifié du transfert du contrat de bail par le bailleur constitue une violation du contrat au sens de l'<ref-law> (HIGI/WILDISEN, op. cit., no 43 ad <ref-law>; WEBER, op. cit., no 3a ad <ref-law>; LACHAT, no 7 ad <ref-law>; LACHAT/GROBET THORENS, op. cit., p. 770 n. 4.5; TERCIER/BIERI/CARRON, op. cit., p. 282 n. 2091; BISE/PLANAS, op. cit., no 58 ad <ref-law>; BOHNET, Actions civiles, §17 no 7; MINDER, op. cit., p. 280 n. 777; LAURA JACQUEMOUD-ROSSARI, Le transfert du bail commercial, in 8e Séminaire sur le droit du bail, 1994, p. 12 i.i.; cf. arrêt 4A_442/2020 du 11 novembre 2020 consid. 5.2).
3.2.4. En tout état de cause, la partie lésée est tenue de diminuer son dommage (FRANZ WERRO, La responsabilité civile, 3e éd. 2017, p. 379 n. 1343; MARTIN A. KESSLER, in Basler Kommentar, Obligationenrecht, no 13 ad <ref-law>). Aux termes de l'<ref-law>, applicable en matière contractuelle par renvoi de l'<ref-law>, le juge peut réduire les dommages-intérêts, ou même n'en point allouer, lorsque la partie lésée a consenti à la lésion ou lorsque des faits dont elle est responsable ont contribué à créer le dommage, à l'augmenter, ou qu'ils ont aggravé la situation du débiteur. Tel est notamment le cas lorsque le lésé n'a pas pris toutes les mesures qui s'imposaient au vu des circonstances en vue de contenir le dommage (arrêt 4A_127/2011 du 12 juillet 2011 consid. 8.2).
3.3.
3.3.1. Conformément à l'art. 59 al. 1 et al. 2 let. e CPC, le tribunal n'entre pas en matière sur une nouvelle demande lorsque le litige a déjà fait l'objet d'une décision entrée en force. Ne sont visées par cette disposition que les décisions au fond ( Sachentscheide), entrées en force de chose jugée formelle et auxquelles est attaché l'effet de l'autorité de la chose jugée (arrêts 4A_177/2018 du 12 juillet 2018 consid. 4.1; 4A_66/2016 du 22 août 2016 consid. 4.1.1). Les décisions d'irrecevabilité n'en font pas partie, puisqu'elles ne sont pas revêtues de l'autorité de la chose jugée, sauf en ce qui concerne la seule question de recevabilité tranchée (<ref-ruling> consid. 3.2; <ref-ruling> consid. 3a; arrêt 4A_536/2018 du 16 mars 2020 consid. 3.1.2 et les arrêts cités).
3.3.2. L'action en transfert du bail doit être introduite par une requête de conciliation devant l'autorité de conciliation (<ref-law>). Après la délivrance de l'autorisation de procéder, le demandeur doit suivre en cause en introduisant sa demande devant le tribunal dans le délai de péremption fixé par l'art. 209 al. 3 et 4 CO. Il s'agit d'un délai de péremption d'instance du droit de procédure (à ne pas confondre notamment avec le délai de péremption du droit matériel de l'<ref-law>). Le calcul de ce délai est soumis aux règles des <ref-law> (arrêts 4A_459/2020 du 15 décembre 2020 consid. 3.1.2; 4A_671/2016 du 15 juin 2017 consid. 2.1). Dans les litiges relatifs aux baux à loyer ou à ferme d'habitations ou de locaux commerciaux, ce délai est de 30 jours (<ref-law>).
Si la demande est déposée dans ce délai, la litispendance perdure, et ce même si l'une ou l'autre des conditions de recevabilité de celle-ci ne sont pas réunies (arrêts 4A_459/2020 précité consid. 3.1.2; 4A_671/2016 précité consid. 2.1).
Si la demande est déposée hors délai, le tribunal prononce son irrecevabilité (<ref-law>; arrêts 4A_459/2020 précité consid. 3.1.2; 4A_671/2016 précité consid. 2.2).
Si le demandeur ne dépose pas sa demande dans le délai, la litispendance cesse, et ce de par la loi, sans aucune décision d'un tribunal, et l'autorisation de procéder se périme (arrêts 4A_459/2020 précité consid. 3.1.2; 4A_671/2016 précité consid. 2.2). En elle-même, l'inobservation du délai de l'<ref-law> n'a d'effet que sur l'instance, et non sur le droit lui-même; l'instance seule se périme (<ref-ruling> consid. 2.2.2.4).
3.4. En l'espèce, les locataires ont introduit une première action, concluant au transfert du bail, par requête de conciliation du 20 septembre 2013. Ils n'ont pas poursuivi cette action, dans la mesure où ils n'ont pas déposé leur demande devant le tribunal des baux dans le délai de péremption d'instance de 30 jours après la délivrance de l'autorisation de procéder. La litispendance de cette action a donc cessé, et ce de par la loi, sans aucune décision d'un tribunal, de sorte qu'il n'y a, à l'évidence, pas eu non plus de décision au fond, qui seule peut être revêtue de l'autorité de la chose jugée.
Pour ce motif déjà, le grief de violation de l'art. 59 al. 2 let. e CPC soulevé par les bailleurs recourants à l'encontre de la seconde action, soit celle en dommages-intérêts que les locataires ont introduite par requête de conciliation du 14 janvier 2014, est infondé.
Force est aussi de constater que cette seconde action est une action, nouvelle, en dommages-intérêts pour violation du contrat au sens de l'<ref-law> et qu'elle ne résulte donc pas d'une conversion de la première action, soit celle en transfert du bail au sens de l'<ref-law>, qui aurait été convertie ou transformée en une action en dommages-intérêts.
N'a par ailleurs pas à être tranchée ici la question de savoir si, et, le cas échéant, à quelles conditions, la prétention en transfert du bail peut être convertie en une prestation en argent, que ce soit au cours du procès ou au stade de l'exécution (cf. <ref-law>), lorsque le locataire reprenant renonce au transfert du bail car il n'est plus lié par le contrat de remise de commerce (par exemple en raison d'une clause de limitation dans le temps prévue dans ce contrat).
4.
Il s'agit désormais d'examiner si les conditions de la responsabilité des bailleurs recourants au sens de l'<ref-law> sont remplies (cf. supra consid. 3.2). En effet, ceux-ci contestent l'admission de l'action en dommages-intérêts des locataires intimés, invoquent la violation des art. 9 Cst. et 263 et 42 CO et font en particulier valoir que la valeur de la clientèle est liée à l'emplacement des locaux loués et que les locataires ne peuvent être indemnisés sur cette base.
4.1. Dans un premier temps, le locataire doit établir que le bailleur a violé le contrat de bail.
Dans ce contexte, les recourants font en l'espèce valoir qu'ils n'ont pas violé leurs obligations contractuelles car ils disposaient de justes motifs pour refuser le transfert du contrat de bail, soit le fait que seule la société à responsabilité limitée était engagée par le contrat de reprise de commerce (cf. infra consid. 4.1.1) et le fait que ce contrat-ci prévoyait le versement d'un pas-de-porte (cf. infra consid. 4.1.2).
4.1.1. La cour cantonale a constaté que tant E._ Sàrl que F._ avaient la solvabilité nécessaire pour reprendre ce commerce, celle-ci ayant en outre les capacités professionnelles pour le faire. Elle a considéré qu'il n'était pas pertinent que les bailleurs considérassent que l'engagement de deux personnes physiques, comme celui des locataires, soit plus sûr que celui d'une personne physique et d'une société à responsabilité limitée, dans la mesure où E._ Sàrl avait les moyens financiers nécessaires pour assurer le règlement du loyer.
Les recourants soutiennent, d'une part, que la cour cantonale a fait preuve d'arbitraire en retenant qu'il n'avait pas été allégué que F._ s'était engagée à titre personnel, tout en fondant sa motivation juridique en affirmant le contraire. D'autre part, ils font valoir que seule E._ Sàrl serait engagée et que le niveau d'implication et de responsabilité n'est pas le même entre deux personnes responsables à titre privé, tels que les intimés, et une société à responsabilité limitée.
Force est de constater que l'autorité précédente a seulement refusé aux bailleurs le droit d'invoquer le défaut d'engagement de F._ à titre personnel, faute de l'avoir allégué. Dans la suite de sa motivation, elle a en effet admis, en interprétant le texte de la convention de reprise de commerce et la désignation " E._ Sàrl - F._ " y figurant et en tenant compte de la signature de F._, que celle-ci s'était engagée à reprendre le bail à titre personnel à tout le moins, respectivement à la fois à titre personnel et pour E._ Sàrl.
Les recourants n'ayant pas établi, ou du moins pas de manière suffisante, que cette constatation factuelle serait arbitraire, elle lie la Cour de céans. Dans la mesure donc où tant E._ Sàrl que F._ étaient engagées par la convention de remise de commerce, le grief des recourants, qui se base sur le fait que seule E._ Sàrl se serait engagée, est privé d'objet. Pour le même motif, il n'y a pas lieu d'examiner l'affirmation des recourants selon laquelle une société à responsabilité limitée présenterait moins de garanties que deux personnes physiques.
4.1.2. Les recourants soutiennent par ailleurs que le contrat de reprise de commerce conclu entre les locataires initiaux et les locataires reprenantes prévoyait le versement d'un pas-de-porte, que l'emplacement des locaux ne peut être valorisé par les locataires et, partant, qu'ils disposaient d'un juste motif pour refuser le transfert du contrat de bail.
Par ces arguments par trop généraux, les recourants n'ont pas suffisamment motivé leur grief et n'ont pas respecté les exigences de l'<ref-law>, de sorte que leur grief est irrecevable.
4.1.3. Dès lors, c'est à juste titre que la cour cantonale a retenu que les bailleurs recourants ne disposaient pas de justes motifs pour refuser leur consentement au transfert du bail et, partant, qu'ils ont violé leurs obligations contractuelles.
4.2. Dans un deuxième temps, le locataire doit établir son dommage.
4.2.1. En l'espèce, la cour cantonale a admis, sur la base notamment de l'expertise, un dommage correspondant à la valeur immatérielle du café-restaurant, c'est-à-dire, en substance, à la perte de clientèle. Déduisant du montant convenu entre les locataires initiaux et les locataires reprenantes, soit 150'000 fr., la valeur du mobilier et du matériel, soit 47'615 fr., elle a retenu un dommage de 102'385 fr.
De plus, suivant sur ce point les premiers juges, la cour cantonale a considéré que les locataires avaient subi, en raison du refus injustifié des bailleurs de consentir au transfert du bail, un dommage de 21'077 fr. Ce montant correspond aux pertes des exercices 2013-2014 (10'146 fr. 97) et 2014-2015 (10'930 fr.), soit pour la période postérieure au 1er octobre 2013 et durant laquelle le locataire a continué d'exploiter l'établissement en dépit des atteintes à sa santé.
Au vu des conclusions des locataires demandeurs, les dommages-intérêts octroyés ont toutefois été limités à 100'000 fr.
4.2.2. Les recourants font valoir que les locataires n'ont jamais allégué qu'ils n'étaient plus en mesure de céder leur exploitation à un tiers après le refus de transfert du bail et que le dommage ne peut dès lors pas correspondre au prix de remise convenu entre les intimés et les locataires reprenantes. Ils invoquent une violation de l'<ref-law>, les locataires n'ayant, selon eux, pas établi le montant de leur dommage.
Quant à eux, les intimés estiment avoir droit au montant correspondant au prix de la reprise de commerce, soit 150'000 fr., montant qu'ils avaient réduit dans leurs conclusions finales à 100'000 fr. après avoir reçu le montant de 50'000 fr. en raison de la vente du matériel d'exploitation de leur établissement (cf. supra consid. 1.2).
4.2.3. En l'occurrence, les locataires intimés ont renoncé à leur première action, soit celle en transfert du bail, après que les locataires reprenantes les avaient informés vouloir, au vu de la situation, renoncer à la reprise du commerce.
Ils ont ainsi pris acte de la renonciation des locataires reprenantes, sans même tenter d'établir que celles-ci pouvaient résoudre ainsi la convention de reprise de commerce. En acceptant que les locataires reprenantes se départissent de la convention, alors qu'il ne ressortait pas du texte de la convention qu'elles fussent alors libérées, et en renonçant volontairement à leur action en transfert, les locataires ont contribué à créer leur dommage (<ref-law>; cf. supra consid. 3.2.4). Ils ne sauraient donc faire supporter aux recourants, à titre de dommages-intérêts positifs, le prix de la reprise de commerce convenu avec les locataires reprenantes.
La prétention des locataires sera ainsi limitée à la valeur de la plus-value qu'ils ont apportée à la chose louée (cf. FF 1985 I 1424 ch. 421.110). Or, l'expert a constaté que la valeur d'exploitation de l'établissement était nulle, le café-restaurant ayant été déficitaire durant les trois derniers exercices. Les intimés ayant déjà été indemnisés pour la valeur de leur mobilier et de leur matériel à hauteur de 50'000 fr., le solde de leurs prétentions est nul.
En l'absence de grief de la part des recourants quant à l'octroi aux intimés par l'arrêt entrepris de 21'077 fr. avec intérêts en raison des pertes que ceux-ci ont subies en lien avec la continuation de l'exploitation de l'établissement, l'arrêt attaqué sera maintenu sur ce point.
5.
Au vu de ce qui précède, le recours doit être partiellement admis et l'arrêt attaqué réformé, en ce sens que les recourants sont condamnés solidairement à payer aux intimés, créanciers solidaires, le montant de 21'077 fr. avec intérêts à 5 % l'an dès le 24 mai 2014.
Compte tenu des montants à hauteur desquels les parties ont respectivement succombé, les frais judiciaires et les dépens seront répartis entre elles à raison de 1/5 à la charge des recourants et de 4/5 à la charge des intimés (art. 66 al. 1 et 5 et art. 68 al. 1, 2 et 4 LTF).
La cause sera renvoyée à la cour cantonale pour nouvelle décision sur les frais et dépens des instances cantonales.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est partiellement admis et l'arrêt attaqué est réformé en ce sens que les recourants sont condamnés solidairement à payer aux intimés, créanciers solidaires, le montant de 21'077 fr. avec intérêts à 5 % l'an dès le 24 mai 2014.
2.
Les frais judiciaires de la procédure fédérale, arrêtés à 5'000 fr., sont mis pour 4'000 fr. à la charge des intimés et pour 1'000 fr. à la charge des recourants.
3.
Les intimés verseront solidairement aux recourants, créanciers solidaires, une indemnité réduite de 4'800 fr. à titre de dépens.
4.
La cause est renvoyée à la cour cantonale pour nouvelle décision sur les frais et dépens des instances cantonales.
5.
Le présent arrêt est communiqué aux mandataires des parties et à la Cour d'appel civile du Tribunal cantonal du canton de Vaud.
Lausanne, le 23 mars 2021
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente : Hohl
Le Greffier : Douzals