Faits:
A.
Par contrat du 26 mars 1997, Z._ SA (ci-après : la bailleresse) a remis à bail à X._ un appartement de 7 pièces situé à l'avenue ..., à Lausanne. Le bail commençait le 15 avril 1997 et pouvait être résilié pour les échéances trimestrielles des 31 mars, 30 juin et 30 septembre, moyennant un préavis de trois mois.
X._ partage cet appartement avec sa compagne et un enfant.
Le 28 juillet 2009, la bailleresse a saisi la Commission de conciliation en matière de baux à loyer du district de Lausanne afin de l'informer du conflit divisant depuis de nombreuses années X._ d'avec deux autres locataires à propos de nuisances sonores que leur reprochait le prénommé; elle l'a prié de les convoquer à une audience, en espérant que cette démarche pourrait résoudre le conflit.
Le 19 avril 2010, la bailleresse a précisé les conclusions de sa requête comme suit:
" Il est constaté que [la bailleresse] est autorisée à résilier le bail la liant à X._, conclu le 26 mars 1997 pour le 30 septembre 2010 ou une autre date utile, (...) ".
A l'audience de conciliation du 20 avril 2010, X._ et sa compagne (ci-après: les locataires) ont passé avec la bailleresse une convention ainsi libellée:
" 1. Le bail à loyer de l'appartement est résilié pour le 1er octobre 2012. Les locataires s'engagent à quitter irrévocablement les lieux à cette date au plus tard, libres de tout occupant et de tout objet leur appartenant. Ils peuvent partir dès ce jour moyennant un préavis de trente jours pour la fin de chaque mois.
2. La bailleresse s'engage à adresser d'ici fin avril 2010 une lettre à tous les locataires de l'immeuble leur rappelant le respect des RULV (bruit et paix publique).
3. La bailleresse procédera aux travaux d'entretien nécessaires ".
Le procès-verbal de conciliation précisait que celui-ci valait transaction judiciaire, au sens de l'art. 274e al. 1 aCO et que la Commission de conciliation prenait acte de la transaction, qui valait jugement définitif et exécutoire.
B.
Le 11 juillet 2012, les locataires ont saisi la Commission de conciliation du district de Lausanne d'une requête dont les conclusions sont les suivantes:
" 1. La résiliation du bail conclu entre X._ et [la bailleresse] le 25 [recte: 26] mars 1997 (...), telle qu'elle résulte de la convention du 20 avril 2010 est nulle et de nul effet.
2. La résiliation du bail conclu entre X._ et [la bailleresse] le 25 [recte: 26] mars 1997 (...), telle qu'elle résulte de la convention du 20 avril 2010 est annulée.
3. Le bail à loyer du 26 mars 1997 (...) est prolongé pour une période de quatre ans. "
Dans sa réponse, la bailleresse a conclu à l'irrecevabilité de la requête.
La Commission de conciliation ayant constaté l'échec de la conciliation, les locataires ont repris leurs conclusions dans la demande qu'ils ont adressée le 31 octobre 2012 au Tribunal des baux.
Par décision rendue le 17 janvier 2013, le Tribunal des baux a déclaré irrecevable l'acte déposé le 31 octobre 2012 par les locataires et rayé la cause du rôle. Considérant que les conclusions prises par les demandeurs tendaient non pas à ouvrir une révision selon l'<ref-law> (ainsi qu'ils le prétendent), mais principalement à constater la nullité de la résiliation (telle qu'elle résulte de la convention du 20 avril 2010 passée devant la Commission de conciliation), subsidiairement à l'annulation de cette résiliation et plus subsidiairement à la prolongation du bail litigieux, les premiers juges ont estimé que le litige objet de la demande avait déjà fait l'objet d'une décision entrée en force (le 20 avril 2010) et qu'elle devait dès lors être déclarée irrecevable en application de l'art. 59 al. 2 let. e CPC. Sous un autre angle, ils ont en outre relevé que si cette requête était interprétée comme une demande de révision de la transaction du 20 avril 2010, elle devrait également être déclarée irrecevable en application de l'<ref-law>, la révision d'une décision entrée en force devant être demandée au tribunal qui a statué en dernière instance (<ref-law>), soit l'autorité de conciliation précitée.
La Cour d'appel civile du Tribunal cantonal vaudois, par arrêt du 25 mars 2013, a rejeté le recours des locataires et, reprenant la motivation alternative des juges précédents, a confirmé leur décision.
C.
Les locataires exercent un recours en matière civile contre l'arrêt cantonal du 25 mars 2013. Ils concluent à sa réforme, en ce sens que la demande du 31 octobre 2012 adressée au Tribunal des baux est recevable, subsidiairement à l'annulation de l'arrêt entrepris et au renvoi de la cause devant la cour cantonale afin qu'elle prononce la recevabilité de la demande du 31 octobre 2012. Les recourants invoquent l'arbitraire dans la constatation des faits, une violation du droit d'être entendu, singulièrement l'existence d'un formalisme excessif dans la procédure de révision, ainsi qu'une interprétation erronée de l'<ref-law>.
L'intimée conclut au rejet du recours dans la mesure de sa recevabilité.

Considérant en droit:
1.
1.1. Interjeté par les parties qui ont succombé dans leurs conclusions et qui ont donc qualité pour recourir (<ref-law>), dirigé contre un arrêt final (<ref-law>) rendu en matière civile (<ref-law>) par un tribunal supérieur statuant sur recours en dernière instance cantonale (<ref-law>), dans une affaire pécuniaire dont la valeur litigieuse atteint le seuil de 15'000 fr. requis en matière de droit du bail (<ref-law>), le recours est recevable, puisqu'il a été déposé dans le délai (art. 48 al. 1 et 100 al. 1 LTF) et la forme (<ref-law>) prévus par la loi.
1.2. Le recours peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Il peut donc également être formé pour violation d'un droit constitutionnel (<ref-ruling> consid. 2.1 p. 247; <ref-ruling> consid. 2.4 p. 313).
Le Tribunal fédéral applique d'office le droit dont il peut contrôler le respect (<ref-law>). Il n'est donc limité ni par les arguments soulevés dans le recours, ni par la motivation retenue par l'autorité précédente; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (<ref-ruling> consid. 1.3 p. 336; <ref-ruling> consid. 4 p. 317 s.). Compte tenu de l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (<ref-law>), le Tribunal fédéral n'examine en principe que les griefs invoqués; il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui (<ref-ruling> consid. 1.3 p. 584; <ref-ruling> consid. 2.2.1 p. 389; <ref-ruling> consid. 1.4 p. 400).
Par exception à la règle selon laquelle il applique le droit d'office, le Tribunal fédéral ne peut entrer en matière sur la violation d'un droit constitutionnel ou sur une question relevant du droit cantonal ou intercantonal que si le grief a été invoqué et motivé de manière précise par la partie recourante (<ref-law>).
1.3. Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si les faits ont été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire (<ref-ruling> consid. 4.1.2 p. 62; <ref-ruling> consid. 5.1 p. 356) - ou en violation du droit au sens de l'<ref-law> (<ref-law>).
La partie recourante qui entend s'écarter des constatations de l'autorité précédente doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'<ref-law> seraient réalisées, faute de quoi il n'est pas possible de tenir compte d'un état de fait qui diverge de celui contenu dans la décision attaquée (ATF <ref-ruling> consid. 5.1 p. 356; <ref-ruling> consid. 1.2 p. 187). La partie recourante qui se plaint d'arbitraire dans l'appréciation des preuves et l'établissement des faits doit motiver son grief d'une manière qui réponde aux exigences de l'<ref-law> (<ref-ruling> consid. 4.1.2 p. 62). Une rectification de l'état de fait ne peut être demandée que si elle est de nature à influer sur le sort de la cause (<ref-law>). Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (<ref-law>).
En l'espèce, la recourante présente son propre état de fait (" Bref exposé des faits "), mais, dès lors qu'elle n'invoque avec précision aucun des cas prévus par l'<ref-law>, il n'y a pas lieu d'en tenir compte.
1.4. Le Tribunal fédéral ne peut aller au-delà des conclusions des parties (<ref-law>). Toute conclusion nouvelle est irrecevable (<ref-law>).
2.
2.1. Les recourants tentent de démontrer que c'est en faisant preuve de formalisme excessif (cf. art. 29 al. 2 Cst.) que la cour cantonale est arrivée à la conclusion que leur requête du 11 juillet 2012 (déposée devant la commission de conciliation) et leur demande du 31 octobre 2012 ne consistaient pas en une demande de révision au sens des <ref-law>.
2.2. Force est de constater, en premier lieu, que les recourants reconnaissent que la requête et la demande litigieuses ne sont pas intitulées " révision ".
Il résulte ensuite des constatations cantonales - qui lient le Tribunal fédéral (<ref-law>) - que, dans leurs conclusions, les recourants poursuivent le but de faire constater la nullité, subsidiairement d'annuler, la résiliation du bail conclue entre les parties (" telle que résultant de la convention du 20 avril 2010 "). On ne saurait inférer de telles conclusions la volonté de solliciter une révision, les conclusions prises par les locataires visant principalement à attaquer la résiliation du bail; une demande en révision aurait dû être dirigée contre la décision " entrée en force " qui constate l'accord intervenu entre les parties (cf. PHILIPPE SCHWEIZER, in Code de procédure civile commenté, Bohnet et al. (éd.), 2011, no 39 s. ad <ref-law>; Ivo Schwander, in Schweizerische Zivilprozessordnung - Kommentar, Brunner/Gasser/Schwander (éd.), 2011, n° 3 ad <ref-law>).
En outre, selon l'état de fait dressé par l'autorité précédente, le Tribunal des baux, par courrier du 21 novembre 2012 adressé au conseil des recourants, a indiqué qu'il envisageait de déclarer la demande des locataires irrecevable, dès lors que leurs conclusions avaient déjà fait l'objet d'une transaction judiciaire passée devant l'autorité de conciliation le 20 avril 2010 et qu'une telle transaction équivalait à une décision entrée en force (<ref-law>); il a informé les recourants que celle-ci " ne pouvait être remise en cause que par la voie de la révision devant l'autorité précitée (<ref-law>) ". Dans ses déterminations du 3 décembre 2012, le mandataire des recourants a indiqué que la nullité de la convention " pouvait être invoquée en tout temps, et qu'au surplus la procédure de révision, qui limite à nonante jours le délai dans lequel elle peut être requise, ne saurait limiter le droit absolu des locataires à faire constater la nullité du congé ".
Selon l'état de fait contenu dans l'arrêt entrepris - qui lie le Tribunal fédéral (<ref-law>) -, le conseil des recourants ne prétend donc pas avoir voulu attaquer l'accord des parties pour lésion ou un vice du consentement selon l'<ref-law> en procédant par la voie de la révision; il semble au contraire exclure cette voie puisqu'il souligne que la révision (soit le délai dans lequel celle-ci doit être introduite) ne doit pas empêcher les locataires de faire constater en tout temps la nullité de la résiliation. Devant la Cour de céans, les recourants ne disent pas autre chose puisqu'ils insistent à réitérées reprises sur le fait qu'ils peuvent se prévaloir de la " protection accrue " de l'art. 271a al. 1 let. e CO (sur ce point cf. aussi infra).
Les recourants - qui soutiennent avoir sollicité une révision - n'ont dès lors pas fait preuve de toute la diligence voulue dans la rédaction de leurs conclusions, puis dans leurs déterminations suite à l'interpellation du Tribunal des baux. Cela étant, on ne saurait dire que la cour cantonale a fait preuve de formalisme excessif en jugeant qu'ils n'avaient pas procédé par la voie de la révision.
Il semble en réalité que les recourants, dans le cadre de leurs conclusions, aient voulu remettre en cause la résiliation du bail (prévue pour le 1er octobre 2012) comme si celle-ci leur avait été signifiée unilatéralement par l'intimée. Dans cette perspective, ils insistent sur le fait que la bailleresse, le 19 avril 2010, a déposé une nouvelle requête devant l'autorité de conciliation visant à constater qu'elle était autorisée à résilier le bail litigieux pour le 30 septembre 2010. Les recourants allèguent que cette requête n'a pas été précédée d'un formulaire officiel et qu'elle ne leur a pas été soumise.
L'existence de la requête du 19 avril 2010 ne permet toutefois pas de corroborer la thèse défendue par les recourants puisque, à l'audience de conciliation du 20 avril 2010, les parties ont conclu une convention prévoyant notamment la résiliation du bail pour le 1er octobre 2012. Il ne s'agit donc plus de savoir si la bailleresse a résilié unilatéralement le bail en transgressant la loi, mais, les parties ayant décidé de mettre fin au contrat de manière consensuelle, il fallait réfléchir sur la base de la convention de résiliation, telle que signée par les parties.
Le fait de reconnaître que l'écriture déposée le 19 juillet 2010 n'était pas une simple précision de la requête du 28 juillet 2009, mais bien une nouvelle requête n'est donc pas déterminant pour l'issue de la cause. Le moyen soulevé par les recourants à ce propos visant l'arbitraire dans l'établissement des faits (art. 9 Cst.) est donc sans consistance.
Le fait que la bailleresse ait initialement (le 28 juillet 2009) saisi la commission de conciliation afin de lui soumettre un conflit portant sur des nuisances sonores (et qu'il n'était a priori pas question de résiliation du bail) n'est pas déterminant. Rien n'empêche en effet les parties de se mettre d'accord, lors de la tentative de conciliation, sur des points sortant du cadre du litige (cf. <ref-law>; BOHNET/SANDOZ, in Droit du bail à loyer, Bohnet/Montini (éd.), 2010, no 4 ad <ref-law>).
C'est donc à bon droit que la cour cantonale observe que les conclusions prises par les recourants reviennent à remettre en cause la résiliation du bail pour le 1er octobre 2012, question ayant fait l'objet d'un accord passé devant l'autorité de conciliation. Cette convention vaut transaction judiciaire, celle-ci ayant la même portée qu'un jugement. Le litige porté devant la Cour de céans a donc déjà fait l'objet d'une décision entrée en force, si bien que c'est à juste titre que les juges précédents ont déclaré la demande irrecevable (art. 59 al. 2 let. e CPC).
Les recourants parlent encore d'un " procès précédemment mené à terme par les locataires et qui leur donnait la protection accrue de la loi " (art. 271a al. 1 let. e CO) et d'une " résiliation [relevant] du congé de représailles ". Les faits qui pourraient accréditer ces affirmations ne résultent toutefois pas de l'arrêt entrepris et, dès lors que les recourants n'ont pas invoqué de manière précise une exception prévue par l'<ref-law>, il n'y a pas lieu d'en tenir compte.
Enfin, dans le cadre de leur grief tiré de l'interdiction de l'arbitraire (cf. supra), les recourants évoquent la question " débattue en doctrine " de " la possibilité pour le locataire d'introduire une demande en prolongation de bail après une résiliation consensuelle du contrat ". Ils n'exposent toutefois pas succinctement en quoi l'arrêt attaqué violerait le droit à ce propos (cf. <ref-law>) et il n'y a donc pas lieu de traiter cette question (cf. supra consid. 1.2).
Vu ce qui précède, il n'est pas nécessaire d'examiner le deuxième pan de la motivation alternative présentée par la cour cantonale pour conclure à l'irrecevabilité de la demande des locataires.
3.
Il résulte des considérations qui précèdent que le recours doit être rejeté.
Les frais judiciaires sont mis à la charge des recourants qui succombent (art. 66 al. 1 et 5 LTF). Il n'y a en revanche pas lieu d'allouer des dépens à l'intimée, puisque celle-ci n'a pas recouru aux services d'un avocat et n'a pas justifié de dépenses particulières (cf. <ref-law>; <ref-ruling> consid. 5b p. 519 s.; arrêt 4A_452/2012 du 3 décembre 2012 consid. 3).

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis solidairement à la charge des recourants.
3.
Il n'est pas alloué de dépens.
4.
Le présent arrêt est communiqué aux parties et à la Chambre des recours du Tribunal cantonal du canton de Vaud.
Lausanne, le 27 septembre 2013
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Klett
Le Greffier: Piaget