Faits : A. Par contrat du 18 juin 2014, X._ et Y._ (ci-après: les locataires) ont pris à bail un logement dans un immeuble à Lausanne, appartenant à Z._ (ci-après: la bailleresse). Le bail a été conclu pour une durée limitée du 1er juillet 2014 au 30 septembre 2019, les locataires pouvant le résilier durant cette période pour la fin des mois de septembre ou mars, moyennant un préavis de quatre mois. Le loyer initial mensuel net a été fixé à 2'140 fr., l'acompte mensuel pour les frais de chauffage et d'eau chaude de 200 fr. et l'acompte mensuel pour les frais d'exploitation de 150 fr. étant payables en sus. B. B.a. Le 29 juillet 2014, les locataires ont ouvert action en fixation du loyer initial et en requalification du bail en contrat de durée indéterminée, subsidiairement en prolongation de quatre ans, devant la Commission de conciliation en matière de baux à loyers du district de Lausanne. La tentative de conciliation ayant échoué, la Commission de conciliation a rendu une proposition de jugement disposant notamment que le loyer initial net est fixé à 1'940 fr. (ch. I) et que le bail, du 1er juillet 2014 au 30 septembre 2019, se renouvelle aux mêmes conditions pour cinq ans sauf avis de résiliation de l'une ou l'autre des parties donné et reçu au moins trois mois à l'avance pour la prochaine échéance et ainsi de suite de cinq ans en cinq ans, les locataires ayant par ailleurs la faculté de le résilier une fois par année pour le 30 septembre moyennant un préavis de trois mois (ch. IV). La bailleresse ayant fait opposition à cette proposition de jugement, la Commission de conciliation lui a délivré une autorisation de procéder. B.b. La bailleresse a déposé sa demande devant le Tribunal des baux du canton de Vaud le 11 novembre 2014, concluant en substance au rejet de l'action en fixation du loyer et à la nullité, subsidiairement à l'annulation de la proposition de jugement en tant qu'elle requalifie le bail de durée déterminée en bail de durée indéterminée, pour cause d'incompétence de la Commission de conciliation sur ce second point. La procédure ayant été limitée d'abord à ce second point, le Tribunal des baux a, par jugement partiel du 5 mai 2015, admis la compétence de la Commission de conciliation pour trancher cet objet par proposition de jugement et a donc rejeté les conclusions prises par la bailleresse. Il a considéré que l'usage d'un contrat de durée déterminée pouvait constituer un artifice destiné uniquement à dissuader le locataire d'exercer ses droits, en particulier de contester le loyer initial, de sorte que ce mécanisme tombait sous le coup de l'art. 210 al. 1 let. b CPC. Statuant le 13 novembre 2015, le Tribunal cantonal vaudois a admis l'appel de la bailleresse, retenu l'incompétence de la Commission de conciliation pour trancher cet objet et, réformant le jugement attaqué, a annulé la requalification du contrat de bail de la proposition de jugement (ch. IV), annulé l'autorisation de procéder délivrée à la bailleresse sur ce point et invité la Commission de conciliation à la délivrer aux locataires. En substance, elle a considéré qu'il n'était pas possible de déduire automatiquement que le problème du contrat de durée déterminée entrerait dans la " protection contre un congé de représailles " soumis à la procédure simplifiée, mais qu'il ressortait à la procédure ordinaire. C. Contre cet arrêt, les locataires ont interjeté un recours en matière civile au Tribunal fédéral le 25 janvier 2016, concluant à son annulation et à la confirmation du jugement partiel de première instance, en d'autres termes à ce que soit admise la compétence de la Commission de conciliation pour trancher la question de la requalification du contrat de bail de durée déterminée en contrat de durée indéterminée par proposition de jugement. Subsidiairement, ils concluent à l'annulation de l'arrêt attaqué et au renvoi de la cause au Tribunal cantonal vaudois ou au Tribunal des baux. Les locataires recourants invoquent essentiellement la violation de l'art. 210 al. 1 let. b CPC. Ils font valoir que, alors même qu'il y a une crise du logement, la construction juridique d'un bail de durée déterminée permet au bailleur d'échapper soit aux dispositions impératives sur les loyers abusifs, soit aux dispositions impératives sur les congés et donc que l'action correspondante doit pouvoir faire l'objet d'une proposition de jugement de l'autorité de conciliation. La bailleresse intimée conclut au rejet du recours. Elle invoque que, puisque le bail est de durée déterminée, il n'y aura pas de résiliation, l'essentiel de son argumentation consistant à se prévaloir de la légalité d'un bail de durée déterminée et de l'absence d'abus de droit à cet égard.