Faits : A. Le 11 mai 2011, B._ et A._ (ci-après: les locataires) ont conclu un contrat de bail avec la société C._ SA (ci-après: la bailleresse). Le bail portait sur un appartement de 3 pièces situé au 4e étage de la rue... à Lausanne (comprenant un hall d'entrée, une cuisine agencée/équipée, deux chambres à coucher, un séjour et une salle de bains WC), d'une surface approximative de 65 m2, pour un loyer mensuel de 1'380 fr. - correspondant à celui payé par le précédent locataire -, plus 230 fr. d'acompte de chauffage, d'eau chaude et de frais accessoires. Il entrait en vigueur dès le 1er juillet 2011, était conclu pour une durée initiale de douze mois et se renouvelait d'année en année sauf avis de résiliation donné par l'une des parties au moins trois mois à l'avance. Il a été retenu que l'immeuble dans lequel se trouve le logement a été construit en 1920, que la Société Immobilière D._ SA en était propriétaire, que, par acte de transfert du 27 mars 2001, cette société a transféré l'immeuble à son actionnaire unique, la société C._ SA. Il a également été constaté que le prix de 1'475'000 fr. mentionné dans l'acte de transfert n'est pas le prix effectif convenu entre les parties, mais qu'il y figure uniquement parce que l'administration cantonale des impôts avait arrêté la valeur de transfert de l'immeuble à cette somme. Il a été établi que si la bailleresse n'a pas remis les documents comptables qui auraient permis de fixer le prix réel d'acquisition, c'est parce qu'elle ne disposait pas de ces pièces, sans qu'on puisse lui imputer cette carence. Les locataires ont pris possession de l'appartement le 1er juillet 2011. B. B.a. Le 11 juillet 2011, les locataires ont saisi la Commission de conciliation en matière de baux à loyer du district de Lausanne d'une requête tendant à remettre en cause le loyer initial et à obtenir le remboursement des loyers perçus en trop par la bailleresse. Les locataires, qui fondent leurs calculs sur le prix mentionné dans l'acte de transfert, sont d'avis que le rendement de la chose louée est excessif. La conciliation ayant échoué, la Commission de conciliation a formulé une proposition de jugement fixant le loyer mensuel à 1'282 fr. Les locataires y ayant fait opposition, la Commission de conciliation leur a délivré une autorisation de procéder. Par " demande en contestation de loyer initial " du 3 novembre 2011 adressée au Tribunal des baux et dirigée contre la bailleresse, les locataires, considérant le loyer comme abusif, ont conclu à ce qu'il soit " diminué d'un montant que justice dira ", à ce que le trop-perçu leur soit rétrocédé par la bailleresse et à ce que la garantie de loyer de 4'140 fr. soit réduite en conséquence. La bailleresse a conclu au rejet de la demande, à ce qu'il soit dit que l'avis de fixation de loyer (datant du 11 mai 2011) est pleinement valable et que le loyer soit fixé à 1'380 fr. par mois dès le 1er juillet 2011, plus les charges mensuelles de 230 fr. Lors de l'audience du Tribunal des baux du 29 mars 2012, les demandeurs ont précisé leurs conclusions en ce sens que le loyer initial du bail de leur appartement soit fixé à 500 fr. Par jugement du 29 mars 2012, le Tribunal des baux a fixé le loyer initial mensuel net des demandeurs à 600 fr., octroyé à ceux-ci la restitution des loyers payés en trop à hauteur de 7'020 fr. et réduit la garantie de loyer à 1'800 fr. B.b. Par arrêt du 13 novembre 2012, la Cour d'appel civile du Tribunal cantonal a admis l'appel interjeté par la bailleresse, annulé le jugement entrepris et renvoyé la cause aux premiers juges, au motif que ceux-ci avaient violé le droit d'être entendu de la bailleresse. Elle a également signalé que le montant articulé par les locataires paraissait déraisonnable et que le loyer de 600 fr. retenu par l'autorité inférieure ne correspondait pas, selon l'expérience générale, à un loyer usuel pour un appartement de 3 pièces au centre de Lausanne. B.c. Devant le Tribunal des baux, les locataires ont notamment conclu à ce que leur loyer initial net soit fixé à 519 fr. par mois dès le 1er juillet 2011. Par jugement du 6 février 2014, le Tribunal des baux a fixé le loyer initial mensuel net de l'appartement à 520 fr., condamné la bailleresse à restituer aux locataires la somme de 27'520 fr. et réduit le montant de la garantie de loyer à 1'560 fr. B.d. Par arrêt du 2 mars 2015, la Cour d'appel civile du Tribunal cantonal a admis l'appel formé par la bailleresse et, statuant à nouveau, rejeté la demande des locataires, fixé le loyer initial à 1'380 fr., plus les charges mensuelles de 230 fr. C. Les locataires exercent un recours en matière civile contre l'arrêt cantonal du 2 mars 2015. Ils concluent à sa réforme en ce sens que l'appel soit rejeté et que le jugement rendu le 6 février 2014 par le Tribunal des baux soit confirmé; subsidiairement, ils se bornent à demander l'annulation de ce jugement. Les recourants invoquent l'arbitraire (art. 9 Cst.) dans l'appréciation des preuves et l'établissement des faits; ils reprochent à l'autorité précédente de n'avoir pas tenu compte - pour établir le prix réel d'acquisition de l'immeuble - de la valeur retenue par l'autorité fiscale, et d'avoir nié l'existence d'un loyer abusif, alors même que la bailleresse a toujours refusé de produire les pièces comptables indispensables à l'établissement de la valeur d'acquisition. La bailleresse conclut à l'irrecevabilité du recours, subsidiairement, à son rejet.