Faits: A. Par contrat de bail du 23 septembre 1996, les bailleurs C._, D._, B._ et A._ ont cédé à la locataire Z._ l'usage d'un appartement de 3,5 pièces à Clarens pour un loyer mensuel de 1'230 fr., dont 80 fr. d'acompte pour les frais accessoires. D'une durée initiale d'un an à compter du 1er octobre 1996, le bail était ensuite renouvelable d'année en année, sauf avis de résiliation signifié quatre mois avant la prochaine échéance. Faisant suite à un premier congé dont on ignore les circonstances, la locataire a déposé le 23 juillet 2007 une requête en "annulabilité du congé/prolongation du bail" auprès de la Commission de conciliation en matière de baux à loyer du district de Vevey. Le 27 juillet 2007, les bailleurs ont adressé à la locataire une sommation. Par formule officielle du 25 septembre 2007, ils ont déclaré résilier le bail pour le 31 octobre 2007 en application de l'art. 257d CO (demeure du locataire dans le paiement d'un terme ou de frais accessoires échus). Saisie par la requête du 23 juillet 2007, la Commission de conciliation a tenu une audience le 16 octobre 2007. Les parties ont conclu la transaction judiciaire suivante, dont l'autorité a pris acte pour valoir jugement définitif et exécutoire: "- La locataire s'engage irrévocablement à quitter son logement au plus tard au 31 octobre 2007 libre de toute personne et de tout objet. - Elle s'engage à être présente à l'état des lieux de sortie. - La locataire reconnaît également devoir à la partie bailleresse les loyers jusqu'au 31 octobre 2007 soit un montant de Fr. 2'985.- sous réserve du décompte des frais de chauffage et d'eau chaude et de l'état des lieux de sortie." La locataire a restitué les locaux le 31 octobre 2007. Présente à l'état des lieux de sortie, elle a contresigné le procès-verbal établi à cette occasion; la rubrique "Remarques" comportait notamment l'annotation suivante: "la locataire se réserve le droit d'invoquer l'amortissement des installations mentionné [sic] dans ce p.v.". Le 5 décembre 2007, le conseil des bailleurs a adressé un courrier recommandé à la locataire, dans lequel il indiquait que selon les devis recueillis, le coût total de la remise en état rendue nécessaire par les très nombreuses déprédations dont la locataire portait la responsabilité s'élevait à 36'108 fr. 85. Il était en outre réclamé les montants de 2'985 fr. à titre de loyer jusqu'au 31 octobre 2007 et 2'460 fr. pour la vacance des locaux pendant les mois de novembre et décembre 2007. La locataire a contesté les prétentions des bailleurs. Des travaux de remise en état ont été effectués après le 31 octobre 2007 et avant la relocation de l'appartement, qui est intervenue par contrat du 22 décembre 2008 entré en vigueur le 15 janvier 2009. Le 10 juin 2009, sur réquisition des bailleurs, l'office des poursuites a fait notifier à la locataire un commandement de payer d'un montant de 35'471 fr. 45; la locataire a formé opposition. Le 27 novembre 2009, la mainlevée définitive de l'opposition a été prononcée à concurrence de 2'985 fr., intérêts en sus. B. Suite à l'échec d'une tentative de conciliation, les bailleurs ont saisi le Tribunal des baux par requête du 20 octobre 2009, dans laquelle ils concluaient au paiement de 35'471 fr. 45 à charge de la locataire, à la mainlevée définitive de l'opposition à concurrence de ce montant ainsi qu'à la libération de la garantie bancaire. Le Tribunal des baux a rejeté l'action par jugement du 12 février 2010. Les bailleurs ont réitéré leurs conclusions devant la Chambre des recours du Tribunal cantonal vaudois, qui leur a partiellement fait droit et réformé le jugement en ce sens que la garantie bancaire est libérée à concurrence de 2'985 fr., toute autre conclusion étant rejetée. C. Les bailleurs (ci-après: les recourants) interjettent un recours en matière civile auprès du Tribunal fédéral. Ils concluent à l'annulation de l'arrêt attaqué et au renvoi de la cause au Tribunal des baux pour nouveau jugement dans le sens des considérants. Un délai de réponse a été octroyé à la locataire (ci-après: l'intimée), qui n'a déposé aucune écriture. L'autorité précédente se réfère à son arrêt.