Faits:
A. Par contrat de bail du 23 septembre 1996, les bailleurs C._, D._, B._ et A._ ont cédé à la locataire Z._ l'usage d'un appartement de 3,5 pièces à Clarens pour un loyer mensuel de 1'230 fr., dont 80 fr. d'acompte pour les frais accessoires. D'une durée initiale d'un an à compter du 1er octobre 1996, le bail était ensuite renouvelable d'année en année, sauf avis de résiliation signifié quatre mois avant la prochaine échéance.
Faisant suite à un premier congé dont on ignore les circonstances, la locataire a déposé le 23 juillet 2007 une requête en "annulabilité du congé/prolongation du bail" auprès de la Commission de conciliation en matière de baux à loyer du district de Vevey.
Le 27 juillet 2007, les bailleurs ont adressé à la locataire une sommation. Par formule officielle du 25 septembre 2007, ils ont déclaré résilier le bail pour le 31 octobre 2007 en application de l'<ref-law> (demeure du locataire dans le paiement d'un terme ou de frais accessoires échus).
Saisie par la requête du 23 juillet 2007, la Commission de conciliation a tenu une audience le 16 octobre 2007. Les parties ont conclu la transaction judiciaire suivante, dont l'autorité a pris acte pour valoir jugement définitif et exécutoire:
"- La locataire s'engage irrévocablement à quitter son logement au plus tard au 31 octobre 2007 libre de toute personne et de tout objet.
- Elle s'engage à être présente à l'état des lieux de sortie.
- La locataire reconnaît également devoir à la partie bailleresse les loyers jusqu'au 31 octobre 2007 soit un montant de Fr. 2'985.- sous réserve du décompte des frais de chauffage et d'eau chaude et de l'état des lieux de sortie."
La locataire a restitué les locaux le 31 octobre 2007. Présente à l'état des lieux de sortie, elle a contresigné le procès-verbal établi à cette occasion; la rubrique "Remarques" comportait notamment l'annotation suivante: "la locataire se réserve le droit d'invoquer l'amortissement des installations mentionné [sic] dans ce p.v.".
Le 5 décembre 2007, le conseil des bailleurs a adressé un courrier recommandé à la locataire, dans lequel il indiquait que selon les devis recueillis, le coût total de la remise en état rendue nécessaire par les très nombreuses déprédations dont la locataire portait la responsabilité s'élevait à 36'108 fr. 85. Il était en outre réclamé les montants de 2'985 fr. à titre de loyer jusqu'au 31 octobre 2007 et 2'460 fr. pour la vacance des locaux pendant les mois de novembre et décembre 2007.
La locataire a contesté les prétentions des bailleurs. Des travaux de remise en état ont été effectués après le 31 octobre 2007 et avant la relocation de l'appartement, qui est intervenue par contrat du 22 décembre 2008 entré en vigueur le 15 janvier 2009.
Le 10 juin 2009, sur réquisition des bailleurs, l'office des poursuites a fait notifier à la locataire un commandement de payer d'un montant de 35'471 fr. 45; la locataire a formé opposition. Le 27 novembre 2009, la mainlevée définitive de l'opposition a été prononcée à concurrence de 2'985 fr., intérêts en sus.
B. Suite à l'échec d'une tentative de conciliation, les bailleurs ont saisi le Tribunal des baux par requête du 20 octobre 2009, dans laquelle ils concluaient au paiement de 35'471 fr. 45 à charge de la locataire, à la mainlevée définitive de l'opposition à concurrence de ce montant ainsi qu'à la libération de la garantie bancaire.
Le Tribunal des baux a rejeté l'action par jugement du 12 février 2010.
Les bailleurs ont réitéré leurs conclusions devant la Chambre des recours du Tribunal cantonal vaudois, qui leur a partiellement fait droit et réformé le jugement en ce sens que la garantie bancaire est libérée à concurrence de 2'985 fr., toute autre conclusion étant rejetée.
C. Les bailleurs (ci-après: les recourants) interjettent un recours en matière civile auprès du Tribunal fédéral. Ils concluent à l'annulation de l'arrêt attaqué et au renvoi de la cause au Tribunal des baux pour nouveau jugement dans le sens des considérants.
Un délai de réponse a été octroyé à la locataire (ci-après: l'intimée), qui n'a déposé aucune écriture. L'autorité précédente se réfère à son arrêt.

Considérant en droit:
1. 1.1 L'<ref-law> impose au recourant d'indiquer des conclusions dans son mémoire. Le recours en matière civile étant une voie de réforme (cf. <ref-law>), le recourant ne peut en principe pas se borner à demander l'annulation de la décision attaquée et le renvoi de la cause à l'instance cantonale; il doit, sous peine d'irrecevabilité, prendre des conclusions sur le fond du litige. Ces conclusions doivent être déterminées avec suffisamment de précision; celles qui portent sur une somme d'argent doivent être chiffrées (<ref-ruling> consid. 2). Le simple renvoi de la cause peut exceptionnellement être demandé s'il apparaît que le Tribunal fédéral, en cas d'admission du recours, ne serait pas en mesure de statuer lui-même sur le fond, en particulier parce que l'arrêt attaqué ne contient pas les constatations de fait suffisantes pour trancher le litige (<ref-ruling> consid. 3.1; sous l'ancienne OJ, cf. notamment <ref-ruling> consid. 1b; <ref-ruling> consid. 1). Le recourant ne saurait se dispenser de prendre des conclusions au fond pour le seul motif qu'il soulève le grief d'arbitraire dans l'établissement des faits et que l'admission d'un tel moyen est généralement propre à entraîner un renvoi; la simple éventualité d'un renvoi ne suffit pas (arrêt 4A_402/2011 du 19 décembre 2011 consid. 1.3).
Il appartient au recourant de démontrer que le Tribunal fédéral ne serait pas en mesure de statuer lorsque cela ne ressort pas sans autre de la décision attaquée (<ref-ruling> consid. 3.2).
1.2 En l'occurrence, les recourants ont exclusivement pris des conclusions cassatoires et en renvoi de la cause au Tribunal des baux.
Leur premier grief porte sur le refus prétendument injustifié d'entendre des témoins; l'on peut admettre sans autre qu'un tel moyen appelle un renvoi. Dans un deuxième grief, les recourants plaident avoir donné un avis des défauts conforme à la loi et demandent à être indemnisés pour les frais de remise en état; statuer sur une telle prétention implique en particulier de connaître les travaux effectués après le départ de la locataire, notamment leur nature et leur montant. Dans un dernier grief, les recourants requièrent une indemnité pour la vacance des locaux en arguant du fait que l'intimée aurait reconnu le bien-fondé du congé pour défaut de paiement; devrait ainsi être établie l'impossibilité - due aux travaux ou à un autre motif - de relouer les locaux. Or, tous ces éléments ne ressortent pas de la décision attaquée. Prima facie, il semble que le renvoi devrait être ordonné en cas d'admission de l'un ou l'autre des deux derniers griefs.
Cela étant, l'<ref-law> permet dans une certaine mesure au Tribunal fédéral de compléter l'état de fait. Le recourant doit compter avec le pouvoir d'appréciation que confèrent d'une part cette disposition, d'autre part l'<ref-law>. En cas de doute, il doit prendre des conclusions en réforme, exigence à laquelle il est facile de satisfaire lorsqu'il s'agit d'obtenir le paiement d'une somme d'argent. Au stade de la recevabilité, l'on ne saurait attendre du Tribunal fédéral qu'il examine en détail les griefs pour pronostiquer s'il opterait pour le renvoi ou la réforme en cas d'admission (cf. arrêt 4A_402/2011 précité, consid. 1.3). En l'occurrence, la question de la recevabilité des conclusions peut rester indécise dans la mesure où d'autres motifs conduisent de toute façon au rejet du recours.
2. 2.1 Se fondant sur l'art. 9 Cst., les recourants reprochent à la Chambre des recours d'avoir apprécié les preuves de façon arbitraire en refusant d'ordonner l'audition de témoins déjà requise en première instance.
2.2 A teneur de l'<ref-law>, le Tribunal fédéral n'examine la violation de droits fondamentaux que si le grief a été invoqué et motivé par le recourant. Cette disposition implique de désigner précisément le droit ou principe constitutionnel violé et d'exposer de manière claire et circonstanciée en quoi consiste sa violation (<ref-ruling> consid. 1.2; <ref-ruling> consid. 2.2; sur la notion d'arbitraire dans l'appréciation des preuves, cf. par ex. <ref-ruling> consid. 4.2).
2.3 Les recourants n'expliquent pas en quoi le refus d'ordonner l'instruction complémentaire requise serait arbitraire; ils reprochent à la Chambre des recours et au Tribunal des baux de ne pas avoir motivé leur décision et paraissent en déduire la preuve même de l'existence d'un arbitraire.
De deux choses l'une. Soit les recourants estimaient que la motivation était insuffisante pour juger de l'opportunité d'exercer leur droit de recours, et il leur incombait de soulever expressément le grief de violation du droit d'être entendu (art. 29 al. 2 Cst.). Soit ils entendaient critiquer l'appréciation portée par les autorités, et ils devaient chercher à démontrer en quoi elle était insoutenable. Tel que formulé, le grief est irrecevable.
3. 3.1 Les recourants reprochent à l'autorité précédente d'avoir enfreint l'<ref-law> (sic) en refusant de considérer l'état des lieux du 31 octobre 2007 comme un avis de défauts conforme à l'<ref-law>.
3.2 A la fin du bail, le locataire doit restituer la chose dans l'état qui résulte d'un usage conforme au contrat (<ref-law>). Lors de la restitution, le bailleur doit vérifier l'état de la chose et aviser immédiatement le locataire des défauts dont celui-ci répond (<ref-law>). Si le bailleur néglige de le faire, le locataire est déchargé de toute responsabilité, à moins qu'il ne s'agisse de défauts qui ne pouvaient pas être découverts à l'aide des vérifications usuelles (<ref-law>).
L'avis des défauts doit être précis et détaillé; des considérations générales telles que "taches dans la cuisine" sont insuffisantes. Le bailleur doit clairement faire connaître au locataire la liste des défauts dont il le tient pour responsable. Si le procès-verbal de sortie des locaux répond à ces exigences, il peut valoir avis des défauts au sens de l'<ref-law>. Il doit toutefois permettre de discerner quels défauts, parmi tous ceux recensés, sont imputables au locataire (BURKHALTER/MARTINEZ-FAVRE, Le droit suisse du bail à loyer, Commentaire SVIT, 2011, n° 35b ad art. 267-267a CO; DAVID LACHAT, Le bail à loyer, 2008, p. 806 n° 4.3; PETER HIGI, Zürcher Kommentar, 4e éd. 1995, n°s 26-30 ad <ref-law>).
3.3 L'autorité précédente a fait les considérations suivantes: l'état des lieux de sortie ne permettait pas de déterminer la liste des défauts dont l'intimée était tenue pour responsable. Le procès-verbal mélangeait des mentions sur la vétusté de certaines installations avec des constats de dégâts apparemment reprochés à l'intimée, tels que porte et poignées cassées, saleté, taches, sans qu'il soit possible de comprendre quels étaient en définitive les dégâts retenus et signifiés à la locataire pour valoir avis de défaut. La réserve du droit d'invoquer l'amortissement des installations n'impliquait pas que la locataire aurait compris l'étendue exacte des défauts reprochés. En tous les cas, l'état des lieux ne permettait pas d'admettre que des travaux de réfection ayant l'ampleur de ceux dont le remboursement était demandé correspondraient aux défauts signifiés lors de la restitution des locaux.
3.4 La détermination du contenu de l'état des lieux de sortie est une question de fait. En revanche, savoir si le contenu d'un tel document est suffisamment précis pour valoir avis de défauts au sens de l'<ref-law> est une question de droit.
L'arrêt ne reproduit pas le contenu complet du procès-verbal de sortie. Les recourants relèvent que le document recense un grand nombre de dégâts par nature imputables à l'intimée, tels que portes et poignées cassées, saleté des installations et présence de taches. Ces éléments n'ont pas échappé à l'autorité de recours, qui a toutefois considéré, à l'instar de la doctrine et à juste titre, qu'il s'agissait de reproches trop généraux pour satisfaire aux exigences d'un avis de défauts. Pour le surplus, les recourants, qui ne critiquent pas l'état de fait de l'arrêt attaqué, ne cherchent pas à démontrer que le procès-verbal permettrait d'opérer une distinction entre les dégâts précis reprochés à la locataire et les déprédations liées à l'usure du temps. Quant à la réserve du droit d'invoquer l'amortissement des installations, que la cour cantonale paraît avoir interprétée selon le principe de la confiance, elle visait manifestement à réduire une éventuelle responsabilité de l'intimée; l'on pouvait objectivement y voir une preuve que l'intimée elle-même identifiait la volonté des recourants de mettre à sa charge des défauts constatés lors de l'état des lieux. La reconnaissance d'une telle volonté ne pouvait toutefois suppléer au fait que le procès-verbal ne contenait pas une liste suffisamment précise et identifiable des défauts prétendument imputables à la locataire.
Pour le surplus, les recourants ne plaident à juste titre pas que le courrier ultérieur du 5 décembre 2007 aurait dû valoir comme avis de défauts donné en temps utile (à ce sujet, cf., avec des nuances quant au délai en principe admissible, Commentaire SVIT, op. cit., n° 35 ad art. 267-267a CO; LACHAT, op. cit., p. 805 n° 4.1; HIGI, op. cit., n° 33 ad <ref-law>). Il s'ensuit que le moyen tiré de l'<ref-law> ne peut qu'être rejeté.
4. 4.1 Les recourants se plaignent enfin d'une violation de l'<ref-law> en relation avec l'<ref-law>. Ils reprochent en substance à la cour cantonale d'avoir interprété la transaction du 16 octobre 2007 comme une modification consensuelle de l'échéance contractuelle alors qu'en réalité, l'intimée aurait implicitement reconnu le bien-fondé du congé extraordinaire signifié par les bailleurs pour défaut de paiement. Fondée sur cette interprétation, l'autorité précédente aurait dû statuer sur le dommage causé par l'intimée après avoir provoqué par sa faute un congé anticipé.
4.2 En cas de retard du locataire dans le paiement d'un terme ou de frais accessoires échus, le bailleur peut lui impartir un délai de paiement de 30 jours au moins en lui signifiant qu'à défaut d'exécution, il résiliera le bail. Si le locataire n'obtempère pas, le bailleur peut résilier le contrat moyennant un délai de congé de 30 jours pour la fin d'un mois (<ref-law>). Lorsque le locataire a donné lieu par sa faute à la rupture prématurée du bail, le bailleur peut prétendre à une indemnité du fait qu'il n'a pas pu percevoir jusqu'à l'échéance ordinaire les loyers fixés contractuellement (<ref-ruling> consid. 5).
4.3 En l'occurrence, et bien que les recourants n'en disent mot, leur grief porte essentiellement sur l'interprétation de la transaction et l'application du principe de la confiance par la cour cantonale (à ce sujet, cf. par ex. <ref-ruling> consid. 4.2).
4.4 Dans le cadre de la transaction passée devant la Commission de conciliation le 16 octobre 2007, l'intimée a déclaré s'engager irrévocablement à quitter son logement au plus tard le 31 octobre 2007, respectivement à être présente à l'état des lieux de sortie; elle a reconnu devoir 2'985 fr. à titre de loyers jusqu'au 31 octobre 2007, sous réserve de l'état des lieux de sortie et du décompte des frais accessoires.
L'audience de conciliation était liée sur le plan procédural à une requête d'annulation de congé et prolongation de bail déposée par l'intimée le 23 juillet 2007. On ignore tout du congé en question. En revanche, il est constant que les recourants ont ensuite signifié le 25 septembre 2007 un congé extraordinaire pour le 31 octobre 2007 en raison d'un défaut de paiement (<ref-law>), après avoir adressé une sommation le 27 juillet 2007. On ignore également si les conditions de l'<ref-law> étaient réalisées. Pour le premier comme pour le second congé, l'échéance ordinaire aurait été le 30 septembre 2008.
Fondée sur ces constatations, la cour cantonale a considéré que la convention litigieuse contenait des concessions réciproques. Les bailleurs avaient obtenu une résiliation anticipée onze mois avant l'échéance ordinaire, alors que la locataire concluait à l'annulation du congé ou à la prolongation de bail, et s'étaient ainsi assuré que le nouveau congé signifié le 25 septembre 2007 ne serait pas contesté. Quant à la locataire, elle avait reconnu devoir le loyer jusqu'au 31 octobre 2007 et admis une réserve des bailleurs relative aux frais accessoires et à l'état des lieux, à l'exclusion de toute réserve quant à une éventuelle perte locative consécutive à son départ; les bailleurs avaient renoncé à toute prétention de ce chef. Il n'était pas établi que la résiliation du bail pour un terme anticipé était due à une faute de l'intimée.
4.5 On ne saurait admettre trop facilement une renonciation tacite à un droit. Cela étant, il n'est pas établi que les conditions d'un congé anticipé pour défaut de paiement au sens de l'<ref-law> étaient réalisées. Dans ces circonstances, il n'était pas contraire au principe de la confiance de considérer que les parties avaient cherché à mettre un terme définitif au litige en faisant des concessions réciproques, ce qui est en principe l'essence d'une transaction judiciaire (cf. <ref-ruling> consid. 1.2 p. 51), et non pas à s'épargner les frais d'un procès que l'intimée aurait été vouée à perdre. Dans un tel contexte, l'on pouvait de bonne foi considérer que les recourants, assistés d'un avocat selon les constatations du procès-verbal de l'audience de conciliation, avaient renoncé à réserver leur droit à une éventuelle indemnité pour la vacance de locaux, alors que l'intimée renonçait à se prévaloir en justice d'une échéance contractuelle ordinaire nettement plus lointaine sans qu'il soit établi qu'elle se trouvât en défaut de paiement. Contrairement à ce que plaident les recourants, la lettre même de la transaction ne permettait pas de retenir une reconnaissance du bien-fondé du congé anticipé, le seul fait de "s'engager irrévocablement" à quitter les locaux à l'échéance anticipée n'autorisant pas une telle conclusion. Il n'était pas contraire au principe de la confiance de tenir compte du contexte dans lequel s'inscrivait la transaction et du but poursuivi, déterminé en fonction des éléments de fait dont le juge disposait. En bref, le principe de la confiance autorisait à retenir une modification contractuelle de l'échéance du contrat, respectivement une renonciation à toute indemnisation découlant de la résiliation anticipée.
Il s'ensuit que le grief doit être rejeté.
5. En définitive, le recours doit être rejeté dans la mesure où il est recevable.
En conséquence, les recourants, solidairement entre eux, supporteront les frais judiciaires (art. 66 al. 1 et 5 LTF). Aucune indemnité de dépens n'est due à l'intimée, qui n'a pas procédé.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Un émolument judiciaire de 2'000 fr. est mis à la charge des recourants, solidairement entre eux.
3. Le présent arrêt est communiqué aux parties et à la Chambre des recours du Tribunal cantonal du canton de Vaud.
Lausanne, le 11 janvier 2012
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Klett
La Greffière: Monti