Faits: A. Z._, dont la raison sociale est aujourd'hui Y._ SA, est propriétaire de trois immeubles locatifs sis à ***. Elle a entrepris des travaux de rénovation dans les trois bâtiments qui ont commencé le 1er octobre 2007 et se sont achevés le 8 septembre 2008. Le coût total de ces travaux a atteint la somme de 2'440'627 fr.70, alors que l'état locatif annuel avant les travaux s'élevait à 621'456 fr. Les travaux ont consisté à réhabiliter l'enveloppe extérieure des bâtiments (traitement des éléments en béton, crépissage des façades, nouvelles fenêtres, nouveaux stores à rouleaux et stores en toile), au rafraîchissement des cages d'escaliers, à la mise en conformité des ascenseurs, à l'amélioration des installations de chauffage et à la création de sas d'entrée avec systèmes d'interphones. A la suite de ces travaux, la compagnie d'assurances précitée a notifié à ses locataires, par formules officielles du 3 mars 2009, une hausse des loyers, à laquelle certains locataires, soit A._ et les titulaires de baux à loyers mentionnés dans le rubrum du présent arrêt plus deux autres locataires, se sont opposés. B. La procédure de conciliation n'ayant pas abouti, la bailleresse a saisi le Tribunal civil du district de Neuchâtel par demande du 3 juillet 2009. A._, les titulaires de baux sus-indiqués et deux autres locataires ont demandé, à titre reconventionnel, tout d'abord une diminution de loyer pour les inconvénients subis durant la période des travaux, puis une baisse de loyer fondée sur la réduction du taux hypothécaire. Par jugement du 30 décembre 2010, le tribunal a admis une baisse de loyer de 2,32%. S'agissant des travaux, il a considéré que seuls le changement des fenêtres, l'installation d'un chauffage thermique et certains travaux de chaufferie avaient généré une plus-value fixée à 280'400 fr., qui devait être répercutée sur les loyers; par ailleurs, il a calculé l'incidence de la baisse du taux hypothécaire, partiellement compensée par l'augmentation de l'indice officiel suisse des prix à la consommation. Saisi d'un recours formé par la bailleresse, la Cour de cassation civile du Tribunal cantonal de Neuchâtel, par arrêt du 13 janvier 2012, a réformé le jugement attaqué. Elle a admis, faisant application de l'art. 14 al. 1 OBLF, que le 50% du coût des travaux effectués devait être pris en considération pour être répercuté sur les loyers. Elle a en outre (comme le juge de première instance) tenu compte de la baisse des taux hypothécaires, partiellement compensée par la hausse du coût de la vie. La cour cantonale est ainsi parvenue à la conclusion qu'une augmentation de loyer de 7,58% était justifiée. Elle a, pour certains locataires, modifié la date à laquelle la modification du loyer devait prendre effet. C. A._ et les titulaires de baux à loyer indiqués dans le rubrum exercent un recours en matière civile au Tribunal fédéral. Invoquant une constatation arbitraire des faits et une violation des art. 269a let. b et 14 al. 1 OBLF, ils concluent à l'annulation de l'arrêt attaqué et à une décision conforme au jugement de première instance, sous réserve des dates d'entrée en vigueur des loyers fixés; subsidiairement, ils requièrent que la cause soit renvoyée à l'autorité précédente. Leur requête d'effet suspensif a été rejetée par ordonnance présidentielle du 12 mars 2012. L'intimée propose le rejet du recours.