Faits:
A. Z._, dont la raison sociale est aujourd'hui Y._ SA, est propriétaire de trois immeubles locatifs sis à ***. Elle a entrepris des travaux de rénovation dans les trois bâtiments qui ont commencé le 1er octobre 2007 et se sont achevés le 8 septembre 2008. Le coût total de ces travaux a atteint la somme de 2'440'627 fr.70, alors que l'état locatif annuel avant les travaux s'élevait à 621'456 fr. Les travaux ont consisté à réhabiliter l'enveloppe extérieure des bâtiments (traitement des éléments en béton, crépissage des façades, nouvelles fenêtres, nouveaux stores à rouleaux et stores en toile), au rafraîchissement des cages d'escaliers, à la mise en conformité des ascenseurs, à l'amélioration des installations de chauffage et à la création de sas d'entrée avec systèmes d'interphones.
A la suite de ces travaux, la compagnie d'assurances précitée a notifié à ses locataires, par formules officielles du 3 mars 2009, une hausse des loyers, à laquelle certains locataires, soit A._ et les titulaires de baux à loyers mentionnés dans le rubrum du présent arrêt plus deux autres locataires, se sont opposés.
B. La procédure de conciliation n'ayant pas abouti, la bailleresse a saisi le Tribunal civil du district de Neuchâtel par demande du 3 juillet 2009. A._, les titulaires de baux sus-indiqués et deux autres locataires ont demandé, à titre reconventionnel, tout d'abord une diminution de loyer pour les inconvénients subis durant la période des travaux, puis une baisse de loyer fondée sur la réduction du taux hypothécaire.
Par jugement du 30 décembre 2010, le tribunal a admis une baisse de loyer de 2,32%. S'agissant des travaux, il a considéré que seuls le changement des fenêtres, l'installation d'un chauffage thermique et certains travaux de chaufferie avaient généré une plus-value fixée à 280'400 fr., qui devait être répercutée sur les loyers; par ailleurs, il a calculé l'incidence de la baisse du taux hypothécaire, partiellement compensée par l'augmentation de l'indice officiel suisse des prix à la consommation.
Saisi d'un recours formé par la bailleresse, la Cour de cassation civile du Tribunal cantonal de Neuchâtel, par arrêt du 13 janvier 2012, a réformé le jugement attaqué. Elle a admis, faisant application de l'<ref-law>, que le 50% du coût des travaux effectués devait être pris en considération pour être répercuté sur les loyers. Elle a en outre (comme le juge de première instance) tenu compte de la baisse des taux hypothécaires, partiellement compensée par la hausse du coût de la vie. La cour cantonale est ainsi parvenue à la conclusion qu'une augmentation de loyer de 7,58% était justifiée. Elle a, pour certains locataires, modifié la date à laquelle la modification du loyer devait prendre effet.
C. A._ et les titulaires de baux à loyer indiqués dans le rubrum exercent un recours en matière civile au Tribunal fédéral. Invoquant une constatation arbitraire des faits et une violation des art. 269a let. b et 14 al. 1 OBLF, ils concluent à l'annulation de l'arrêt attaqué et à une décision conforme au jugement de première instance, sous réserve des dates d'entrée en vigueur des loyers fixés; subsidiairement, ils requièrent que la cause soit renvoyée à l'autorité précédente. Leur requête d'effet suspensif a été rejetée par ordonnance présidentielle du 12 mars 2012.
L'intimée propose le rejet du recours.

Considérant en droit:
1. 1.1 Interjeté par les parties qui ont succombé dans leurs conclusions relatives au montant de leur loyer et qui ont donc qualité pour recourir (<ref-law>), dirigé contre un arrêt final (<ref-law>) rendu en matière civile (<ref-law>) par un tribunal supérieur statuant sur recours en dernière instance (<ref-law>) dans une affaire pécuniaire dont la valeur litigieuse atteint le seuil de 15'000 fr. requis en droit du bail à loyer (art. 51 al. 1 let. a et al. 4, art. 52, 74 al. 1 let. a LTF), le recours est en principe recevable, puisqu'il a été déposé dans le délai (<ref-law>) et la forme (<ref-law>) prévus par la loi.
1.2 Le recours peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF.
Le Tribunal fédéral applique d'office le droit dont il peut contrôler le respect (<ref-law>). Il n'est pas limité par les arguments soulevés dans le recours, ni par la motivation retenue par l'autorité précédente; il ainsi peut admettre un recours pour un autre motif que ceux qui ont été articulés ou, à l'inverse, rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (<ref-ruling> consid. 1.4 p. 317 s.; <ref-ruling> consid. 1.4 et l'arrêt cité). Compte tenu de l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (<ref-law>), le Tribunal fédéral n'examine en principe que les griefs invoqués; il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui (<ref-ruling> consid. 1.3 p. 584; <ref-ruling> consid. 2.2.1 p. 389; <ref-ruling> consid. 1.4 p. 400). Par exception à la règle selon laquelle il applique le droit d'office, le Tribunal fédéral ne peut entrer en matière sur la violation d'un droit constitutionnel ou sur une question relevant du droit cantonal ou intercantonal que si le grief a été invoqué et motivé de manière précise par la partie recourante (<ref-law>; ATF <ref-ruling> consid. 1.4 in fine).
1.3 Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si les faits ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire telle que l'entend l'art. 9 Cst. (<ref-ruling> consid. 2.4 p. 5; <ref-ruling> consid. 5.1 p. 356) - ou en violation du droit au sens de l'<ref-law> (<ref-law>).
La partie recourante qui entend s'écarter des constatations de l'autorité précédente doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'<ref-law> seraient réalisées, faute de quoi il n'est pas possible de tenir compte d'un état de fait qui diverge de celui contenu dans la décision attaquée (ATF <ref-ruling> consid. 5.1 p. 356; <ref-ruling> consid. 1.2 p. 187). Si la partie recourante entend se plaindre d'arbitraire dans l'appréciation des preuves et l'établissement des faits, elle doit motiver son grief conformément aux exigences de l'<ref-law> (<ref-ruling> consid. 4.1.2 p. 62). Une rectification de l'état de fait ne peut être demandée que si elle est de nature à influer sur le sort de la cause (<ref-law>). Aucun fait nouveau, ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (<ref-law>).
En l'espèce, les recourants présentent leur propre version des faits, mais sans se prévaloir avec précision de l'une des exceptions prévues par l'<ref-law>, de sorte qu'il n'y a pas lieu d'en tenir compte. Ils invoquent aussi l'arbitraire dans l'établissement des faits, mais ils ne montrent pas en quoi celui-ci serait réalisé; ils discutent en réalité l'appréciation juridique des faits retenus, ce qui n'est pas la même chose. Dans la mesure où ils ajoutent des faits qui ne sont pas contenus dans la décision attaquée, il ne convient pas de les prendre en considération, puisqu'ils ne démontrent pas en quoi l'état de fait dressé par la cour cantonale devrait être qualifié d'insoutenable.
1.4 Le Tribunal fédéral ne peut aller au-delà des conclusions des parties (<ref-law>). Toute conclusion nouvelle est irrecevable (<ref-law>).
2. 2.1 Il ressort des constatations cantonales - qui lient le Tribunal fédéral (<ref-law>) - que l'intimée a cédé par contrats l'usage de divers appartements aux recourants, lesquels se sont engagés en contrepartie à lui payer un loyer. Il n'est pas douteux que les contrats conclus doivent être qualifiés de baux à loyer au sens de l'<ref-law>.
L'intimée, en tant que bailleresse, a manifesté la volonté de majorer le loyer pour le prochain terme de résiliation (<ref-law>). Les locataires recourants ont contesté l'augmentation du loyer (<ref-law>), ce qui constitue l'objet du litige. A titre reconventionnel, les locataires ont demandé une diminution du loyer (<ref-law>).
Il faut donc déterminer quel est le loyer admissible à la lumière des art. 269 et 269a CO et des dispositions de l'OBLF qui s'y rapportent.
Il sied préalablement d'observer que la question de la réduction du loyer pour les nuisances subies durant les travaux (<ref-law>) n'est plus litigieuse devant le Tribunal fédéral.
De la même manière, il ne s'élève plus aucune contestation sur la prise en compte de la baisse du taux hypothécaire (<ref-law>), partiellement compensée par le renchérissement (<ref-law>), de sorte qu'il n'y a pas lieu de revenir sur ces points, qui ne sont plus discutés devant le Tribunal fédéral.
Les dates auxquelles les modifications de loyer doivent prendre effet ne donnent plus lieu à débat, de sorte qu'il n'y a pas de raison d'y revenir.
Le litige ne porte plus que sur la répercussion sur les loyers du coût des travaux effectués.
2.2 Selon l'<ref-law>, les loyers ne sont en règle générale pas abusifs s'ils sont justifiés par des hausses de coûts ou par des prestations supplémentaires du bailleur. D'après l'<ref-law>, sont réputés prestations supplémentaires au sens de l'<ref-law> les investissements qui aboutissent à des améliorations créant des plus-values, l'agrandissement de la chose louée ainsi que les prestations accessoires supplémentaires; en règle générale, les frais causés par d'importantes réparations sont considérés, à raison de 50 à 70%, comme des investissements créant des plus-values. Les hausses de loyers fondées sur des investissements créant des plus-values sont réputées non abusives lorsqu'elles ne servent qu'à couvrir équitablement les frais d'intérêts, d'amortissement et d'entretien résultant de l'investissement (<ref-law>).
2.3 La cour cantonale a estimé que les travaux effectués par l'intimée pouvaient être qualifiés d'importantes réparations au sens de l'<ref-law>.
Les importantes réparations au sens de l'<ref-law> servent, d'une part, à l'entretien de l'immeuble et, d'autre part, à lui conférer une plus-value. Elles se distinguent des réparations habituelles et de l'entretien courant d'un point de vue essentiellement quantitatif; elles se caractérisent par le fait qu'elles touchent de nombreuses parties de l'immeuble et qu'elles génèrent un coût considérable par comparaison avec l'état locatif de l'immeuble (arrêt 4A_495/2010 du 20 janvier 2011 consid. 6.1 et les références citées).
En l'espèce, il résulte des constatations cantonales déterminantes (<ref-law>) que les travaux ont touché plusieurs parties importantes du bâtiment (l'enveloppe extérieure, les ascenseurs, les cages d'escaliers, les installations de chauffage, les entrées). En outre, leur coût représente un multiple de l'état locatif (2'440'627 fr.70 pour un état locatif de 621'456 fr.). En admettant dans une pareille situation que l'on se trouve en présence d'importantes réparations au sens de l'<ref-law>, la cour cantonale n'a pas violé le droit fédéral.
2.4 En règle générale, les frais causés par d'importantes réparations sont considérés, à raison de 50 à 70%, comme des investissements créant des plus-values (<ref-law>).
Il faut ici rappeler le but de cette règle.
Lorsque le bailleur entreprend d'importantes réparations, la distinction est souvent difficile à opérer entre travaux d'entretien courant couverts par le loyer actuel et travaux créant des plus-values justifiant une hausse de loyer. En règle générale, lorsque de gros travaux sont entrepris dans l'immeuble, ils constituent à la fois des améliorations créant des plus-values et des mesures d'entretien. La règle de l'<ref-law> a un but de simplification pour éviter d'avoir à déterminer la part exacte des travaux à plus-value; la règle vise aussi à encourager ou du moins à ne pas décourager le bailleur d'entreprendre des travaux plus importants que nécessaires, ce dont les locataires bénéficient également (<ref-ruling> consid. 3a p. 417; plus récemment: arrêts 4A_495/2010 du 20 janvier 2011 consid. 4.1 et 4A_470/2009 du 18 février 2010 consid. 2.3).
Que les frais causés par d'importantes réparations constituent, à raison de 50 à 70%, des investissements à plus-value n'est qu'une présomption; l'<ref-law> indique expressément que cette fourchette (50 à 70%) ne vaut qu'en règle générale. Il s'agit donc d'une présomption qui peut être renversée (<ref-ruling> consid. 3a p. 417, ainsi que les arrêts non publiés mentionnés ci-dessus). Le bailleur peut donc établir que la part des frais donnant lieu à plus-value est supérieure à 70%, tandis que le locataire peut établir que cette part est inférieure à 50%.
Il n'en demeure pas moins que le but de la règle contenue à l'<ref-law>, qui est à la fois de simplifier l'établissement des faits et d'encourager les travaux de rénovation, ne doit pas être perdu de vue. Il ne saurait être question d'ignorer purement et simplement la présomption et de s'efforcer à tout prix de parvenir à une détermination concrète de la part à plus-value. La jurisprudence a déjà précisé que la détermination concrète doit intervenir lorsqu'il est aisé de distinguer la part qui donne lieu à plus-value (<ref-ruling> consid. 3a in fine p. 418; arrêt 4C.149/1997 du 27 janvier 1998 consid. 2a).
2.5 En l'espèce, les recourants se sont efforcés de distinguer, selon leur appréciation, les frais correspondant à des travaux d'entretien ou d'entretien différé et ceux correspondant à des améliorations à plus-value. Les constatations cantonales - qui lient le Tribunal fédéral (<ref-law>) - ne permettent pas d'affirmer que l'entretien de l'immeuble a été durablement négligé et qu'une part importante des travaux ne constituerait que de l'entretien différé. L'installation d'ascenseurs dotés d'une double porte apporte évidemment une sécurité supplémentaire dont les locataires bénéficient, laquelle procure à l'immeuble une plus-value. La création de sas d'entrée avec systèmes d'interphones procure également une protection supplémentaire par rapport à ce qui existait précédemment. Le Tribunal de première instance - dont les recourants approuvent le jugement - avait admis que les travaux concernant les installations de chauffage apportaient une plus-value. La fourchette (entre 50 et 70%) fixée à l'<ref-law> a aussi pour but d'encourager les rénovations. Or une réhabilitation de l'enveloppe extérieure des bâtiments avec traitement des éléments en béton, crépissage des façades, pose de nouvelles fenêtres et de nouveaux stores, ainsi que le rafraîchissement des cages d'escaliers se présentent bien comme une forme de rénovation dont les locataires tirent également profit. Sans entrer dans le détail, il apparaît que les recourants ne sont pas parvenus à démontrer qu'il était aisé de distinguer la part des coûts correspondant à des travaux d'entretien de celle qui a généré des plus-values. Dès lors que cette distinction est manifestement difficile à effectuer en l'espèce, la cour cantonale n'a pas violé le droit fédéral en appliquant la règle simplificatrice de l'<ref-law>.
2.6 Dire, entre 50 et 70%, quel est le pourcentage qu'il faut choisir est une question d'appréciation que le Tribunal fédéral ne peut revoir qu'avec retenue (arrêt 4A_495/2010 du 20 janvier 2011 consid. 9.1; arrêt 4A_470/2009 du 18 février 2010 consid. 4). De toute manière, le taux de 50% retenu par la cour cantonale constitue le minimum fixé par la présomption; les locataires n'ont donc aucun intérêt à critiquer le choix de ce pourcentage à l'intérieur de la fourchette de l'<ref-law>, de sorte qu'il n'y a pas lieu de réexaminer ce point, faute d'intérêt au recours (cf. <ref-ruling> consid. 1.3 p. 105).
La manière dont la part à plus-value a été répercutée sur les loyers (sur cette question: arrêt 4A_470/2009 du 18 février 2010 consid. 6) ne donne lieu à aucune critique devant le Tribunal fédéral, de sorte qu'il n'y a pas lieu de revenir sur cette question.
Le recours doit en conséquence être rejeté.
3. Les frais judiciaires sont mis solidairement à la charge des recourants qui succombent (art. 66 al. 1 et 5 LTF).
Des dépens sont alloués à l'intimée, qui sont mis solidairement à la charge des recourants (art. 68 al. 2 et 4 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 4'000 fr., sont mis solidairement à la charge des recourants.
3. Les recourants verseront solidairement à l'intimée une indemnité de 5'000 fr. à titre de dépens.
4. Le présent arrêt est communiqué aux mandataires des parties et à la Cour de cassation civile du Tribunal cantonal du canton de Neuchâtel.
Lausanne, le 30 mai 2012
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Klett
Le Greffier: Ramelet