A.- Par contrats du 3 novembre 1993, X._ a remis à bail aux époux Z._ un appartement de quatre pièces situé au 1er étage d'un immeuble sis au chemin de Somaïs, à Pully, ainsi qu'une chambre indépendante située au sous-sol du même bâtiment. Moyennant un préavis de trois mois, les baux peuvent être résiliés pour la fin de chaque mois, sauf décembre. La bailleresse a acquis l'immeuble en 1956 pour un montant de 610 000 fr., auquel s'ajoutaient les honoraires de notaire par 1871 fr.30 et les droits de mutation par 23 562 fr.55. L'immeuble a été construit en 1955; aucune rénovation importante n'a été effectuée jusqu'en 1997. Cette année-là, la propriétaire a réalisé des travaux pour un montant de 622 310 fr.60; il s'agissait notamment de refaire la toiture, d'y installer une sous-couverture, de remplacer les fenêtres et de poser une isolation périphérique. Par transaction intervenue le 21 octobre 1997 devant la Commission de conciliation, les parties ont fixé le loyer mensuel à partir du 1er octobre 1997 à 842 fr. pour l'appartement et à 157 fr. pour la chambre, charges non comprises; ces montants correspondaient à un taux hypothécaire de 4,5% et à un indice des prix à la consommation de 104. 1. Après les travaux, la bailleresse a, par formulaires officiels du 9 décembre 1997, notifié aux locataires des hausses de loyer fondées sur les récentes réfections à plus-value; le loyer de l'appartement était porté à 1034 fr. par mois à partir du 1er avril 1998, charges non comprises, alors que celui de la chambre indépendante passait à 182 fr. par mois. B.- Les époux Z._ ont contesté ces hausses en invoquant un rendement net excessif. A la suite de l'échec de la tentative de conciliation, X._ a, par requête du 1er mai 1998, conclu au caractère non abusif des augmentations notifiées le 9 décembre 1997 et demandé que les loyers mensuels de l'appartement et de la chambre soient fixés à 1034 fr. plus un acompte de 125 fr., respectivement 182 fr. plus un acompte de 15 fr. dès le 1er avril 1998. Par requête du 23 juin 1998, les locataires ont conclu à ce que le loyer de l'appartement soit réduit de 2,91% dès le 1er octobre 1998 en raison de la baisse du taux hypothécaire à 4,25%. Les deux causes ont été jointes. Lors de l'audience du 9 juin 1999, les époux Z._ ont complété leurs conclusions en ce sens que le loyer de l'appartement loué est réduit de 2,91% à partir du 1er octobre 1999. Se prévalant des loyers usuels du quartier, X._ a proposé six appartements à titre comparatif. Par jugement du 7 septembre 2000, le Tribunal des baux du canton de Vaud a jugé que les hausses de loyer destinées à entrer en vigueur le 1er avril 1998 étaient abusives dans la mesure où les nouveaux loyers mensuels nets dépassaient 1004 fr. pour l'appartement et 178 fr. pour la chambre indépendante. Statuant le 25 avril 2001, la Chambre des recours du Tribunal cantonal du canton de Vaud a rejeté le recours déposé par les locataires et confirmé le jugement de première instance. Les considérants ont été notifiés le 3 septembre 2001. C.- Les époux Z._ interjettent un recours en réforme au Tribunal fédéral. A titre principal, ils concluent à la réforme de l'arrêt attaqué en ce sens que les hausses de loyer notifiées le 9 décembre 1997 sont abusives dans leur totalité et de nul effet, que le loyer mensuel net de l'appartement est réduit de 2,91% dès le 1er octobre 1998 et qu'il est réduit dans la même mesure dès le 1er octobre 1999. Subsidiairement, ils demandent l'annulation de l'arrêt cantonal et le renvoi de la cause pour nouveau jugement dans le sens des considérants. X._ propose le rejet du recours.