A.- Par contrats du 3 novembre 1993, X._ a remis à bail aux époux Z._ un appartement de quatre pièces situé au 1er étage d'un immeuble sis au chemin de Somaïs, à Pully, ainsi qu'une chambre indépendante située au sous-sol du même bâtiment. Moyennant un préavis de trois mois, les baux peuvent être résiliés pour la fin de chaque mois, sauf décembre.
La bailleresse a acquis l'immeuble en 1956 pour un montant de 610 000 fr., auquel s'ajoutaient les honoraires de notaire par 1871 fr.30 et les droits de mutation par 23 562 fr.55. L'immeuble a été construit en 1955; aucune rénovation importante n'a été effectuée jusqu'en 1997. Cette année-là, la propriétaire a réalisé des travaux pour un montant de 622 310 fr.60; il s'agissait notamment de refaire la toiture, d'y installer une sous-couverture, de remplacer les fenêtres et de poser une isolation périphérique.
Par transaction intervenue le 21 octobre 1997 devant la Commission de conciliation, les parties ont fixé le loyer mensuel à partir du 1er octobre 1997 à 842 fr. pour l'appartement et à 157 fr. pour la chambre, charges non comprises; ces montants correspondaient à un taux hypothécaire de 4,5% et à un indice des prix à la consommation de 104. 1.
Après les travaux, la bailleresse a, par formulaires officiels du 9 décembre 1997, notifié aux locataires des hausses de loyer fondées sur les récentes réfections à plus-value; le loyer de l'appartement était porté à 1034 fr. par mois à partir du 1er avril 1998, charges non comprises, alors que celui de la chambre indépendante passait à 182 fr. par mois.
B.- Les époux Z._ ont contesté ces hausses en invoquant un rendement net excessif. A la suite de l'échec de la tentative de conciliation, X._ a, par requête du 1er mai 1998, conclu au caractère non abusif des augmentations notifiées le 9 décembre 1997 et demandé que les loyers mensuels de l'appartement et de la chambre soient fixés à 1034 fr. plus un acompte de 125 fr., respectivement 182 fr.
plus un acompte de 15 fr. dès le 1er avril 1998.
Par requête du 23 juin 1998, les locataires ont conclu à ce que le loyer de l'appartement soit réduit de 2,91% dès le 1er octobre 1998 en raison de la baisse du taux hypothécaire à 4,25%.
Les deux causes ont été jointes.
Lors de l'audience du 9 juin 1999, les époux Z._ ont complété leurs conclusions en ce sens que le loyer de l'appartement loué est réduit de 2,91% à partir du 1er octobre 1999.
Se prévalant des loyers usuels du quartier, X._ a proposé six appartements à titre comparatif.
Par jugement du 7 septembre 2000, le Tribunal des baux du canton de Vaud a jugé que les hausses de loyer destinées à entrer en vigueur le 1er avril 1998 étaient abusives dans la mesure où les nouveaux loyers mensuels nets dépassaient 1004 fr. pour l'appartement et 178 fr. pour la chambre indépendante.
Statuant le 25 avril 2001, la Chambre des recours du Tribunal cantonal du canton de Vaud a rejeté le recours déposé par les locataires et confirmé le jugement de première instance. Les considérants ont été notifiés le 3 septembre 2001.
C.- Les époux Z._ interjettent un recours en réforme au Tribunal fédéral. A titre principal, ils concluent à la réforme de l'arrêt attaqué en ce sens que les hausses de loyer notifiées le 9 décembre 1997 sont abusives dans leur totalité et de nul effet, que le loyer mensuel net de l'appartement est réduit de 2,91% dès le 1er octobre 1998 et qu'il est réduit dans la même mesure dès le 1er octobre 1999.
Subsidiairement, ils demandent l'annulation de l'arrêt cantonal et le renvoi de la cause pour nouveau jugement dans le sens des considérants.
X._ propose le rejet du recours.

Considérant en droit :
1.- S'agissant d'un bail reconductible tacitement, autrement dit de durée indéterminée (<ref-ruling> consid. 2b), il y a lieu de tenir compte, pour le calcul de la valeur litigieuse, de l'augmentation du loyer annuel contestée dans la dernière instance cantonale et, le cas échéant, d'y ajouter la diminution du loyer annuel litigieuse à ce stade de la procédure, puis de multiplier le montant obtenu par vingt (art. 36 al. 5 et art. 47 al. 1 OJ; <ref-ruling> consid. 1; <ref-ruling> consid. 1). En l'espèce, l'augmentation en cause est de 2196 fr. par année [(162 fr. + 21 fr.) x 12].
Multiplié par vingt, ce montant donne un total de 43 920 fr.
Quant à la diminution de loyer réclamée, elle s'élève à 294 fr. pendant une année (842 fr. x 2.91% x 12), puis à 579 fr.50 les années suivantes (294 fr. + [817 fr.50 x 2.91% x 12]), soit 11 304 fr.50 sur vingt ans. La valeur litigieuse à laquelle l'art. 46 OJ subordonne la recevabilité du recours en réforme est par conséquent largement dépassée.
2.- a) Selon le Tribunal des baux, les défendeurs ne pouvaient pas s'opposer aux augmentations de loyer en invoquant le rendement excessif de la chose louée; s'agissant d'un immeuble ancien, il convenait en effet de se référer aux loyers usuels du quartier. Or, la demanderesse a prouvé que le loyer augmenté se situait dans les limites des loyers usuels du quartier. Puis, examinant la cause sous l'angle des prestations supplémentaires de la bailleresse, le Tribunal des baux a conclu que les travaux de rénovation exécutés en 1997 autorisaient une augmentation des loyers mensuels de 162 fr. pour l'appartement et de 21 fr. pour la chambre indépendante.
Enfin, le tribunal a rejeté les deux baisses de loyer sollicitées par les locataires, en se basant à nouveau sur le critère des loyers usuels du quartier.
Au stade du recours cantonal, la hausse fondée sur les prestations supplémentaires n'était, en tant que telle, pas contestée. A la suite du Tribunal des baux, la Chambre des recours a considéré, d'une part, que seul le critère des loyers comparatifs pouvait être opposé aux hausses de loyer signifiées par la demanderesse et, d'autre part, que les loyers tels que fixés par les juges de première instance se situaient dans les limites des loyers usuels du quartier.
b) Se plaignant d'une violation des art. 269 et 269a CO, les défendeurs reprochent à la cour cantonale de leur avoir dénié le droit de prouver le caractère abusif du rendement de l'objet loué afin de s'opposer aux hausses de loyer litigieuses. Ils estiment que les juges vaudois ont méconnu la prépondérance du critère du rendement abusif sur celui des loyers usuels, même dans le cas d'un immeuble ancien. Au surplus, le calcul du rendement net ne serait en l'espèce ni impossible, ni difficile en raison de l'âge de l'immeuble. Les défendeurs procèdent ensuite à un tel calcul; il en ressort que le loyer au m2 autorisé est de 115 fr.60 alors que le loyer au m2 de leur appartement était de 117 fr.50 avant l'augmentation litigieuse. Enfin, les défendeurs sont d'avis que quatre des cinq objets de comparaison retenus par la cour cantonale ne présentent pas les mêmes caractéristiques de dimension ou de situation que l'appartement qu'ils louent; faute d'avoir apporté les cinq éléments de comparaison exigés par la jurisprudence, la bailleresse ne pouvait s'opposer aux baisses de loyer requises.
3.- a) La demanderesse a notifié aux défendeurs une augmentation de loyer fondée sur un facteur relatif, soit les prestations supplémentaires liées aux travaux de rénovation entrepris en 1997 (<ref-law>). Face à une majoration justifiée selon la méthode relative, le locataire conserve la faculté de s'y opposer en faisant valoir que le loyer assure néanmoins un rendement excessif, au regard de la méthode absolue (<ref-law>; cf. <ref-ruling> consid. 2c p. 164 et consid. 2d/aa p. 165; <ref-ruling> consid. 4c p. 83).
Le rendement déterminant au sens de l'<ref-law> est le rendement net des fonds propres investis par le propriétaire.
Le capital propre correspond à la différence entre le coût initial de la chose louée et les fonds étrangers (<ref-ruling> consid. 6a p. 174; <ref-ruling> consid. 3a p. 258 et les arrêts cités). Lorsque l'immeuble n'a pas été construit ou acquis récemment, la détermination des fonds propres peut poser problème. En effet, il est parfois difficile, voire impossible de reconstituer le capital propre, faute de pièces comptables ou parce que celles-ci laissent apparaître, après indexation, des montants économiquement irréalistes (ATF <ref-ruling> consid. 3b/aa p. 258/259; SVIT-Kommentar zum Mietrecht, 2e éd., n. 17 ad <ref-law>; Lachat, Le bail à loyer, p. 287; Gratz, Mietzinsgestaltung, p. 71). Sous l'ancien droit, le Tribunal fédéral a jugé, en 1986, que le critère des loyers usuels du quartier ne pouvait être écarté lorsqu'il s'agissait de déterminer si le rendement d'un immeuble ancien - en l'occurrence, construit en 1958/1959 - était excessif au sens de l'art. 14 AMSL (<ref-ruling> consid. 3d p. 154/155; approuvé par Higi, Zürcher Kommentar, n. 273 ad <ref-law>).
Le Tribunal fédéral n'a pas eu l'occasion de confirmer cette jurisprudence depuis l'entrée en vigueur du nouveau droit du bail. Dans l'arrêt publié aux <ref-ruling>, il a examiné, dans le cadre d'une demande de diminution du loyer initial, le rapport entre l'<ref-law> et l'<ref-law>, soit entre les deux facteurs absolus que constituent le rendement net et les loyers usuels du quartier. Il a conclu à la prééminence du critère du rendement sur celui des loyers comparatifs, en ce sens que le locataire est autorisé à prouver que le loyer, présumé se situer dans les limites des loyers usuels du quartier, procure au bailleur un rendement excessif. Demeurent toutefois réservés les cas où il est difficile ou impossible de déterminer le caractère excessif du rendement; et le Tribunal fédéral de citer les immeubles dits anciens, pour lesquels il pourra être fait application du critère des loyers usuels (arrêt précité consid. 2b). L'arrêt publié aux ATF <ref-ruling> concerne un immeuble acquis en 1953; bien que l'achat date de plus de quarante ans, le Tribunal fédéral n'a pas dénié au bailleur le droit d'opposer le rendement insuffisant de la chose louée à une demande de diminution de loyer fondée sur la baisse du taux hypothécaire, le litige portant précisément sur la manière de calculer le rendement d'un immeuble ancien; il a toutefois ajouté que le bailleur aurait également pu se prévaloir des loyers du quartier, sans se prononcer sur le rapport entre les deux critères.
Dans l'arrêt publié aux <ref-ruling>, qui avait trait à un immeuble acquis en 1959, le Tribunal fédéral n'a pas non plus vu d'obstacle à procéder à un calcul de rendement, les locataires contestant une hausse de loyer en invoquant le rendement excessif.
Il résulte de cette jurisprudence que le moyen tiré du rendement net de la chose louée ne saurait être d'emblée exclu lorsque la construction ou l'acquisition de l'immeuble en cause est intervenue dans les années 1950, mais qu'il est toujours possible, dans ces cas-là, de se référer aux loyers du quartier. En effet, les loyers fixés selon le marché jouent un rôle de premier plan pour les immeubles construits ou acquis il y a plusieurs décennies, pour lesquels les justificatifs des investissements font défaut ou n'ont plus de rapport avec la réalité. Le législateur n'entendait pas désavantager les propriétaires de longue date par rapport à ceux qui ont acquis leur bâtiment récemment; la référence aux loyers usuels du quartier sert ainsi à rendre possible une certaine harmonisation entre anciens et nouveaux loyers (ATF <ref-ruling> consid. 4a/bb p. 261).
Il s'ensuit qu'en cas d'immeubles construits ou acquis il y a quelques décennies, la hiérarchie entre les critères absolus est inversée par rapport à celle prévalant pour les immeubles dits récents: si un loyer augmenté selon un facteur relatif rentre dans les limites des loyers usuels du quartier, il n'y a pas lieu de procéder au surplus au calcul du rendement net; en revanche, un tel calcul ne peut être refusé au locataire qui le demande, lorsque le bailleur qui entend augmenter le loyer ne se prévaut pas à son tour des loyers du quartier ou ne parvient pas à apporter la preuve requise à cet égard.
b) En l'espèce, la demanderesse s'est prévalue du critère des loyers usuels pour faire échec au calcul de rendement réclamé par les défendeurs. Il convient dès lors d'examiner si les appartements retenus à titre comparatif par la cour cantonale satisfont aux exigences posées en la matière par la jurisprudence.
aa) Ne sont en règle générale pas abusifs les loyers qui se situent dans les limites des loyers usuels dans la localité ou dans le quartier (<ref-law>). La jurisprudence a rappelé récemment le sens de la notion de loyers usuels, de sorte qu'il suffit ici de s'y référer (<ref-ruling> consid. 4). Il a été relevé en particulier que, pour pouvoir tirer des conclusions qui offrent quelque sécurité, il faut disposer, en règle générale, de cinq éléments de comparaison au moins, qui présentent, pour l'essentiel, les mêmes caractéristiques que le logement litigieux quant à l'emplacement, la dimension, l'équipement, l'état et l'année de construction (même arrêt consid. 4a p. 319 et les références).
bb) Sur les six éléments de comparaison présentés par la demanderesse, la cour cantonale en a retenu cinq, s'abstenant de se prononcer sur le sixième. Il y a lieu à présent de confronter les caractéristiques de chaque exemple comparatif avec celles de l'appartement occupé par les défendeurs.
N'étant pas une autorité d'appel, la cour de céans effectuera cet examen uniquement sur la base des constatations définitives des juges précédents et sur le vu des griefs valablement formulés par les défendeurs (art. 55 al. 1 let. c et art. 63 al. 2 OJ; cf. consid. 4c non publié de l'<ref-ruling>).
Le premier exemple, sis au chemin de Somaïs, ne fait l'objet d'aucune critique de la part des défendeurs. Une analyse plus approfondie ne s'impose dès lors pas.
Le deuxième exemple se trouve au chemin des Osches; sa surface est de 100 m2 alors que l'appartement de référence occupe 86 m2. Les locataires soutiennent que les dimensions de ces deux logements ne sont pas comparables. Selon la jurisprudence, un appartement de 171 m2 peut être comparé à des logements ayant une surface de 142 m2 (<ref-ruling> consid. 4b/cc p. 321), soit 17% plus petits. Or, l'appartement du chemin des Osches n'est que 16% plus grand que celui loué par les défendeurs. Une telle différence permet encore la comparaison, de sorte que le deuxième cas pouvait être pris en compte par la cour cantonale.
Les troisième et quatrième exemples sont situés à l'avenue de Villardin, respectivement au chemin du Château-Sec. Ils comptent tous les deux quatre pièces et occupent 79 m2, respectivement 82 m2, soit des surfaces tout-à-fait comparables à celle de l'appartement de référence.
Selon les constatations souveraines de la cour cantonale, l'appartement loué par les défendeurs a le même nombre de pièces que ces deux logements. Les locataires prétendent certes que leur appartement compte quatre pièces et demie, mais n'invoquent pas, sur ce point, une inadvertance manifeste de la part de la Chambre des recours. Par ailleurs, comme aucun plan de l'appartement occupé par les défendeurs ne figure au dossier, la cour de céans n'est pas à même de rectifier d'office une éventuelle erreur (art. 63 al. 2 OJ).
Au demeurant, une différence d'une demi-pièce n'est pas déterminante juridiquement (<ref-ruling> consid. 4b/cc p. 321). C'est dès lors à bon droit que la cour cantonale a inclus dans la comparaison les troisième et quatrième exemples proposés.
Le cinquième exemple est localisé au chemin de Fontanettaz. La Chambre des recours constate qu'il est situé dans un environnement comparable à celui dans lequel se trouve l'appartement de référence. On peut ainsi admettre que, en l'espèce, la cour cantonale n'a pas mésusé de son pouvoir d'appréciation en englobant ce cas dans les logements déterminants.
Les loyers mensuels nets des cinq appartements retenus à juste titre par la cour cantonale s'échelonnent entre 1115 fr. et 1450 fr. Selon le calcul non contesté du Tribunal des baux, le loyer mensuel net du logement des défendeurs peut être augmenté à 1004 fr. en raison des prestations supplémentaires de la bailleresse. Ce montant se situe nettement au-dessous des loyers des appartements de comparaison, si bien qu'il ne saurait être tenu pour abusif; par identité de motifs, il convient également d'admettre le caractère non abusif du loyer de la chambre indépendante porté à 178 fr.
par mois.
Au surplus, la demanderesse a opposé avec succès le moyen tiré des loyers usuels du quartier aux demandes de baisse formulées par les locataires (cf. ATF <ref-ruling> consid. 4b p. 262).
En conclusion, la Chambre des recours n'a pas violé le droit fédéral en confirmant les loyers fixés par les juges de première instance. Le recours sera rejeté.
4.- Vu l'issue de la procédure, il convient de mettre les frais judiciaires à la charge des défendeurs (art. 156 al. 1 OJ). En outre, ceux-ci verseront à la demanderesse une indemnité à titre de dépens (art. 159 al. 1 OJ).

Par ces motifs,
le Tribunal fédéral :
1. Rejette le recours et confirme l'arrêt attaqué;
2. Met un émolument judiciaire de 2000 fr. solidairement à la charge des défendeurs;
3. Dit que les défendeurs, débiteurs solidaires, verseront à la demanderesse une indemnité de 2500 fr. à titre de dépens;
4. Communique le présent arrêt en copie aux mandataires des parties et à la Chambre des recours du Tribunal cantonal du canton de Vaud.
_
Lausanne, le 9 avril 2002 ECH
Au nom de la Ie Cour civile
du TRIBUNAL FEDERAL SUISSE:
Le Président, La Greffière,