A.- Le 25 février 1993, sieur B._ a conclu un contrat de bail avec MM. T._ et S._, portant sur la location d'une villa. Etabli pour une durée initiale de trois ans et quinze jours, du 16 mars 1993 jusqu'au 31 mars 1996, le contrat était ensuite renouvelable d'année en année. Le loyer a été fixé à 3'400 fr. par mois et n'a pas été augmenté. Aucune formule officielle n'a alors été utilisée.
A l'entrée des époux B._ dans la villa, celle-ci n'était pas terminée et il a été précisé que les travaux de finition, représentant environ 20'000 fr., étaient à la charge du locataire.
Dès le mois de mars 1996, la société X._ S.A. est devenue le nouveau propriétaire de la villa.
Depuis janvier 1998 en tout cas, sieur B._, qui faisait état de difficultés financières, payait systématiquement son loyer avec deux ou trois mois de retard. Il n'a jamais fait de réserve quant au montant du loyer.
Le 15 juin 1999, X._ S.A., qui avait déjà mis à plusieurs reprises les époux B._ en demeure de payer les loyers arriérés, les a sommés de lui verser dans les trente jours les loyers dus pour les mois d'avril à juin 1999, avec menace de résiliation.
Le 28 juillet 1999, la bailleresse a notifié aux époux B._ un avis de résiliation de bail pour le 31 août 1999 en raison d'un arriéré de loyer se montant à 13'600 fr. pour la période du 1er avril au 31 juillet 1999.
B.- Le 27 août 1999, les époux B._ ont saisi la Commission de conciliation en matière de baux et loyers du canton de Genève, en proposant le remboursement complet des arriérés au 31 octobre 1999. Le 9 septembre 1999, X._ S.A. a demandé, auprès de la même Commission, l'évacuation des locataires.
L'affaire n'ayant pas été conciliée, le Tribunal des baux et loyers a été saisi le 29 octobre 1999.
Le 2 décembre 1999, lors de la comparution personnelle des parties, sieur B._ s'est opposé à l'évacuation en arguant qu'il avait effectué pour environ 70'000 fr.
de travaux et qu'il n'avait jamais reçu d'avis initial de fixation de loyer. Il se prévalait de la nullité du loyer initial, ainsi que de l'avis comminatoire. Quant à X._ S.A., elle a fait état d'un arriéré de loyer de 30'600 fr.
Le 5 janvier 2000, le Tribunal des baux et loyers a prononcé l'évacuation des époux B._.
Le 20 janvier 2000, les époux B._ ont introduit, devant la Commission de conciliation, une demande en fixation du loyer initial, concluant à ce que le loyer annuel de la villa soit fixé à 33'600 fr. dès le 16 mars 1993.
Statuant sur appel des locataires, la Chambre d'appel en matière de baux et loyers a, par arrêt du 11 septembre 2000, confirmé le jugement d'évacuation du 5 janvier 2000.
C.- Contre cet arrêt, les époux B._ (les défendeurs) interjettent un recours en réforme au Tribunal fédéral. Ils concluent à l'annulation de l'arrêt du 11 septembre 2000 et à ce que la bailleresse soit déboutée de toutes ses conclusions en évacuation.
X._ S.A. (la demanderesse) propose, pour sa part, le rejet du recours et la confirmation de l'arrêt entrepris.

Considérant en droit :
1.- a) L'arrêt attaqué, prononcé sur recours par la Chambre d'appel en matière de baux et loyers du canton de Genève contre un jugement d'évacuation pour défaut de paiement du loyer, est une décision finale rendue en dernière instance par un tribunal supérieur (art. 48 al. 1 OJ; arrêt du Tribunal fédéral du 27 février 1997 publié in SJ 1997 p. 538 consid. 1b p. 540 s.), sur une contestation civile (<ref-ruling> consid. 1a).
b) Le litige est de nature pécuniaire (Michel Ducrot, L'expulsion du locataire, Séminaire du droit du bail, Neuchâtel 1996, no 5 p. 10). L'expulsion étant liée à une résiliation immédiate, la valeur litigieuse se détermine selon le loyer dû pour la période pendant laquelle le contrat subsiste nécessairement, en supposant que l'on admette la contestation, et qui s'étend jusqu'au moment pour lequel un congé ordinaire aurait pu être donné ou l'a été effectivement (<ref-ruling> consid. 1; Bernard Corboz, Le recours en réforme au Tribunal fédéral, SJ 2000 II p. 1 ss, 28 et les arrêts cités sous note 226). En l'espèce, si la résiliation immédiate notifiée pour le 31 août 1999 était annulée, un congé ordinaire ne pourrait pas intervenir dans un délai inférieur à trois ans (art. 271a al. 1 let. e CO). Le loyer versé étant de 3'400 fr. par mois, la limite de 8'000 fr. prévue à l'art. 46 OJ est ainsi largement dépassée.
c) Interjeté par les locataires qui ont succombé dans leurs conclusions, le présent recours est donc en principe recevable, puisqu'il a été déposé en temps utile (art. 54 al. 1 OJ) dans les formes requises (art. 55 OJ).
2.- a) Saisi d'un recours en réforme, le Tribunal fédéral doit mener son raisonnement sur la base des faits contenus dans la décision attaquée, à moins que des dispositions fédérales en matière de preuve n'aient été violées, qu'il y ait lieu de rectifier des constatations reposant sur une inadvertance manifeste (art. 63 al. 2 OJ) ou qu'il faille compléter les constatations de l'autorité cantonale parce que celle-ci n'a pas tenu compte de faits pertinents régulièrement allégués (art. 64 OJ; <ref-ruling> consid. 2a; <ref-ruling> consid. 5c/aa; <ref-ruling> consid. 2a). Les faits nouveaux sont irrecevables (art. 55 al. 1 let. c OJ; <ref-ruling> consid. 5c p. 450; <ref-ruling> consid. 5b p. 440; <ref-ruling> consid. 3b in fine).
Dans la mesure où les défendeurs invoquent des faits qui ne figurent pas dans l'arrêt attaqué, sans faire valoir l'une des exceptions permettant de s'en écarter, leur recours n'est donc pas admissible. Il en va de même des allégués figurant dans la réponse qui portent sur des événements postérieurs à l'arrêt cantonal.
3.- La cour cantonale a confirmé la décision d'évacuation prononcée en première instance, en estimant que les conditions d'une résiliation immédiate pour demeure des locataires (<ref-law>) étaient réunies. Elle a écarté l'exception de compensation formée par les défendeurs pour empêcher le congé, considérant celle-ci comme tardive.
S'agissant de la nullité du loyer initial également invoquée par les locataires, les juges ont considéré en substance qu'il importait peu qu'il n'ait pas été fait usage de la formule officielle au moment de la fixation du loyer de la villa en février 1993, dès lors que ce loyer, demeuré inchangé depuis le début du bail, avait été payé sans réserve par les locataires pendant près de sept ans. Par conséquent, même s'il y avait eu vice de forme entraînant la nullité de la fixation du loyer initial, les défendeurs ne pouvaient s'en prévaloir contrairement au principe de la bonne foi.
4.- Les défendeurs reprochent avant tout à la cour cantonale de n'avoir pas pris en compte les conséquences de l'absence de notification du loyer initial au moyen du formulaire officiel, telles que posées par l'<ref-ruling>.
a) Il est vrai que la jurisprudence, interprétant l'<ref-law>, a considéré qu'un vice de forme dans la notification du loyer initial entraînait la nullité du loyer fixé (cf. <ref-ruling> consid. 5c et d p. 348 s. confirmé in <ref-ruling> consid. 2a p. 64). Le Tribunal fédéral a en outre souligné que, lorsque, dans cette hypothèse, le locataire avait introduit une procédure judiciaire pour contester le loyer initial, il était en tout cas exclu qu'il tombe en demeure (<ref-law>) jusqu'à la fixation judiciaire du loyer (<ref-ruling> consid. 6c p. 350 s.).
Comme l'a laissé entendre à juste titre la cour cantonale, l'éventuelle application de ces principes au cas d'espèce suppose que le vice de forme ne soit pas abusivement invoqué par les locataires (cf. en matière d'augmentation de loyer: <ref-ruling> consid. 3c p. 74 s.; <ref-ruling> consid. 1a; Peter Higi, Commentaire zurichois, <ref-law> no 119).
b) Pour déterminer s'il y a abus manifeste d'un droit au sens de l'<ref-law>, il convient d'examiner les circonstances concrètes du cas d'espèce (<ref-ruling> consid. 3d p. 63). Parmi les cas typiques d'abus de droit figurent notamment une attitude contradictoire et l'utilisation d'une institution juridique contrairement à son but (cf.
ATF 120 II 105 consid. 3a p. 108). Il a été jugé que le comportement du locataire qui, après s'être rendu compte du vice de forme résultant de la non utilisation de la formule officielle, s'était abstenu de protester dans le dessein d'en tirer ultérieurement profit était abusif (ATF <ref-ruling> consid. 1a). Le Tribunal fédéral a également précisé, s'agissant de la nullité du loyer initial établi sans faire usage de la formule officielle, qu'il n'était pas imaginable que le vice de forme conduise à une cession de l'usage du logement à titre gratuit, alors que les parties s'étaient entendues en tout cas sur le caractère onéreux de ladite cession (<ref-ruling> consid. 6a).
c) En l'occurrence, il ne s'agit pas d'apprécier le caractère abusif de la nullité invoquée par les locataires en relation avec la contestation du loyer initial, qui fait l'objet d'une procédure pendante, introduite postérieurement à la résiliation du bail. Le litige porte sur le point de savoir si les défendeurs peuvent, sans commettre un abus de droit, se prévaloir de cette nullité pour s'opposer à la résiliation immédiate de leur bail au sens de l'<ref-law> et, partant, à leur expulsion.
Selon les faits tels que constatés par la cour cantonale et qui lient le Tribunal fédéral en instance de réforme (art. 63 al. 2 OJ), les locataires ne se sont prévalus de la nullité du loyer consécutif au défaut d'utilisation de la formule officielle que le 2 décembre 1999, lors de la comparution personnelle des parties devant le tribunal des baux, alors que, pendant près de sept ans, ils avaient versé leur loyer sans réserve. Même lorsqu'ils se sont adressés à la commission de conciliation, le 27 août 1999, les défendeurs ont proposé le remboursement complet de leurs arriérés. Le moment où ceux-ci ont pris connaissance du vice de forme n'est en revanche pas établi par la cour cantonale. Cet élément n'est cependant pas déterminant dans le cas d'espèce. En effet, si l'on considère que les locataires connaissaient le vice de forme, mais qu'ils se sont abstenus de protester, attendant que le tribunal doive statuer sur leur expulsion pour le faire valoir, il y a abus de droit (cf. supra let. b). Il en va de même si, comme ils le soutiennent, les défendeurs ont appris l'existence du vice de forme seulement quelques jours avant l'audience du 2 décembre 1999, car cela signifierait qu'ils ont cherché, par un moyen découvert en dernière minute, non pas à réduire leur loyer, mais à justifier son non-versement, en supprimant les conséquences de leur demeure.
Admettre, dans ces circonstances, la nullité du loyer initial en relation avec la procédure d'expulsion aurait pour effet de légitimer l'usage de la villa à titre gratuit et de priver la bailleresse des droits découlant de l'<ref-law>, ce qui reviendrait à détourner le contrat de bail de son but.
En retenant que les locataires ont invoqué de manière abusive un vice de forme, la cour cantonale n'a donc pas violé l'<ref-law>.
d) Comme le Tribunal fédéral n'est pas lié par les motifs de la décision cantonale (art. 63 al. 3 OJ; <ref-ruling> consid. 2a; <ref-ruling> consid. 2; <ref-ruling> consid. 3), les défendeurs ne peuvent se plaindre de la justification figurant dans l'arrêt entrepris pour retenir l'abus de droit.
C'est également en vain qu'ils critiquent sur ce point le manque de motivation de l'arrêt attaqué, puisque cette question relève du droit d'être entendu (<ref-ruling> consid. 2b). Celle-ci est donc irrecevable dans le cadre de la présente procédure, mais aurait dû faire l'objet d'un recours de droit public (art. 43 al. 1 2e phrase OJ).
5.- Les locataires ne pouvant se prévaloir d'une éventuelle nullité du loyer initial en relation avec leur demeure, les autres griefs soulevés perdent tout fondement.
a) S'agissant de la résiliation immédiate, l'<ref-law> prévoit que, lorsque, après la réception de la chose, le locataire a du retard pour s'acquitter d'un terme, le bailleur peut lui fixer par écrit un délai de paiement et lui signifier qu'à défaut de paiement dans ce délai, il résiliera le bail. Ce délai est de trente jours au moins pour les baux d'habitations (al. 1). Faute de paiement dans le délai fixé, le bailleur peut résilier le contrat avec effet immédiat, soit, pour les baux d'habitations, moyennant un délai de congé de 30 jours au moins (al. 2).
En l'espèce, il n'est pas contesté que les défendeurs n'avaient pas payé leur loyer depuis le mois d'avril 1999. La demanderesse a, par courrier du 15 juin 1999, sommé ceux-ci de verser les loyers des mois d'avril à juin 1999 avec menace de résiliation. Le 28 juillet 1999, elle leur a notifié un avis de résiliation pour le 31 août 1999 en raison d'un arriéré de loyer allant d'avril à juillet 1999. Les conditions d'une résiliation immédiate en application de l'<ref-law> et, partant, d'une expulsion des locataires sont donc réunies.
b) Dans ce contexte, il n'y a aucune raison de ne pas appliquer la jurisprudence selon laquelle le locataire peut invoquer la compensation pour empêcher le congé extraordinaire de l'<ref-law>, à condition que la déclaration de compensation intervienne dans le délai comminatoire fixé sur la base de cette disposition (<ref-ruling> consid. 6b).
Dès lors qu'il a été constaté que les locataires n'ont fait valoir la compensation que le 2 décembre 1999, soit bien après le terme du contrat, on ne voit manifestement pas en quoi la cour cantonale aurait violé le droit fédéral en considérant la déclaration de compensation comme tardive.
c) Enfin, la Cour de céans n'a pas à entrer en matière sur les critiques des défendeurs relatives à la prescription des prétentions en remboursement, dès lors que cet aspect ne relève pas de la procédure d'évacuation et, partant, n'influence pas le dispositif de l'arrêt entrepris.
Le recours doit ainsi être rejeté et l'arrêt attaqué confirmé.
6.- Les frais et dépens seront mis solidairement à la charge des défendeurs, qui succombent (art. 156 al. 1 et 7, 159 al. 1 et 5 OJ).

Par ces motifs,
le Tribunal fédéral :
1. Rejette le recours et confirme l'arrêt attaqué;
2. Met un émolument judiciaire de 3'000 fr. à la charge des défendeurs, solidairement entre eux;
3. Dit que les défendeurs, débiteurs solidaires, verseront à la demanderesse une indemnité de 4'000 fr. à titre de dépens;
4. Communique le présent arrêt en copie aux mandataires des parties et à la Chambre d'appel en matière de Baux et Loyers du canton de Genève.
_
Lausanne, le 5 février 2001 ECH
Au nom de la Ie Cour civile
du TRIBUNAL FÉDÉRAL SUISSE:
Le Président,
La Greffière,