A.- a) Par contrat du 23 octobre 1973, la Société X._ a remis à bail à D._ un appartement de huit pièces dont elle est propriétaire, à Genève. Conclu pour une durée de trois ans, soit du 1er janvier 1974 au 31 décembre 1976, le bail se renouvelait d'année en année s'il n'était pas dénoncé trois mois avant son échéance. Le loyer, arrêté initialement à 11 160 fr. par année, comportait une clause d'échelonnement le faisant passer à 12 300 fr. par an dès le 1er janvier 1975 et à 13 560 fr. par an dès le 1er janvier 1976. Réadapté depuis lors à diverses reprises, le loyer a été porté au montant annuel de 24 556 fr. dès le 1er janvier 1997 par avis de majoration non contesté du 18 septembre 1996.
Dame D._, conjointe du locataire, est devenue cotitulaire du bail le 2 mai 1988.
b) D._ est décédé le 15 septembre 1995, laissant pour héritières son épouse dame D._ et sa fille dame T._, laquelle est la conjointe de T._. Sa succession n'est pas encore partagée.
Par avis officiel du 3 juin 1997, la bailleresse a notifié à dame D._ la résiliation du bail pour le 31 juillet 1997 en raison d'un défaut de paiement du loyer. A teneur d'un procès-verbal passé le 9 septembre 1997 devant la Commission de conciliation en matière de baux et loyers de Genève, il a été donné acte à la bailleresse qu'elle reconnaissait la nullité formelle du congé, au motif qu'il n'avait pas été notifié à chacun des membres de l'hoirie de feu D._.
Dame D._ a été hospitalisée de janvier à juin 1997, à la suite de quoi dame T._, son époux T._ et leurs trois enfants ont emménagé dans l'appartement en cause.
En septembre 1998, un représentant de la société propriétaire s'est rendu dans l'appartement; il a constaté que des travaux d'une certaine ampleur avaient été effectués dans ce logement, lequel était occupé par l'ensemble de la famille T._ ainsi que par dame D._.
c) Par avis officiels du 21 septembre 1998 adressés en recommandé, la bailleresse a notifié séparément à dame D._, dame T._ et T._ la résiliation du bail de l'appartement pour le 31 décembre 1998. La bailleresse a motivé ce congé par lettre du 15 octobre 1998, déclarant vouloir mettre fin à une relation contractuelle dont elle était partie depuis plusieurs décennies en vertu du droit des successions.
Le 22 octobre 1998, dame D._, dame T._ et T._ ont saisi la Commission de conciliation en matière de baux et loyers et sollicité l'annulation du congé, subsidiairement la prolongation du bail pour une durée de quatre ans.
Par décision du 16 août 1999, ladite Commission a admis la validité du congé pour le 31 décembre 1998, donné acte à la bailleresse de ce qu'elle s'engageait à conclure avec dame D._ un bail portant sur les mêmes locaux et aux mêmes conditions et accordé à T._ et dame T._ une unique prolongation de bail jusqu'au 30 juin 2000. Cette décision a été notifiée aux parties le 17 août 1999 par plis recommandés.
Par lettre du 27 août 1999, dame D._ a prié la Commission de conciliation de prendre note qu'elle acceptait "les termes (la) concernant" de la décision précitée du 16 août 1999.
Le 16 septembre 1999, dame T._ et T._ ont saisi le Tribunal des baux et loyers du canton de Genève d'une requête tendant à l'annulation du congé et, subsidiairement, à l'octroi d'une prolongation de bail d'une durée de quatre ans.
Par jugement du 23 mars 2000, le Tribunal des baux et loyers du canton de Genève a déclaré la demande irrecevable.
Cette autorité a considéré que même si dame D._ se satisfaisait de la décision rendue par la Commission de conciliation, le litige relatif au bail conclu avec la Société X._ concernait l'hoirie, si bien que la demande déposée par une seule héritière n'était pas recevable.
B.- Saisie d'un appel de dame T._ et T._, la Chambre d'appel en matière de baux et loyers du canton de Genève, par arrêt du 4 décembre 2000, a confirmé le jugement du 23 mars 2000 par substitution de motifs. Elle a admis que la demande déposée devant le Tribunal des baux et loyers devait être déclarée irrecevable, non pas parce qu'elle avait été formée par une héritière qui ne pouvait disposer seule des droits découlant du bail, mais parce que cette demande, qui rendait automatiquement caduque la décision de la Commission de conciliation, n'avait pas mis en cause dame D._, laquelle n'a ainsi pas pu reprendre ses conclusions initiales dans cette procédure judiciaire.
C.- Dame T._ et T._ exercent un recours en réforme au Tribunal fédéral. Ils concluent à l'annulation de l'arrêt cantonal.
L'intimée propose le rejet du recours.
Considérantendroit :
1.- a) Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1, 207 consid. 1; <ref-ruling> consid. 1; <ref-ruling> consid. 2).
En l'espèce, les conclusions des recourants ne tendent qu'à l'annulation de la décision attaquée. Ces conclusions sont recevables, car s'il admettait les moyens des recourants, le Tribunal fédéral ne serait pas à même de réformer l'arrêt déféré, faute de constatations permettant de vérifier la conformité aux règles de la bonne foi du motif de congé allégué par la bailleresse.
b) Devant la Chambre d'appel, les demandeurs ont repris leur conclusion tendant à l'annulation du congé. Dans une contestation de cette nature, la valeur litigieuse se calcule en fonction de la période pendant laquelle le contrat subsiste nécessairement si la résiliation n'est pas valable, et qui s'étend jusqu'au moment pour lequel un nouveau congé peut être donné ou l'a effectivement été (arrêt du 16 avril 1997, consid. 2a, publié in: SJ 1997 p. 493; arrêt du 11 octobre 1994 dans la cause 4C.29/1994, consid. 3; <ref-ruling> consid. 1 p. 386). In casu, si le congé signifié pour le 31 décembre 1998 devait être annulé, une nouvelle résiliation ne pourrait pas intervenir dans un délai inférieur à trois ans (art. 271a al. 1 let. e CO). Le loyer annuel versé à la bailleresse étant de 24 556 fr., la limite de 8000 fr. ouvrant la voie de la réforme (art. 46 OJ) est donc largement dépassée.
c) Le recours en réforme est ouvert pour violation du droit fédéral (art. 43 al. 1 OJ). Il ne permet en revanche pas d'invoquer la violation directe d'un droit de rang constitutionnel (art. 43 al. 1 2e phrase OJ) ou la violation du droit cantonal (<ref-ruling> consid. 2b, 189 consid. 2a, 370 consid. 5; <ref-ruling> consid. 2e).
Saisi d'un recours en réforme, le Tribunal fédéral doit conduire son raisonnement sur la base des faits contenus dans la décision attaquée, à moins que des dispositions fédérales en matière de preuve n'aient été violées, qu'il y ait lieu à rectification de constatations reposant sur une inadvertance manifeste (art. 63 al. 2 OJ) ou qu'il faille compléter les constatations de l'autorité cantonale parce que celle-ci n'a pas tenu compte de faits pertinents et régulièrement allégués (art. 64 OJ; <ref-ruling> consid. 2a; <ref-ruling> consid. 5c/aa). Dans la mesure où un recourant présente un état de fait qui s'écarte de celui contenu dans la décision attaquée, sans se prévaloir avec précision de l'une des exceptions qui viennent d'être rappelées, il n'y a pas lieu d'en tenir compte. Il ne peut être présenté de griefs contre les constatations de fait, ni de faits ou de moyens de preuve nouveaux (art. 55 al. 1 let. c OJ). L'appréciation des preuves à laquelle s'est livrée l'autorité cantonale ne peut être remise en cause (<ref-ruling> consid. 2a; <ref-ruling> consid. 3a).
Si le Tribunal fédéral ne saurait aller au-delà des conclusions des parties, lesquelles ne peuvent en prendre de nouvelles (art. 55 al. 1 let. b in fine OJ), il n'est lié ni par les motifs qu'elles invoquent (art. 63 al. 1 OJ), ni par ceux de la décision cantonale (art. 63 al. 3 OJ; <ref-ruling> consid. 2a; <ref-ruling> consid. 2).
2.- Dans un premier moyen, les recourants invoquent une violation de l'<ref-law>. Ils allèguent que ni cette disposition, ni d'ailleurs aucune autre, n'oblige, à peine d'irrecevabilité, des colocataires à impliquer devant l'autorité judiciaire un autre colocataire qui a obtenu satisfaction devant l'autorité de conciliation. Le droit cantonal, en particulier l'<ref-law> gen. , ne contiendrait pas non plus d'exigence à ce sujet. Les recourants prétendent qu'ils ont valablement saisi le juge au sens de la disposition de droit fédéral susrappelée par demande écrite du 16 septembre 1999. Pour ne pas l'avoir reconnu, la Chambre d'appel aurait transgressé le droit fédéral.
a) Le moyen est irrecevable en tant qu'il vise l'application du droit cantonal de procédure, dont la censure n'incombe pas au Tribunal fédéral en instance de réforme (art. 43 al. 1 OJ a contrario).
b) Le droit fédéral a conféré aux autorités de conciliation le pouvoir de rendre des décisions sur les litiges relatifs à la contestation du congé et à la prolongation du bail (art. 273 et 274a al. 1 let. c CO). Selon les art. 273 al. 5 et 274f al. 1 CO, la décision de l'autorité de conciliation devient définitive si la partie qui a succombé ne saisit pas le juge dans les 30 jours. Si le litige n'est pas porté par l'une des parties devant le juge dans le délai prévu, la décision de l'autorité de conciliation acquiert force de chose jugée (<ref-ruling> consid. 2b p. 24).
aa) Le contrat de bail ayant pour objet l'appartement a été initialement conclu entre la défenderesse et D._, père de la demanderesse. Le 2 mai 1988, l'épouse de D._, dame D._, est devenue cotitulaire du contrat. Les époux D._ étaient donc les colocataires d'un bail commun (gemeinsame Mietvertrag; cf. sur cette notion SVIT-Kommentar, Mietrecht II, n. 2 ad <ref-law>; Roger Weber, Der gemeinsame Mietvertrag, thèse Zurich 1993, p. 88; Jacques Micheli, Les colocataires dans le bail commun, p. 3, in: 8e séminaire sur le droit du bail, Neuchâtel 1994).
Le 15 septembre 1995, D._ est décédé. Les héritières du défunt, à savoir son épouse dame D._ et sa fille dame T._, ont alors acquis de plein droit les droits et obligations découlant du bail en question (<ref-law>). La succession n'ayant pas été partagée, lesdites héritières, qui forment une communauté héréditaire, doivent disposer en commun des biens qui dépendent de la succession (art. 602 al. 1 et 2 CC), en vertu d'une décision unanime (<ref-law>). Comme elles n'ont pas usé de la faculté conférée par l'<ref-law> de résilier le contrat pour le prochain terme légal, elles ont pris automatiquement la place du de cujus dans la relation contractuelle qu'il avait nouée avec la défenderesse. Dès ce moment, les colocataires du bail commun étaient donc, d'une part, le colocataire survivant, à savoir dame D._, et, d'autre part, l'hoirie de D._ formée de la même dame D._ et de dame T._.
bb) La question de savoir si les colocataires doivent agir en commun pour requérir, en application des art. 271 et 271a CO, l'annulation du congé, ou la prolongation du bail (<ref-law>), fait l'objet d'une controverse doctrinale.
Pour Hans Schmid (Der gemeinsame Mietvertrag, RSJ 1991, p. 376/377), le bail commun crée un rapport de droit uniforme constituant un tout pour les colocataires, lesquels ne peuvent exercer ces actions que conjointement. Peter Higi (Commentaire zurichois, n. 33 ad <ref-law> et n. 73 ad <ref-law>) est d'avis que lesdites actions n'appartiennent qu'à l'ensemble des locataires, lesquels ont, en vertu du droit fédéral, le statut procédural de consorts nécessaires. Les auteurs du SVIT-Kommentar (op. cit. , n. 10 ad <ref-law>) reprennent l'opinion de Higi, sans plus ample explication.
En revanche, Roger Weber (op. cit. , p. 188 en haut) soutient que les actions en cause peuvent émaner d'un seul des colocataires en raison du but de protection sociale qu'ont les normes prévoyant l'annulabilité des congés abusifs; dès l'instant où l'<ref-law> octroie un tel droit d'action à un tiers, soit le conjoint du locataire d'une chose louée servant de logement à la famille, poursuit cet auteur, ce droit doit a fortiori revenir à une partie contractante au contrat de bail. Le même auteur, avec Peter Zihlmann, a repris cette thèse dans le Commentaire bâlois, 2e éd., en précisant que les règles de la consorité nécessaire obligent toutefois le locataire agissant seul à impliquer son colocataire dans le procès (n. 3 ad <ref-law>). DavidLachat (Le bail à loyer, p. 48 et la note 13) semble partager cette manière de voir, sans prendre clairement position, tout en relevant que la demande de constatation de la nullité d'un congé peut émaner d'un seul locataire.
En l'occurrence, il n'est nul besoin de trancher ce débat d'idées. En effet, aucun des colocataires du bail commun n'a remis en cause la décision de l'autorité de conciliation du 16 août 1999 en saisissant valablement le Tribunal des baux et loyers dans le délai de 30 jours instauré par l'<ref-law>.
Il est incontesté que dame D._, qui s'est déclarée satisfaite de l'engagement pris par la bailleresse devant l'autorité de conciliation de conclure avec elle seule, aux mêmes conditions, un nouveau bail portant sur le même logement, n'a pas agi devant l'autorité judiciaire.
Quant aux hoirs de D._ (dame D._ et sa fille dame T._), ils n'ont pas procédé tous ensemble ou par l'intermédiaire d'un représentant (<ref-law>). Certes, un membre de l'hoirie, à savoir dame T._, a ouvert action dans le délai fixé par l'<ref-law>.
Mais un indivis ne peut agir séparément pour la succession qu'à titre exceptionnel, ainsi s'il y a urgence ou s'il convient de liquider un litige portant sur un contrat conclu entre cohéritiers, auquel cas, d'ailleurs, tous les intéressés au contrat doivent être impliqués dans le procès, en qualité de demandeurs ou de défendeurs (<ref-ruling> consid. 1a et 1b; <ref-ruling> consid. 3). Or, il ne résulte pas de l'état de fait déterminant (art. 63 al. 2 OJ) que la demanderesse puisse invoquer l'urgence pour avoir agi en septembre 1999 individuellement au nom de la communauté héréditaire.
Les recourants ne prétendent du reste pas que les intérêts de la communauté devaient être sauvegardés provisoirement.
Enfin, le bail litigieux ne lie pas des héritiers entre eux, mais une hoirie en qualité de cotitulaire d'un bail commun conclu avec un tiers, de sorte qu'il ne se justifie aucunement de déroger au principe de l'unanimité.
cc) La circonstance que l'époux de dame T._, le recourant T._, ait ouvert action conjointement avec la demanderesse ne change rien à l'affaire.
L'<ref-law> dispose que lorsque la chose louée sert de logement à la famille, le conjoint du locataire peut aussi contester le congé, demander la prolongation du bail et exercer les autres droits du locataire en cas de congé.
Il s'agit là de la capacité, pour le conjoint non titulaire du contrat, de faire valoir en son propre nom les droits qui appartiennent à l'époux locataire (Prozessstandschaft; Higi, op. cit. , n. 14 ad <ref-law>; Roger Weber/Peter Zihlmann, op. cit. , n. 1 ad <ref-law>). Mais l'époux non locataire n'a pas plus de droit que l'époux signataire du bail (Higi, op. cit. , n. 12 ad <ref-law>, p. 334).
En l'espèce, la demanderesse, comme on l'a vu, ne pouvait exercer les droits découlant du bail qu'en commun avec dame D._. Au vu de ce qui précède, le recourant n'a donc pas pu faire valoir seul au nom de son épouse des droits dont celle-ci n'était à même de disposer qu'en consorité avec sa mère de par le droit matériel fédéral.
Le moyen pris d'une violation de l'<ref-law> doit être rejeté.
3.- Les recourants estiment que les magistrats cantonaux ont enfreint l'<ref-law>. En déclarant irrecevable la demande des recourants au motif que celle-ci ne serait pas dirigée contre l'un des colocataires, la Chambre d'appel aurait contrevenu au principe de la force dérogatoire du droit fédéral.
a) A teneur de l'<ref-law>, les cantons prévoient une procédure simple et rapide pour les litiges portant sur les baux d'habitations et de locaux commerciaux.
Il ne s'agit pas d'une norme du droit fédéral directement applicable en ce sens qu'elle n'indique pas quelles sont les exigences d'une telle procédure, ce qui laisse une relative liberté aux cantons (cf. Higi, op. cit. n. 19 ad <ref-law>; SVIT-Kommentar, op. cit. , n. 3 ad <ref-law>). Les recourants ne précisent pas en quoi le droit cantonal genevois serait incompatible avec les principes de simplicité et de rapidité posés par la législation fédérale. Le moyen, en tant qu'il a trait à l'<ref-law>, est ainsi irrecevable, faute de motivation (art. 55 al. 1 let. c OJ).
b) La violation du principe de la force dérogatoire du droit fédéral peut être sanctionnée par le Tribunal fédéral saisi d'un recours en réforme interjeté dans un cas concret par celui qui la subit (<ref-ruling> consid. 5a).
En l'espèce, la demande en annulation du congé, subsidiairement en prolongation du bail, déposée par les recourants devant l'autorité judiciaire a été déclarée irrecevable pour des motifs déduits du droit au fond, à savoir que les demandeurs n'avaient pas la qualité pour agir. Cette question relevant du droit matériel, et nullement du droit procédural (<ref-ruling> consid. 1a; <ref-ruling> consid. 3a), le principe de la primauté du droit fédéral ne saurait avoir été enfreint.
4.- Les recourants soutiennent que si le premier juge avait nourri des doutes quant à la recevabilité de la demande parce qu'elle ne mettait pas en cause l'un des colocataires, il aurait dû interpeller les parties à ce sujet.
Pour avoir confirmé la décision de ce magistrat, la cour cantonale aurait violé l'<ref-law>.
L'<ref-law> prescrit au juge d'établir d'office les faits et d'apprécier librement les preuves, les parties devant lui soumettre toutes les pièces nécessaires à trancher le litige. Il pose le principe d'une maxime inquisitoriale sociale, laquelle ne constitue cependant pas une maxime officielle absolue. Le juge ne doit pas instruire d'office le litige lorsqu'une partie renonce à expliquer sa position, mais il doit interroger les parties et les informer de leur devoir de collaboration et de production des preuves.
L'initiative du juge ne va pas au-delà de l'invitation faite aux parties de mentionner les preuves et de les présenter. La maxime inquisitoriale sociale ne modifie pas le fardeau de la preuve, ni ne dispense les parties de proposer des moyens de preuve; elle n'oblige pas le juge à étendre l'administration des preuves à bien plaire, lorsqu'une partie renonce à étayer ses assertions (<ref-ruling> consid. 4a et les références doctrinales).
La maxime inquisitoriale sociale ne limite toutefois pas le droit des parties de disposer elles-mêmes de l'objet du litige (Higi, op. cit. , n. 67 ss ad <ref-law>; SVIT-Kommentar, op. cit. , n. 18 ad <ref-law>, p. 1000).
Dès l'instant où ce sont les plaideurs qui fixent à leur gré le cadre du litige conformément à la maxime de disposition, le juge ne saurait intervenir dans l'instance en contraignant un colocataire qui s'est accommodé de la décision de l'autorité de conciliation à prendre des conclusions contre le bailleur.
Le moyen est privé de tout fondement.
5.- A titre subsidiaire, les recourants allèguent que le premier juge a corrigé l'irrégularité de la demande en convoquant toutes les parties initiales, y compris dame D._, lors de sa première audience du 16 novembre 1999.
La critique, qui repose entièrement sur un fait de procédure qui n'a pas été constaté par la cour cantonale (art. 63 al. 2 OJ), est irrecevable.
6.- Il suit de là que le recours doit être rejeté dans la mesure où il est recevable et l'arrêt attaqué confirmé.
Vu l'issue du recours, les frais et dépens doivent être mis solidairement à la charge des recourants qui succombent (art. 156 al. 1 et 7 et 159 al. 1 et 5 OJ).


Par ces motifs,
le Tribunal fédéral :
1. Rejette le recours dans la mesure où il est recevable et confirme l'arrêt attaqué;
2. Met un émolument judiciaire de 2000 fr. solidairement à la charge des recourants;
3. Dit que les recourants verseront solidairement à l'intimée une indemnité de 3000 fr. à titre de dépens;
4. Communique le présent arrêt en copie aux mandataires des parties et à la Chambre d'appel en matière de baux et loyers du canton de Genève.
_
Lausanne, le 30 mai 2001 ECH
Au nom de la Ie Cour civile
du TRIBUNAL FEDERAL SUISSE:
Le Président,
Le Greffier,