A.- a) Par contrat du 4 mars 1991, la société X._ S.A., propriétaire du restaurant Y._ à Genève, a confié la gérance libre de cet établissement aux époux A._. Le même jour, une convention de société simple a été conclue entre les conjoints A._ et les époux C._, propriétaires économiques de X._ S.A., qui se déclaraient "partenaires fiduciaires".
Le 26 août 1992, la convention de société simple a été modifiée en ce sens que ses seuls partenaires étaient désormais A._ et B._.
Le 2 décembre 1992, le contrat de gérance libre a également été modifié, X._ S.A. confiant la gérance à A._ et B._. Les redevances mensuelles étaient fixées à 11 000 fr. dès novembre 1992 et à 12 000 fr. à partir d'octobre 1994. L'échéance de la convention était fixée au 30 septembre 1996 avec délai de préavis de six mois.
b) Les 25 novembre 1993 et 19 janvier 1994, A._ et B._ ont écrit à X._ S.A. pour demander que le certificat de capacité, dont était titulaire l'administrateur de cette société, soit affiché dans le restaurant et pour solliciter l'exécution de travaux d'entretien.
A fin juin 1994, le Département genevois de justice et police et des transports a estimé que la titulaire de la patente, C._, administratrice unique de X._ S.A. depuis décembre 1993, n'était plus assez présente dans l'établissement, de sorte qu'il a demandé qu'un nouveau titulaire soit désigné. A._ et B._ sont entrés en contact avec P._, détenteur d'un certificat de capacité, mais les négociations n'ont pas abouti.
Le 22 novembre 1994, X._ S.A. est entrée en liquidation.
Le 5 janvier 1995, X._ S.A. en liquidation a saisi la Commission de conciliation en matière de baux et loyers, réclamant à A._ et B._ la garantie bancaire prévue dans le contrat initial auquel renvoyait la convention du 2 décembre 1992. Pour leur part, A._ et B._ ont mis en demeure X._ S.A. de remédier à l'absence de patente de restaurateur et de procéder à des travaux d'entretien.
A fin avril 1995, A._ et B._ ont quitté le restaurant. Ils en ont restitué les clés à X._ S.A. en liquidation le 5 mai 1995 sans explication.
Par décision du 8 mai 1995, le Département de justice et police et des transports a ordonné la cessation immédiate de l'exploitation du restaurant Y._ aux motifs que les gérants A._ et B._ n'étaient pas titulaires d'un certificat de capacité ni d'une autorisation d'exploiter.
B.- Dans la procédure tendant à la remise de la garantie bancaire, A._ et B._ ont soulevé une exception d'incompétence du Tribunal des baux et loyers.
Saisie d'un appel sur cet incident, la Chambre d'appel en matière de baux et loyers du canton de Genève, par arrêt du 9 décembre 1996, a admis la compétence du Tribunal des baux et loyers, considérant que les parties étaient liées par un bail à ferme non agricole.
Par la suite, les parties ont formulé diverses prétentions réciproques devant le Tribunal des baux et loyers, lesquelles ont fait l'objet d'une décision de jonction de causes. En substance, X._ S.A. en liquidation, contestant que le contrat ait été valablement résilié, a réclamé les mensualités impayées et d'autres indemnités; pour leur part, A._ et B._ ont demandé le remboursement de diverses factures, ainsi que des indemnités.
Réformant partiellement le jugement rendu en première instance le 17 juin 1999, la Chambre d'appel en matière de baux et loyers, par arrêt du 26 octobre 2000, a condamné A._ et B._ solidairement à payer à X._ S.A. en liquidation la somme de 95 941 fr.65 avec intérêts; par ailleurs, elle a condamné X._ S.A. en liquidation à payer à A._ et B._ solidairement la somme de 23 285 fr.15 plus intérêts; enfin, elle a statué sur les frais et dépens et infligé une amende pour procédé téméraire au conseil des défendeurs.
C.- A._ et B._ exercent un recours en réforme au Tribunal fédéral dirigé à la fois contre l'arrêt sur compétence du 9 décembre 1996 et contre l'arrêt sur le fond du 26 octobre 2000. Ils concluent à l'annulation des deux arrêts attaqués, au déboutement de leur partie adverse et à la condamnation de X._ S.A. en liquidation à leur payer la somme de 23 285 fr.15 avec intérêts à 5% dès le 31 juillet 1997; subsidiairement, ils demandent le renvoi de la cause à la cour cantonale.
L'intimée propose l'irrecevabilité du recours en tant qu'il est dirigé contre l'arrêt sur compétence du 9 décembre 1996 et le rejet du recours en tant qu'il est dirigé contre l'arrêt du 26 octobre 2000, les décisions attaquées étant confirmées.

Considérant en droit :
1.- a) Le recours en réforme est formé en premier lieu contre l'arrêt sur compétence rendu le 9 décembre 1996.
b) Lorsque l'autorité cantonale de dernière instance statue sur la compétence séparément du fond, son arrêt peut faire l'objet d'un recours en réforme immédiat pour violation des prescriptions de droit fédéral sur la compétence (art. 49 al. 1 OJ). Dans ce cas, il n'est pas possible d'attendre la décision finale pour s'en plaindre (art. 48 al. 3 OJ; Poudret, COJ II, n. 4.2.1 ad art. 48 OJ; Corboz, Le recours en réforme au Tribunal fédéral in: SJ 2000 II p. 9).
Ainsi, le recours déposé le 30 novembre 2000 contre l'arrêt rendu le 9 décembre 1996 est manifestement tardif (art. 54 al. 1 OJ) et doit donc être déclaré irrecevable.
c) Au demeurant, la compétence des différents tribunaux genevois relève exclusivement du droit cantonal (cf. art. 301 et 274 CO). Dès lors que la question à résoudre ressortit exclusivement au droit cantonal, le recours en réforme n'est pas ouvert (cf. 43 al. 1 OJ), quand bien même le droit cantonal se réfère à des notions de droit fédéral (<ref-ruling> consid. 2 et les références citées).
Pour ce motif également, le recours est irrecevable.
2.- a) Le recours en réforme est exercé en second lieu contre l'arrêt sur le fond rendu le 26 octobre 2000.
b) Interjeté par les parties qui ont succombé dans leurs conclusions libératoires et dirigé contre un jugement final rendu en dernière instance cantonale par un tribunal supérieur (art. 48 al. 1 OJ) sur une contestation civile dont la valeur litigieuse atteint le seuil de 8000 fr. (art. 46 OJ), le recours en réforme est en principe recevable, puisqu'il a été déposé en temps utile (art. 54 al. 1 OJ) dans les formes requises (art. 55 OJ).
c) Le recours en réforme est ouvert pour violation du droit fédéral (art. 43 al. 1 OJ). Il ne permet en revanche pas d'invoquer la violation directe d'un droit de rang constitutionnel (art. 43 al. 1 2e phrase OJ) ou la violation du droit cantonal (<ref-ruling> consid. 2b, 189 consid. 2a, 370 consid. 5; <ref-ruling> consid. 2e).
Saisi d'un recours en réforme, le Tribunal fédéral doit conduire son raisonnement sur la base des faits contenus dans la décision attaquée, à moins que des dispositions fédérales en matière de preuve n'aient été violées, qu'il y ait lieu à rectification de constatations reposant sur une inadvertance manifeste (art. 63 al. 2 OJ) ou qu'il faille compléter les constatations de l'autorité cantonale parce que celle-ci n'a pas tenu compte de faits pertinents et régulièrement allégués (art. 64 OJ; <ref-ruling> consid. 2a; <ref-ruling> consid. 5c/aa). Dans la mesure où un recourant présente un état de fait qui s'écarte de celui contenu dans la décision attaquée, sans se prévaloir avec précision de l'une des exceptions qui viennent d'être rappelées, il n'y a pas lieu d'en tenir compte. Il ne peut être présenté de griefs contre les constatations de fait, ni de faits ou de moyens de preuve nouveaux (art. 55 al. 1 let. c OJ). L'appréciation des preuves à laquelle s'est livrée l'autorité cantonale ne peut être remise en cause (<ref-ruling> consid. 2a; <ref-ruling> consid. 3a).
Si le Tribunal fédéral ne saurait aller au-delà des conclusions des parties, lesquelles ne peuvent prendre de conclusions nouvelles (art. 55 al. 1 let. b in fine OJ), il n'est lié ni par les motifs qu'elles invoquent (art. 63 al. 1 OJ), ni par ceux de la décision cantonale (art. 63 al. 3 OJ; <ref-ruling> consid. 2a; <ref-ruling> consid. 2).
3.- a) La mise en gérance d'un restaurant équipé donne lieu à un bail à ferme non agricole (Lachat, Le bail à loyer, p. 55 n° 2.1; Tercier, Les contrats spéciaux, 2e éd., n° 2172, p. 266).
Faisant valoir que leur partie adverse devait mettre à leur disposition une personne disposant du certificat de capacité, les recourants se plaignent d'une violation de l'<ref-law>, qui ouvre la voie à une résiliation du bail pour défaut de la chose louée.
On peut laisser ouverte la question de savoir si le fait de ne pas mettre à disposition une personne titulaire du certificat de capacité constitue la violation d'une obligation accessoire ou peut être considéré comme un défaut de la chose affermée.
De toute manière, même s'il fallait admettre que les conditions de l'<ref-law> (applicable par le renvoi de l'<ref-law>) sont réunies, cette disposition donne seulement au fermier la faculté de résilier le contrat avec effet immédiat.
Une résiliation donnée par le fermier doit cependant revêtir la forme écrite, s'agissant d'un bail à ferme portant sur des locaux commerciaux (<ref-law>). Cette règle est semblable à celle qui figure à l'<ref-law> pour le cas du bail à loyer. Cette exigence de forme ne s'applique pas seulement au congé ordinaire, mais également à une résiliation extraordinaire, notamment celle fondée sur l'<ref-law> (Weber/Zihlmann, Commentaire bâlois, 2e éd., n. 6 ad <ref-law> et n. 4 ad <ref-law>; Higi, Commentaire zurichois, n. 4 ad <ref-law>; SVIT-Kommentar, 2e éd., n. 7 ad art. 266l - 266o CO).
Or, il résulte des constatations cantonales - qui lient le Tribunal fédéral saisi d'un recours en réforme (art. 63 al. 2 OJ) - que les recourants n'ont pas adressé de résiliation écrite au bailleur.
La résiliation qui ne respecte pas la forme légale est nulle (<ref-law>; cf.: <ref-law>). Cette nullité peut en principe être constatée d'office et en tout temps (Lachat, op. cit. , p. 407 n° 2.3).
Il est donc manifeste que le bail n'a pas été valablement résilié en application de l'<ref-law>. En ne retenant pas cette disposition, la cour cantonale n'a pas violé le droit fédéral.
b) Invoquant les mêmes circonstances, les recourants soutiennent qu'une résiliation n'était pas nécessaire et que le bail s'est éteint de plein droit pour cause d'impossibilité (<ref-law>).
L'impossibilité ne libère le débiteur que s'il n'en est pas responsable (<ref-ruling> consid. 2a). Tel n'est pas le cas lorsque le débiteur choisit de ne pas satisfaire à des exigences de police, alors qu'il le pourrait (<ref-ruling> consid. 2).
En l'espèce, il n'était certainement pas impossible d'engager une personne titulaire du certificat de capacité; les recourants ne tentent même pas de démontrer le contraire.
Il ne s'agit ainsi pas d'un cas d'impossibilité au sens de l'<ref-law> et la cour cantonale n'a pas enfreint le droit fédéral en écartant cette norme.
c) Que l'intimée soit entrée en liquidation n'a pas pour effet de mettre fin de plein droit aux rapports juridiques qui la lient à autrui; la liquidation ne l'empêche nullement de continuer d'exécuter les contrats en cours (cf.
<ref-law>).
Partant, le recours doit être rejeté en tant qu'il est dirigé contre l'arrêt du 26 octobre 2000, cette décision étant confirmée.
4.- Les frais et dépens doivent être mis à la charge des recourants (art. 156 al. 1 et 159 al. 1 OJ), qui en sont tenus solidairement (art. 156 al. 7 et 159 al. 5 OJ).

Par ces motifs,
le Tribunal fédéral :
1. Déclare le recours irrecevable en tant qu'il est dirigé contre l'arrêt sur compétence rendu le 9 décembre 1996;
2. Rejette le recours en tant qu'il est dirigé contre l'arrêt rendu au fond le 26 octobre 2000, cette décision étant confirmée;
3. Met un émolument judiciaire de 5000 fr. solidairement à la charge des recourants;
4. Dit que les recourants verseront solidairement à l'intimée une indemnité de 6000 fr. à titre de dépens;
5. Communique le présent arrêt en copie aux mandataires des parties et à la Chambre d'appel en matière de baux et loyers du canton de Genève.
_
Lausanne, le 5 mars 2001 ECH
Au nom de la Ie Cour civile
du TRIBUNAL FEDERAL SUISSE:
Le Président,
Le Greffier,