A.- Manège Y._ Sàrl a été inscrit au Registre du commerce de B._ le 26 octobre 1954. Le 19 avril 1977 les époux M._ ont été inscrits en qualité d'associés gérants disposant de la signature individuelle. Dès le 14 février 1984, après radiation de M._, la société ne disposait que d'un associé gérant avec signature individuelle en la personne de dame M._. Manège Y._ Sàrl est devenue propriétaire de la parcelle 3703 du cadastre de Z._ le 17 novembre 1954. Dame M._ a acquis la parcelle 3702 du même cadastre le 12 avril 1979. X._, devenue X._ S.A. (ci-après: la banque), a accordé différents prêts à dame M._, d'une part, et à dame M._ et au Manège Y._ Sàrl en qualité de codébiteurs solidaires, d'autre part. Des échéances n'ayant pas été respectées, la banque a dénoncé ces crédits au remboursement pour le 15 décembre 1994. Les créances de la banque représentaient alors 1 908 267 fr.70. Des poursuites ont été engagées et, le 17 août 1995, la banque a requis la vente des parcelles formant les articles 3702 et 3703. Des contacts ont eu lieu entre les époux M._ et le préposé à l'Office des poursuites et faillites de B._ en vue de la vente aux enchères des parcelles. La date des enchères a été fixée au 11 juillet 1996, la publication s'y rapportant paraissant dans la feuille officielle des 5, 12 et 19 juin 1996. La banque a acquis les immeubles susmentionnés lors de la vente aux enchères du 11 juillet 1996. B.- a) Par courriers des 12 juin 1996 à l'adresse de la banque et 17 juin 1996 à l'adresse du préposé à l'Office des poursuites et faillites de B._, les époux M._ ont informé les destinataires de l'existence d'un bail conclu le 1er mai 1994 entre Manège Y._ Sàrl et dame M._, désignées en qualité de "bailleurs", et les époux M._, désignés en qualité de "preneurs". La banque a émis des réserves quant à l'authenticité et à la validité dudit document. Le contrat de bail du 1er mai 1994 n'a pas été porté à l'état des charges du 27 juin 1996. Les conditions de vente du 27 juin 1996 indiquaient que le contrat était remis en copie à l'acquéreur. La banque s'est vu délivrer le 11 septembre 1996 un certificat d'insuffisance de gage pour 1 038 931 fr.15. Le 3 avril 1997, X._ S.A. a introduit action contre les époux M._ et conclu à ce qu'il soit dit, constaté et prononcé que le contrat de bail à loyer du 1er mai 1994 est nul et de nul effet et, conséquemment, que soit ordonné le déguerpissement immédiat des défendeurs des lieux qu'ils occupent sans droit. La demanderesse a soutenu que le prétendu contrat de bail était inexistant. Les défendeurs ont conclu au rejet de la demande, affirmant qu'un contrat de bail avait bel et bien été passé le 1er mai 1994; dans leurs conclusions en cause du 8 octobre 1999, ils ont encore invoqué le défaut de citation en conciliation devant l'Autorité régionale de conciliation, ce qui rendrait la demande irrecevable. b) Par jugement du 6 octobre 2000, la 1ère Cour civile du Tribunal cantonal neuchâtelois a ordonné le déguerpissement des époux défendeurs des lieux qu'ils occupent sans droit sur les parcelles formant les articles 3702 et 3703 du cadastre de Z._. En substance, la cour cantonale a considéré, à propos de l'irrecevabilité de la demande invoquée par les défendeurs, qu'obliger les parties "à tout recommencer" en saisissant l'autorité de conciliation constituerait une sanction que la défense d'aucun intérêt légitime ne justifierait et qui procéderait ainsi d'un formalisme excessif. L'autorité cantonale a nié qu'un contrat de bail ait été conclu le 1er mai 1994 pour divers motifs: les défendeurs n'ont jamais été en mesure de produire un seul exemplaire original de la convention, pourtant prétendument établie en quatre exemplaires; le préposé à l'Office des poursuites et faillites de B._ alors en fonction a formellement contesté avoir eu en mains à une quelconque date l'original du contrat; outre que le bail n'a pas été porté à l'état des charges, l'office n'a pas adressé aux locataires l'avis prévu par l'art. 70 ORFI; les défendeurs n'avaient curieusement jamais fait état de l'existence du bail avant le mois de juin 1996; ni l'expert chargé de fixer la valeur vénale des immeubles, ni deux autres experts ayant dû supputer l'état locatif des bâtiments, n'ont affirmé qu'on leur avait présenté un contrat de bail; il en va de même d'un témoin, collaborateur de la banque demanderesse; il est impossible de tirer des comptes tels qu'ils ont été présentés un quelconque élément de preuve s'agissant de la réalité du prétendu contrat, la présence de loyers dans certains comptes poursuivant vraisemblablement un but fiscal sans correspondre à aucune réalité. La Cour civile a en outre jugé que l'on ne saurait davantage retenir qu'un contrat de bail de durée indéterminée, passé le cas échéant oralement, ait été conclu entre la Sàrl et les défendeurs, dès l'instant où ces derniers ne l'allèguent même pas, fondant toute leur argumentation sur le prétendu contrat du 1er mai 1994. L'existence d'un bail fixant à 2004 son échéance n'ayant pas été démontrée, les magistrats cantonaux en ont conclu que les défendeurs occupaient sans aucun titre les immeubles considérés, à tout le moins depuis la vente aux enchères du 11 juillet 1996, et que leur déguerpissement immédiat desdits lieux devait être ordonné. C.- Parallèlement à un recours de droit public qui a été rejeté dans la mesure de sa recevabilité par arrêt de ce jour, les époux M._ recourent en réforme au Tribunal fédéral. Ils concluent à la réforme du jugement cantonal, en ce sens que la demande du 3 avril 1997 est déclarée irrecevable. L'intimée propose le rejet du recours. Considérantendroit : 1.- Les recourants reprochent à la cour cantonale une violation des art. 274a ss CO, prévoyant que les cantons instituent des autorités de conciliation qui sont chargées de toute question relative aux baux de choses immobilières. Ils font valoir que la procédure judiciaire doit être précédée de l'intervention de l'autorité de conciliation, qui est obligatoire, et que le défaut de citation préalable doit être relevé d'office par le juge. Ils estiment qu'ils pouvaient soulever le défaut de citation préalable jusqu'à fin de cause, voire jusqu'en procédure de recours, sans commettre un abus de droit, s'agissant d'un moyen que devait relever d'office le tribunal saisi et qui est prévu par le droit fédéral en vertu d'un intérêt public. Ils s'en prennent aussi à l'avis de la cour cantonale selon lequel déclarer irrecevable la demande à ce stade de la procédure serait du formalisme excessif. 2.- a) Dans un arrêt de principe, le Tribunal fédéral a posé que la procédure judiciaire au sens de l'art. 274f CO doit être précédée de l'intervention de l'autorité de conciliation (ATF 118 II 307 consid. 3 b/bb et cc). Il s'agit d'un passage obligé, préalable à toute procédure judiciaire proprement dite (Lachat, Le bail à loyer, p. 93, ch. 2.2.3). La compétence des autorités de conciliation en raison de la matière doit être interprétée largement (Lachat, op. cit. , p. 97, ch. 2.4.2); elle est donnée même si c'est l'existence du bail qui est litigieuse (SVIT-Kommentar, Mietrecht II, n. 11 ad Art. 274-274a, p. 969). Le moyen tiré du défaut de citation préalable en conciliation doit être relevé d'office par le juge (cf. Bohnet/Schweizer, Les défenses relatives à l'instance et à l'action, in: RJN 1997, p. 60). b) En droit strict, le moyen invoqué pourrait donc être considéré comme parfaitement fondé. Mais, au vu des circonstances de l'espèce, le moyen tiré du défaut de conciliation est nettement constitutif d'un abus de droit, qui peut être retenu même à l'égard d'un moyen dont le juge doit se saisir d'office (ATF 105 II 149 consid. 3a p. 155). En l'invoquant comme ils l'ont fait, au stade des conclusions en cause, les recourants ont contrevenu aux règles de la bonne foi. Et le principe de la bonne foi doit être respecté en procédure civile, tant par les parties que par le juge (Baumann, Commentaire zurichois, n. 34 et n. 35 ad art. 2 CC; Frank/Sträuli/Messmer, Kommentar zur zürcherischen Zivilprozessordnung, p. 208, n. 3). Un des principaux devoirs imposés au plaideur par la loyauté veut qu'il se prévale de ses moyens au moment prévu par la loi et sans tarder, à défaut de quoi il troublerait inutilement le cours du procès. D'après la jurisprudence, "il est contraire au principe de la bonne foi d'invoquer après coup des moyens que l'on avait renoncé à faire valoir en temps utile en cours de procédure, parce que la décision intervenue a finalement été défavorable" (ATF 111 Ia 161, consid. 1a; cf. Egli, La protection de la bonne foi dans le procès, in: Juridiction constitutionnelle et juridiction administrative, Zurich 1992, p. 239; Guldener, Treu und Glauben im Zivilprozess, RSJ 39/1943, p. 395). En application de ces principes, il est admis singulièrement en procédure neuchâteloise que, même si les parties peuvent théoriquement soulever le moyen tiré du défaut préalable de conciliation en matière de baux immobiliers jusqu'au stade ultime de la procédure, un tel moyen invoqué tardivement se révélera le plus souvent abusif (Bohnet/Schweizer, op. cit. , p. 60). In casu, le moyen invoqué par les recourants à la fin d'une procédure ayant duré plus de deux ans est nettement tardif, et doit être qualifié sans hésitation d'abusif. Cette qualification s'impose d'autant plus qu'en définitive la cour cantonale est parvenue à la conclusion que le bail invoqué n'existait même pas. On peut encore ajouter que si le juge avait soulevé d'office le moyen, il aurait pu se voir reprocher un formalisme excessif, à considérer les circonstances de l'espèce. Partant, c'est à juste titre, et sans violer le droit fédéral, que la cour cantonale n'a pas donné suite aux conclusions des défendeurs tendant à faire reconnaître l'irrecevabilité de la demande. 3.- Il suit de là que le recours doit être rejeté et le jugement attaqué confirmé. Vu l'issue de la querelle, les frais et dépens doivent être mis solidairement à la charge des recourants (art. 156 al. 1 et 159 al. 1 OJ).