A.- Manège Y._ Sàrl a été inscrit au Registre du commerce de B._ le 26 octobre 1954. Le 19 avril 1977 les époux M._ ont été inscrits en qualité d'associés gérants disposant de la signature individuelle.
Dès le 14 février 1984, après radiation de M._, la société ne disposait que d'un associé gérant avec signature individuelle en la personne de dame M._. Manège Y._ Sàrl est devenue propriétaire de la parcelle 3703 du cadastre de Z._ le 17 novembre 1954. Dame M._ a acquis la parcelle 3702 du même cadastre le 12 avril 1979.
X._, devenue X._ S.A. (ci-après: la banque), a accordé différents prêts à dame M._, d'une part, et à dame M._ et au Manège Y._ Sàrl en qualité de codébiteurs solidaires, d'autre part. Des échéances n'ayant pas été respectées, la banque a dénoncé ces crédits au remboursement pour le 15 décembre 1994. Les créances de la banque représentaient alors 1 908 267 fr.70. Des poursuites ont été engagées et, le 17 août 1995, la banque a requis la vente des parcelles formant les articles 3702 et 3703. Des contacts ont eu lieu entre les époux M._ et le préposé à l'Office des poursuites et faillites de B._ en vue de la vente aux enchères des parcelles. La date des enchères a été fixée au 11 juillet 1996, la publication s'y rapportant paraissant dans la feuille officielle des 5, 12 et 19 juin 1996. La banque a acquis les immeubles susmentionnés lors de la vente aux enchères du 11 juillet 1996.
B.- a) Par courriers des 12 juin 1996 à l'adresse de la banque et 17 juin 1996 à l'adresse du préposé à l'Office des poursuites et faillites de B._, les époux M._ ont informé les destinataires de l'existence d'un bail conclu le 1er mai 1994 entre Manège Y._ Sàrl et dame M._, désignées en qualité de "bailleurs", et les époux M._, désignés en qualité de "preneurs". La banque a émis des réserves quant à l'authenticité et à la validité dudit document. Le contrat de bail du 1er mai 1994 n'a pas été porté à l'état des charges du 27 juin 1996. Les conditions de vente du 27 juin 1996 indiquaient que le contrat était remis en copie à l'acquéreur. La banque s'est vu délivrer le 11 septembre 1996 un certificat d'insuffisance de gage pour 1 038 931 fr.15.
Le 3 avril 1997, X._ S.A. a introduit action contre les époux M._ et conclu à ce qu'il soit dit, constaté et prononcé que le contrat de bail à loyer du 1er mai 1994 est nul et de nul effet et, conséquemment, que soit ordonné le déguerpissement immédiat des défendeurs des lieux qu'ils occupent sans droit. La demanderesse a soutenu que le prétendu contrat de bail était inexistant.
Les défendeurs ont conclu au rejet de la demande, affirmant qu'un contrat de bail avait bel et bien été passé le 1er mai 1994; dans leurs conclusions en cause du 8 octobre 1999, ils ont encore invoqué le défaut de citation en conciliation devant l'Autorité régionale de conciliation, ce qui rendrait la demande irrecevable.
b) Par jugement du 6 octobre 2000, la 1ère Cour civile du Tribunal cantonal neuchâtelois a ordonné le déguerpissement des époux défendeurs des lieux qu'ils occupent sans droit sur les parcelles formant les articles 3702 et 3703 du cadastre de Z._.
En substance, la cour cantonale a considéré, à propos de l'irrecevabilité de la demande invoquée par les défendeurs, qu'obliger les parties "à tout recommencer" en saisissant l'autorité de conciliation constituerait une sanction que la défense d'aucun intérêt légitime ne justifierait et qui procéderait ainsi d'un formalisme excessif. L'autorité cantonale a nié qu'un contrat de bail ait été conclu le 1er mai 1994 pour divers motifs: les défendeurs n'ont jamais été en mesure de produire un seul exemplaire original de la convention, pourtant prétendument établie en quatre exemplaires; le préposé à l'Office des poursuites et faillites de B._ alors en fonction a formellement contesté avoir eu en mains à une quelconque date l'original du contrat; outre que le bail n'a pas été porté à l'état des charges, l'office n'a pas adressé aux locataires l'avis prévu par l'<ref-law>; les défendeurs n'avaient curieusement jamais fait état de l'existence du bail avant le mois de juin 1996; ni l'expert chargé de fixer la valeur vénale des immeubles, ni deux autres experts ayant dû supputer l'état locatif des bâtiments, n'ont affirmé qu'on leur avait présenté un contrat de bail; il en va de même d'un témoin, collaborateur de la banque demanderesse; il est impossible de tirer des comptes tels qu'ils ont été présentés un quelconque élément de preuve s'agissant de la réalité du prétendu contrat, la présence de loyers dans certains comptes poursuivant vraisemblablement un but fiscal sans correspondre à aucune réalité.
La Cour civile a en outre jugé que l'on ne saurait davantage retenir qu'un contrat de bail de durée indéterminée, passé le cas échéant oralement, ait été conclu entre la Sàrl et les défendeurs, dès l'instant où ces derniers ne l'allèguent même pas, fondant toute leur argumentation sur le prétendu contrat du 1er mai 1994.
L'existence d'un bail fixant à 2004 son échéance n'ayant pas été démontrée, les magistrats cantonaux en ont conclu que les défendeurs occupaient sans aucun titre les immeubles considérés, à tout le moins depuis la vente aux enchères du 11 juillet 1996, et que leur déguerpissement immédiat desdits lieux devait être ordonné.
C.- Les époux M._ interjettent, parallèlement, un recours de droit public et un recours en réforme au Tribunal fédéral. Dans le premier, ils concluent à l'annulation du jugement cantonal.
La demanderesse conclut au rejet du recours de droit public en tant qu'il est déclaré recevable.
La cour cantonale déclare n'avoir pas d'observations à formuler et se réfère à son jugement.
Considérantendroit :
1.- Selon la règle générale de l'art. 57 al. 5 OJ, le recours de droit public sera examiné en premier lieu.
2.- Les recourants invoquent la violation de l'art. 9 Cst. , soit l'arbitraire dans l'appréciation des preuves.
Ils reprochent au jugement entrepris d'avoir privilégié la déposition du préposé N._, lequel a déclaré n'avoir jamais eu entre les mains d'original du contrat de bail, au mépris de l'ensemble des autres éléments qui corroboreraient les explications des recourants. Ils invoquent la quittance qui leur a été remise le 21 juin 1996, accusant réception d'un contrat de bail, qui ne serait pas signée par le témoin N._, mais par une autre personne. Ils font aussi état d'une lettre à la demanderesse du 12 juin 1996, avec copie à l'office des poursuites, mentionnant le bail litigieux, ainsi que d'une lettre à l'office du 17 juin 1996, se référant au contrat de bail et à la nécessité de le mentionner dans les conditions de vente. Ils énumèrent ensuite un certain nombre d'éléments disparates susceptibles, selon eux, de mettre en doute l'affirmation péremptoire du témoin N._.
Les recourants développent encore divers arguments permettant, à les en croire, de compléter la critique dirigée contre l'appréciation des preuves. L'ensemble du dossier fournirait ainsi un nombre d'éléments importants parlant en faveur de l'existence du contrat de bail litigieux et en particulier de son dépôt à l'Office des poursuites et faillites de B._. La cour cantonale n'aurait retenu qu'un aspect des preuves administrées pour mettre en avant des indices non relevants, au préjudice d'autres déterminants.
3.- a) Selon la jurisprudence, l'arbitraire ne résulte pas du seul fait qu'une autre solution pourrait entrer en considération ou même qu'elle serait préférable; le Tribunal fédéral ne s'écarte de la décision attaquée que lorsque celle-ci est manifestement insoutenable, qu'elle se trouve en contradiction claire avec la situation de fait, qu'elle viole gravement une norme ou un principe juridique indiscuté, ou encore lorsqu'elle heurte de manière choquante le sentiment de la justice et de l'équité. Pour qu'une décision soit annulée pour cause d'arbitraire, il ne suffit pas que la motivation formulée soit insoutenable, il faut encore que la décision apparaisse arbitraire dans son résultat (<ref-ruling> consid. 3a; <ref-ruling> consid. 2a; <ref-ruling> consid. 3a, 129 consid. 5b).
S'agissant de l'appréciation des preuves, une jurisprudence constante reconnaît au juge du fait un large pouvoir d'appréciation dans ce domaine. Le Tribunal fédéral n'intervient, en conséquence, que si le juge cantonal a abusé de ce pouvoir, en particulier lorsqu'il parvient à des conclusions manifestement insoutenables (<ref-ruling> consid. 4b; <ref-ruling> consid. 1b). Il appartient au recourant d'établir la réalisation de ces conditions en tentant de démontrer, par une argumentation précise, que la constatation attaquée ne trouve aucune assise dans le dossier (art. 90 al. 1 let. b OJ; <ref-ruling> consid. 1c; <ref-ruling> consid. 1d).
Le grief tiré de l'appréciation arbitraire des preuves ne peut être pris en considération que si son admission est de nature à modifier le sort du litige, ce qui n'est pas le cas lorsqu'il vise une constatation de fait n'ayant aucune incidence sur l'application du droit.
b) En l'occurrence, le recours ne satisfait nullement aux exigences de motivation posées par la jurisprudence.
Les recourants se bornent, en effet, à tenter de soumettre au Tribunal fédéral une version des faits autre que celle retenue par la cour cantonale, comme s'ils plaidaient devant une juridiction d'appel. Ils ne font pas l'ombre d'une démonstration que des constatations de fait seraient manifestement insoutenables ou fausses, vu l'absence de toute assise dans le dossier. Il apparaît même, bien au contraire, que l'appréciation des preuves et des faits par la cour cantonale, soit la constatation selon laquelle aucun contrat de bail n'a été conclu le 1er mai 1994, et aucun original du contrat n'a été remis à l'office des poursuites, résiste au grief d'arbitraire.
Le moyen ne peut donc qu'être rejeté dans la mesure où il est recevable.
4.- Les recourants s'en prennent ensuite au rejet de leur grief de défaut de citation préalable en conciliation, dans la mesure où il repose sur l'application de l'art. 16 de la loi cantonale d'introduction du code des obligations (LICO). Ils relèvent cependant que, dans le recours en réforme déposé parallèlement, il est soutenu que l'examen du respect de l'exigence contenue dans cette disposition relève du droit fédéral, car en cette matière le droit cantonal n'a pas de portée autonome. Ce n'est donc que pour le cas où la juridiction fédérale devrait apprécier différemment cet élément, et déclarer irrecevable le recours en réforme, que la critique est reprise dans le recours de droit public.
Le moyen tiré du défaut de citation en conciliation touche bien à l'application du droit fédéral, plus particulièrement de l'<ref-law>. Dès lors, il peut être invoqué dans le recours en réforme, de telle sorte qu'il est irrecevable dans le recours de droit public, en vertu de l'art. 84 al. 2 OJ.
5.- Le recours doit donc être rejeté dans la faible mesure de sa recevabilité. Vu l'issue du litige, les frais et dépens seront mis solidairement à la charge des recourants (art. 156 al. 1 et 159 al. 1 OJ).


Par ces motifs,
le Tribunal fédéral :
1. Rejette le recours dans la mesure où il est recevable;
2. Met un émolument judiciaire de 6000 fr. solidairement à la charge des recourants;
3. Dit que les recourants verseront solidairement à l'intimée une indemnité de 7000 fr. à titre de dépens;
4. Communique le présent arrêt en copie aux mandataires des parties et à la 1ère Cour civile du Tribunal cantonal neuchâtelois.
_
Lausanne, le 6 avril 2001 ECH
Au nom de la Ie Cour civile
du TRIBUNAL FEDERAL SUISSE:
Le Président,
Le Greffier,