A.- En mars 1999, Pierre-Alain et Anne-Marie Jaquier ont assigné Weiss & Appetito S.A. Renens (ci-après:
Weiss & Appetito) devant le Tribunal des baux du canton de Vaud en paiement d'un arriéré de loyer.
A l'audience du 29 février 2000, Weiss & Appetito a contesté la légitimation active des époux Jaquier, en invoquant un contrat de cession de loyers que ceux-ci auraient conclu avec le Crédit Foncier Vaudois en 1993.
La présidente du Tribunal des baux, Christine Habermacher-Droz, a fixé aux époux Jaquier un délai au 30 mars 2000 pour fournir des explications et produire des pièces à ce sujet.
N'ayant pas reçu les renseignements et moyens de preuves requis au 31 mai 2000, la présidente Christine Habermacher-Droz s'est alors adressée directement, par écrit, à la Banque Cantonale Vaudoise, repreneur du Crédit Foncier Vaudois, pour demander si le contrat de cession de loyer était encore en vigueur à l'échéance des loyers réclamés.
Le 3 août 2000, elle a sollicité des explications complémentaires de la part du conseil des époux Jaquier, qui lui a répondu, le 1er septembre 2000, sans fournir les renseignements requis.
La présidente a alors pris contact par téléphone avec un responsable de la Banque Cantonale Vaudoise, qui lui a transmis les informations souhaitées.
Le 4 septembre 2000, Christine Habermacher-Droz a décidé de disjoindre le jugement de la question préjudicielle de la légitimation active des époux Jaquier.
B.- Par courrier du 20 septembre 2000 adressé à la magistrate, les époux Jaquier ont demandé la récusation de celle-ci.
La présidente a imparti un délai à Weiss & Appetito pour se déterminer à ce sujet, avant de transmettre la demande de récusation des époux Jaquier à la Cour administrative du Tribunal cantonal.
Par arrêt du 16 novembre 2000, la Cour administrative a rejeté la demande de récusation concernant Christine Habermacher-Droz. Tout en relevant certaines erreurs commises par la magistrate, les juges ont considéré en substance que l'examen du dossier ne révélait aucun indice de partialité de sa part.
C.- Contre cet arrêt, les époux Jaquier ont interjeté, le 15 décembre 2000, un recours de droit public au Tribunal fédéral. Invoquant une violation de l'art. 30 Cst.
et de l'art. 6 par. 1 CEDH, ils concluent à l'annulation de l'arrêt attaqué.
Par courrier du 15 janvier 2001, ils ont apporté des compléments à leur recours, consistant en une critique de certains faits retenus par les juges cantonaux.
Le Tribunal cantonal n'a pas formulé d'observation, se référant aux considérants de son arrêt. Dans le délai prolongé qui lui était imparti, Weiss & Appetito a, pour sa part, conclu au rejet du recours.

Considérant en droit :
1.- a) Le recours de droit public au Tribunal fédéral est ouvert contre une décision cantonale pour violation des droits constitutionnels des citoyens (art. 84 al. 1 let. a OJ).
L'arrêt entrepris n'a pas mis fin pour une raison de fond ou un motif de procédure au litige qui divise les parties, lequel va au contraire se poursuivre devant le Tribunal des baux. Il s'agit donc d'une décision incidente et non d'une décision finale (cf. <ref-ruling> consid. 3b p. 327; <ref-ruling> consid. 1a p. 41). En tant qu'elle traite d'une demande de récusation, cette décision peut toutefois faire l'objet d'un recours immédiat au Tribunal fédéral, en vertu de l'art. 87 al. 1 OJ, dans sa version en vigueur depuis le 1er mars 2000 (RO 2000 p. 417 s.).
Le Tribunal cantonal a rejeté la demande de récusation formée par les recourants à l'encontre de la magistrate traitant de leur cause devant le Tribunal des baux et loyers, de sorte que ceux-ci sont lésés par la décision attaquée qui les concerne personnellement. Ils ont donc qualité pour recourir (art. 88 OJ).
b) Interjeté en temps utile (art. 89 al. 1 OJ), dans la forme prévue par la loi (art. 90 al. 1 OJ), le recours est en principe recevable.
En revanche, les observations complémentaires apportées par les recourants ont été présentées tardivement, même en tenant compte des féries (art. 34 al. 1 let. c et 89 al. 1 OJ), et sans qu'une demande de restitution pour inobservation du délai n'ait été formulée (cf. art. 35 OJ).
Elles sont donc irrecevables.
c) En instance de recours de droit public, le Tribunal fédéral n'examine que les griefs exposés de manière assez claire et détaillée pour qu'il puisse déterminer quel est le droit constitutionnel dont l'application est en jeu (<ref-ruling> consid. 1b p. 495 et les références citées; cf. également <ref-ruling> consid. 2a). Il base son arrêt sur les faits constatés dans la décision attaquée, à moins que le recourant ne démontre que la cour cantonale a retenu ou omis certaines circonstances déterminantes de manière arbitraire (<ref-ruling> consid. 5a). Les recourants ont critiqué les faits retenus par le Tribunal cantonal dans leurs observations complémentaires. Celles-ci étant irrecevables (cf. supra let. b), la Cour de céans examinera donc la violation des droits constitutionnels invoqués uniquement sur la base des faits ressortant de l'arrêt entrepris.
2.- Les recourants considèrent qu'en rejetant leur demande de récusation, le Tribunal cantonal a violé l'art. 30 Cst. et l'art. 6 par. 1 CEDH.
a) Le grief tiré de la prévention du juge doit être soulevé aussitôt que possible. Celui qui constate un tel vice et qui ne le dénonce pas sans délai, mais laisse le procès se dérouler sans intervenir, agit contrairement à la bonne foi et voit se périmer son droit de se prévaloir ultérieurement d'une telle violation (<ref-ruling> consid. 2 p. 123; <ref-ruling> consid. 5a p. 228 s. et les références citées). En l'occurrence, les recourants ont demandé la récusation de la présidente le 20 septembre 2000, en se fondant sur un entretien téléphonique et une décision de la magistrate survenus au début de ce même mois. Ils ont donc agi en temps utile.
b) L'indépendance et l'impartialité des juges sont assurées en premier lieu par les règles cantonales de procédure (cf. <ref-ruling> consid. 3a; <ref-ruling> consid. 2b p. 51). Les recourants ne se plaignant pas de la violation du droit cantonal en la matière, c'est à la lumière de la Constitution et de la CEDH qu'il convient d'examiner leur grief.
c) Selon l'art. 30 al. 1 Cst. - qui, de ce point de vue, a la même portée que les art. 58 aCst. et 6 CEDH (<ref-ruling> consid. 2b p. 170, 228 consid. 2a/aa, 235 consid. 2a) - toute personne dont la cause doit être jugée dans une procédure judiciaire a droit à ce que l'affaire soit portée devant un tribunal établi par la loi, compétent, indépendant et impartial. Cette garantie permet au plaideur d'exiger la récusation d'un juge dont la situation ou le comportement est de nature à faire naître un doute sur son impartialité. Elle tend notamment à éviter que des circonstances extérieures à la cause ne puissent influencer le jugement en faveur ou au détriment d'une partie. Il suffit que les circonstances donnent l'apparence de la prévention et fassent redouter une activité partiale du magistrat. Seules les circonstances constatées objectivement doivent être prises en considération (cf. <ref-ruling> consid. 8a; <ref-ruling> consid. 3a); les impressions purement individuelles d'une des parties au procès ne sont pas décisives (<ref-ruling> consid. 2a; <ref-ruling> consid. 3a; <ref-ruling> consid. 2b et les arrêts cités).
Le Tribunal fédéral, dans une jurisprudence constante, considère que d'éventuelles erreurs de procédure ou d'appréciation commises par un juge ne suffisent pas à fonder objectivement un soupçon de prévention. Seules les fautes particulièrement lourdes ou répétées, qui doivent être considérées comme des violations graves de ses devoirs, peuvent avoir cette conséquence. Même si elles paraissent contestables, des mesures inhérentes à l'exercice normal de la charge du juge ne permettent pas de suspecter celui-ci de partialité (<ref-ruling> consid. 5 p. 20; <ref-ruling> consid. 2b p. 410; <ref-ruling> consid. 3b/aa p. 264). En outre, c'est aux juridictions de recours normalement compétentes qu'il appartient de redresser les erreurs éventuellement commises; le juge de la récusation ne saurait donc examiner la conduite du procès à la façon d'une instance d'appel (ATF <ref-ruling> consid. 3a; <ref-ruling> consid. 3b/bb p. 158 s.).
d) Les recourants reprochent au Tribunal cantonal de ne pas avoir récusé la présidente, bien qu'elle ait violé à plusieurs reprises les règles de procédure vaudoise, ce qui, objectivement, dénoterait un manque d'impartialité à leur égard. Ils s'en prennent au fait que celle-ci ait décidé de disjoindre la procédure pour trancher la question de leur légitimation active, qu'elle se soit renseignée par téléphone auprès de la banque et, enfin, qu'à la place de transmettre immédiatement la demande de récusation au Tribunal cantonal, elle ait prié l'intimée de se déterminer à ce sujet, prolongeant ainsi délibérément la procédure.
e) Contrairement à ce que soutiennent les recourants, ces éléments sont insuffisants pour en déduire, de façon objective, une apparence de partialité de la part de la magistrate.
aa) Tout d'abord, la décision de disjoindre la cause pour se prononcer en premier lieu sur la légitimation active des recourants n'a, à juste titre, pas été considérée comme un acte violant les règles de procédure par le Tribunal cantonal, même si cette question relève du droit matériel (cf. <ref-ruling> consid. 3a). En effet, l'art. 12 al. 2 de la loi cantonale du 13 décembre 1981 sur le Tribunal des baux (RS vaudois 2.3 let. D) prévoit que, lorsque le procès soulève des questions exceptionnelles ou de fond susceptibles d'être instruites séparément et dont la solution est de nature à mettre fin au litige ou à le simplifier considérablement, le tribunal peut, après avoir interpellé les parties, décider de disjoindre l'instruction et le jugement de ces questions. En outre, il ressort des faits constatés, qui ne sont pas critiqués sous l'angle de l'arbitraire par les recourants, que la présidente avait un motif objectif d'éprouver des doutes au sujet de la légitimation active des demandeurs. Cette décision entre donc dans ses attributions normales et ne saurait traduire un préjugé en défaveur des recourants.
bb) Il découle du droit d'être entendu que, pour entrer en ligne de compte comme moyen de preuve, le renseignement sollicité oralement doit avoir fait l'objet d'une audition verbalisée et le justiciable doit être invité à prendre position sur le procès-verbal d'audition (cf. <ref-ruling> consid. 4b). La maxime d'office prévue à l'art. 274d al. 3 CO ne change rien à cette exigence (cf. Roger Weber/Peter Zihlmann, Commentaire bâlois, art. 274d CO no 6). En l'espèce, il y aurait donc violation du droit d'être entendu si la juge utilisait les renseignements obtenus par téléphone auprès de la banque comme moyens de preuve. Or, il n'est pas possible de l'affirmer au stade où se trouve la procédure, dès lors qu'aucune décision au fond n'a été rendue et que l'instruction n'était pas terminée au moment où la récusation a été requise. De plus, à supposer que la présidente entende par la suite se servir de ces renseignements téléphoniques, rien n'indique qu'elle ne chercherait alors pas à en obtenir confirmation dans le respect des exigences légales. Il est donc prématuré de voir dans ce coup de téléphone, certes maladroit, une faute particulièrement grave justifiant la récusation de son auteur. La manière d'agir de la magistrate peut d'ailleurs apparaître justifiée sous l'angle de l'art. 274d CO.
cc) Selon la procédure cantonale, la demande de récusation d'un magistrat doit être déposée auprès du greffe du magistrat dont la récusation est demandée (cf. art. 47 al. 1 CPC vaud.). Celui-ci est alors tenu de transmettre dans les vingt-quatre heures cette demande à l'autorité qui doit en connaître (art. 47 al. 2 CPC vaud.), en l'occurrence au Tribunal cantonal (art. 44 al. 1 CPC vaud.). Une fois saisie, cette autorité fixe à la partie adverse un délai de dix jours pour se déterminer (art. 48 al. 1 CPC vaud.). Comme l'a relevé la cour cantonale, la présidente aurait donc dû laisser au Tribunal cantonal le soin de requérir les observations de l'intimée, à la place de les demander elle-même. Cette méconnaissance des règles de procédure cantonale ne porte toutefois pas à conséquence, puisque de toute manière l'intimée peut se prononcer sur la demande de récusation. Elle ne saurait donc être qualifiée de grave.
Quant au retard pris par la procédure en raison du comportement de la présidente, les recourants sont particulièrement malvenus de s'en plaindre, dès lors qu'il ressort de l'arrêt entrepris qu'ils n'ont eux-mêmes jamais fourni les renseignements requis dans les délais et que c'est du reste pour cette raison que la magistrate a fini par téléphoner directement à la banque.
Il faut donc admettre, avec le Tribunal cantonal, que les faits allégués et établis sont insuffisants pour fonder le grief d'apparence de partialité.
Par conséquent, même si la présidente s'est montrée peu rigoureuse sur le plan de la procédure cantonale, les manquements qui pourraient lui être reprochés n'ont ni la fréquence, ni la gravité suffisante pour permettre, dans les circonstances du cas d'espèce envisagées objectivement, de la soupçonner d'avoir cherché à favoriser l'intimée au détriment des recourants.
f) Les recourants évoquent encore, de façon générale, des attitudes et des prises de position en audience qu'aurait adoptées la présidente et qui feraient naître une suspicion légitime de prévention. Ils ne décrivent toutefois pas précisément les comportements auxquels ils font référence, pas plus qu'ils ne critiquent, sous l'angle de l'arbitraire, l'arrêt entrepris, qui ne contient aucune constatation à ce sujet. Par conséquent, on ne saurait reprocher au Tribunal cantonal d'avoir omis des circonstances démontrant de manière objective la partialité de la juge. Au demeurant, le caractère vague des critiques formulées reflètent davantage les impressions personnelles des recourants, dont la jurisprudence souligne qu'elles ne sont à elles seules pas décisives (cf. supra let. c).
En ne donnant pas suite à la demande de récusation formée par les recourants, le Tribunal cantonal n'a pas contrevenu aux art. 30 Cst. ou 6 par. 1 CEDH, de sorte que le recours doit être rejeté.
3.- Les recourants, qui succombent, seront condamnés aux frais et dépens, solidairement entre eux (art. 156 al. 1 et 7, ainsi que 159 al. 1 et 5 OJ).

Par ces motifs,
le Tribunal fédéral :
1. Rejette le recours;
2. Met un émolument judiciaire de 1'000 fr. à la charge des recourants, solidairement entre eux;
3. Dit que les recourants, débiteurs solidaires, verseront à l'intimée une indemnité de 2'000 fr. à titre de dépens;
4. Communique le présent arrêt en copie aux mandataires des parties et à la Cour administrative du Tribunal cantonal vaudois.
_
Lausanne, le 29 mars 2001 ECH
Au nom de la Ie Cour civile
du TRIBUNAL FÉDÉRAL SUISSE:
Le Président,
La Greffière,