Sachverhalt:
A.
Am 2. März 2020 klagten A._ und B._ (Mieter, Kläger, Beschwerdeführer) beim Mietgericht des Bezirksgerichts Winterthur gegen E.E._ und F.E._ (Vermieter, Beklagte) und verlangten, die Kündigung des zwischen ihnen bestehenden Mietverhältnisses über ein Einfamilienhaus an der U._strasse in V._ sei als ungültig zu erklären, eventuell sei es zu erstrecken.
Die Mietgerichtspräsidentin C._ (Mietgerichtspräsidentin, Beschwerdegegnerin 1) zog mit Verfügung vom 11. März 2020 die Schlichtungsakten bei. Hinsichtlich dieses Beizugs stellten die Kläger am 26. März 2020 ein Wiedererwägungsgesuch, welches von der Mietgerichtspräsidentin unter Mitwirkung der leitenden Gerichtsschreiberin D._ (Gerichtsschreiberin, Beschwerdegegnerin 2) am 31. März 2020 abgewiesen wurde mit der Begründung, die Akten seien bereits "einakturiert" und auch kurz zur Kenntnis genommen worden.
B.
Mit Eingabe vom 3. April 2020 stellten die Kläger beim Bezirksgericht Winterthur je ein Ausstandsbegehren gegen die Mietgerichtspräsidentin und die Gerichtsschreiberin. Diese wurden mit Beschluss vom 7. Mai 2020 abgewiesen.
Die von den Klägern erhobene Beschwerde wurde vom Obergericht des Kantons Zürich mit Urteil vom 17. Juli 2020 abgewiesen.
C.
Mit Beschwerde in Zivilsachen vom 14. September 2020 beantragen die Kläger dem Bundesgericht, das Urteil des Obergerichts vom 17. Juli 2020 sei kostenfällig aufzuheben und die Mietgerichtspräsidentin und die Gerichtsschreiberin seien zu verpflichten, im mietrechtlichen Verfahren in den Ausstand zu treten. Eventualiter sei die Sache zur Neubeurteilung an das Obergericht bzw. das Mietgericht zurückzuweisen.
Es wurden keine Vernehmlassungen eingeholt.

Erwägungen:
1.
Der angefochtene Entscheid ist ein selbständig eröffneter Zwischenentscheid betreffend einen Ausstand, gegen den gemäss <ref-law> die Beschwerde zulässig ist. Der Streitwert beträgt gemäss Angaben der Vorinstanz Fr. 118'800.--, womit auch das Streitwerterfordernis (<ref-law>) eingehalten ist.
2.
Die Vorinstanz erwog, im vorliegenden Ausstandsverfahren gehe es nicht um die Frage, ob der Beizug der Schlichtungsakten rechtmässig gewesen sei. Relevant sei einzig noch die Frage, ob davon ausgegangen werden müsse, die Beschwerdegegnerinnen seien aufgrund des Beizugs und Kenntnisnahme dieser Akten befangen. Entsprechend sei entgegen der Beschwerdeführer nicht auf die Rechtmässigkeit des Beizugs einzugehen.
Vorliegend komme nur ein Ausstand gemäss der Generalklausel von <ref-law> wegen Vorbefassung in Frage. In Bezug auf den Fall, dass ein Mitglied des Gerichts in derselben Sache in verschiedenen Funktionen tätig gewesen sei, zähle der Gesetzgeber in <ref-law> typische Situationen auf, welche für sich allein genommen den Ausstand nicht zu begründen vermöchten. Namentlich betreffe dies die Mitwirkung beim Entscheid über die unentgeltliche Rechtspflege, beim Schlichtungsverfahren, bei der Rechtsöffnung, bei der Anordnung vorsorglicher Massnahmen und im Eheschutz. Diese explizite Normierung des Gesetzgebers biete auch in anderen, nicht ausdrücklich normierten, Fällen eine Referenz für die Beurteilung, inwieweit eine Vorbefassung allenfalls zu Befangenheit führe.
Konkret erwog die Vorinstanz, entgegen den Beschwerdeführern ergebe sich durch die Kenntnis der Plädoyernotizen und des Urteilsvorschlags keine Befangenheit. Sie verwarf die vom Beschwerdeführer auf einzelne Lehrmeinungen gestützte Auffassung, Befangenheit sei anzunehmen, wenn ein Gerichtspräsident den Parteien während eines vorangegangenen Schlichtungsverfahrens in gleicher Sache einen Urteilsvorschlag unterbreitet habe. Denn wenn der Gesetzgeber es als vereinbar erachte, dass eine Person, die beim Schlichtungsverfahren mitgewirkt habe, auch im Erkenntnisverfahren mitwirke (<ref-law>), erschliesse sich nicht, inwiefern diese vom Gesetzgeber tolerierte vorläufige Meinungsbildung weniger zu einer möglichen Vorbefasstheit führen sollte als die Ausarbeitung eines Urteilsvorschlags. Vorliegend seien die Beschwerdegegnerinnen aber nicht einmal am Schlichtungsverfahren beteiligt gewesen, hätten mithin bei der Ausarbeitung des Urteilsvorschlags überhaupt nicht mitgewirkt. Vielmehr hätten sie erst im nachfolgenden Verfahren vor dem Mietgericht Einsicht in den Urteilsvorschlag genommen. Umso mehr könne angesichts der vom Gesetzgeber mit <ref-law> getroffenen Wertung hier kein Ausstandsgrund vorliegen. Im Übrigen würden Mitglieder eines Gerichts immer wieder mit Umständen konfrontiert, die sie bei der Entscheidfindung ausser Acht zu lassen hätten. So etwa bei unzulässigen Beweisen oder Noven, die aber im Fall ihrer Zulässigkeit den Ausgang des Verfahrens ändern könnten. Auch bei Vergleichsgesprächen erhalte das Gericht Einblick in den Verhandlungsspielraum der Parteien; Vergleichsgespräche könnten aber ebenfalls für sich alleine keinen Ausstand begründen. Konkrete Umstände, die vorliegend bei objektiver Betrachtung auf Befangenheit schliessen liessen, würden nicht dargetan.
3.
Die Beschwerdeführer legen erneut dar, der Beizug der Akten durch das Mietgericht verletze den Grundsatz der Vertraulichkeit des Schlichtungsverfahrens und die Einsicht in Akten, welche sich unrechtmässig im Besitz des Einsichtnehmenden befinden, würde per se den Anschein der Befangenheit begründen.
Mit dem Hinweis auf einen Entscheid des Bundesstrafgerichts in einem Entsiegelungsverfahren vermögen sie ihre Auffassung allerdings nicht zu begründen. Sie übergehen damit, dass die Vorinstanz (zu Recht) vor allem auf die Wertungen des Gesetzgebers im Zivilprozess verwiesen hat, welche in einem strafprozessualen Verfahren keine Rolle spielen. Mit der Vorinstanz ist nicht weiter auf die Rechtmässigkeit des Aktenbeizugs einzugehen.
4.
4.1. Nach Ansicht der Beschwerdeführer sind zusätzlich zu den von der Vorinstanz angestellten allgemeinen Überlegungen, gestützt namentlich auf die Wertungen des Gesetzgebers im Rahmen von <ref-law>, auch Umstände und Tatsachen zu berücksichtigen, die konkret auf Befangenheit der Beschwerdegegnerinnen schliessen liessen. So habe das Mietgericht noch während des laufenden Ausstandsverfahrens zur Hauptverhandlung vorgeladen, wie sich aus einer E-Mail des Rechtsvertreters der Beschwerdeführer an das Mietgericht vom 28. Mai 2020 ergebe. Es sei so vorgegangen worden, ohne dass zeitliche Dringlichkeit bestanden hätte. Anderseits erwecke auch die im Antwortschreiben der Mietgerichtspräsidentin vom 30. Juli 2020 gewählte Ausdrucksweise den Anschein der Befangenheit.
Beim Schreiben vom 30. Juli 2020 handelt es sich um ein nach dem angefochtenen Urteil vom 17. Juli 2020 entstandenes Aktenstück, welches als Novum (<ref-law>) unbeachtlich ist. Im Übrigen lässt sich aus diesem Brief nicht auf Befangenheit schliessen.
Damit das Bundesgericht auf eine Rüge eintreten kann, ist nicht nur erforderlich, dass der kantonale Instanzenzug formell durchlaufen wurde, sondern auch, dass die Rügen, die dem Bundesgericht unterbreitet werden, soweit möglich schon vor Vorinstanz vorgebracht wurden (sog. materielle Erschöpfung des Instanzenzugs; <ref-ruling> E. 1.1 S. 292 f. mit Hinweisen). Die Vorinstanz stellte fest, konkrete Umstände für Befangenheit würden in ihrem Verfahren nicht dargetan. Die Beschwerdeführer müssten daher nachweisen, dass sie sich schon im obergerichtlichen Verfahren auf das Vorgehen des Mietgerichts betreffend Ansetzen der Hauptverhandlung berufen hätten. Da sie das nicht tun, ist auf diese Rüge nicht weiter einzugehen.
4.2. Im Übrigen kann im Wesentlichen auf die zutreffende Begründung der Vorinstanz, namentlich hinsichtlich der sich aus <ref-law> ergebenden Anhaltspunkte, verwiesen werden (<ref-law>).
Der Hinweis der Beschwerdeführer, die Vorinstanz sei fälschlicherweise davon ausgegangen, im Schlichtungsverfahren habe kein Beweisverfahren stattgefunden, ist nicht entscheiderheblich. Das Gleiche gilt für den - im Übrigen offensichtlich erst in der Beschwerde vorgebrachten (vgl. E. 4.1 hiervor zur materiellen Erschöpfung) - Einwand, § 64 Abs. 3 des Gesetzes über die Gerichts- und Behördenorganisation im Zivil- und Strafprozess des Kantons Zürich (GOG/ZH; LS 211.1) statuiere für mietrechtliche Verfahren eine strenge personelle Unvereinbarkeit zwischen Schlichtungs- und Gerichtspersonen. Diese Wertung sei bei der Auslegung von <ref-law> zu berücksichtigen. Bei beiden Argumenten geht es darum, ob die Mitwirkungeines Gerichtsmitglieds bei einem vorgängigen Schlichtungsverfahren, das nach einem Beweisverfahren in einen Urteilsvorschlag mündete, gemäss den von der Vorinstanz zitierten Lehrmeinungen Befangenheit begründen soll. Die Vorinstanz verwies zu Recht darauf, dass die Beschwerdegegnerinnen vorliegend nicht selbst einen Urteilsvorschlag erarbeitet und insofern keine eigene Meinung gebildet, sondern lediglich in den Urteilsvorschlag Einsicht genommen hätten. Diesbezüglich erschöpft sich die Beschwerde in blosser appellatorischer Kritik.
5.
Die Beschwerde ist abzuweisen, soweit darauf einzutreten ist. Bei diesem Ausgang des Verfahrens werden die Beschwerdeführer für das bundesgerichtliche Verfahren unter solidarischer Haftung kostenpflichtig (Art. 66 Abs. 1 und 5 BGG). Da keine Vernehmlassungen eingeholt wurden, haben sie keine Parteientschädigung zu entrichten.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 2'000.-- werden den Beschwerdeführern unter solidarischer Haftung auferlegt.
3.
Dieses Urteil wird den Parteien, E.E._, F.E._ und dem Obergericht des Kantons Zürich, II. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 27. November 2020
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Der Gerichtsschreiber: Bittel