Sachverhalt: A. Am 2. März 2020 klagten A._ und B._ (Mieter, Kläger, Beschwerdeführer) beim Mietgericht des Bezirksgerichts Winterthur gegen E.E._ und F.E._ (Vermieter, Beklagte) und verlangten, die Kündigung des zwischen ihnen bestehenden Mietverhältnisses über ein Einfamilienhaus an der U._strasse in V._ sei als ungültig zu erklären, eventuell sei es zu erstrecken. Die Mietgerichtspräsidentin C._ (Mietgerichtspräsidentin, Beschwerdegegnerin 1) zog mit Verfügung vom 11. März 2020 die Schlichtungsakten bei. Hinsichtlich dieses Beizugs stellten die Kläger am 26. März 2020 ein Wiedererwägungsgesuch, welches von der Mietgerichtspräsidentin unter Mitwirkung der leitenden Gerichtsschreiberin D._ (Gerichtsschreiberin, Beschwerdegegnerin 2) am 31. März 2020 abgewiesen wurde mit der Begründung, die Akten seien bereits "einakturiert" und auch kurz zur Kenntnis genommen worden. B. Mit Eingabe vom 3. April 2020 stellten die Kläger beim Bezirksgericht Winterthur je ein Ausstandsbegehren gegen die Mietgerichtspräsidentin und die Gerichtsschreiberin. Diese wurden mit Beschluss vom 7. Mai 2020 abgewiesen. Die von den Klägern erhobene Beschwerde wurde vom Obergericht des Kantons Zürich mit Urteil vom 17. Juli 2020 abgewiesen. C. Mit Beschwerde in Zivilsachen vom 14. September 2020 beantragen die Kläger dem Bundesgericht, das Urteil des Obergerichts vom 17. Juli 2020 sei kostenfällig aufzuheben und die Mietgerichtspräsidentin und die Gerichtsschreiberin seien zu verpflichten, im mietrechtlichen Verfahren in den Ausstand zu treten. Eventualiter sei die Sache zur Neubeurteilung an das Obergericht bzw. das Mietgericht zurückzuweisen. Es wurden keine Vernehmlassungen eingeholt.