Sachverhalt:
A.
Mit Eingabe vom 21. Februar 2020 beantragte die D._ AG (Gesuchstellerin, Beschwerdegegnerin) als Vermieterin beim Bezirksgericht Zürich, Einzelgericht Audienz, die Ausweisung der Mieter A._ GmbH, B._ und C._ (Gesuchsgegner, Beschwerdeführer) aus dem Mietobjekt an der U._strasse in V._.
Mit Urteil vom 2. Juni 2020 verpflichtete das Bezirksgericht die Gesuchsgegner, das gemietete Objekt zu verlassen, nebst Vollstreckungsandrohungen.
Gegen dieses Urteil führten die Mieter Berufung an das Obergericht des Kantons Zürich. Das Obergericht kam mit Beschluss und Urteil vom 11. September 2020 zum Schluss, dass die Gesuchsgegner der Beanstandungslast in ihrer Berufungsschrift nur teilweise nachgekommen seien. Soweit ihre Beanstandungen zu hören seien, seien sie unbegründet. Die Berufung sei deshalb abzuweisen und das Urteil des Bezirksgerichts werde vollumfänglich bestätigt. Sodann werde auf den Antrag der Gesuchsgegner, der Berufung die aufschiebende Wirkung zu erteilen, nicht eingetreten (Beschluss).
B.
Gegen den Entscheid des Obergerichts erhoben die Beschwerdeführer Beschwerde in Zivilsachen an das Bundesgericht. Sie beantragten, der Beschwerde sei die aufschiebende Wirkung zu erteilen. Es sei das Urteil des Obergerichts aufzuheben und das Ausweisungsbegehren der Beschwerdegegnerin sei abzuweisen, inklusive Neuverteilung der Kosten und der Parteientschädigung entsprechend dem Verfahrensausgang. Eventualiter sei die Angelegenheit zur Neubeurteilung an die Vorinstanz, subeventualiter an die Erstinstanz, zurückzuweisen.
Mit Verfügung vom 27. Oktober 2020 wurde der Beschwerdegegnerin und der Vorinstanz Frist angesetzt, um sich zum Gesuch um aufschiebende Wirkung zu äussern. Die Vorinstanz verzichtete auf Stellungnahme. Die Beschwerdegegnerin liess sich nicht vernehmen.
Mit Schreiben vom 29. November 2020 reichten die Beschwerdeführer eine als "Erkenntniseingabe" betitelte Eingabe samt Beilagen ein.
Auf das Einholen von Vernehmlassungen zur Beschwerde wurde verzichtet.

Erwägungen:
1.
Die Sachurteilsvoraussetzungen sind erfüllt, insbesondere auch das Streitwerterfordernis von Art. 74 Abs. 1 lit. a BGG mit einem von der Vorinstanz ausgewiesenen Streitwert von Fr. 390'000.--, und geben zu keinen Bemerkungen Anlass. Unter Vorbehalt einer rechtsgenüglichen Begründung (Art. 42 Abs. 2 und Art. 106 Abs. 2 BGG; vgl. Erwägung 2) ist daher auf die Beschwerde einzutreten.
2.
2.1. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Immerhin prüft es, unter Berücksichtigung der allgemeinen Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind. Es ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr vorgetragen werden (<ref-ruling> E. 2 S. 116; <ref-ruling> E. 1.3).
Die Beschwerde ist dabei hinreichend zu begründen, andernfalls wird darauf nicht eingetreten. Unerlässlich ist im Hinblick auf Art. 42 Abs. 2 BGG, dass die Beschwerde auf die Begründung des angefochtenen Entscheids eingeht und im Einzelnen aufzeigt, worin eine Verletzung von Bundesrecht liegt. Die beschwerdeführende Partei soll in der Beschwerdeschrift nicht bloss die Rechtsstandpunkte, die sie im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit ihrer Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (<ref-ruling> E. 2 S. 89, 115 E. 2 S. 116). Die Begründung hat ferner in der Beschwerdeschrift selbst zu erfolgen, und der blosse Verweis auf Ausführungen in andern Rechtsschriften oder auf die Akten reicht nicht aus (<ref-ruling> E. 3.2.2; <ref-ruling> E. 2 S. 116).
2.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Dazu gehören sowohl die Feststellungen über den streitgegenständlichen Lebenssachverhalt als auch jene über den Ablauf des vor- und erstinstanzlichen Verfahrens, also die Feststellungen über den Prozesssachverhalt (<ref-ruling> E. 1.3.1 mit Hinweisen). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 2 S. 117; <ref-ruling> E. 1.5). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein können (Art. 97 Abs. 1 BGG).
Für eine Kritik am festgestellten Sachverhalt gilt das strenge Rügeprinzip von Art. 106 Abs. 2 BGG (<ref-ruling> E. 2.3 S. 266 mit Hinweisen). Die Partei, welche die Sachverhaltsfeststellung der Vorinstanz anfechten will, muss klar und substanziiert aufzeigen, inwiefern diese Voraussetzungen erfüllt sein sollen (<ref-ruling> E. 1.3.1 S. 18 mit Hinweisen). Wenn sie den Sachverhalt ergänzen will, hat sie zudem mit präzisen Aktenhinweisen darzulegen, dass sie entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (<ref-ruling> E. 2 S. 90). Genügt die Kritik diesen Anforderungen nicht, können Vorbringen mit Bezug auf einen Sachverhalt, der vom angefochtenen Entscheid abweicht, nicht berücksichtigt werden (<ref-ruling> E. 1.3.1 S. 18).
3.
Diese Grundsätze verkennen die Beschwerdeführer in ihrer Beschwerdeschrift zu grossen Teilen.
3.1. Sie tragen zunächst unter dem Titel "Materielles" den Sachverhalt aus ihrer eigenen Sicht vor und gehen dabei frei über die von der Vorinstanz festgestellten Tatsachen hinaus, ohne eine rechtsgenügliche Sachverhaltsrüge zu erheben (Erwägung 2.2). Die Beschwerdeführer stützen sich sodann darauf, dass die Beschwerdegegnerin nicht substanziiert behauptet habe, dass sich das Mietobjekt in einem vertragsgemässen Zustand befinde, dass der abgemahnte Betrag in der Kündigungsandrohung unzutreffend war und dass keine offenen Mietschulden bestünden. Sie gehen auch damit über die Sachverhaltsfeststellungen der Vorinstanz hinaus, ohne hinreichende Sachverhaltsrügen nach den oben genannten Grundsätzen zu erheben (Erwägung 2.2). Auf diese tatsächlichen Elemente können sie sich nicht stützen. Entsprechend hat auch die auf die eigene Sachdarstellung abgestützte Rechtsrüge keinen Erfolg.
3.2. Die Beschwerdeführer monieren, es liege kein klarer Fall vor, der im Rechtsschutz in klaren Fällen beurteilt werden könne. Weiter sei kein Mietzins geschuldet gewesen und die Vorinstanzen hätten im Zusammenhang mit den beanstandeten Mängeln am Mietobjekt eine unzulässige Umkehr der Beweislast vorgenommen. Die Beschwerdegegnerin hätte darlegen müssen, dass sich die Liegenschaft in einem vertragsgemässen Zustand befinde und dass sie über eine Bezugsfreigabe verfüge. Die Vorinstanz sei sodann zu Unrecht von einer Rohbaumiete ausgegangen, aber die Liegenschaft würde nicht einmal den Anforderungen an eine Rohbaumiete genügen. Die Vorinstanz hätte alsdann ihre Vorbringen in der Duplik zu beachten und den Sachverhalt von Amtes wegen ermitteln müssen. Schliesslich sei die Vorinstanz zu Unrecht davon ausgegangen, die Beschwerdegegnerin sei mit den Verhandlungen über die Mietzinshöhe nicht einverstanden gewesen.
Bereits die Vorinstanz ging im Einzelnen auf diese Vorbringen ein. Vor Bundesgericht setzen sich die Beschwerdeführer nicht rechtsgenüglich mit den einzelnen Erwägungen der Vorinstanz auseinander (Erwägung 2.1), geschweige denn zeigen sie mit ihren Ausführungen hinreichend auf, inwiefern die Vorinstanz bei den einzelnen Erwägungen Bundesrecht verletzt hätte. Auf diese Vorbringen ist somit nicht einzutreten.
4.
Die Beschwerdeführer reichten nach Ablauf der Beschwerdeschrift eine weitere, als "Erkenntniseingabe" bezeichnete Rechtsschrift ein. Sie verkennen damit zunächst, dass die Beschwerde innert der Beschwerdefrist vollständig begründet einzureichen ist (vgl. Art. 42 Abs. 1 BGG).
Darüber hinaus übergehen sie in ihrer nachträglichen Eingabe die Novenregelung für das bundesgerichtliche Verfahren: Sie machen geltend, dass sie "Anfang und Mitte November 2020" Anhaltspunkte über Unregelmässigkeiten bei den Baubewilligungen erhalten haben. Soweit sie damit Tatsachen ins bundesgerichtliche Verfahren einführen möchten, die sich erst nach dem angefochtenen Entscheid der Vorinstanz vom 11. September 2020 ereigneten oder entstanden sind, können diese Vorbringen nicht berücksichtigt werden. Echte Noven sind vor Bundesgericht unzulässig (<ref-ruling> E. 1.2 S. 23; <ref-ruling> E. 3.2.2.2 S. 548).
Im Übrigen dürfen nach Art. 99 Abs. 1 BGG neue Tatsachen und Beweismittel vor Bundesgericht nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt, was in der Beschwerde näher darzulegen ist (<ref-ruling> E. 1.2 S. 23; <ref-ruling> E. 4.1 S. 266). Diesbezüglich behaupten die Beschwerdeführer bloss ohne weitere Begründung, dass erst der Entscheid der Vorinstanz ihnen Anlass gegeben habe, die Baubewilligungen der Vermieter genauer anzusehen. Das ist ungenügend. Der vorinstanzliche Verfahrensausgang allein bildet noch keinen hinreichenden Anlass im Sinne von Art. 99 Abs. 1 BGG für die Zulässigkeit von unechten Noven, die bereits im kantonalen Verfahren ohne Weiteres hätten vorgebracht werden können (<ref-ruling> E. 1.2 S. 23).
5.
5.1. Die Beschwerdeführer rügen, die Vorinstanz behaupte, die Parteien wollten die Unterscheidung zwischen Nicht- und Schlechtleistung beseitigen. Dieser Behauptung könne nicht gefolgt werden, zumal die Vorinstanz diese Annahme nicht begründe, womit sie das rechtliche Gehör der Beschwerdeführer verletzt habe.
Es ist nicht so, dass die Vorinstanz den Standpunkt eingenommen hätte, die Parteien wollten die Unterscheidung zwischen Nicht- und Schlechtleistung beseitigen. Die Vorinstanz erwog vielmehr das Gegenteil, nämlich es ergebe sich nicht aus der vertraglichen Vereinbarung, dass die Parteien die Unterscheidung zwischen Nicht- und Schlechtleistungen, die das Gesetz vorsehe, beseitigen und die mängelfreie Bereitstellung der Mietersache zur Bedingung für die Gegenleistung machen wollten (angefochtener Entscheid, E. 3.1 S. 8). Die Rüge der Beschwerdeführer geht damit ins Leere.
Auch die in diesem Zusammenhang behauptete Verletzung der Begründungspflicht ist offensichtlich unbegründet: Um den Vorgaben von Art. 29 Abs. 2 BV zu genügen, muss die Begründung so abgefasst sein, dass sich die betroffene Person über die Tragweite des angefochtenen Entscheids Rechenschaft geben und ihn in voller Kenntnis der Sache an die höhere Instanz weiterziehen kann (<ref-ruling> E. 6.1 S. 326 mit Hinweisen). Das ist hier entgegen der Auffassung der Beschwerdeführer zweifellos der Fall, denn die Vorinstanz legte in Erwägung 3 S. 7 f. ihre Überlegungen zur "Mietzinsvereinbarung/Fertigstellung" klar dar. Diese Begründung erlaubt es den Beschwerdeführern ohne Weiteres, den Entscheid der Vorinstanz an das Bundesgericht weiterzuziehen.
5.2. Das Gleiche gilt, wenn die Beschwerdeführer im Zusammenhang mit der Beanstandungslast eine Verletzung des rechtlichen Gehörs rügen. Auch hier ist weder hinreichend dargetan (Erwägung 2.1), noch ersichtlich, inwiefern es den Beschwerdeführern nicht möglich gewesen wäre, den Entscheid der Vorinstanz anzufechten.
6.
Die Beschwerdeführer monieren, ein Herabsetzungsanspruch bestehe entgegen den Ausführungen der Vorinstanz nicht nur bei nicht behebbaren Mängeln. Ein Herabsetzungsanspruch bestehe bereits, wenn das Mietobjekt nicht alle vertraglichen Merkmale aufweise. Insofern seien die Ausführungen der Vorinstanzen "falsch".
Indem die Beschwerdeführer die Erwägungen der Vorinstanz bloss pauschal als "falsch" bezeichnen, legen sie nicht hinreichend dar, worin die Verletzung von Bundesrecht liegt (Erwägung 2.1). Im Übrigen ist auch diese Rüge nicht nachvollziehbar, erwogen doch beide Vorinstanzen, dass bei behebbaren Mängeln, die Mieter den Mietzins nicht einfach zurückhalten dürften, wie dies der Standpunkt der Beschwerdeführer ist (oder zumindest vor den Vorinstanzen war), sondern in diesem Fall allein die Hinterlegung nach Art. 259g OR offenstünde.
7.
Schliesslich tragen die Beschwerdeführer bezüglich der erstinstanzlichen Kosten- und Entschädigungsfolgen vor, die Vorinstanz führe aus, "die Höhe und Auferlegung der Kosten seien nicht zu beanstanden, weshalb es damit sein Bewenden habe". Damit verletze die Vorinstanz erneut die Begründungspflicht.
Auch diese Rüge geht an der Sache vorbei. Die Vorinstanz erklärte nicht, dass die Kostenfolgen des erstinstanzlichen Verfahrens nicht zu beanstanden seien, sondern sie erwog, dass die Kostenfolgen des erstinstanzlichen Prozesses "nicht beanstandet" seien (angefochtener Entscheid, E. 10 S. 12). Die Vorinstanz erwog mit anderen Worten, dass die Beschwerdeführer im vorinstanzlichen Verfahren die erstinstanzlichen Kosten- und Entschädigungsfolgen nicht angefochten haben, womit es sich für die Vorinstanz erübrigte, diese Punkte des erstinstanzlichen Entscheids zu überprüfen. Es hat damit sein Bewenden.
8.
Das Gesuch um Erteilung der aufschiebenden Wirkung wird mit dem Entscheid in der Sache selbst gegenstandslos.
9.
Die Beschwerde ist nach dem Ausgeführten im Verfahren nach Art. 109 Abs. 2 lit. a und Abs. 3 BGG mit summarischer Begründung abzuweisen, soweit darauf überhaupt eingetreten werden kann.
Bei diesem Ausgang des Verfahrens werden die Beschwerdeführer in solidarischer Haftung kostenpflichtig (Art. 66 Abs. 1 und 5 BGG). Der Beschwerdegegnerin, die sich nur zum Gesuch um aufschiebende Wirkung zu äussern hatte und keine Stellungnahme hierzu einreichte, ist aus dem bundesgerichtlichen Verfahren kein entschädigungspflichtiger Aufwand erwachsen, weshalb ihr keine Parteientschädigung zuzusprechen ist (Art. 68 Abs. 1 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 2'000.-- werden den Beschwerdeführern in solidarischer Haftung auferlegt.
3.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, II. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 7. Dezember 2020
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Der Gerichtsschreiber: Brugger