Sachverhalt:
A.
A.a. Die C._ AG (Vermieterin, Beklagte, Beschwerdegegnerin) erwarb am 6. Dezember 2001 die aneinander grenzenden Liegenschaften Strasse X._ und Strasse Y._ in Zürich. Der Kaufpreis betrug Fr. 21'529'000.--. Im Jahre 2012 baute die Vermieterin die beiden Liegenschaften um, wofür sie der Generalunternehmerin Fr. 7'007'960.-- bezahlte; für Zusatzarbeiten leistete sie überdies noch Fr. 896'372.--. Nach dem Umbau wiesen die beiden Liegenschaften insgesamt 4'027 m2 Laden-, Restaurations-, Büro-, Lager-, Werkstatt- und Wohnräume auf. Unter anderem sind im Dachstock der beiden Liegenschaften insgesamt sechs 3.5-Zimmer-Maisonettewohnungen neu eingebaut worden.
Am 20. März 2013 schlossen A._ (Mieter 1, Kläger 1, Beschwerdeführer 1) und B._ (Mieter 2, Kläger 2, Beschwerdeführer 2) mit der Vermieterin einen Vertrag über die Miete einer der 3.5-Zimmer-Maisonettewohnungen im Dachstock der Liegenschaft Strasse X._ in Zürich. Der Mietzins wurde auf Fr. 3'900.-- zuzüglich Fr. 300.-- Nebenkosten à conto pro Monat festgesetzt. Die Mieter verpflichteten sich überdies, eine Sicherheit von Fr. 12'600.-- zu leisten. Als Mietbeginn wurde der 1. April 2013 festgelegt.
A.b. Am 26. August 2013 reichten die Mieter beim Mietgericht Zürich Klage ein mit dem - schliesslich massgebenden - Begehren, es sei der Anfangsmietzins für die 3.5-Zimmer-Maisonettewohnung als missbräuchlich zu erklären, soweit er monatlich netto Fr. 2'200.-- übersteigt. Die bei der Swiss Caution hinterlegte Mietzinsgarantie von Fr. 12'600.-- sei auf Fr. 6'600.-- zu reduzieren.
Das Mietgericht Zürich wies die Klage mit Urteil vom 16. Juni 2015 ab, im Wesentlichen in der Erwägung, eine Aufteilung der pauschalen Anlagekosten auf die einzelnen Mietobjekte wäre entgegen der Ansicht der Beklagten zwar möglich, aber nur mit einem Gutachten, dessen Kosten die beweisbelasteten Kläger nicht vorgeschossen hätten. Die vorliegenden Unterlagen genügten zum den Klägern obliegenden Beweis der Missbräuchlichkeit nicht.
A.c. Das Obergericht des Kantons Zürich wies die dagegen von den Klägern eingereichte Berufung am 9. November 2015 mit der Begründung ab, die Kläger seien gar nicht zur Anfechtung des Anfangsmietzinses berechtigt. Diesen Entscheid hob das Bundesgericht mit Urteil vom 18. Mai 2016 (<ref-ruling>) auf und wies die Sache an die Vorinstanz zurück.
B.
Mit Urteil vom 24. November 2016 wies das Obergericht des Kantons Zürich die Berufung erneut ab und bestätigte das Urteil des Mietgerichts Zürich vom 16. Juni 2015. Das Obergericht entschied, die beweisbelasteten Kläger hätten nicht nachgewiesen, dass die Beklagte eine zu hohe Nettorendite erziele. Dieser Beweis wäre nur durch ein Gutachten zu erbringen gewesen, nachdem die Beklagte für die Umbauarbeiten ihrer gesamten Liegenschaften ein Pauschalhonorar vereinbart habe und daher die Verteilung der Investitionskosten auf die einzelnen Wohnungen und Geschäftsräume aus den Unterlagen nicht hervorgehe. Da die beweisbelasteten Kläger den Vorschuss für das Gutachten nicht bezahlt hatten, wies das Obergericht die Berufung und die Klage ab.
C.
Mit Beschwerde in Zivilsachen stellen die Kläger den Hauptantrag, es sei das angefochtene Urteil des Obergerichts des Kantons Zürich vom 24. November 2016 aufzuheben und das Verfahren sei an die Vorinstanz zur Neubeurteilung des Anfangsmietzinses sowie der Kosten- und Entschädigungsfolgen zurückzuweisen. In einem Eventualantrag begehren sie, die Verfahrenskosten vor erster Instanz seien der Beschwerdegegnerin aufzuerlegen. Zudem sei diese zu verpflichten, den Beschwerdeführern für das Verfahren vor erster Instanz eine angemessene Parteientschädigung zu entrichten.
Die Beschwerdegegnerin beantragt in der Antwort, die Beschwerde sei abzuweisen und das Urteil der Vorinstanz sei zu bestätigen.
Die Vorinstanz hat keine Vernehmlassung eingereicht.

Erwägungen:
1.
1.1. Die Beschwerde richtet sich gegen den Endentscheid (Art. 90 BGG) eines oberen kantonalen Gerichts, das in einer Zivilsache (Art. 72 BGG) als Rechtsmittelinstanz entschieden (Art. 75 BGG) und die Anträge der Beschwerdeführer abgewiesen hat (Art. 76 BGG). Der Streitwert in der vorliegenden Mietangelegenheit (Art. 74 Abs. 1 lit. a BGG) ist erreicht und die Beschwerdefrist (Art. 100 BGG) ist eingehalten.
1.2. Die Beschwerde in Zivilsachen ist ein reformatorisches Rechtsmittel (Art. 107 Abs. 2 BGG). Der Beschwerdeführer darf sich deshalb grundsätzlich nicht darauf beschränken, die Aufhebung des angefochtenen Entscheids zu beantragen, sondern muss einen, fallbezogen bezifferten, Antrag in der Sache stellen (<ref-ruling> E. 2, 379 E. 1.3 S. 383). Ein Antrag auf Rückweisung der Sache genügt jedoch ausnahmsweise und ist allein angebracht, wenn das Bundesgericht im Falle der Gutheissung in der Sache nicht selbst entscheiden könnte, insbesondere weil die erforderlichen Sachverhaltsfeststellungen der Vorinstanz fehlen (<ref-ruling> E. 1.2; <ref-ruling> E. 1.3 S. 383; <ref-ruling> E. 3.1 S. 490). Dies trifft hier zu. Die Vorinstanz hat die Höhe der Anlagekosten für die beiden Liegenschaften der Beschwerdegegnerin mit insgesamt 4'027 m2 Laden-, Restaurations-, Büro-, Lager-, Werkstatt- und Wohnräume nicht abschliessend festgestellt und namentlich nicht auf die einzelnen Mietobjekte bzw. die Wohnung der Beschwerdeführer verlegt.
1.3. Neue Begehren sind im Verfahren vor Bundesgericht unzulässig (Art. 99 Abs. 2 BGG). Im Eventualantrag begehren die Beschwerdeführer eine andere Verteilung der erstinstanzlichen Gerichtskosten mit der Begründung, sie hätten die Klage nach Art. 107 Abs. 1 lit. b ZPO in guten Treuen eingereicht und der Nachweis der Missbräuchlichkeit sei am von der Beschwerdegegnerin zu verantwortenden Mangel an konkreten Unterlagen gescheitert. Dieser Antrag wurde zwar vor Vorinstanz nicht als formelles Begehren formuliert, aber von den Beschwerdeführern vorgebracht und von der Vorinstanz in Erwägung 7 des angefochtenen Entscheids beurteilt. Das Begehren ist daher zulässig.
1.4. Auf die Beschwerde ist - unter Vorbehalt hinreichender Begründung (Art. 42 Abs. 2 BGG) - einzutreten.
2.
2.1. Nach dem Grundsatz gemäss Art. 269 OR sind Mietzinse missbräuchlich, wenn damit ein übersetzter Ertrag aus der Mietsache erzielt wird.
2.1.1. Mit Ertrag ist die Nettorendite gemeint; der Mietzins soll dem Vermieter einerseits einen angemessenen Ertrag aus seinen investierten Eigenmitteln verschaffen und anderseits die Unterhaltskosten und Lasten der Immobilie decken (<ref-ruling> E. 2.1 S. 575; <ref-ruling> E. 6.3; <ref-ruling> E. 2b). Die Nettorendite berechnet sich nach absoluter Methode - d.h. im Unterschied zur relativen Methode unabhängig von früheren Mietzinsvereinbarungen - auf der Grundlage der finanziellen Verhältnisse in Bezug auf die Liegenschaft zu einem bestimmten Zeitpunkt (<ref-ruling> E. 2.1 S. 575; <ref-ruling> E. 6a). Es geht im Wesentlichen darum, das Eigenkapital festzustellen. Darunter ist die Differenz zwischen den Anlagekosten und den aufhaftenden Schulden zu verstehen, zuzüglich der Amortisationen und der eigenfinanzierten wertvermehrenden Aufwendungen. Das so ermittelte Eigenkapital ist bis zu maximal 40% der gesamten Anlagekosten der Teuerung anzupassen, weil dem gesetzlichen Rechnungsmodell ein standardisiertes Verhältnis zwischen Fremd- und Eigenkapital zugrunde liegt (<ref-ruling> E. 3a S. 258; <ref-ruling> E. 5a, 302 E. 6a). Der Mietzins ist nicht missbräuchlich, wenn das so ermittelte Eigenkapital einen Nettoertrag abwirft, der den Referenz-Zinssatz um nicht mehr als 0.5% übersteigt (<ref-ruling> E. 2.1 S. 575; <ref-ruling> E. 6.3 S. 252). Die Unterhaltskosten (<ref-ruling> E. 3.5.1 S. 439) und laufenden Liegenschaftslasten sind zu berücksichtigen (<ref-ruling> E. 2.1 S. 575; <ref-ruling> E. 6.3). Die Anlagekosten können nicht durch andere mehr oder weniger abstrakte Werte wie Verkehrs-, Steuer- oder Versicherungswert der Liegenschaft ersetzt werden (<ref-ruling> E. 3b S. 259 f.; Urteil 4A_461/2015 vom 15. Februar 2016 E. 3.1.2).
2.1.2. Die Missbräuchlichkeit eines Mietzinses beurteilt sich ausschliesslich nach dem Ertrag des einzelnen Mietobjektes, d.h. hier der vermieteten Wohnung, und nicht nach dem Ertrag der gesamten Liegenschaft oder gar mehrerer Liegenschaften (<ref-ruling> E. 2.1 S. 212; <ref-ruling> E. 3a S. 186). Für die Aufteilung der Anlagekosten und wertvermehrenden Aufwendungen einer Liegenschaft mit mehreren Mietobjekten gibt das Gesetz keine Kriterien vor, nach denen diese Gesamtkosten auf die einzelnen Mietobjekte zu verteilen sind. Art. 269 OR verlangt allein, dass der Verteilschlüssel dem Vorteil angemessen Rechnung trägt, der dem einzelnen Mietobjekt aus der Investition erwächst, wobei mehrere Methoden in Betracht fallen (<ref-ruling> E. 1.2 S. 211, E. 2.1 S. 212 mit Hinweisen). Das Bundesgericht hat unter Hinweis auf die Doktrin (BERNARD CORBOZ, Les travaux de transformation et de rénovation de la chose louée entrepris par le bailleur et leur répercussion sur les loyers, in 12e Séminaire sur le droit du bail, 2002, Nr. 5, S. 22; PETER HIGI, Bemerkungen zu BGE <ref-ruling>, AJP 2000 S. 489) erkannt, dass es grundsätzlich dem Vermieter obliegt, die Methode der Aufteilung zu bestimmen. Das Gericht hat in das System der Verteilung nur einzugreifen, wenn sich dieses als unhaltbar erweist (<ref-ruling> E. 2.1 S. 212 mit Verweis auf BGE <ref-ruling> E. 2d S. 424). Wenn allerdings der Verteilschlüssel vom Vermieter nicht bestimmt wird, obliegt dem Gericht, das angemessene System der Aufteilung zu bestimmen (<ref-ruling> E. 2.1 S. 212).
2.1.3. Im vorliegenden Fall hat die Vorinstanz festgestellt, dass die Anlagekosten für die beiden Mietliegenschaften der Beschwerdegegnerin mit einer Fläche von insgesamt gut 4'000 m2 unter den Parteien nicht strittig sind. Es geht nach den Erwägungen der Vorinstanz darum, aus den Gesamtkosten, bestehend aus dem Kaufpreis und den Baukosten, die Anlagekosten der von den Klägern gemieteten Wohnung herauszuschälen. Die Schwierigkeit besteht danach vorliegend darin, dass die Kosten nicht nach einem einfachen Verteilschlüssel auf die unterschiedlichen Mietobjekte verteilt werden können, weil teilweise bestehende Wohnungen saniert, aber im Dachstock auch eine neue Wohnung eingebaut worden ist. Deshalb müssten zuerst die Kosten für die neu erstellte Wohnung ausgeschieden werden; zu diesem Zweck sei ein Gutachten erforderlich. Da die beweisbelasteten Kläger die Kosten für das vom Mietgericht angeordnete Gutachten nicht vorgeschossen hätten, habe die Vorinstanz entsprechend der Säumnisandrohung auf die Beweiserhebung verzichtet und die Kläger hätten die Folgen der Beweislosigkeit zu tragen. Das Mietgericht habe die Klage daher zu Recht mangels Beweis der Missbräuchlichkeit abgewiesen.
2.2. Die Beschwerdeführer bestreiten, dass das Mietgericht im vorliegenden Fall zur Einholung einer von keiner der Parteien beantragten Expertise berechtigt war. Sie rügen, die Vorinstanz habe eine Verletzung der Mitwirkungspflicht der Vermieterin zu Unrecht verneint und aus diesem Grund zu Unrecht die von ihnen vorgebrachten Indizien für die Missbräuchlichkeit des Mietzinses nicht gewürdigt.
2.2.1. Für die bestehende oder fehlende Missbräuchlichkeit des Ertrags aus dem Mietobjekt trägt nach der allgemeinen Regel von Art. 8 ZGB diejenige Partei die Beweislast, welche daraus Rechte ableitet. Ficht der Mieter den Anfangsmietzins als missbräuchlich an, trägt er die Beweislast für den übersetzten Ertrag, den der Vermieter aus der Mietsache erzielt (<ref-ruling> E. 2.1 S. 576; Urteil 4A_461/2015 vom 15. Februar 2016 E. 3.2 mit Verweis; vgl. auch <ref-ruling> E. 3.1.3.2 S. 19). Allerdings ergibt sich aus dem allgemeinen Grundsatz von Treu und Glauben, dass die nicht beweisbelastete Partei bei der Beweiserhebung mitzuwirken hat, wenn sie allein von der Sachlage genauere Kenntnis hat und über die einschlägigen Beweismittel verfügt. Dies trifft für die Rendite in der Regel zu, ist doch regelmässig allein der Vermieter im Besitz der für deren Berechnung erforderlichen Unterlagen. Verletzt der Vermieter ohne jede Rechtfertigung seine Mitwirkungspflicht, kann dies im Rahmen der Beweiswürdigung das Gericht veranlassen, den Behauptungen der Mieter zu folgen, die allerdings aufgrund der bekannten Tatsachen - wie namentlich der verfügbaren Statistiken - zu würdigen sind. Vermag der Vermieter dagegen die unterlassene Mitwirkung bei der Beweiserhebung zu rechtfertigen, so kann daraus nichts abgeleitet werden (<ref-ruling> E. 2.1 S. 576 f. mit Verweis).
2.2.2. Zum Umfang der Mitwirkungspflicht hat das Bundesgericht erkannt, dass der Vermieter grundsätzlich nur die Unterlagen zu edieren hat, die er besitzt. Es obliegt nicht ihm, sondern allenfalls der beweisbelasteten Mietpartei, Unterlagen bei Dritten einzuholen oder durch das Gericht einholen zu lassen (<ref-ruling> E. 2.2 S. 578 f.). Dies gilt nach dem erwähnten Präjudiz namentlich für Unterlagen, die für den Erwerb der Mietsache keine Rolle gespielt haben und zu deren Beschaffung daher der Vermieter keinen Anlass oder gar keine Möglichkeit hatte. Zwar darf der Vermieter die ihm obliegende Mitwirkungspflicht nach Treu und Glauben nicht dadurch vereiteln, dass er die für die Renditeberechnung erforderlichen Unterlagen gar nicht erst erstellt oder im Ergebnis dafür sorgt, dass die Unterlagen, die nur er besitzen kann, für diese Berechnung nicht ausreichen. Ein derartiges Verhalten wäre nicht zu rechtfertigen und würde eine Verletzung der Mitwirkungspflicht bedeuten (vgl. <ref-ruling> E. 3.1.2 S. 438 mit Verweis). Wenn jedoch kein Anlass ersichtlich ist, Unterlagen eigens zu erstellen, welche in einem späteren Zeitpunkt für eine nicht konkret in Aussicht stehende Renditeberechnung nützlich sein könnten, so kann dem Vermieter unbesehen des Aufwands für die Erhebung solcher Unterlagen keine Verletzung seiner Mitwirkungspflicht vorgeworfen werden.
2.2.3. Die Beschwerdeführer bestreiten nicht, dass die Beschwerdegegnerin alle in ihrem Besitz befindlichen Unterlagen ins Recht gelegt hat. Sie bemerken selbst, dass eine Baubeschreibung, Übersichtspläne Bauarbeiten, die Baubewilligung, der Totalunternehmer-Werkvertrag mit dem vereinbarten Pauschalpreis, die Bestellungsänderungen mit den in Regie ausgeführten Arbeiten (die betragsmässig und nach Arbeitsgattung den einzelnen Mietobjekten zugeordnet werden können), ein Mieterspiegel sowie die Erklärung des Totalunternehmers zur Unmöglichkeit der Eingrenzung der Baukosten bei den Akten liegen. Die Beschwerdeführer behaupten nicht und es ist auch nicht ersichtlich, dass die Beschwerdegegnerin den Aus- und Umbau ihrer Liegenschaft im Jahre 2012 nicht im eigenen besten Interesse als Bauherrin, sondern im Blick auf eine Verhinderung der Renditeberechnung gestaltet hätte. Es bestehen auch keine Anhaltspunkte dafür, dass die Vermieterin schon im Zeitpunkt des Umbaus konkret damit hätte rechnen müssen, dass sie zur Mitwirkung bei der Bestimmung des Netto-Mietpreises verpflichtet sein könnte. Im Umstand allein, dass die Sanierung der Liegenschaft aufgrund eines Totalunternehmer-Werkvertrags mit Pauschalpreis vorgenommen wurde, ist kein missbräuchliches Verhalten zu erblicken.
Ein rechtsmissbräuchliches Verhalten der Vermieterin oder eine Vereitelung ihrer Mitwirkungspflicht ist nicht erkennbar.
2.2.4. Da die Beschwerdegegnerin im vorliegenden Fall entgegen der Ansicht der Beschwerdeführer nicht verpflichtet war, die zur Renditeberechnung erforderlichen Unterlagen zu beschaffen, kann ihr eine Verletzung der Mitwirkungspflicht nicht vorgeworfen werden. Die Vorinstanz hat Bundesrecht nicht verletzt mit dem Schluss, dass die Beschwerdegegnerin ihre Mitwirkungspflicht nicht verletzt hat.
3.
Die Beschwerdeführer rügen als Verletzung von Art. 102 ZPO, dass ihnen der Kostenvorschuss für die Expertise auferlegt wurde, die sie nicht beantragt hatten. Sie vertreten freilich die Ansicht, das erstinstanzliche Gericht wäre gar nicht zur Anordnung einer Expertise berechtigt gewesen, nachdem keine der anwaltlich vertretenen Parteien dies verlangt habe. Da das erstinstanzliche Gericht auf die Expertise mangels Leistung des Kostenvorschusses verzichtet hat, ist nicht erkennbar, welches Interesse die Beschwerdeführer an der Beurteilung der Frage haben könnten, ob ihnen der Vorschuss zu Recht auferlegt wurde. Soweit sie eventualiter die Ansicht vertreten, der Vorschuss hätte von der Beschwerdegegnerin verlangt werden müssen, gehen sie davon aus, dass diese ihre Mitwirkungspflichten verletzt habe, was wie erwähnt nicht zutrifft.
4.
In ihrem Eventualantrag vertreten die Beschwerdeführer die Ansicht, es hätten ihnen im erstinstanzlichen Verfahren keine Kosten oder Entschädigungen auferlegt werden dürfen. Sie berufen sich auf Art. 107 Abs. 1 lit. b bzw. auf Art. 108 ZPO und machen namentlich geltend, die Beschwerdegegnerin habe trotz wiederholter frühzeitiger Aufforderungen wichtige Informationen zur Nettorenditeberechnung bis nach Abschluss von Replik und Duplik zurückbehalten; sie hätten grundsätzlich Anlass zur Klage gehabt, nachdem sie für eine normal ausgestattete Mietsache, die keine besonders grosse Grundfläche aufweise und in der Nutzung durch die Dachschräge eingeschränkt sei, einen unüblich hohen Preis bezahlt hätten.
4.1. Nach Art. 107 Abs. 1 lit. b ZPO kann das Gericht von den Verteilungsgrundsätzen abweichen und die Prozesskosten nach Ermessen verteilen, wenn eine Partei in guten Treuen zur Prozessführung veranlasst war. Eine Prozessführung in guten Treuen kann etwa angenommen werden, wenn die obsiegende Partei durch ihr vorprozessuales Verhalten die Einleitung eines Verfahrens mitveranlasst hat, das hätte vermieden werden können (vgl. Urteil 4A_166/2011 vom 23. Mai 2011; RÜEGG/RÜEGG, in: Basler Kommentar, Schweizerische Zivilprozessordnung, 3. Aufl. 2017, N. 5 zu Art. 107 ZPO; DAVID JENNY in: Sutter-Somm und andere [Hrsg.], Kommentar zur Schweizerischen Zivilprozessordnung, 3. Aufl. 2016, N. 7 zu Art. 107 ZPO; FRANÇOIS BOHNET, CPC annoté, 2016, N. 3 zu Art. 107 ZPO; vgl. auch MARTIN H. STERCHI, in: Berner Kommentar, Schweizerische Zivilprozessordnung, Bd. I, 2012, N. 6 zu Art. 107 ZPO, der entsprechendes Verhalten unter Art. 108 ZPO subsumiert, a.a.O., N. 5 zu Art. 108 ZPO; wohl ebenso URWYLER/GRÜTTER in: Brunner und andere [Hrsg.], Kommentar zur Schweizerischen Zivilprozessordnung, 2. Aufl. 2016, N. 1 zu Art. 108 ZPO).
4.2. Die Beschwerdeführer behaupten nicht, dass sie von der Beschwerdegegnerin vorprozessual die Unterlagen verlangt hätten, welche diese in ihrem Besitz hatte. Aus dem erstinstanzlichen Urteil ergibt sich zwar, dass die Beschwerdegegnerin die angeforderten Unterlagen erst auf Verfügung vorlegte. Es ist jedoch nicht festgestellt und wird auch von den Beschwerdeführern nicht substanziiert behauptet, dass das Verfahren durch dieses Verhalten der Beschwerdegegnerin in einem bestimmten Umfang verteuert worden wäre (Art. 108 ZPO); dass die Beschwerdeführer bei rechtzeitiger Vorlage der von der Beschwerdegegnerin schliesslich edierten Unterlagen auf die Prozessführung verzichtet hätten, ist angesichts des von ihnen vertretenen Standpunkts zudem nicht anzunehmen. Für eine abweichende Verteilung der Prozesskosten besteht keine Grundlage. Deren Höhe wird nicht in Frage gestellt.
5.
Die Beschwerde ist als unbegründet abzuweisen. Bei diesem Ausgang des Verfahrens sind die Kosten den Beschwerdeführern (solidarisch, intern je zur Hälfte) zu auferlegen (Art. 66 Abs. 1 und 5 BGG). Sie haben der Beschwerdegegnerin überdies deren Parteikosten für das Verfahren vor Bundesgericht zu ersetzen (Art. 68 Abs. 1 und 4 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 6'000.-- werden den Beschwerdeführern (solidarisch, intern je zur Hälfte) auferlegt.
3.
Die Beschwerdeführer (solidarisch, intern je zur Hälfte) haben der Beschwerdegegnerin deren Parteikosten für das Verfahren vor Bundesgericht mit Fr. 7'000.-- zu ersetzen.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, II. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 7. September 2017
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Der Gerichtsschreiber: Leemann