Sachverhalt:
A.
A.a. A._ (Kläger 1, Beschwerdeführer 1), B._ (Klägerin 2, Beschwerdeführerin 2), C._ (Kläger 3, Beschwerdeführer 3), D._ (Klägerin 4, Beschwerdeführerin 4), E._ (Kläger 5, Beschwerdeführer 5) und F._ (Klägerin 6, Beschwerdeführerin 6) sind Mieter der G._ AG (Beklagte, Beschwerdegegnerin) in einer aus insgesamt drei Liegenschaften bestehenden Überbauung ("X._") an der U._strasse in V._.
A.b. Zwischen den Parteien entstand eine Auseinandersetzung über die Nebenkosten. Die Mieter verlangten, dass die gesamten von ihnen geleisteten Nachzahlungen für die Nebenkosten der Abrechnungsperiode 2006/2007 (Kläger 5 und 6) bzw. 2008/2009 (Kläger 1 und 2) bzw. 2009/2010 (Kläger 3 und 4) bis zur Abrechnungsperiode 2013/ 2014 zurückzuerstatten seien.
B.
B.a. Mit Klage vom 14. November 2016 beantragten die Kläger beim Mietgericht des Bezirksgerichts Bülach, es sei festzustellen, dass sie bezüglich der Nebenkosten getäuscht wurden und die Saldi der Nebenkostenabrechnungen nicht geschuldet seien bzw. ihnen die ungerechtfertigten Nachzahlungen zurückzuerstatten seien, wobei sie die auf die einzelnen Kläger entfallenden Betreffnisse detailliert auflisteten (Ziff. 1). Eventualiter sei festzustellen, dass nicht sämtliche Nebenkostenpositionen genügend klar und gesondert aus dem Mietzins ausgeschieden worden seien. Es seien die ungültigen und unklaren Nebenkostenpositionen ausdrücklich aus dem Mietvertrag zu streichen (Ziff. 2). Subeventualiter sei die Beklagte zu verpflichten, den Klägern 1, 2 und 3 (recte: Kläger 1 und 2, 3 und 4, 5 und 6) betr. die Perioden 2009/2010 bis 2013/2014 je eine liquide und korrekte Nebenkostenabrechnung zu erstellen, sämtliche nicht vereinbarten Kosten, sämtliche Reparaturkosten, sämtliche Kosten für Unterhalt sowie die Amortisation seien aus den Nebenkostenabrechnungen zu entfernen (Ziff. 3). Weiter stellten die Kläger verschiedene Rechtsbegehren im Zusammenhang mit den gegen sie von der Beklagten eingeleiteten Betreibungen (Ziff. 4-6). Schliesslich stellten die Kläger 1 und 2 noch Begehren betreffend die Nebenkosten für die Garage und den Bastelraum (Ziff. 7) und sämtliche Kläger zwei Anträge betreffend die künftige Gestaltung der Nebenkostenabrechnung (Ziff. 8 und 9).
Die Klage wurde an das Kollegialgericht überwiesen. Mit Urteil vom 25. Januar 2018 verpflichtete das Bezirksgericht Bülach, Mietgericht, die Beklagte, dem Kläger 1 gemäss Rechtsbegehren Ziff. 7 den Betrag von Fr. 146.90 zurückzuerstatten. Im Übrigen wies es die Klage ab. Die Gerichtskosten wurden vollumfänglich den Klägern auferlegt und diese zu einer Parteientschädigung an die Beklagte verpflichtet.
B.b. Die Kläger fochten dieses Urteil mit Berufung beim Obergericht des Kantons Zürich an, wobei sie im Hauptbegehren nicht mehr eine Feststellung verlangten, sondern nur noch die Verpflichtung zur Rückerstattung der ungerechtfertigten Nachzahlungen (Berufungsantrag Ziff. 1). Auch das Eventualbegehren Ziff. 2 gemäss ihrer Klage formulierten sie neu (Berufungsantrag Ziff. 4). Sie wiederholten ihre Klagebegehren betreffend die gegen sie eingeleiteten Betreibungen (Berufungsanträge Ziff. 6-8). Die Rechtsbegehren Ziff. 8-9 gemäss Klage hielten sie nicht aufrecht, während in Bezug auf das Rechtsbegehren Ziff. 7 die Klage gutheissen worden war. Mit Urteil vom 15. März 2019 wies das Obergericht die Berufung ab, soweit es darauf eintrat.
B.c. Eine dagegen gerichtete Beschwerde in Zivilsachen der Kläger hiess das Bundesgericht mit Urteil 4A_209/2019 vom 8. Oktober 2019 teilweise gut. Es hob das Urteil des Obergerichts auf und wies die Sache zu neuer Beurteilung an das Obergericht zurück.
Es erwog, sei für eine Abrechnungsperiode ein Saldo gezogen und anerkannt, sei der Rückforderungsanspruch bereicherungsrechtlicher Natur. Diesbezüglich sei der Mieter für seine Forderung behauptungs- und beweisbelastet. Vor Anerkennung des Saldos handle es sich dagegen um einen vertraglichen Anspruch, wofür der Vermieter behauptungs- und beweispflichtig sei (zit. Urteil 4A_209/2019 E. 8.1). Weiter sei zu unterscheiden zwischen der Frage, welche Positionen unklar seien, und den Konsequenzen bei Bejahung der Unklarheit. Es sei offensichtlich, dass die Position " Diverse Betriebskosten " nicht erkennen lasse, welche der in den Mietverträgen ausgeschiedenen Nebenkosten darin erfasst würden. Diesbezüglich seien die Nebenkostenabrechnungen ungenügend (zit. Urteil 4A_209/2019 E. 8.2.2). Das Einsichtsrecht könne eine ungenügende Abrechnung nicht ersetzen. Wenn unter einer Position ohne Präzisierung verschiedene im Mietvertrag grundsätzlich vorbehaltene Nebenkosten zusammengefasst würden, könnten die Mieter gar nicht wissen, welche Rechnungen sie überhaupt überprüfen müssten. Habe die Beklagte somit die unter " Diverse Betriebskosten " in Rechnung gestellten Beträge, für die keine Saldoanerkennung vorliege, nicht rechtsgenüglich dargelegt, sei der diesbezügliche Anspruch auf Rückerstattung grundsätzlich gutzuheissen. Da die entsprechenden Beträge von der Vorinstanz nicht festgestellt worden seien, könne das Bundesgericht nicht reformatorisch entscheiden. Vielmehr sei die Sache zur Prüfung und Beurteilung des Quantitativen an die Vorinstanz zurückzuweisen (zit. Urteil 4A_209/2019 E. 8.2.4.2). Die Beschwerde sei somit hinsichtlich der Leistungsklage auf Rückerstattung der unter der Position " Diverse Betriebskosten " getätigten Nachzahlungen insoweit zu schützen, als in diesen keine Saldoanerkennung zu sehen sei (also für die Kläger 1 und 2 die Nebenkostenabrechnungen 2010/2011 bis 2013/2014 und für die Kläger 3 und 4 sowie 5 und 6 die Nebenkostenabrechnungen 2009/2010 bis 2013/ 2014).
B.d. Mit Urteil vom 20. November 2019 hob das Obergericht die Dispositivziffern 2 bis 5 des Urteils des Mietgerichts vom 25. Januar 2018 auf und wies die Sache zu neuer Entscheidung an dieses zurück. Es erwog, das Bundesgericht habe deshalb nicht reformatorisch entschieden, weil die entsprechenden Beträge von ihm nicht festgestellt worden seien. Da aber auch das Mietgericht die Höhe der Beträge nicht beurteilt habe, sowie zur Wahrung des Instanzenzugs, erscheine es angezeigt, die Sache zur Ergänzung an das Mietgericht zurückzuweisen. Dieses werde die Höhe der unter der Position " Diverse Betriebskosten " getätigten Nachzahlungen zu bestimmen haben, soweit in diesen keine Saldoanerkennung zu sehen sei.
B.e. Mit Beschluss vom 27. Januar 2020 setzte das Mietgericht der Beklagten zunächst Frist an, um die Höhe der Position " Diverse Betriebskosten " zu substanziieren. Mit Stellungnahme vom 25. Februar 2020 beantragte die Beklagte, die Klage sei ohne Weiterungen abzuweisen, da die Kläger ihren Rückforderungsanspruch in Bezug auf die Position " Diverse Betriebskosten " nicht beziffert hätten. Mit Verfügung vom 3. März 2020 nahm das Mietgericht die der Beklagten angesetzte Frist einstweilen ab und gewährte den Klägern das rechtliche Gehör. Mit Eingabe vom 20. April 2020 führten die Kläger im Einzelnen auf, welche Beträge unter dem Titel "Diverse Betriebskosten" zurückzuerstatten seien. Es folgte je eine weitere Stellungnahme beider Parteien.
B.f. Mit Urteil vom 17. August 2020 wies das Mietgericht des Bezirksgerichtes Bülach die Klage ab. Es erwog, in der Klageschrift und den Parteivorträgen hätten die Kläger die einzelnen Tatsachenelemente, d.h. die Rechnungspositionen, wie etwa die Position " Diverse Betriebskosten ", nicht detailliert aufgeführt. Es fänden sich lediglich Totalbeträge, die den Klägern zurückzuerstatten seien. Mangels Substanziierung sei es dem Gericht nicht möglich, die Höhe der unter der Position " Diverse Betriebskosten " bezahlten Beträge quantitativ zu beurteilen.
B.g. Eine dagegen erhobene Berufung wies das Obergericht des Kantons Zürich mit Urteil vom 11. Dezember 2020 ab.
Es erwog, es fehle an einem genügend bestimmten Rechtsbegehren bzw. an einer hinreichenden Begründung der Teilforderung. Dies wäre den anwaltlich vertretenen Klägern bereits zu Beginn des Verfahrens möglich und zumutbar gewesen, hätten ihnen doch sämtliche Berechnungsgrundlagen zur Verfügung gestanden. Im Ergebnis habe die Erstinstanz die Klage daher zu Recht als ungenügend beurteilt. Es möge zwar in gewisser Hinsicht unbefriedigend erscheinen, dass die Kläger mit ihrem Begehren nun aus formellen Gründen abzuweisen seien. Die Rückweisung ändere jedoch nichts daran, dass die Erstinstanz zu prüfen gehabt habe, welche Beträge die Kläger unter der noch zu beurteilenden Position " Diverse Betriebskosten " geltend gemacht hätten. Mangels eines diesbezüglich genügend bestimmten Rechtsbegehrens bzw. einer hinreichenden Begründung hätten diese nicht zugesprochen werden können.
C.
Mit Beschwerde in Zivilsachen vom 1. Februar 2021 beantragen die Kläger dem Bundesgericht im Wesentlichen, es sei die Ziff. 1 des Urteils des Obergerichts aufzuheben und die Berufungsanträge seien vollumfänglich im Sinne des Rückweisungsentscheides (zit. Urteil 4A_209/2019) wie folgt gutzuheissen: Die Beklagte sei zu verpflichten, den Klägern 1 und 2 aus den Nebenkostenabrechnungen 2010/11 bis 2013/14 den Betrag von Fr. 2'349.45; den Klägern 3 und 4 sowie den Klägern 5 und 6 aus den Nebenkostenabrechnungen 2009/10 bis 2013/2014 den Betrag von je Fr. 3'208.75 zurückzuerstatten. Weiter beantragen sie die Neuverlegung der Kosten des kantonalen Verfahrens. Eventualiter sei der angefochtene Entscheid aufzuheben und die Sache zur Durchführung eines Beweisverfahrens und zum materiellen Entscheid an die Erstinstanz, eventualiter an die Vorinstanz zurückzuweisen.
Die Beschwerdegegnerin beantragt, die Beschwerde abzuweisen, soweit darauf einzutreten ist. Die Vorinstanz hat auf Vernehmlassung verzichtet. Die Parteien replizierten und duplizierten unaufgefordert.

Erwägungen:
1.
1.1. Das Bundesgericht prüft die Eintretensvoraussetzungen von Amtes wegen und mit freier Kognition (<ref-law>; <ref-ruling> E. 1 mit Hinweis).
1.2. Die Parteien sind der Ansicht, die Streitwertgrenze sei nicht erreicht, sodass zu beurteilen sei, ob sich eine Rechtsfrage von grundsätzlicher Bedeutung stellt.
1.3. Nach <ref-law> bestimmt sich der Streitwert bei Beschwerden gegen Endentscheide nach den Begehren, die vor der Vorinstanz streitig geblieben waren. Nach einem Rückweisungsentscheid des Bundesgerichts ist der ursprünglich vor der Vorinstanz streitige Betrag massgebend, nicht der Betrag, über den die Vorinstanz nach dem Rückweisungsentscheid noch zu entscheiden hat (Urteile 4D_11/2021 vom 1. Juni 2021 E. 1; 4A_10/2021 vom 1. März 2021 E. 1; 4A_74/2020 vom 28. Mai 2020 E. 1; 4A_225/2011 vom 15. Juli 2011 E. 1; vgl. schon BGE 57 II 550).
Der ursprünglich streitige Betrag war über Fr. 30'000.-- (vgl. zit. Urteil 4A_209/2019 E. 1), womit die erforderliche Streitwertgrenze von Fr. 15'000.-- erreicht war (<ref-law>). Die übrigen Eintretensvoraussetzungen geben zu keinen Bemerkungen Anlass. Somit ist auf die vorliegende Beschwerde in Zivilsachen - unter Vorbehalt einer hinreichenden Begründung (Art. 42 Abs. 1 und 2 BGG) - einzutreten. Die Frage, ob sich eine Rechtsfrage von grundsätzlicher Bedeutung stellt, braucht somit - entgegen den Parteien - nicht geprüft zu werden. Da die erforderliche Streitwertgrenze überschritten wird, ist auf die gleichzeitig erhobene subsidiäre Verfassungsbeschwerde nicht einzutreten (<ref-law>).
2.
Nach einem Rückweisungsentscheid des Bundesgerichts sind sowohl dieses selbst als auch die kantonalen Instanzen an die rechtliche Beurteilung, mit der die Rückweisung begründet wurde, gebunden. Wegen dieser Bindung der Gerichte ist es ihnen wie auch den Parteien, abgesehen von allenfalls zulässigen Noven, verwehrt, der Beurteilung des Rechtsstreits einen anderen als den bisherigen Sachverhalt zu unterstellen oder die Sache unter rechtlichen Gesichtspunkten zu prüfen, die im Rückweisungsentscheid ausdrücklich abgelehnt oder überhaupt nicht in Erwägung gezogen worden waren (<ref-ruling> E. 5.3.3; <ref-ruling> E. 2 und 2.1).
3.
Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es prüft aber unter Berücksichtigung der allgemeinen Begründungsanforderungen (Art. 42 Abs. 1 und 2 BGG) grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind. Es ist nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr vorgetragen werden (<ref-ruling> E. 2, 115 E. 2). Die Beschwerde ist dabei hinreichend zu begründen, andernfalls wird darauf nicht eingetreten. Unerlässlich ist im Hinblick auf <ref-law>, dass die Beschwerde auf die Begründung des angefochtenen Entscheids eingeht und im Einzelnen aufzeigt, worin eine Verletzung von Bundesrecht liegt. Die beschwerdeführende Partei soll in der Beschwerdeschrift nicht bloss die Rechtsstandpunkte, die sie im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit ihrer Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (vgl. <ref-ruling> E. 2.1). Die Begründung hat ferner in der Beschwerdeschrift selbst zu erfolgen, und der blosse Verweis auf Ausführungen in andern Rechtsschriften oder auf die Akten reicht nicht aus (<ref-ruling> E. 1.2.3; <ref-ruling> E. 3.2 mit Hinweisen). Die Verletzung von Grundrechten prüft das Bundesgericht gemäss <ref-law> nur insofern, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist. Dafür ist erforderlich, dass die angeblich verletzten Grundrechte in der Beschwerde genannt sowie klar und detailliert anhand der Erwägungen des angefochtenen Entscheids aufgezeigt wird, inwiefern diese verletzt worden sein sollen (<ref-ruling> E. 1.4; <ref-ruling> E. 1.7.2; <ref-ruling> E. 2.2).
4.
Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Dazu gehören sowohl die Feststellungen über den streitgegenständlichen Lebenssachverhalt als auch jene über den Ablauf des vor- und erstinstanzlichen Verfahrens, also die Feststellungen über den Prozesssachverhalt (<ref-ruling> E. 1.3.1 mit Hinweisen). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 2; <ref-ruling> E. 1.5). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein können (<ref-law>).
Für eine Kritik am festgestellten Sachverhalt gilt das strenge Rügeprinzip von <ref-law> (<ref-ruling> E. 2.3 mit Hinweisen). Die Partei, welche die Sachverhaltsfeststellung der Vorinstanz anfechten will, muss klar und substanziiert aufzeigen, inwiefern diese Voraussetzungen erfüllt sein sollen (<ref-ruling> E. 1.3.1 mit Hinweisen). Wenn sie den Sachverhalt ergänzen will, hat sie zudem mit präzisen Aktenhinweisen darzulegen, dass sie entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (<ref-ruling> E. 2). Genügt die Kritik diesen Anforderungen nicht, können Vorbringen mit Bezug auf einen Sachverhalt, der vom angefochtenen Entscheid abweicht, nicht berücksichtigt werden (<ref-ruling> E. 1.3.1).
5.
Umstritten ist, ob die Vorinstanz die Klage betreffend die noch zu beurteilende Position "Diverse Betriebskosten" zu Recht mangels eines genügend bestimmten Rechtsbegehrens bzw. einer hinreichenden Begründung der Teilforderung abgelehnt hat.
5.1. Die Vorinstanz erwog, die Erstinstanz habe die Höhe der zuzusprechenden Beträge feststellen müssen. Dazu sei zunächst zu prüfen gewesen, welche Beträge die Beschwerdeführer unter dem Titel "Diverse Betriebskosten" im Einzelnen konkret zurückverlangt hätten. Dazu habe sich das Bundesgericht nicht geäussert, womit der Rückweisungsentscheid insoweit keine verbindlichen Feststellungen enthalte, die zu beachten gewesen wären.
Die Beschwerdeführer würden zutreffend darauf hinweisen, dass für die noch zu beurteilende Position "Diverse Betriebskosten" die Beschwerdegegnerin behauptungs- und beweispflichtig sei. Es liege damit an ihr, die nötigen Behauptungen aufzustellen und zu beweisen, dass die in Rechnung gestellten Kosten tatsächlich in diesem Umfang angefallen und nebenkostenfähig seien. Die Beschwerdeführer hätten hierzu jedoch ein konkretes, genügend bestimmtes Rechtsbegehren stellen müssen, das bei Gutheissung der Klage zum Urteilsdispositiv erhoben werden könne; werde die Bezahlung eines Geldbetrages verlangt, so sei dieser zu beziffern (<ref-law>).
Die Beschwerdeführer hätten einen Totalbetrag für diverse Nachzahlungen zurückverlangt. Weder im Rechtsbegehren noch in der Klagebegründung noch in der Replik sei eine nähere Aufschlüsselung bzw. eine konkrete Bezifferung der Position "Diverse Betriebskosten" erfolgt. Setze sich eine geltend gemachte Forderung aus mehreren Positionen zusammen, könne sich eine Partei nicht darauf beschränken, einen Totalbetrag zu nennen. Die anwaltlich vertretenen Beschwerdeführer hätten zumindest aufführen müssen, um welchen Betrag die Position "Diverse Betriebskosten" in welchen Nebenkostenabrechnungen zu reduzieren sei, unter Angabe, wie sie diese Beträge berechnen würden.
Die Beschwerdeführer würden für die Bezifferung auf ihre Eingabe vom 30. November 2017 (Widerruf des gerichtlichen Vergleichs, act. 3/32) und insbesondere die damit eingereichte Beilage (act. 3/33/7) sowie auf ihre Stellungnahme vom 20. April 2020 (act. 9) verweisen. Es sei zunächst zu prüfen, ob diese Eingaben rechtzeitig in den Prozess eingebracht worden seien.
Entscheidend sei, dass die Hauptverhandlung vor der Erstinstanz am 19. Mai 2017 abgeschlossen worden sei. Danach seien nach <ref-law> keine Noven mehr zulässig gewesen. Den Parteien sei nur nochmals Gelegenheit geboten worden, Vergleichsgespräche unter gerichtlicher Mitwirkung zu führen. Dies, sowie der Umstand, dass in der getroffenen Vereinbarung eine Widerrufsmöglichkeit eingeräumt worden sei, habe kein weiteres Novenrecht geschaffen. Es sei daher nicht zu beanstanden, wenn die Erstinstanz die Eingabe vom 30. November 2017 einschliesslich Beilagen als verspätet erachtet habe.
Bei der von den Beschwerdeführern angeführten act. 3/33/7 handle es sich überdies nur um eine Beilage. Die Beschwerdeführer würden keinerlei Ausführungen machen, wie die Beilage zu lesen sei. Insbesondere fehle eine Erklärung, gestützt auf welche weiteren Beilagen sie die darin enthaltenen Beträge berechnen würden. Es sei nicht Aufgabe des Gerichts oder der Gegenpartei, diese Angaben aus den Akten zusammen zu suchen, um die Beilage im Sinne der Beschwerdeführer zu interpretieren. Damit seien sie ihrer Begründungspflicht nicht hinreichend nachgekommen. In ihrer Stellungnahme vom 20. April 2020 hätten sie zwar ein beziffertes Begehren für die Position "Diverse Betriebskosten" gestellt und erklärt, wie sich der Betrag zusammensetze. Diese Eingabe sei jedoch erst nach dem Rückweisungsentscheid erfolgt und daher in jedem Fall verspätet.
6.
Die Beschwerdeführer rügen zusammengefasst, die Vorinstanz habe die Bindungswirkung des bundesgerichtlichen Rückweisungsentscheids missachtet. Sie habe eine formelle Rechtsverweigerung begangen und damit <ref-law> sowie <ref-law> verletzt. Weiter habe sie die Beweislast falsch verteilt (<ref-law>) und die Verteilung der Pflichten betreffend die Nebenkostenabrechnungen ohne Saldoanerkennung verkannt (<ref-law>; <ref-law> i.V.m <ref-law> [Verordnung über die Miete und Pacht von Wohn- und Geschäftsräumen vom 9. Mai 1980; SR. 221.213.11]). Weiter rügen sie, die Vorinstanz habe in übertriebener Formstrenge eine Bezifferung verlangt und die Novenschranke (<ref-law>) bundesrechtswidrig angewendet.
6.1. Das Bundesgericht hat den Rückerstattungsanspruch der Beschwerdeführer betreffend die unter "Diverse Betriebskosten" in Rechnung gestellten Beträge, für die keine Saldoanerkennung vorliegt, grundsätzlich gutgeheissen. Die Sache aber zur Prüfung und Beurteilung des Quantitativen an die Vorinstanz zurückgewiesen (vgl. hiervor Sachverhalt lit. B.c.).
Die Beschwerdeführer weisen zu Recht darauf hin, dass sie ihr Rechtsbegehren betreffend die ungerechtfertigten Nachzahlungen aus Nebenkosten (Rechtsbegehren Nr. 1) beziffert haben. Sie forderten betreffend den Kläger 1 (recte: Kläger 1 und Klägerin 2) Fr. 9'723.30; betreffend den Kläger 2 (recte: Kläger 3 und Klägerin 4) Fr. 9'434.55 und betreffend den Kläger 3 (recte: Kläger 5 und Klägerin 6) Fr. 13'286.25, insgesamt folglich Fr. 32'444.10. Damit ist das Rechtsbegehren der Beschwerdeführer gemäss <ref-law> ausreichend beziffert, sodass auf die Klage eingetreten werden kann. Entsprechend hat denn auch das Bundesgericht im Rückweisungsentscheid den Rückerstattungsanspruch der Beschwerdeführer betreffend die Position "Diverse Betriebskosten" im Rückweisungsentscheid im Grundsatz gutgeheissen. Daran ist die Vorinstanz gebunden (Bindungswirkung des Rückweisungsentscheids; vgl. hiervor E. 2).
6.2. Eine andere Frage ist, ob die Klage hinreichend begründet ist. Die Vorinstanz verlangt von den Beschwerdeführern diesbezüglich, sie hätten in ihrer Klage begründen bzw. beziffern müssen, welchen Betrag sie betreffend die Position "Diverse Betriebskosten" zurückverlangen würden. Sie hält dabei zu Recht fest, das Gebot der Bestimmtheit der Rechtsbegehren beruhe auf der Dispositionsmaxime (<ref-law>) und auf dem Grundsatz des rechtlichen Gehörs, welcher voraussetze, dass die beklagte Partei genau wisse, was von ihr gefordert werde, um erschöpfend Stellung zu nehmen. Diese Voraussetzungen waren aber - entgegen der Vorinstanz - vorliegend erfüllt. Aus den Ausführungen in der Klage konnte die Beschwerdegegnerin erkennen, was die Beschwerdeführer von ihr verlangen, nämlich die Rückerstattung der getätigten Nachzahlungen. Mit anderen Worten ergab sich aus der Klage, dass die Beschwerdeführer die in Rechnung gestellten Nebenkosten - jedenfalls soweit keine genügende Nebenkostenabrechnung vorliegt - nicht bezahlen wollen. Das Bundesgericht hat diesen Rückerstattungsanspruch betreffend die unter der Position "Diverse Betriebskosten" getätigten Nachzahlungen, soweit in diesen keine Saldoanerkennung zu sehen ist, denn auch im Grundsatz gutgeheissen (vgl. zit. Urteil 4A_209/2019 E. 10).
Der Beschwerdegegnerin, welche die Nebenkostenabrechnungen erstellt hat bzw. erstellen liess, musste ohne Weiteres klar sein, welche Beträge die Beschwerdeführer von ihr zurückverlangen. Es war ihr somit - auch betreffend die Position "Diverse Betriebskosten" - klar, was von ihr gefordert wird und sie hätte diesbezüglich erschöpfend Stellung nehmen können. Es ist daher nicht nachvollziehbar, wenn sie sich in ihrer Beschwerdeantwort auf den Standpunkt stellt, die Beschwerdeführer hätten darlegen müssen, "wie sich dieser Rückforderungsanspruch in Bezug auf die verschiedenen Nebenkostenabrechnungen genau berechnet, d.h. anzugeben, wie hoch der Rückforderungsanspruch der Beschwerdeführer in Bezug auf die Positionen 'diverse Betriebskosten' in den jeweiligen Nebenkostenabrechnungen ist und offenzulegen, wie dieser Rückforderungsanspruch aufgrund des in den jeweiligen Nebenkostenabrechnungen angegebenen Verteilschlüssels berechnet wurde". Auf diese Informationen war die Beschwerdegegnerin nicht angewiesen. Vor diesem Hintergrund ist der vorinstanzlichen Schlussfolgerung, die Klage sei betreffend die Position "Diverse Betriebskosten" nicht hinreichend begründet, nicht zu folgen. Die Vorinstanz überspannt - in Verletzung von Bundesrecht - die Anforderungen an die Begründung der Klage, zumal sie selbst zu Recht festhält, die Beschwerdegegnerin sei für die noch zu beurteilende Position "Diverse Betriebskosten " behauptungs- und beweisbelastet. Die überspannten Anforderungen der Vorinstanz an die Begründung der Klage führen im Ergebnis aber gerade dazu, dass die Beschwerdeführer obwohl nicht behauptungs- und beweisbelastet, letztlich im Ergebnis dennoch die Behauptungslast betreffend die Position "Diverse Betriebskosten" tragen.
6.3. Solange die Beschwerdegegnerin sich trotz der ihr obliegenden Substanziierungslast weigert, darzulegen, wie sich die in Rechnung gestellten Beträge (namentlich die Position "Diverse Betriebskosten") zusammensetzten, können die Beschwerdeführer grundsätzlich auch ihrerseits nicht weiter darlegen bzw. aufschlüsseln, welchen Betrag sie im Einzelnen betreffend die verschiedenen Positionen (einschliesslich der Position "Diverse Betriebskosten") zurückverlangen. Entsprechend setzte das Mietgericht der Beschwerdegegnerin mit Beschluss vom 27. Januar 2020 auch (zunächst) Frist an, um die Höhe der Position "Diverse Betriebskosten" zu substanziieren (vgl. hiervor Sachverhalt lit. B.e). Vor diesem Hintergrund geht der Vorwurf der Vorinstanz an die Beschwerdeführer, ihnen hätten sämtliche Berechnungsgrundlagen zur Verfügung gestanden, um ihre Teilforderung betreffend die Position "Diverse Betriebskosten" hinreichend zu begründen, fehl.
Da die Beschwerdegegnerin ihrer Substanziierungspflicht betreffend die Position "Diverse Betriebskosten" nicht nachgekommen ist, ist ihr Anspruch auf die in Rechnung gestellten und von den Beschwerdeführern unter Vorbehalt bezahlten Nebenkosten unter der Position "Diverse Betriebskosten" nicht hinreichend substanziiert und die entsprechenden Beträge sind grundsätzlich zurückzuerstatten. Die Beschwerdegegnerin verhält sich treuwidrig und verdient keinen Rechtsschutz, wenn sie vorliegend die Rückforderung vereitelt, indem sie ihrer Abrechnungspflicht trotz des bundesgerichtlichen Rückweisungsentscheids weiterhin nicht nachkommt. Nichts ändert, dass die Beschwerdeführer aufgrund der Weigerung der Beschwerdegegnerin, die Position "Diverse Betriebskosten" zu substanziieren, ihrerseits versucht haben, die Position "Diverse Betriebskosten " aufzuschlüsseln bzw. zu beziffern. Damit kann auch offenbleiben, ob die entsprechenden Eingaben rechtzeitig ins Verfahren eingebracht worden sind.
6.4. Das Bundesgericht hielt im Rückweisungsentscheid fest, die Beschwerdeführer 1 und 2 hätten die Saldi der Nebenkostenabrechnungen 2010/2011 bis 2013/2014 (insgesamt Fr. 7'109.95) erst nach Mahnung und Kündigungsandrohung bezahlt. Das gelte auch für die Beschwerdeführer 3 und 4 betreffend die Nebenkostenabrechnungen 2009/2010 bis 2013/2014 (insgesamt Fr. 5'886.--). Auch für die Beschwerdeführer 5 und 6 könne hinsichtlich des von diesen am 19. Mai 2016 bezahlten Betrages von Fr. 7'140.10 hiervor ausgegangen werden (zit. Urteil 4A_209/2019 E. 8.1). Ein Teil dieser Beträge betrifft die Position "Diverse Betriebskosten". Die Beschwerdegegnerin hat sich aufgrund ihrer Abrechnungspflicht dazu zu äussern und zu substanziieren, wie hoch der auf die Position "Diverse Betriebskosten" fallende Anteil betreffend die jeweiligen Beträge ist. Sollte die behauptungs- und beweispflichtige Beschwerdegegnerin dem weiter nicht nachkommen, ist auf die Beträge abzustellen, wie sie die Beschwerdeführer in ihrer Stellungnahme vom 20. April 2020 (act. 9) aufgrund der Weigerung der Beschwerdegegnerin (aus prozessökonomischen Gründen) selbst berechnet haben.
7.
Nach dem Gesagten ist die Beschwerde in Zivilsachen teilweise gutzuheissen. Das Urteil des Obergerichts des Kantons Zürich vom 11. Dezember 2020 ist aufzuheben und die Sache zu neuer Entscheidung im Sinne der Erwägungen an dieses zurückzuweisen. Die Vorinstanz wird auch über die Kosten des kantonalen Verfahrens neu zu entscheiden haben. Bei diesem Ergebnis wird die Beschwerdegegnerin kosten- und entschädigungspflichtig (Art. 66 Abs. 1 sowie Art. 68 Abs. 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Auf die subsidiäre Verfassungsbeschwerde wird nicht eingetreten.
2.
Die Beschwerde wird teilweise gutgeheissen. Das Urteil des Obergerichts des Kantons Zürich vom 11. Dezember 2020 wird aufgehoben und die Sache zu neuer Entscheidung im Sinne der Erwägungen an das Obergericht zurückgewiesen.
3.
Die Gerichtskosten von Fr. 2'000.-- werden der Beschwerdegegnerin auferlegt.
4.
Die Beschwerdegegnerin hat die Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'500.-- zu entschädigen.
5.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, II. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 27. August 2021
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Gross