Sachverhalt:
A.
Mit Mietvertrag vom 27. September 1954 mietete M._, Ehemann von A._ und Vater bzw. Grossvater der Kläger, von der L._ AG (Beklagte, Beschwerdegegnerin) eine 7-Zimmerwohnung in Zürich. Zum Mietobjekt gehörten laut Mietvertrag ein Mansardenzimmer (Mädchenzimmer Nr. 1) und ein Estrichraum (Kofferraum) auf der Winde sowie ein Kellerabteil. Nach dem Tod von M._ ging das Mietverhältnis auf die am 30. August 2012 ebenfalls verstorbene A._ (im Folgenden: die Mieterin) über. Im Jahre 2004 wurden sowohl das Mansardenzimmer als auch der Estrichraum von der Mieterin an die Beklagte zurückgegeben. Das Mietverhältnis wurde am 18. Oktober 2012 per 31. Januar 2013 aufgelöst und bis am 31. Juli 2013 erstreckt.
B.
Nach einem erfolglosen Schlichtungsversuch beantragten die Kläger (Erben der Mieterin) mit Klage vom 18. März 2013 beim Mietgericht Zürich, die Beklagte sei zu verpflichten, ihnen Fr. 38'595.-- nebst Zins für zu viel bezahlte Mietzinse zu bezahlen. Mit Urteil vom 29. September 2014 wies das Mietgericht die Klage ab.
Eine dagegen erhobene Berufung der Kläger wies das Obergericht des Kantons Zürich am 8. April 2015 ab.
C.
Die Kläger verlangen mit Beschwerde in Zivilsachen, es sei das Urteil des Obergerichts vom 8. April 2015 aufzuheben und die Beklagte zu verpflichten, ihnen Fr. 27'720.-- zu bezahlen zuzüglich Verzugszinsen von 5 % ab 14. November 2012.
Die Beklagte beantragt, die Beschwerde sei abzuweisen. Eventualiter sei das Verfahren an die Vorinstanz zurückzuweisen zur Beurteilung ihrer Verrechnungsforderungen. Die Vorinstanz verzichtete auf eine Vernehmlassung zur Beschwerde.

Erwägungen:
1.
Die Sachurteilsvoraussetzungen der Beschwerde in Zivilsachen sind erfüllt und geben zu keinen Bemerkungen Anlass. Allerdings steht das Eintreten unter dem Vorbehalt zulässiger und rechtsgenügend begründeter Rügen (Art. 42 Abs. 2 und Art. 106 Abs. 2 BGG; vgl. Erwägung 2).
2.
Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 2 S. 117; <ref-ruling> E. 1.5). Entsprechende Rügen sind überdies bloss zulässig, wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>).
Die Partei, welche die Sachverhaltsfeststellung der Vorinstanz anfechten will, muss klar und substanziiert aufzeigen, inwiefern diese Voraussetzungen erfüllt sein sollen (<ref-ruling> E. 1.3.1 S. 18 mit Hinweisen). Wenn sie den Sachverhalt ergänzen will, hat sie zudem mit Aktenhinweisen darzulegen, dass sie entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (<ref-ruling> E. 2 S. 90; Urteile 4A_387/2013 vom 17. Februar 2014 E. 2.2, nicht publ. in: <ref-ruling>; 4A_275/2011 vom 20. Oktober 2011 E. 2, nicht publ. in: <ref-ruling>).
3.
Strittig ist, ob den Beschwerdeführern gegenüber der Beschwerdegegnerin nach der Rückgabe des Mansarden- und Kofferzimmers im Jahre 2004 eine Forderung aus Mietzinsreduktion infolge Leistungsverminderung zusteht.
3.1. Die Vorinstanz erwog, der Rückgabe der genannten Nebenräume liege eine Mietvertragsänderung zu Grunde. Diese unterstehe im vorliegenden Fall der Formularpflicht i.S.v. <ref-law> und sei unbestrittenermassen mangels Einhaltung dieser Formvorschrift nichtig. Den Beschwerdeführern stehe daher grundsätzlich ein Anspruch zu, allfällig zu viel bezahlte Mietzinse nach den Grundsätzen über die ungerechtfertigte Bereicherung von der Beschwerdegegnerin zurückzufordern.
Die Rückforderung bestehe jedoch nur in den Schranken des Rechtsmissbrauchs. Der Mieterin seien mit den Schreiben vom 21. November 2007 und vom 13. Dezember 2010 zwei formell korrekt mitgeteilte einseitige Mietvertragsänderungen auf den 1. April 2008 bzw. den 1. Mai 2011 angezeigt worden. Indem sie auf die Anfechtung der zwei nachfolgenden und formell korrekt angezeigten Mietvertragsänderungen verzichtet habe, habe sie letztlich den jeweils angegebenen Mietzins für die ihr noch zur Verfügung stehenden Räume der Wohnung, also ohne Mansarden- und Kofferzimmer, akzeptiert. Gestützt auf das Verhalten der Mieterin habe die Beschwerdegegnerin auf den Bestand des geänderten Mietvertrags vertrauen dürfen. Das Verhalten der Mieterin sei den Beschwerdeführern anzurechnen und deren Berufung auf die Formnichtigkeit der Vertragsänderung aus dem Jahre 2004 sei als treuwidrig zu qualifizieren. Eine Rückforderung für zu viel bezahlte Mietzinse sei ihnen daher verwehrt.
3.2. Die Beschwerdeführer rügen, dass diese Auffassung der Vorinstanz dem Sinn und Zweck der Formvorschrift von <ref-law> widerspreche. Da keine Vermutung bestehe, dass der Mieter seine Rechte kenne, müsse dieser bei jeder Mietzinserhöhung oder Leistungsverminderung mit einem amtlich genehmigten Formular auf seine Anfechtungsmöglichkeit aufmerksam gemacht werden. Die für einen Rechtsmissbrauch vorausgesetzte Kenntnis des Formmangels könne nicht schon aus dem Umstand abgeleitet werden, dass dem Mieter später formgültige Vertragsänderungen mitgeteilt worden seien. Die Vorinstanz stelle damit im Kern die Frage, ob die Mieterin die Formnichtigkeit der Vertragsänderung bei gehöriger Sorgfalt hätte entdecken können und stelle dabei sehr hohe Anforderungen an deren Sorgfaltspflicht. Ein rechtsmissbräuchliches Verhalten liege überdies erst vor, wenn die Mieterin die Formnichtigkeit tatsächlich kannte und nicht schon, wenn sie diese bei gehöriger Sorgfalt hätte erkennen können.
3.3.
3.3.1. Nach Art. 269d Abs. 1 i.V.m. Abs. 3 OR hat der Vermieter einseitige Änderungen des Mietvertrags zu Lasten des Mieters mit einem vom Kanton genehmigten Formular mitzuteilen. Eine solche Änderung ist nichtig, wenn sie nicht mit dem vorgeschriebenen Formular mitgeteilt wird (Art. 269d Abs. 2 lit. a i.V.m. Abs. 3 OR). Zahlt der Mieter gestützt auf eine nichtige Vertragsänderung einen zu hohen Mietzins, leistet er ohne Rechtsgrund und ihm steht für die zu viel bezahlten Mietzinsen ein Rückforderungsanspruch nach <ref-law> zu (<ref-ruling> E. 3.2.3; <ref-ruling> E. 6.2; je mit Hinweisen).
3.3.2. Eine Rückforderung des zu viel bezahlten Mietzinses ist nach ständiger Rechtsprechung aber ausgeschlossen, wenn sich die Berufung des Mieters auf einen Formmangel bei der Mitteilung der Mietzinserhöhung bzw. einseitigen Änderungen des Mietvertrags zu Lasten des Mieters als rechtsmissbräuchlich erweist (<ref-ruling> E. 3.2.4 mit weiteren Hinweisen). Ob die Berufung auf den Formmangel gegen Treu und Glauben verstösst und damit einen offenbaren Rechtsmissbrauch gemäss <ref-law> darstellt, ist in Würdigung aller Umstände des konkreten Falls und nicht nach starren Regeln zu prüfen (<ref-ruling> E. 3.2.4; <ref-ruling> E. 4.2; <ref-ruling> E. 2.4.2; je mit Hinweisen). Die Beweislast für die Umstände, die auf Rechtsmissbrauch schliessen lassen, trägt derjenige, der sich auf Rechtsmissbrauch beruft (<ref-ruling> E. 5.2; <ref-ruling> E. 2.1 S. 58 f.; je mit Hinweis).
Nach der Rechtsprechung verhält sich rechtsmissbräuchlich, wer einen Vertrag freiwillig, irrtumsfrei und mindestens zur Hauptsache erfüllt hat und hernach den Restanspruch der Gegenpartei unter Verweis auf den Formmangel verweigert. "Irrtumsfrei" bedeutet in diesem Fall in Kenntnis des Formmangels. Die Berufung auf den Formmangel kann grundsätzlich nur unstatthaft sein, wenn die Parteien bei Abschluss und Erfüllung des Vertrags wussten oder in zurechenbarer Weise wissen konnten, dass das durch sie getätigte Rechtsgeschäft der gesetzlichen Formpflicht widerspricht (<ref-ruling> E. 2.3.1; Urteil 4C.175/2003 vom 28. Oktober 2003 E. 3.2 a.E.; Hausheer/Aebi-Müller, Berner Kommentar, 2012, N. 300 zu <ref-law>; je mit Hinweisen).
Mit anderen Worten liegt Rechtsmissbrauch schon vor, wenn derjenige, der sich auf den Formmangel beruft, den Mangel nach den konkreten Umständen bei pflichtgemässer Sorgfalt kennen konnte und musste und den Vertrag dennoch freiwillig zur Hauptsache erfüllte.
Wer einen formnichtigen Vertrag freiwillig erfüllt, ohne den Mangel zu kennen oder kennen zu müssen, verhält sich dagegen nicht widersprüchlich, wenn er sich nachträglich wegen des Mangels auf Nichtigkeit beruft (<ref-ruling> E. 2.3.1). Die blosse Erfüllung eines formungültigen Vertrags, ohne den Mangel zu kennen oder kennen zu müssen, genügt auch nicht zur Begründung berechtigten Vertrauens der Gegenpartei in die Gültigkeit des Rechtsgeschäfts (<ref-ruling> E. 2.3.3).
Den Beschwerdeführern kann somit nicht gefolgt werden, soweit sie dafür halten, die Vorinstanz hätte nur Rechtsmissbrauch bejahen dürfen, wenn die tatsächliche positive Kenntnis des Formmangels seitens der Mieterin festgestellt wäre.
3.3.3. Damit stellt sich die Frage, ob die Vorinstanz zu Recht annahm, die Mieterin hätte vom Formmangel wissen können und müssen, da ihr nachfolgend an die formlos erfolgte Mietvertragsänderung zwei weitere Mietvertragsänderungen formgerecht angezeigt wurden.
Die Vorinstanz erwog, die Mieterin sei durch die beiden nachfolgenden formgerechten Mietvertragsänderungen, die ihr mit Schreiben vom 21. November 2007 und vom 13. Dezember 2010 mitgeteilt wurden, über ihre Anfechtungsrechte informiert worden und sie habe die Möglichkeit gehabt, sich dagegen zu wehren. Da sie auf die Anfechtung dieser Änderungen verzichtet habe, habe sie letztlich den Mietzins für die ihr noch zur Verfügung stehenden Räume akzeptiert. Die Vorinstanz nahm demnach an, dass die Mieterin gestützt auf die beiden genannten formgerechten Mietvertragsänderungen hätte schliessen müssen, dass die Rückgabe der Nebenräume im Jahr 2004 mit dem Formular nach <ref-law> hätte abgewickelt werden müssen, weshalb die spätere Anrufung des diesbezüglichen Formmangels widersprüchlich und treuwidrig sei.
Die Beschwerdeführer rügen zu Recht, dass die Vorinstanz damit im vorliegenden Fall die Anforderungen an die Sorgfaltspflicht der Mieterin bzw. an deren Kennenmüssen des Formmangels überspannte. Die Vorinstanz stellte fest, dass die der Mieterin nach der Rückgabe der Mansarde und des Estrichraums formgerecht erfolgten Vertragsänderungen im einen Fall eine Anpassung (Senkung) des Hypothekarzinses, den Teuerungsausgleich sowie eine Kostensteigerung betrafen und im anderen Fall eine Anpassung der Nebenkostenregelung, mithin in beiden Fällen die Mietzinshöhe. Die Rückgabe der Mansarde und des Estrichraums war dagegen ein Vorgang, mit dem zwar die Leistungen der Vermieterschaft vermindert wurden, der die Höhe des Mietzinses indessen nominal unberührt liess. Von einem Mieter, der keine speziellen Kenntnisse des Mietrechts hat, kann entgegen der Auffassung der Vorinstanz grundsätzlich nicht erwartet werden, dass ihm nach der Anzeige weiterer, die Mietzinshöhe betreffender Vertragsänderungen unter Verwendung des dafür vorgeschriebenen Formulars nachträglich bewusst wird, dass zum einen in analoger Weise auch eine das Mietobjekt betreffende Vertragsänderung mit einem Formular hätte angezeigt werden müssen, obwohl diese die nominale Mietzinshöhe unverändert liess, und dass er sich zum andern nachträglich auf deren Ungültigkeit (Nichtigkeit) berufen kann.
Besondere Umstände, nach denen von der Mieterin im konkreten Fall ein solcher Analogieschluss erwartet werden dürfte, wurden von der Vorinstanz nicht festgestellt. Dass die Mieterin im Zusammenhang mit dem Mietverhältnis vom Beschwerdeführer 1 und dessen Ehepartnerin bzw. vom Beschwerdeführer 10 unterstützt bzw. vertreten wurde, deren Kenntnisse des Mietrechts sie sich allenfalls anzurechnen lassen hätte, wurde im vorinstanzlichen Verfahren zwar thematisiert. Im angefochtenen Urteil finden sich dazu indessen keinerlei Feststellungen. Wenn sich die Beschwerdegegnerin in der Beschwerdeantwort auf entsprechende Umstände beruft, ohne dazu eine Sachverhaltsrüge zu substanziieren, die dem Bundesgericht allenfalls eine Ergänzung des Sachverhalts erlauben könnte, kann sie damit nicht gehört werden (Erwägung 2 vorne).
Bei dieser Sachlage schloss die Vorinstanz zu Unrecht, die Beschwerdeführer hätten sich missbräuchlich bzw. treuwidrig auf die Formnichtigkeit der streitbetroffenen Vertragsänderung berufen. Im Übrigen ist für die vorinstanzliche Annahme, die Mieterin hätte die Mietzinsleistungen bereits im Zeitraum vor der am 21. November 2007 mitgeteilten Mietzinsänderung freiwillig im Wissenmüssen um den Formmangel bei der Rückgabe von Mansarde und Estrichraum erbracht, von vornherein keine tatsächliche Grundlage ersichtlich.
3.4. Die Vorinstanz erwog allerdings darüber hinaus, dass zwar eine nachfolgende formgültige und unangefochten gebliebene Vertragsänderung einen Formmangel einer vorgehenden (nichtigen) Vertragsänderung nicht heile (anders dagegen Raymond Bisang und Andere, Das schweizerische Mietrecht, SVIT-Kommentar, 3. Aufl. 2008, N. 58 zu <ref-law>), indessen "konsequenterweise" in diesem Umfang den Vertrag ändere; ein Rückforderungsanspruch dürfte danach bis längstens zu diesem Zeitpunkt (d.h. bis zur nachfolgenden Vertragsänderung) bestehen.
Dem ist zu folgen. Higi (Peter Higi, Zürcher Kommentar, 4. Aufl. 1998, N. 228 zu <ref-law>) führt dazu überzeugend aus, dass eine nichtige Vertragsänderung (vorliegend die formlos erfolgte Rückgabe von Räumen an die Beschwerdegegnerin) den Vertrag so belässt, wie er bis anhin war, und damit alle nachfolgenden Vertragsanpassungen von einer falschen Berechnungsgrundlage ausgehen; die falsche Berechnungsbasis der nachfolgenden Anpassungen sei, so der Autor weiter, im Fall, dass die nachfolgende Anpassung formgerecht erfolgt, anfechtungsweise geltend zu machen. Unterbleibe diese Anfechtung der späteren Anpassung, so verändere sie den Vertrag konsequenterweise in diesem Umfang. Das Bundesgericht liess in einem Urteil aus dem Jahre 1999 (4C.137/1999 vom 23. August 1999 E. 3d) die Frage offen, ob nichtige Mietzinserhöhungen Gültigkeit erlangen, sofern sie Grundlage einer späteren, unangefochten gebliebenen Erhöhung bilden. Seinen Ausführungen nach wäre dafür vorauszusetzen, dass die entsprechende Änderung tatsächlich Berechnungsgrundlage einer späteren formgültigen Änderung gebildet hat und in deren Begründung miteingeflossen ist (kritisch dazu BISANG UND ANDERE, a.a.O., N. 58 zu <ref-law>).
Nach den Feststellungen der Vorinstanz zum vorliegenden Fall war das Mietobjekt im ursprünglichen Mietvertrag als 7-Zimmerwohnung einschliesslich einem Mansardenzimmer und einem Estrichraum (Kofferraum) umschrieben. Die Mieterin gab das Mansardenzimmer und den Estrichraum im Jahre 2004 (selber) an die Beschwerdegegnerin zurück. In den mit Formularschreiben vom 21. November 2007 bzw. vom 13. Dezember 2010 mitgeteilten einseitigen Vertragsänderungen figuriert als Vertragsobjekt explizit nur noch die "7-Zimmer-Wohnung", mithin die falsche Berechnungsbasis, und für die Mieterin war nach den Umständen ohne weiteres ersichtlich, dass die Rückgabe von Räumen und die Neuumschreibung des Mietobjekts von der Vermieterin nicht zum Anlass genommen worden war, den Mietzins zu senken. Indem die Mieterin die entsprechenden nachfolgenden Vertragsänderungen unangefochten liess, akzeptierte sie diese bzw. den auf der neuen Basis festgelegten Mietzins. Damit galt der Vertrag ab Inkrafttreten der ersten Vertragsänderung am 1. April 2008 mit entsprechendem Inhalt. Ab diesem Zeitpunkt steht den Beschwerdeführern kein Anspruch auf Erstattung zu viel bezahlter Mietzinsen zu.
3.5. Zusammenfassend verneinte die Vorinstanz einen Rückforderungsanspruch der Beschwerdeführer für die Zeit nach dem 1. April 2008 zu Recht (Erwägung 3.4 vorne).
Das grundsätzliche Bestehen eines Rückforderungsanspruchs für die Zeit zwischen der Rückgabe des Mansardenzimmers und des Estrichraums im Jahre 2004 und dem 1. April 2008 schloss die Vorinstanz dagegen zu Unrecht mit der Begründung aus, dieser werde treuwidrig geltend gemacht (Erwägung 3.3 vorne). Insoweit ist die Beschwerde gutzuheissen, der angefochtene Entscheid aufzuheben und die Sache zur weiteren Beurteilung an die Vorinstanz zurückzuweisen (<ref-law>). Die Vorinstanz hat sich bei der neuen Beurteilung insbesondere auch mit der allfälligen Verjährung der Forderung sowie der Verrechnungseinrede der Beschwerdegegnerin auseinanderzusetzen.
Sodann ist die Sache zur Neuregelung der Kosten- und Entschädigungsfolgen für das kantonale Verfahren an die Vorinstanz zurückzuweisen (Art. 67 und 68 Abs. 5 BGG).
4.
Die Beschwerdeführer obsiegen mit ihrem Standpunkt der grundsätzlichen Berechtigung ihres geltend gemachten Mietzinsrückforderungsanspruchs vom 1. Januar 2005 bis zum 31. März 2013 knapp zur Hälfte. Diesem Ausgang des Verfahrens entsprechend rechtfertigt es sich, die Gerichtskosten den Parteien je zur Hälfte aufzuerlegen (<ref-law>), den Beschwerdeführern für ihren Anteil unter solidarischer Haftbarkeit (<ref-law>), und die Parteikosten wettzuschlagen (Art. 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen und das Urteil des Obergerichts des Kantons Zürich vom 8. April 2015 aufgehoben, soweit damit die erstinstanzliche Klageabweisung betreffend die Mietzinsrückforderungsansprüche der Beschwerdeführer für die Zeit vor dem 1. April 2008 bestätigt wird. Die Sache wird in diesem Umfang zur weiteren Beurteilung an die Vorinstanz zurückgewiesen.
Ferner werden die Ziffern 2 und 3 (Kostenentscheid) des Urteils des Obergerichts des Kantons Zürich vom 8. April 2015 aufgehoben und die Sache wird zur Neuregelung der Kosten- und Entschädigungsfolgen des kantonalen Verfahrens an die Vorinstanz zurückgewiesen.
2.
Die Gerichtskosten von Fr. 2'000.-- werden den Parteien je zur Hälfte auferlegt, den Beschwerdeführern für ihren Anteil unter solidarischer Haftbarkeit.
3.
Die Parteikosten für das bundesgerichtliche Verfahren werden wettgeschlagen.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, II. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 17. September 2015
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Der Gerichtsschreiber: Brugger