Sachverhalt:
A.
N.Z._ war Eigentümer der Liegenschaft an der Strasse S._ in P._. Mit Mietverträgen vom 23./24. Oktober 2007 vermieteten er und seine Ehefrau M.Z._ eine 3.5-Zimmer-Wohnung im 1. Stock dieser Liegenschaft und einen Parkplatz an Y._ (Mieterin, Klägerin, Beschwerdegegnerin).
Am 15. Dezember 2011 übertrug N.Z._ das Eigentum an der Liegenschaft mittels einer Schenkung auf seine Enkel A._, B._, C._ und D._ (Beklagte, Beschwerdeführer).
Mit (amtlich genehmigtem) Formular vom 20. Dezember 2011 teilten N.Z._ und M.Z._ der Mieterin eine Mietzinserhöhung um insgesamt Fr. 129.-- pro Monat per 1. April 2012 für die Wohnung und den Parkplatz mit.
B.
Am 6. November 2012 machte die Mieterin beim Mietgericht Zürich eine Klage gegen A._, B._, C._ und D._ anhängig. Mit dieser beantragte sie, es sei festzustellen, dass die mit Formular vom 20. Dezember 2011 angezeigte Mietzinserhöhung per 1. April 2012 nichtig sei. Es seien die Beklagten zu verpflichten, ihr den zu viel bezahlten Mietzins von monatlich Fr. 129.-- für den Zeitraum April 2012 bis und mit April 2013 zurückzuerstatten. Sie argumentierte in der Klage, die Mietzinserhöhung vom 20. Dezember 2011 sei nichtig, weil sie ungenügend begründet gewesen sei.
Die Beklagten bestritten in erster Linie ihre Passivlegitimation, mit der Begründung, bei der Schenkung der Liegenschaft sei eine Nutzniessung zu Gunsten von N.Z._ und M.Z._ errichtet worden. Das Mietverhältnis sei deshalb nicht auf sie als neue Eigentümer übergegangen.
Das Mietgericht hiess die Klage mit Urteil vom 12. Juni 2013 gut und stellte fest, dass die mit Formular vom 20. Dezember 2011 angezeigte Mietzinserhöhung per 1. April 2012 nichtig sei. Es verpflichtete die Beklagten, der Klägerin Fr. 1'677.-- zu bezahlen.
Die von den Beklagten hiergegen erhobene Berufung wies das Obergericht des Kantons Zürich mit Urteil vom 22. November 2013 ab.
C.
Die Beklagten beantragen mit Beschwerde in Zivilsachen, das Urteil des Obergerichts vom 22. November 2013 aufzuheben und auf die Klage nicht einzutreten.
Die Klägerin begehrt, die Beschwerde abzuweisen, soweit darauf einzutreten sei. Die Vorinstanz verzichtete auf eine Vernehmlassung.
Mit Präsidialverfügung vom 18. Februar 2014 wurde der Beschwerde aufschiebende Wirkung erteilt.

Erwägungen:
1.
Das angefochtene Urteil des Obergerichts ist ein verfahrensabschliessender Endentscheid (<ref-law>) einer letzten kantonalen Instanz im Sinne von <ref-law>. Vor der Vorinstanz war eine Mietzinserhöhung um Fr. 129.-- monatlich streitig, also Fr. 1'548.-- jährlich, bei unbeschränkter Mietdauer. Der für die Streitwertberechnung massgeblicher Kapitalwert entspricht dem zwanzigfachen Betrag der einjährigen Leistung (vgl. <ref-law>; <ref-ruling> E. 1; <ref-ruling> E. 1), mithin Fr. 30'960.--. Er übertrifft damit den für die Beschwerde in Zivilsachen in mietrechtlichen Fällen erforderlichen Betrag (<ref-law>). Da auch die übrigen Sachurteilsvoraussetzungen erfüllt sind, ist auf die Beschwerde einzutreten.
2.
Im kantonalen Verfahren war zu beurteilen, wer die Vermieterstellung innehat und damit für die vorliegende Klage der Mieterin passivlegitimiert ist, nachdem das Eigentum an der Mietliegenschaft (anerkanntermassen) am 15. Dezember 2011 auf die Beklagten übergegangen ist.
2.1. Veräussert der Vermieter die Sache nach Abschluss des Mietvertrags oder wird sie ihm in einem Schuldbetreibungs- oder Konkursverfahren entzogen, so geht das Mietverhältnis mit dem Eigentum an der Sache auf den Erwerber über (<ref-law>). <ref-law> erklärt die Bestimmungen über die Veräusserung der Sache für sinngemäss anwendbar, wenn der Vermieter einem Dritten ein beschränktes dingliches Recht einräumt und dies einem Eigentümerwechsel gleichkommt. Überträgt der Vermieter lediglich das nackte Eigentum am Mietobjekt auf einen Dritten, während die Nutzniessung daran (Art. 745-775 ZGB) bei ihm verbleibt, geht nach dem Sinn der genannten Bestimmungen das Mietverhältnis nicht auf den neuen Eigentümer über (vgl. Urteil 4C.235/2005 vom 24. Oktober 2005 E. 3.1).
2.2. Zwischen den Parteien ist in tatsächlicher Hinsicht umstritten, ob bei der Übertragung des Eigentums an der Mietliegenschaft auf die Beschwerdeführer eine Nutzniessung zu Gunsten von N.Z._ und M.Z._ errichtet wurde. Vor Bundesgericht dreht sich der Streit um die Frage, ob das Miet- und das Obergericht dieser im Grundbuch eingetragenen Tatsache hätten Rechnung tragen müssen, obwohl die Beklagten im erstinstanzlichen Verfahren dafür keinen Beweis offeriert hatten.
Die Vorinstanz erwog, die Frage der Passivlegitimation bilde entgegen der Auffassung der Beschwerdeführer keine Prozessvoraussetzung, die nach Art. 59 f. ZPO von Amtes wegen abzuklären sei. Die Errichtung einer Nutzniessung zu Gunsten von N.Z._ und M.Z._, aus der die Beklagten den Fortbestand des Mietverhältnisses mit diesen und die fehlende eigene Passivlegitimation ableiteten, sei von der Mieterin bestritten worden. Die Beklagten hätten diese Behauptung nicht bewiesen, und sie müssten die Folgen der Beweislosigkeit tragen. Demnach sei das Mietverhältnis mit dem Erwerb der Liegenschaft durch die Beklagten nach <ref-law> auf diese übergegangen. Das Mietgericht habe somit zu Recht die Passivlegitimation der Beklagten bejaht.
Die Beschwerdeführer rügen diese Auffassung als bundesrechtswidrig.
2.3. Der Vorinstanz ist insoweit zuzustimmen, als das Mietgericht nicht gestützt auf <ref-law> verpflichtet war, das Bestehen einer Nutzniessung an der Mietliegenschaft von Amtes wegen zu untersuchen. Die Sachlegitimation bildet keine Prozessvoraussetzung, sondern betrifft das materielle Recht (vgl. <ref-ruling> E. 1.2 S. 507; <ref-ruling> E. 3.4 S. 184). Fehlt sie, wird die Klage als unbegründet abgewiesen (<ref-ruling> E. 2). Sie ist als materiellrechtliche Voraussetzung des eingeklagten Anspruchs zwar vom Richter jeder Stufe im Rahmen der Rechtsanwendung von Amtes wegen zu prüfen (<ref-ruling> E. 1a S. 63); unter der Herrschaft der Verhandlungsmaxime gilt dies allerdings nur nach Massgabe des behaupteten und festgestellten Sachverhalts (<ref-ruling> E. 2; <ref-ruling> E. 1).
Indessen verletzte die Vorinstanz Bundesrecht, wenn sie annahm, das vorliegende Verfahren unterstehe der Verhandlungsmaxime: Gemäss <ref-law> gilt für bestimmte miet- und pachtrechtliche Angelegenheiten ohne Rücksicht auf den Streitwert das vereinfachte Verfahren. Dabei handelt es sich um Streitigkeiten, welche die Hinterlegung von Miet- und Pachtzinsen, den Schutz vor missbräuchlichen Miet- und Pachtzinsen, den Kündigungsschutz oder die Erstreckung des Miet- oder Pachtverhältnisses betreffen. Das Gericht stellt den Sachverhalt in diesen Angelegenheiten von Amtes wegen fest (<ref-law>). Entgegen der Vorinstanz hat die vorliegende Klage auf Feststellung der Nichtigkeit der Mietzinserhöhung vom 20. Dezember 2011 und Rückerstattung des zu viel bezahlten Mietzinses den Schutz vor missbräuchlichen Mietzinsen im Sinne von Art. 269-270e OR zum Gegenstand. Während das Bundesgericht bislang offen gelassen hat, ob die allein auf Feststellung der Nichtigkeit bzw. Unwirksamkeit der Kündigung des Mietverhältnisses gerichtete Klage unter <ref-law> fällt (vgl. <ref-ruling> E. 5.2 und 5.3 mit Hinweisen), ist die Frage hinsichtlich einer auf <ref-law> abgestützten Klage auf Feststellung der Nichtigkeit einer Mietzinserhöhung mit Blick auf die Gesetzessystematik ohne Weiteres zu bejahen (vgl. Killias, in: Berner Kommentar, Schweizerische Zivilprozessordnung, Bd. II, 2012, N. 50 zu <ref-law>; Lachat, Procédure civile en matière de baux et loyers, 2011, S. 153; siehe auch Bohnet, Le droit du bail en procédure civile suisse, in: Bohnet/Wessner [Hrsg.], 16e Séminaire sur le droit du bail, 2010, S. 40 Rz. 142 sowie S. 34 Rz. 113).
Somit galt im vorliegenden Verfahren nach <ref-law> die soziale Untersuchungsmaxime. Nach dieser ist das Gericht nicht an die Beweisanträge der Parteien und deren Tatsachenbehauptungen gebunden (<ref-ruling> E. 4.4.3.2 mit Hinweisen). Wenn es Gründe zur Annahme hat, dass die Beweisanträge einer Partei unvollständig sind, muss das Gericht selber nach einschlägigen Beweismitteln forschen, von deren Existenz es aufgrund der Parteibehauptungen und der Akten Kenntnis hat (<ref-ruling> E. 3.2; <ref-ruling> E. 3.1 S. 80; Urteil 4A_484/2011 vom 2. November 2011 E. 2.2).
2.4. Die Mieterin berief sich im kantonalen Verfahren auf <ref-law> sowie auf den mit der Eigentümerauskunft des Grundbuchamts Altstetten-Zürich vom 20. Juni 2012 belegten Übergang des Eigentums an der Mietliegenschaft auf die Beklagten per 15. Dezember 2011. Die in diesem Verfahrensstadium noch nicht anwaltlich vertretenen Beklagten bestritten daraufhin in der Klageantwort ihre Passivlegitimation, unter Hinweis auf die gleichzeitig mit der Schenkung zugunsten von N.Z._ und M.Z._ errichtete Nutzniessung. Freilich belegten sie diese Behauptung nicht und offerierten keine Beweismittel dafür. In der Folge erschienen die Beklagten nicht zur Hauptverhandlung, offenbar in der unzutreffenden Annahme, dies sei angesichts ihrer fehlenden Passivlegitimation entbehrlich. Die Mieterin bestritt anlässlich der Hauptverhandlung das Bestehen einer solchen Nutzniessung.
Unter diesen Umständen hätte das Mietgericht den Sachverhalt von Amtes wegen feststellen und zu diesem Zweck einen vollständigen Grundbuchauszug einholen müssen. Indem es hierauf verzichtete und die Passivlegitimation der Beklagten in der Erwägung bejahte, die Errichtung einer Nutzniessung sei unbewiesen geblieben, verletzte es <ref-law>. Die dahingehende Rüge der Beschwerdeführer erweist sich als begründet.
Bei dieser Sachlage braucht nicht beurteilt zu werden, ob sich eine Beweisofferte für die Errichtung der Nutzniessung ohnehin aufgrund von <ref-law> erübrigte, d.h. insofern eine offenkundige (nicht beweispflichtige) Tatsache gemäss <ref-law> vorlag, wie die Beschwerdeführer in Analogie zur Rechtslage bei Handelregistereinträgen (vgl. dazu Urteil 4A_412/2011 vom 4. Mai 2012 E. 2.2, nicht publ. in: <ref-ruling>, mit Hinweisen) postulieren, die Vorinstanz demgegenüber verneinte.
3.
Die Beschwerdegegnerin macht in formeller Hinsicht geltend, die Beschwerdeführer begehrten vor Bundesgericht bloss ein Nichteintreten auf die Klage. Deren Abweisung sei dagegen nicht beantragt und somit nach <ref-law> gar nicht Thema des Beschwerdeverfahrens.
3.1. Heisst das Bundesgericht die Beschwerde gut, so entscheidet es in der Sache selbst oder weist diese zu neuer Beurteilung an die Vorinstanz zurück (<ref-law>). Nach <ref-law> darf es dabei nicht über die Begehren der Parteien hinausgehen. Die beschwerdeführende Partei kann sich dementsprechend grundsätzlich nicht darauf beschränken, in der Beschwerdeschrift die Aufhebung des angefochtenen Entscheids zu beantragen, sondern muss einen Antrag in der Sache stellen (<ref-ruling> E. 3.1 mit Hinweisen).
3.2. Einen ausdrücklichen Antrag auf Klageabweisung unterbreiten die Beschwerdeführer dem Bundesgericht in der Tat nicht, und ein derartiges Begehren kann auch nicht der Beschwerdebegründung entnommen werden. Im Gegenteil beharren die Beschwerdeführer darin ausdrücklich auf ihrer Meinung, die fehlende Passivlegitimation habe zur Folge, dass auf die Klage nicht eingetreten werden dürfe.
Dieser Umstand schadet den Beschwerdeführern jedoch nicht: Diese beantragten bereits als Beklagte im erstinstanzlichen Verfahren das Nichteintreten auf die Klage, in der - unrichtigen (Erwägung 2.3) - Annahme, ihre fehlende Vermieterstellung mache die Klage unzulässig. Das Mietgericht bejahte in der Folge die Passivlegitimation der Beklagten (und die Nichtigkeit der Mietzinserhöhung vom 20. Dezember 2011 sowie den Rückerstattungsanspruch), ohne indessen die nicht anwaltlich vertretenen Beklagten auf ihre unrichtige Rechtsauffassung hinzuweisen. Daraufhin konnte das Obergericht als Rechtsmittelinstanz auch der Berufungsbegründung in der Sache bloss das Begehren entnehmen, dass auf die Klage nicht eingetreten werden solle. Es beurteilte aber gleichwohl die Begründetheit der Berufung und untersuchte die Passivlegitimation als materielle Anspruchsvoraussetzung.
Dieses Vorgehen der Vorinstanzen war denn auch korrekt: Die Beklagten hatten im kantonalen Verfahren unmissverständlich zum Ausdruck gebracht, aus welchen tatsächlichen Gründen die Klage der Mieterin ihres Erachtens gegen die falschen Personen gerichtet war. Dass die Beklagten über die Rechtsfolge ihrer fehlenden Sachlegitimation irrten, hätte es unter dem Gesichtswinkel der Dispositionsmaxime nicht rechtfertigen können, ihnen zu unterstellen, sie wollten für den Fall des Eintretens auf die Klage die Klagebegehren anerkennen, zumal keine Anhaltspunkte dafür vorlagen, dass sie die Abweisung der Klage gerade nicht wünschten (vgl. <ref-law> sowie Hurni, in: Berner Kommentar, Schweizerische Zivilprozessordnung, Bd. I, 2012, N. 35 zu <ref-law>). Bei dieser Sachlage steht das im bundesgerichtlichen Verfahren gestellte Begehren der Beschwerdeführer, auf die Klage sei nicht einzutreten, einer Abweisung derselben unter dem Blickwinkel von <ref-law> nicht entgegen, zumal auch nicht erkennbar ist, inwiefern es für die unterliegende Mieterin unter den gegebenen Umständen einen praktischen Unterschied machen würde, wenn über ihre Klage mittels Sach- statt Prozessurteil entschieden wird. Im Übrigen ist zu Gunsten der Beschwerdeführer zu beachten, dass neue Begehren im bundesgerichtlichen Verfahren unzulässig sind (vgl. <ref-law>).
3.3. Aus dem von den Beschwerdeführern beim Obergericht eingereichten Grundbuchauszug geht zweifelsfrei hervor, dass am 15. Dezember 2011, also gleichzeitig mit der Übertragung des Eigentums an der Mietliegenschaft, eine Nutzniessung zu Gunsten von N.Z._ und M.Z._ errichtet wurde. Auch die Mieterin behauptet nicht, der Ausweis sei insofern fehlerhaft. Somit steht fest, dass das Mietverhältnis nach den Grundsätzen von Art. 261 und <ref-law> nicht auf die Beklagten übergegangen ist (Erwägung 2.1). Letzteren fehlt es somit an der Passivlegitimation für die vorliegende Klage. Diese erweist sich demzufolge als unbegründet.
4.
Nach dem Gesagten ist die Beschwerde gutzuheissen, und das angefochtene Urteil des Obergerichts ist aufzuheben. Die Klage der Beschwerdegegnerin ist abzuweisen. Ferner ist die Sache zur Neuregelung der Kosten- und Entschädigungsfolgen des kantonalen Verfahrens an das Obergericht zurückzuweisen (Art. 67 und Art. 68 Abs. 5 BGG). Bei diesem Ausgang wird die Beschwerdegegnerin für das bundesgerichtliche Verfahren kosten- und entschädigungspflichtig (Art. 66 Abs. 1 sowie Art. 68 Abs. 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird gutgeheissen, und das Urteil des Obergerichts des Kantons Zürich, II. Zivilkammer, vom 22. November 2013 wird aufgehoben. Die Klage der Beschwerdegegnerin wird abgewiesen.
2.
Die Sache wird zur Neuregelung der Kosten- und Entschädigungsfolgen des kantonalen Verfahrens an die Vorinstanz zurückgewiesen.
3.
Die Gerichtskosten von Fr. 2'000.-- werden der Beschwerdegegnerin auferlegt.
4.
Die Beschwerdegegnerin hat die Beschwerdeführer für das bundesgerichtliche Verfahren mit insgesamt Fr. 2'500.-- zu entschädigen.
5.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, II. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 26. März 2014
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Der Gerichtsschreiber: Kölz