Sachverhalt: A. N.Z._ war Eigentümer der Liegenschaft an der Strasse S._ in P._. Mit Mietverträgen vom 23./24. Oktober 2007 vermieteten er und seine Ehefrau M.Z._ eine 3.5-Zimmer-Wohnung im 1. Stock dieser Liegenschaft und einen Parkplatz an Y._ (Mieterin, Klägerin, Beschwerdegegnerin). Am 15. Dezember 2011 übertrug N.Z._ das Eigentum an der Liegenschaft mittels einer Schenkung auf seine Enkel A._, B._, C._ und D._ (Beklagte, Beschwerdeführer). Mit (amtlich genehmigtem) Formular vom 20. Dezember 2011 teilten N.Z._ und M.Z._ der Mieterin eine Mietzinserhöhung um insgesamt Fr. 129.-- pro Monat per 1. April 2012 für die Wohnung und den Parkplatz mit. B. Am 6. November 2012 machte die Mieterin beim Mietgericht Zürich eine Klage gegen A._, B._, C._ und D._ anhängig. Mit dieser beantragte sie, es sei festzustellen, dass die mit Formular vom 20. Dezember 2011 angezeigte Mietzinserhöhung per 1. April 2012 nichtig sei. Es seien die Beklagten zu verpflichten, ihr den zu viel bezahlten Mietzins von monatlich Fr. 129.-- für den Zeitraum April 2012 bis und mit April 2013 zurückzuerstatten. Sie argumentierte in der Klage, die Mietzinserhöhung vom 20. Dezember 2011 sei nichtig, weil sie ungenügend begründet gewesen sei. Die Beklagten bestritten in erster Linie ihre Passivlegitimation, mit der Begründung, bei der Schenkung der Liegenschaft sei eine Nutzniessung zu Gunsten von N.Z._ und M.Z._ errichtet worden. Das Mietverhältnis sei deshalb nicht auf sie als neue Eigentümer übergegangen. Das Mietgericht hiess die Klage mit Urteil vom 12. Juni 2013 gut und stellte fest, dass die mit Formular vom 20. Dezember 2011 angezeigte Mietzinserhöhung per 1. April 2012 nichtig sei. Es verpflichtete die Beklagten, der Klägerin Fr. 1'677.-- zu bezahlen. Die von den Beklagten hiergegen erhobene Berufung wies das Obergericht des Kantons Zürich mit Urteil vom 22. November 2013 ab. C. Die Beklagten beantragen mit Beschwerde in Zivilsachen, das Urteil des Obergerichts vom 22. November 2013 aufzuheben und auf die Klage nicht einzutreten. Die Klägerin begehrt, die Beschwerde abzuweisen, soweit darauf einzutreten sei. Die Vorinstanz verzichtete auf eine Vernehmlassung. Mit Präsidialverfügung vom 18. Februar 2014 wurde der Beschwerde aufschiebende Wirkung erteilt.