Forderung, hat sich ergeben: A.-A.M._ und H.M._ mieteten per 1. Juni 1996 von der C._SA eine 3 1/2-Zimmer-Attikawohnung und - mit separatem Vertrag - zwei Autoeinstellplätze. Der Mietzins für die Wohnung betrug Fr. 3'090.-- brutto, derjenige für die Garagenplätze Fr. 220.--. Beide Verträge konnten frühestens auf den 30. September 1997 gekündigt werden. Am ersten Tag nach dem Einzug der Mieter wurde in ihre Wohnung eingebrochen. Mit Schreiben vom 11. Juli 1996 kündigten A.M._ und H.M._ das Mietverhältnis vorzeitig auf den 31. August 1996. Zur Begründung führten sie aus, dass sich A.M._ seit dem Vorfall in ärztlicher Behandlung befinde und dass der Arzt davon ausgehe, nur ein Wohnungswechsel könne Heilung bringen. Die C._SA akzeptierte diese Kündigung nicht. In der Folge bezahlten A.M._ und H.M._ den Mietzins bis und mit September 1996. Nachher blieb die Wohnung zunächst leer und wurde erst auf den 1. Juli 1997 weitervermietet. Die Schlussabrechnung der C._SA, welche insbesondere den Mietzins für die Wohnung und die Garagenplätze betraf, lautete auf Fr. 35'223. 55. A.M._ und H.M._ weigerten sich, diesen Betrag zu bezahlen. Sie stellten sich auf den Standpunkt, dass das Mietverhältnis aus wichtigem Grund im Sinn von Art. 266g OR vorzeitig gekündigt worden und der geforderte Betrag nicht geschuldet sei. B.-Nachdem es im Verfahren vor der Schlichtungsbehörde des Bezirks Zürich nicht gelang, zwischen den Parteien eine Einigung zu erzielen, erhob die C._SA beim Mietgericht Zürich Klage mit dem Antrag, A.M._ und H.M._ solidarisch zu verpflichten, Fr. 35'233. 55 zuzüglich Zins zu bezahlen. Im Verlauf des Verfahrens vor dem Mietgericht zog die C._SA ihre Klage im Umfang von Fr. 519. 30 zurück; A.M._ und H.M._ anerkannten die Klage im Betrag von Fr. 3'090.--. Im Übrigen hiess das Mietgericht die Klage mit Urteil vom 31. März 2000 im Umfang von Fr. 30'219. 80 zuzüglich Fr. 75.-- Betreibungskosten gut und wies sie im Mehrbetrag von Fr. 1'319. 45 ab. Das Mietgericht ging davon aus, dass die Voraussetzungen für eine Kündigung aus wichtigem Grund gemäss Art. 266g OR nicht erfüllt gewesen seien. Gegen diesen Entscheid erhoben A.M._ und H.M._ Berufung beim Obergericht des Kantons Zürich. Mit Beschluss vom 26. Oktober 2000 bestätigte das Obergericht das Urteil des Mietgerichtes. C.-Gegen den Beschluss des Obergerichtes erhoben A.M._ und H.M._ am 6. Dezember 2000 Berufung ans Bundesgericht und beantragten, den "angefochtenen Entscheid [...] aufzuheben und die Berufung [...] gutzuheissen". Die C._SA beantragte die Abweisung der Berufung. Das Obergericht hat auf Gegenbemerkungen verzichtet. Mit Beschluss vom 1. April 2001 wies das Kassationsgericht des Kantons Zürich die gleichzeitig mit der Berufung erhobene kantonale Nichtigkeitsbeschwerde ab, soweit darauf eingetreten werden konnte.