Sachverhalt: A. A._ und B._ (Beschwerdeführer) betreiben ein Baggerunternehmen. Sie mieteten von C._ (Beschwerdegegner) ein Gebäude samt Nutzfläche. Zum Mietobjekt gehören unter anderem ein Trax-Schopf mit einer daneben befindlichen Tanksäule sowie ein Ölmagazin. Der Mietzins beträgt Fr. 12'000.-- pro Jahr. Am 16. September 2006 kündigte der Beschwerdegegner das Mietverhältnis per 31. März 2007. Die Beschwerdeführer fochten die Kündigung an und verlangten eventuell eine Erstreckung des Mietverhältnisses. Mittlerweile ist die Gültigkeit der Kündigung nicht mehr umstritten. Uneinigkeit besteht lediglich bezüglich der Dauer der Erstreckung. Diese hatte das Mietgericht Meilen den Beschwerdeführern ursprünglich mit Urteil vom 2. Juli 2008 letztmals bis 31. März 2008 gewährt. Nachdem das Obergericht des Kantons Zürich die Sache mangels Protokollierung der Beratung und des Urteils an das Mietgericht zurückgewiesen hatte, kam dieses mit Urteil vom 5. November 2008 wieder zu demselben Ergebnis. Es ging davon aus, der Beschwerdegegner habe den Beschwerdeführern ein gleichwertiges Ersatzobjekt angeboten, welches diese abgelehnt hätten. Es liege mithin kein Härtefall vor, der eine Erstreckung rechtfertige. Daher gewährte es die Erstreckung nur, soweit sich der Beschwerdegegner damit einverstanden erklärt hatte. Das Obergericht des Kantons Zürich erachtete demgegenüber eine Erstreckung nicht von vornherein als ausgeschlossen. Es wog die Interessen der Parteien gegeneinander ab und erstreckte auf kantonale Berufung der Beschwerdeführer hin mit Beschluss vom 24. Februar 2009 das Mietverhältnis letztmals bis zum 30. April 2009. Die gegen diesen Beschluss erhobene kantonale Nichtigkeitsbeschwerde wies das Kassationsgericht des Kantons Zürich am 15. Juli 2009 ab, soweit es darauf eintrat. B. Mit Beschwerde in Zivilsachen beantragen die Beschwerdeführer dem Bundesgericht im Wesentlichen, den Beschluss des Obergerichts bezüglich der Dauer der Erstreckung aufzuheben und diese entsprechend ihrem Begehren vor Obergericht bis zum 30. April 2010 zu gewähren. Für die Zeit nach diesem Datum haben die Beschwerdeführer ein Ersatzobjekt gefunden. Der Beschwerdegegner schliesst auf kostenfällige Abweisung der Beschwerde, soweit darauf einzutreten sei, während das Obergericht auf Vernehmlassung verzichtet. Der Beschwerde wurde aufschiebende Wirkung erteilt.