Sachverhalt:
A. A._ und B._ (Beschwerdeführer) betreiben ein Baggerunternehmen. Sie mieteten von C._ (Beschwerdegegner) ein Gebäude samt Nutzfläche. Zum Mietobjekt gehören unter anderem ein Trax-Schopf mit einer daneben befindlichen Tanksäule sowie ein Ölmagazin. Der Mietzins beträgt Fr. 12'000.-- pro Jahr. Am 16. September 2006 kündigte der Beschwerdegegner das Mietverhältnis per 31. März 2007. Die Beschwerdeführer fochten die Kündigung an und verlangten eventuell eine Erstreckung des Mietverhältnisses. Mittlerweile ist die Gültigkeit der Kündigung nicht mehr umstritten. Uneinigkeit besteht lediglich bezüglich der Dauer der Erstreckung. Diese hatte das Mietgericht Meilen den Beschwerdeführern ursprünglich mit Urteil vom 2. Juli 2008 letztmals bis 31. März 2008 gewährt. Nachdem das Obergericht des Kantons Zürich die Sache mangels Protokollierung der Beratung und des Urteils an das Mietgericht zurückgewiesen hatte, kam dieses mit Urteil vom 5. November 2008 wieder zu demselben Ergebnis. Es ging davon aus, der Beschwerdegegner habe den Beschwerdeführern ein gleichwertiges Ersatzobjekt angeboten, welches diese abgelehnt hätten. Es liege mithin kein Härtefall vor, der eine Erstreckung rechtfertige. Daher gewährte es die Erstreckung nur, soweit sich der Beschwerdegegner damit einverstanden erklärt hatte. Das Obergericht des Kantons Zürich erachtete demgegenüber eine Erstreckung nicht von vornherein als ausgeschlossen. Es wog die Interessen der Parteien gegeneinander ab und erstreckte auf kantonale Berufung der Beschwerdeführer hin mit Beschluss vom 24. Februar 2009 das Mietverhältnis letztmals bis zum 30. April 2009. Die gegen diesen Beschluss erhobene kantonale Nichtigkeitsbeschwerde wies das Kassationsgericht des Kantons Zürich am 15. Juli 2009 ab, soweit es darauf eintrat.
B. Mit Beschwerde in Zivilsachen beantragen die Beschwerdeführer dem Bundesgericht im Wesentlichen, den Beschluss des Obergerichts bezüglich der Dauer der Erstreckung aufzuheben und diese entsprechend ihrem Begehren vor Obergericht bis zum 30. April 2010 zu gewähren. Für die Zeit nach diesem Datum haben die Beschwerdeführer ein Ersatzobjekt gefunden. Der Beschwerdegegner schliesst auf kostenfällige Abweisung der Beschwerde, soweit darauf einzutreten sei, während das Obergericht auf Vernehmlassung verzichtet. Der Beschwerde wurde aufschiebende Wirkung erteilt.
Erwägungen:
1. Das Mietgericht hatte eine Erstreckung bis 31. März 2008 bewilligt, während die Beschwerdeführer vor Obergericht eine solche bis 30. April 2010 verlangten. Angesichts des Mietzinses von Fr. 12'000.-- pro Jahr überschreiten die Begehren, die vor kantonaler Instanz streitig geblieben sind (Art. 51 Abs. 1 lit. a BGG), die für die Zulässigkeit der Beschwerde in Zivilsachen massgebliche Streitwertgrenze von Fr. 15'000.-- (Art. 74 Abs. 1 lit a BGG) offensichtlich.
2. Das Obergericht führt in seinem Entscheid die verschiedenen Sachverhaltselemente auf, die es für die Festsetzung der Dauer der Erstreckung berücksichtigte. Es hielt fest, der Beschwerdegegner verweise zu Recht darauf, dass die Beschwerdeführer gemäss den vorhandenen Akten letztmals im Mai 2007 Suchbemühungen unternommen hätten, was sich auf die Bemessung der Erstreckungsdauer negativ auswirke.
2.1 In ihrer Beschwerde thematisieren die Beschwerdeführer ausschliesslich diesen Punkt. Das Obergericht lasse ausser Acht, dass das Hauptverfahren vor dem Mietgericht am 7. Juni 2007 mit der Hauptverhandlung abgeschlossen gewesen sei, weshalb die Beschwerdeführer in der Folge keine Gelegenheit gehabt hätten, ihre nach Abschluss des erstinstanzlichen Hauptverfahrens erfolgten umfangreichen Suchbemühungen in den Prozess einzubringen. Die Beschwerdeführer holen im Verfahren vor Bundesgericht die Behauptung weiterer Suchbemühungen seit Mai 2007 nach und belegen diese. Sie sind der Auffassung, dabei handle es sich um zulässige Noven, da erst der Entscheid des Obergerichts Anlass gegeben habe, diese vorzubringen. Es sei für die Beschwerdeführer nicht vorhersehbar gewesen, dass das Obergericht die nach Abschluss des erstinstanzlichen Hauptverfahrens unternommenen Suchbemühungen als Kriterium für die Bemessung der Erstreckungsdauer heranziehen würde. Daher hätte den Beschwerdeführern Gelegenheit gegeben werden müssen, sich dazu zu äussern. Indem es das Obergericht unterlassen habe, in Ausübung der richterlichen Fragepflicht sicherzustellen, dass alle wesentlichen Sachverhaltselemente in den angefochtenen Entscheid eingeflossen seien, habe es die in Art. 274d Abs. 3 OR statuierte "soziale Untersuchungsmaxime" verletzt.
2.2 Nach der Rechtsprechung des Bundesgericht ergibt sich aus dem Anspruch auf rechtliches Gehör das Recht der Parteien, vorgängig angehört zu werden, wenn ein Gericht seinen Entscheid mit einem Rechtsgrund zu begründen beabsichtigt, auf den sich die beteiligten Parteien nicht berufen haben und mit dessen Erheblichkeit sie vernünftigerweise nicht rechnen mussten (BGE 130 III 35 E. 5 S. 39; 126 I 19 E. 2c/aa S. 22; 114 Ia 97 E. 2a S. 99, mit weiteren Hinweisen). Eine entsprechende Rüge hat die Beschwerdeführerin allerdings bereits dem Kassationsgericht unterbreitet. Insoweit ist der Entscheid des Obergerichts nicht letztinstanzlich (Art. 75 Abs. 1 BGG).
2.3 Auch unter der Geltung der sozialpolitisch begründeten Untersuchungsmaxime (Art. 274d Abs. 3 OR) sind die Parteien nicht davon befreit, bei der Feststellung des entscheidwesentlichen Sachverhalts aktiv mitzuwirken und die allenfalls zu erhebenden Beweise zu bezeichnen. Sie tragen die Verantwortung für die Ermittlung des Sachverhalts. Das Gericht hat lediglich seine Fragepflicht auszuüben, die Parteien auf ihre Pflicht zur Mitwirkung und Beweisführung hinzuweisen und sich über die Vollständigkeit der Behauptungen und Beweise zu versichern, wenn diesbezüglich ernsthafte Zweifel bestehen. Die richterliche Initiative geht insoweit nicht über eine Aufforderung an die Parteien hinaus, Beweismittel zu nennen und beizubringen. Zwar ist der Richter nicht an die Beweisanträge der Parteien gebunden, sondern er darf auch von sich aus Beweise erheben. Es obliegt aber letztlich dennoch den Parteien, die relevanten Fakten vorzubringen, zumal sie dazu am besten in der Lage sind. Ferner gilt, dass die Untersuchungsmaxime im Rechtsmittelverfahren durch kantonales Prozessrecht eingeschränkt werden kann (BGE 125 III 231 E. 4a S. 238 f. mit Hinweisen).
2.4 Nach den insoweit unangefochtenen Feststellungen des Obergerichts wies der Beschwerdegegner in der Berufungsantwort darauf hin, dass die Beschwerdeführer seit Mai 2007 keine Suchbemühungen unternommen hätten. Die Beschwerdeführer haben die Berufungsantwort am 10. Februar 2009 zur Kenntnis erhalten. Es durfte ihnen daher nicht entgehen, dass ihre Suchbemühungen ab Mai 2007 im Prozess thematisiert worden waren. Sie hatten somit allen Anlass, innert nützlicher Frist auf die unzutreffende Behauptung des Beschwerdegegners zu reagieren und auf ihre Suchbemühungen hinzuweisen. Wenn sie dies unterliessen, bestand für das Gericht kein Grund zur Annahme, der Sachverhalt könnte insoweit unvollständig sein. Eine Verletzung von Art. 274d Abs. 3 OR liegt offensichtlich nicht vor.
3. Aus den dargelegten Gründen ist die Beschwerde abzuweisen, soweit darauf einzutreten ist. Dem Ausgang des Verfahrens entsprechend werden die Beschwerdeführer kosten- und entschädigungspflichtig.
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 3'000.-- werden unter solidarischer Haftbarkeit den Beschwerdeführern auferlegt.
3. Die Beschwerdeführer haben den Beschwerdegegner für das bundesgerichtliche Verfahren unter solidarischer Haftbarkeit mit Fr. 3'500.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, II. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 12. Oktober 2009
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Der Gerichtsschreiber:
Klett Luczak