Sachverhalt: A. Im April 2004 schlossen B._ (Beschwerdeführer 2) und D._ als Mieter mit C._ (Beschwerdegegner) einen Mietvertrag über Geschäftsräumlichkeiten in Winterthur ab. Im September 2004 bat D._ den Beschwerdeführer 2, ihn aus dem Mietverhältnis zu entlassen. Mit undatiertem Vertrag mieteten sodann A._ (Beschwerdeführer 1) und der Beschwerdeführer 2 die Geschäftsräumlichkeiten. Mit Schreiben vom 16. März 2009 wurde dem Beschwerdeführer 2 unter Androhung der Kündigung nach Art. 257d OR eine letzte Zahlungsfrist für ausstehende Mietzinse der Monate Juli 2005 bis März 2009 in der Höhe von Fr. 545'500.-- angesetzt. Dieses Schreiben wurde in Kopie auch dem Beschwerdeführer 1 zugestellt. Am 22. April 2009 kündigte der Beschwerdegegner das Mietverhältnis mittels (separaten) amtlichen Formularen per 31. Mai 2009. B. Die Beschwerdeführer räumten und verliessen die Mieträumlichkeiten bis zum Kündigungstermin nicht. Das daraufhin vom Beschwerdegegner im Juni 2009 gestellte Ausweisungsbegehren hiess das Bezirksgericht Winterthur gut. Das Obergericht des Kantons Zürich wies den Rekurs der Beschwerdeführer mit Beschluss vom 16. September 2009 ab, bestätigte den Entscheid des Bezirksgerichts und befahl den Beschwerdeführern, die Geschäftsräumlichkeiten unverzüglich zu räumen und zu verlassen. Das Kassationsgericht des Kantons Zürich trat auf die dagegen erhobene Nichtigkeitsbeschwerde am 15. Januar 2010 nicht ein. C. Mit Beschwerde in Zivilsachen beantragen die Beschwerdeführer dem Bundesgericht, den Beschluss des Obergerichts aufzuheben und das Ausweisungsbegehren abzuweisen. Das Bundesgericht erteilte der Beschwerde auf Antrag der Beschwerdeführer aufschiebende Wirkung. Der Beschwerdegegner schliesst auf Abweisung der Beschwerde, soweit darauf einzutreten sei. Die Vorinstanz hat auf eine Vernehmlassung verzichtet.