Sachverhalt: A. O._ (Beschwerdegegner), M._ (Beschwerdeführer 1) und N._ (Beschwerdeführer 2) gründeten am 29. Juni 1993 eine einfache Gesellschaft mit dem Zweck, die Liegenschaft X._ zu überbauen und anschliessend die Gesamtüberbauung gewinnbringend zu verkaufen. Unter dem Titel Gesellschaftszweck vereinbarten die Parteien, das Konsortium bezwecke den Abschluss eines auf den Namen des Beschwerdeführers 1 eingetragenen Kaufrechts an der Liegenschaft (Ziff. 2.1), die Überbauung und Realisierung dieser Liegenschaft (Ziff. 2.2) sowie den möglichst gewinnbringenden Verkauf der Gesamtüberbauung (Ziff. 2.3). Am Geschäftsergebnis sollte jeder Gesellschafter nach Massgabe seiner Beteiligung teilnehmen (Ziff. 3.4). Unter dem Titel "Leistungen der drei Konsorten" hielten diese unter den Ziff. 4.1.1 - 4.1.3 diverse Leistungen fest, die durch von ihnen beherrschte Gesellschaften erbracht werden sollten. So sollte die dem Beschwerdegegner gehörende OX._ AG (im Folgenden: Aktiengesellschaft) die Überbauung als Generalunternehmerin "mit offener Abrechnung und einem GU-Honorar von 4 Prozent" (Ziff. 4.1.2) erstellen. Der Aktiengesellschaft wurde an anderer Stelle in der Vereinbarung auch die Konsortialbuchhaltung übertragen (Ziff. 6.1). Bezüglich der Finanzierung (Ziff. 5) vereinbarten die Konsorten, durch möglichst weitgehende Fremdfinanzierung ihre Bareinschüsse so gering wie möglich zu halten. Das Konsortium sollte mit Erreichung des Gesellschaftszwecks nach erfolgter Gesamtabrechnung und Erledigung allfälliger Baugarantiefälle aufgelöst werden (Ziff. 7.1). B. Der Beschwerdeführer 1 verzichtete auf die Ausübung des Kaufrechts mit Blick auf den direkten Kauf des Baugrundes durch den am Bauprojekt interessierten Kanton Zürich. Dieses wurde sodann durch die vom Beschwerdegegner beherrschte Aktiengesellschaft zum Preis von Fr. 20'000'000.-- verwirklicht. Die Beschwerdeführer beanspruchten ihren Anteil am erzielten Gewinn nach Abzug des GU-Honorars gemäss Ziff. 4.1.2 der Vereinbarung, während der Beschwerdegegner sich auf den Standpunkt stellte, da das Kaufrecht nicht ausgeübt worden und die Erreichung des Gesellschaftszwecks nicht mehr möglich sei, bestehe die einfache Gesellschaft nicht mehr. Die Überbauung sei allein durch die Aktiengesellschaft erfolgt, nicht durch das Konsortium. C. Am 8. Februar 1999 beantragten die Beschwerdeführer dem Bezirksgericht Meilen, den Beschwerdegegner und die von ihm beherrschte Aktiengesellschaft zur Rechnungslegung und Gewinnherausgabe zu verpflichten. Das Bezirksgericht Meilen trat auf die Klage nicht ein und überwies den Prozess an das von den Klägern bezeichnete Bezirksgericht Zürich. Das vor Bezirksgericht Zürich fortgesetzte Verfahren beschäftigte sowohl das Obergericht als auch das Kassationsgericht des Kantons Zürich mehrmals, und auch das Bundesgericht hatte sich mit Bezug auf die Aktiengesellschaft bereits damit zu befassen (BGE 129 III 80). Mit Eingabe vom 19. März 2004 zogen die Beschwerdeführer die Klage gegen die Aktiengesellschaft allerdings zurück. D. Am 30. September 2004 wies das Bezirksgericht die Klage gegen den Beschwerdegegner ab. Daraufhin gelangten die Beschwerdeführer an das Obergericht des Kantons Zürich und beantragten im Wesentlichen, den Beschwerdegegner zu verpflichten, den Beschwerdeführern deren Gewinnanteile aus der Realisierung der Überbauung herauszugeben, abzüglich bereits erfolgter Abgeltungen, nämlich approximativ an den Beschwerdeführer 2 Fr. 1'217'000.-- und an den Beschwerdeführer 1 Fr. 1'132'000.--, jeweils nebst Zins (Ziff. 2). Dem Beschwerdegegner sei eine Frist zur Einreichung der Abrechnung samt Belegen anzusetzen (Ziff. 3). Alsdann sei den Beschwerdeführern eine Frist zur exakten Bezifferung ihrer Ansprüche einzuräumen (Ziff. 4). Nach einer Rückweisung des Kassationsgerichts wies das Obergericht mit Beschluss vom 6. Mai 2008 (nachfolgend Rückweisungsentscheid) das Verfahren zur Durchführung eines Beweisverfahrens und zu neuer Entscheidung an das Bezirksgericht zurück. Daraufhin verpflichtete dieses den Beschwerdegegner mit Teilurteil vom 19. Februar 2010, dem Gericht innert 30 Tagen ab Rechtskraft des Teilurteils eine vollständige Abrechnung bezüglich der Erstellung der Überbauung mit sämtlichen Belegen gemäss dem Gesellschaftsvertrag vom 29. Juni 1993 einzureichen. Die Abrechnung habe sämtliche mit der Überbauung zusammenhängenden Geldeingänge und Ausgaben sowie das Generalunternehmer-Honorar der Aktiengesellschaft von 4 % zu enthalten. E. Gegen dieses Teilurteil führte der Beschwerdegegner kantonale Berufung, worauf das Obergericht mit Urteil vom 1. September 2011 das Gesuch um Abrechnung abwies. Es erkannte, die Beschwerdeführer benötigten die Abrechnung lediglich zur genauen Bezifferung der gegenüber dem Beschwerdegegner eingeklagten Schadenersatzansprüche. Da nach Auffassung des Obergerichts keine entsprechenden Schadenersatzansprüche bestehen, wies es das Rechtsbegehren Ziff. 3 (Abrechnungsbegehren) ab. Über das Rechtsbegehren Ziff. 2 (Leistungsbegehren) könne dagegen nicht direkt durch das Obergericht entschieden werden, da das Bezirksgericht darüber noch nicht entschieden habe. F. Mit Beschwerde in Zivilsachen unterbreiten die Beschwerdeführer dem Bundesgericht im Wesentlichen ein dem Teilurteil des Bezirksgerichts entsprechendes Rechtsbegehren. Der Beschwerdegegner schliesst auf kostenfällige Abweisung der Beschwerde, während das Obergericht auf Vernehmlassung verzichtet. Obwohl das Bundesgericht keinen zweiten Schriftenwechsel angeordnet hat, haben die Parteien eine Beschwerdereplik und -duplik eingereicht.