Sachverhalt: A. A.a. O._ (Beklagter, Beschwerdeführer), M._ (Kläger 1, Beschwerdegegner 1) und N._ (Kläger 2, Beschwerdegegner 2) gründeten mit Gesellschaftsvertrag vom 29. Juni 1993 (nachfolgend: Gesellschaftsvertrag) die einfache Gesellschaft "Konsortium A._". Unter dem Titel "Gesellschaftszweck" vereinbarten sie, das Konsortium bezwecke den Abschluss eines Kaufrechts an der Liegenschaft Kat. Nr. xxx, das auf den Namen des Klägers 1 eingetragen werde (Ziff. 2.1), die Überbauung und Realisierung dieser Liegenschaft (Ziff. 2.2) sowie den möglichst gewinnbringenden Verkauf der Gesamtüberbauung (Ziff. 2.3). Unter dem Titel "Leistungen der Konsorten" hielten sie in den Ziffern 4.1.1-4.1.3 diverse Leistungen fest, die durch von ihnen beherrschte resp. ihnen nahestehende Gesellschaften erbracht werden sollten. So sollte die dem Beklagten gehörende OX._ AG (im Folgenden: Aktiengesellschaft) die Überbauung als Generalunternehmerin "mit offener Abrechnung und einem GU-Honorar von 4 Prozent" (Ziff. 4.1.2) erstellen. Der Aktiengesellschaft wurde auch die Konsortialbuchhaltung übertragen (Ziff. 6.1). Bezüglich der Finanzierung (Ziff. 5) vereinbarten die Konsorten, durch möglichst weitgehende Fremdfinanzierung ihre Bareinschüsse so gering wie möglich zu halten. Sie hielten sodann fest, im Innenverhältnis sei jeder Gesellschafter zu einem Drittel beteiligt (Ziff. 3.2) und nehme entsprechend am Geschäftsergebnis teil (Ziff. 3.4). Das Konsortium sollte mit Erreichung des Gesellschaftszwecks nach erfolgter Gesamtabrechnung und Erledigung allfälliger Baugarantiefälle aufgelöst werden (Ziff. 7.1). A.b. Die Überbauung wurde aber auf anderem Weg realisiert. Nachdem das zugunsten des Klägers 1 im Grundbuch eingetragene Kaufrecht aufgehoben worden war, erwarb der am Bauprojekt interessierte Kanton Zürich das zu überbauende Grundstück direkt von der Eigentümerin, der Erbengemeinschaft B._. Die Überbauung wurde sodann durch die vom Beklagten beherrschte Aktiengesellschaft zum Preis von Fr. 20 Mio. verwirklicht. Die Kläger beanspruchten ihren Anteil am Gewinn nach Abzug des GU-Honorars gemäss Ziff. 4.1.2 des Gesellschaftsvertrags, während der Beklagte sich auf den Standpunkt stellte, da das Kaufrecht nicht ausgeübt worden und die Erreichung des Gesellschaftszwecks nicht mehr möglich sei, bestehe die einfache Gesellschaft nicht mehr. Die Überbauung sei allein durch die Aktiengesellschaft erfolgt, nicht durch das Konsortium. B. B.a. Am 8. Februar 1999 beantragten die Kläger dem Bezirksgericht Meilen, den Beklagten und die Aktiengesellschaft zur Rechnungslegung und Gewinnherausgabe zu verpflichten. Das Bezirksgericht Meilen trat auf die Klage nicht ein und überwies den Prozess an das von den Klägern bezeichnete Bezirksgericht Zürich. Das vor Bezirksgericht Zürich fortgesetzte Verfahren beschäftigte sowohl das Obergericht als auch das Kassationsgericht des Kantons Zürich mehrmals, und auch das Bundesgericht hatte sich mit Bezug auf die Zuständigkeit bereits damit zu befassen (BGE 129 III 80). Mit Eingabe vom 19. März 2004 zogen die Kläger die Klage gegen die Aktiengesellschaft zurück. B.b. Am 30. September 2004 wies das Bezirksgericht die Klage gegen den Beklagten ab. Daraufhin gelangten die Kläger an das Obergericht des Kantons Zürich und beantragten im Wesentlichen, den Beklagten zu verpflichten, ihnen ihre Gewinnanteile abzüglich bereits erfolgter Abgeltungen herauszugeben, nämlich approximativ Fr. 1'217'000.-- an den Kläger 2 und Fr. 1'132'000.-- an den Kläger 1, jeweils nebst Zins (Ziff. 2). Dem Beklagten sei eine Frist zur Einreichung der Abrechnung samt Belegen anzusetzen (Ziff. 3). Alsdann sei den Klägern eine Frist zur exakten Bezifferung ihrer Ansprüche einzuräumen (Ziff. 4). Nach einer Rückweisung des Kassationsgerichts wies das Obergericht mit Beschluss vom 6. Mai 2008 das Verfahren zur Durchführung eines Beweisverfahrens und zu neuer Entscheidung an das Bezirksgericht zurück. Daraufhin verpflichtete dieses den Beklagten mit Teilurteil vom 19. Februar 2010, dem Gericht innert 30 Tagen ab Rechtskraft des Teilurteils eine vollständige Abrechnung bezüglich der Erstellung der Überbauung mit sämtlichen Belegen gemäss dem Gesellschaftsvertrag vom 29. Juni 1993 einzureichen. Die Abrechnung habe sämtliche mit der Überbauung zusammenhängenden Geldeingänge und Ausgaben sowie das GU-Honorar der Aktiengesellschaft von 4 % zu enthalten. B.c. Gegen dieses Teilurteil führte der Beklagte kantonale Berufung, worauf das Obergericht mit Urteil vom 1. September 2011 das Begehren um Abrechnung abwies. Es erkannte, die Kläger benötigten die Abrechnung lediglich zur Bezifferung der eingeklagten Schadenersatzansprüche. Da nach Auffassung des Obergerichts keine Schadenersatzansprüche bestanden, wies es das Rechtsbegehren Ziffer 3 (Abrechnungsbegehren) ab. Über das Rechtsbegehren Ziffer 2 (Leistungsbegehren) könne dagegen nicht direkt durch das Obergericht entschieden werden, da das Bezirksgericht darüber noch nicht entschieden habe. B.d. Die Kläger erhoben gegen diesen Entscheid Beschwerde in Zivilsachen. Mit Urteil 4A_619/2011 vom 20. März 2012 (nachfolgend: Rückweisungsurteil) erkannte das Bundesgericht: "1. In Gutheissung der Beschwerde wird das Urteil des Obergerichts vom 1. September 2011 aufgehoben und der Beschwerdegegner verpflichtet, dem Bezirksgericht innert 30 Tagen ab Empfang dieses begründeten Urteils eine vollständige Abrechnung bezüglich der Erstellung der Überbauung mit sämtlichen Belegen gemäss dem Gesellschaftsvertrag vom 29. Juni 1993 einzureichen. Die Abrechnung hat sämtliche mit der Überbauung zusammenhängende Geldeingänge und Ausgaben sowie das Generalunternehmer-Honorar der Aktiengesellschaft von 4 % zu enthalten. "1. In Gutheissung der Beschwerde wird das Urteil des Obergerichts vom 1. September 2011 aufgehoben und der Beschwerdegegner verpflichtet, dem Bezirksgericht innert 30 Tagen ab Empfang dieses begründeten Urteils eine vollständige Abrechnung bezüglich der Erstellung der Überbauung mit sämtlichen Belegen gemäss dem Gesellschaftsvertrag vom 29. Juni 1993 einzureichen. Die Abrechnung hat sämtliche mit der Überbauung zusammenhängende Geldeingänge und Ausgaben sowie das Generalunternehmer-Honorar der Aktiengesellschaft von 4 % zu enthalten. 2. Die Sache wird zur Fortsetzung des Verfahrens an das Bezirksgericht zurückgewiesen. [...]" B.e. Mit Urteil vom 13. November 2014 schützte das Bezirksgericht die Klage teilweise und verpflichtete den Beklagten unter Kostenfolge, dem Kläger 2 Fr. 739'698.20 und dem Kläger 1 Fr. 654'698.20, je nebst Zins zu 5 % seit 3. September 1998, zu bezahlen. Das Obergericht wies die vom Beklagten erhobene Berufung mit Beschluss und Urteil vom 11. November 2015 im Wesentlichen - abgesehen von geringfügigen Änderungen betreffend die erstinstanzlichen Kostenfolgen - ab. C. Mit Beschwerde in Zivilsachen beantragt der Beschwerdeführer dem Bundesgericht, das Urteil des Obergerichts vom 11. November 2015 sowie das Urteil des Bezirksgerichts vom 13. November 2014 seien aufzuheben und die Klage sei abzuweisen; alles unter Kosten- und Entschädigungsfolge zu Lasten der Beschwerdegegner. Ein gleichzeitig gestelltes Gesuch um Erteilung der aufschiebenden Wirkung zog er im Laufe des Verfahrens zurück. Die Beschwerdegegner tragen auf kostenfällige Abweisung der Beschwerde an, soweit darauf einzutreten sei. Die Vorinstanz hat auf eine Vernehmlassung verzichtet. Der Beschwerdeführer hat sich in einer Replik nochmals vernehmen lassen.