Sachverhalt:
A.
A.a. O._ (Beklagter, Beschwerdeführer), M._ (Kläger 1, Beschwerdegegner 1) und N._ (Kläger 2, Beschwerdegegner 2) gründeten mit Gesellschaftsvertrag vom 29. Juni 1993 (nachfolgend: Gesellschaftsvertrag) die einfache Gesellschaft "Konsortium A._". Unter dem Titel "Gesellschaftszweck" vereinbarten sie, das Konsortium bezwecke den Abschluss eines Kaufrechts an der Liegenschaft Kat. Nr. xxx, das auf den Namen des Klägers 1 eingetragen werde (Ziff. 2.1), die Überbauung und Realisierung dieser Liegenschaft (Ziff. 2.2) sowie den möglichst gewinnbringenden Verkauf der Gesamtüberbauung (Ziff. 2.3). Unter dem Titel "Leistungen der Konsorten" hielten sie in den Ziffern 4.1.1-4.1.3 diverse Leistungen fest, die durch von ihnen beherrschte resp. ihnen nahestehende Gesellschaften erbracht werden sollten. So sollte die dem Beklagten gehörende OX._ AG (im Folgenden: Aktiengesellschaft) die Überbauung als Generalunternehmerin "mit offener Abrechnung und einem GU-Honorar von 4 Prozent" (Ziff. 4.1.2) erstellen. Der Aktiengesellschaft wurde auch die Konsortialbuchhaltung übertragen (Ziff. 6.1). Bezüglich der Finanzierung (Ziff. 5) vereinbarten die Konsorten, durch möglichst weitgehende Fremdfinanzierung ihre Bareinschüsse so gering wie möglich zu halten. Sie hielten sodann fest, im Innenverhältnis sei jeder Gesellschafter zu einem Drittel beteiligt (Ziff. 3.2) und nehme entsprechend am Geschäftsergebnis teil (Ziff. 3.4). Das Konsortium sollte mit Erreichung des Gesellschaftszwecks nach erfolgter Gesamtabrechnung und Erledigung allfälliger Baugarantiefälle aufgelöst werden (Ziff. 7.1).
A.b. Die Überbauung wurde aber auf anderem Weg realisiert. Nachdem das zugunsten des Klägers 1 im Grundbuch eingetragene Kaufrecht aufgehoben worden war, erwarb der am Bauprojekt interessierte Kanton Zürich das zu überbauende Grundstück direkt von der Eigentümerin, der Erbengemeinschaft B._. Die Überbauung wurde sodann durch die vom Beklagten beherrschte Aktiengesellschaft zum Preis von Fr. 20 Mio. verwirklicht. Die Kläger beanspruchten ihren Anteil am Gewinn nach Abzug des GU-Honorars gemäss Ziff. 4.1.2 des Gesellschaftsvertrags, während der Beklagte sich auf den Standpunkt stellte, da das Kaufrecht nicht ausgeübt worden und die Erreichung des Gesellschaftszwecks nicht mehr möglich sei, bestehe die einfache Gesellschaft nicht mehr. Die Überbauung sei allein durch die Aktiengesellschaft erfolgt, nicht durch das Konsortium.
B.
B.a. Am 8. Februar 1999 beantragten die Kläger dem Bezirksgericht Meilen, den Beklagten und die Aktiengesellschaft zur Rechnungslegung und Gewinnherausgabe zu verpflichten. Das Bezirksgericht Meilen trat auf die Klage nicht ein und überwies den Prozess an das von den Klägern bezeichnete Bezirksgericht Zürich. Das vor Bezirksgericht Zürich fortgesetzte Verfahren beschäftigte sowohl das Obergericht als auch das Kassationsgericht des Kantons Zürich mehrmals, und auch das Bundesgericht hatte sich mit Bezug auf die Zuständigkeit bereits damit zu befassen (BGE 129 III 80). Mit Eingabe vom 19. März 2004 zogen die Kläger die Klage gegen die Aktiengesellschaft zurück.
B.b. Am 30. September 2004 wies das Bezirksgericht die Klage gegen den Beklagten ab. Daraufhin gelangten die Kläger an das Obergericht des Kantons Zürich und beantragten im Wesentlichen, den Beklagten zu verpflichten, ihnen ihre Gewinnanteile abzüglich bereits erfolgter Abgeltungen herauszugeben, nämlich approximativ Fr. 1'217'000.-- an den Kläger 2 und Fr. 1'132'000.-- an den Kläger 1, jeweils nebst Zins (Ziff. 2). Dem Beklagten sei eine Frist zur Einreichung der Abrechnung samt Belegen anzusetzen (Ziff. 3). Alsdann sei den Klägern eine Frist zur exakten Bezifferung ihrer Ansprüche einzuräumen (Ziff. 4). Nach einer Rückweisung des Kassationsgerichts wies das Obergericht mit Beschluss vom 6. Mai 2008 das Verfahren zur Durchführung eines Beweisverfahrens und zu neuer Entscheidung an das Bezirksgericht zurück. Daraufhin verpflichtete dieses den Beklagten mit Teilurteil vom 19. Februar 2010, dem Gericht innert 30 Tagen ab Rechtskraft des Teilurteils eine vollständige Abrechnung bezüglich der Erstellung der Überbauung mit sämtlichen Belegen gemäss dem Gesellschaftsvertrag vom 29. Juni 1993 einzureichen. Die Abrechnung habe sämtliche mit der Überbauung zusammenhängenden Geldeingänge und Ausgaben sowie das GU-Honorar der Aktiengesellschaft von 4 % zu enthalten.
B.c. Gegen dieses Teilurteil führte der Beklagte kantonale Berufung, worauf das Obergericht mit Urteil vom 1. September 2011 das Begehren um Abrechnung abwies. Es erkannte, die Kläger benötigten die Abrechnung lediglich zur Bezifferung der eingeklagten Schadenersatzansprüche. Da nach Auffassung des Obergerichts keine Schadenersatzansprüche bestanden, wies es das Rechtsbegehren Ziffer 3 (Abrechnungsbegehren) ab. Über das Rechtsbegehren Ziffer 2 (Leistungsbegehren) könne dagegen nicht direkt durch das Obergericht entschieden werden, da das Bezirksgericht darüber noch nicht entschieden habe.
B.d. Die Kläger erhoben gegen diesen Entscheid Beschwerde in Zivilsachen. Mit Urteil 4A_619/2011 vom 20. März 2012 (nachfolgend: Rückweisungsurteil) erkannte das Bundesgericht:
"1. In Gutheissung der Beschwerde wird das Urteil des Obergerichts vom 1. September 2011 aufgehoben und der Beschwerdegegner verpflichtet, dem Bezirksgericht innert 30 Tagen ab Empfang dieses begründeten Urteils eine vollständige Abrechnung bezüglich der Erstellung der Überbauung mit sämtlichen Belegen gemäss dem Gesellschaftsvertrag vom 29. Juni 1993 einzureichen. Die Abrechnung hat sämtliche mit der Überbauung zusammenhängende Geldeingänge und Ausgaben sowie das Generalunternehmer-Honorar der Aktiengesellschaft von 4 % zu enthalten.
"1. In Gutheissung der Beschwerde wird das Urteil des Obergerichts vom 1. September 2011 aufgehoben und der Beschwerdegegner verpflichtet, dem Bezirksgericht innert 30 Tagen ab Empfang dieses begründeten Urteils eine vollständige Abrechnung bezüglich der Erstellung der Überbauung mit sämtlichen Belegen gemäss dem Gesellschaftsvertrag vom 29. Juni 1993 einzureichen. Die Abrechnung hat sämtliche mit der Überbauung zusammenhängende Geldeingänge und Ausgaben sowie das Generalunternehmer-Honorar der Aktiengesellschaft von 4 % zu enthalten.
2. Die Sache wird zur Fortsetzung des Verfahrens an das Bezirksgericht zurückgewiesen.
[...]"
B.e. Mit Urteil vom 13. November 2014 schützte das Bezirksgericht die Klage teilweise und verpflichtete den Beklagten unter Kostenfolge, dem Kläger 2 Fr. 739'698.20 und dem Kläger 1 Fr. 654'698.20, je nebst Zins zu 5 % seit 3. September 1998, zu bezahlen. Das Obergericht wies die vom Beklagten erhobene Berufung mit Beschluss und Urteil vom 11. November 2015 im Wesentlichen - abgesehen von geringfügigen Änderungen betreffend die erstinstanzlichen Kostenfolgen - ab.
C.
Mit Beschwerde in Zivilsachen beantragt der Beschwerdeführer dem Bundesgericht, das Urteil des Obergerichts vom 11. November 2015 sowie das Urteil des Bezirksgerichts vom 13. November 2014 seien aufzuheben und die Klage sei abzuweisen; alles unter Kosten- und Entschädigungsfolge zu Lasten der Beschwerdegegner. Ein gleichzeitig gestelltes Gesuch um Erteilung der aufschiebenden Wirkung zog er im Laufe des Verfahrens zurück.
Die Beschwerdegegner tragen auf kostenfällige Abweisung der Beschwerde an, soweit darauf einzutreten sei. Die Vorinstanz hat auf eine Vernehmlassung verzichtet. Der Beschwerdeführer hat sich in einer Replik nochmals vernehmen lassen.
Erwägungen:
1.
Das Bundesgericht beurteilt Beschwerden gegen letztinstanzliche kantonale Entscheide (Art. 75 Abs. 1 BGG). Soweit sich die Beschwerde auch gegen das Urteil des Bezirksgerichts richtet, ist darauf nicht einzutreten. Im Übrigen ist - unter Vorbehalt einer rechtsgenüglichen Begründung (Art. 42 Abs. 2 BGG) - auf die Beschwerde einzutreten.
2.
2.1. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Mit Blick auf die allgemeinen Begründungsanforderungen an eine Beschwerde (Art. 42 Abs. 1 und 2 BGG) behandelt es aber grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind; es ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr vorgetragen werden (BGE 140 III 86 E. 2 S. 88 f. mit Hinweisen). Eine qualifizierte Rügepflicht gilt hinsichtlich der Verletzung von Grundrechten und von kantonalem Recht. Das Bundesgericht prüft eine solche Rüge nur insofern, als sie in der Beschwerde präzise vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG; BGE 138 I 171 E. 1.4 S. 176).
Die Begründung hat in der Beschwerdeschrift selbst zu erfolgen. Die beschwerdeführende Partei darf eine allfällige Replik nicht dazu verwenden, ihre Beschwerde zu ergänzen oder zu verbessern. Zulässig sind nur Vorbringen, zu denen erst die Ausführungen in der Vernehmlassung eines anderen Verfahrensbeteiligten Anlass geben (vgl. BGE 135 I 19 E. 2.2 S. 21; 132 I 42 E. 3.3.4 S. 47; Urteil 4A_279/2013 vom 12. November 2013 E. 2). Diese Voraussetzung erfüllt die Replik weitgehend nicht. Zum Teil handelt es sich um blosse Wiederholungen der Ausführungen in der Beschwerdeschrift. Ergänzungen wie jene zur Umgehung der Grundstückgewinnsteuer waren sodann nicht erst durch die Beschwerdeantwort veranlasst, war dies doch bereits Thema im angefochtenen Entscheid.
2.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Dazu gehören sowohl die Feststellungen über den streitgegenständlichen Lebenssachverhalt als auch jene über den Ablauf des vor- und erstinstanzlichen Verfahrens, also die Feststellungen über den Prozesssachverhalt (BGE 140 III 16 E. 1.3.1 S. 17 f. mit Hinweisen). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (BGE 140 III 115 E. 2 S. 117; 135 III 397 E. 1.5 S. 401). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein können (Art. 97 Abs. 1 BGG).
Für eine Kritik am festgestellten Sachverhalt gilt das strenge Rügeprinzip von Art. 106 Abs. 2 BGG (BGE 140 III 264 E. 2.3 S. 266 mit Hinweisen). Die Partei, welche die Sachverhaltsfeststellung der Vorinstanz anfechten will, muss klar und substanziiert aufzeigen, inwiefern diese Voraussetzungen erfüllt sein sollen (BGE 140 III 16 E. 1.3.1 S. 18 mit Hinweisen). Wenn sie den Sachverhalt ergänzen will, hat sie zudem mit präzisen Aktenhinweisen darzulegen, dass sie entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (BGE 140 III 86 E. 2 S. 90). Genügt die Kritik diesen Anforderungen nicht, können Vorbringen mit Bezug auf einen Sachverhalt, der vom angefochtenen Entscheid abweicht, nicht berücksichtigt werden (BGE 140 III 16 E. 1.3.1 S. 18).
Neue Tatsachen und Beweismittel dürfen nur soweit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (Art. 99 Abs. 1 BGG), was in der Beschwerde näher darzulegen ist (BGE 133 III 393 E. 3 S. 395).
3.
Umstritten ist vorerst die Tragweite der Bindungswirkung des Rückweisungsurteils des Bundesgerichts vom 20. März 2012 für das zu beurteilende Leistungsbegehren.
3.1. Auf die Kritik des Beschwerdeführers am Rückweisungsurteil (Verletzung des rechtlichen Gehörs durch überraschende neue Begründung, unzulässige Erweiterung des Sachverhalts und falsche Feststellungen betreffend angeblich unterlassene Auseinandersetzung mit der Begründung der Vorinstanz zur Nichtigkeit der Vereinbarung) ist nicht einzugehen; angesichts der Bindungswirkung des Rückweisungsurteils auch für das Bundesgericht selber (vgl. E. 3.5.1 hiernach) wären die von ihm behaupteten Mängel irrelevant, so sie denn bestünden.
3.2. Das Bundesgericht stellte im Rückweisungsurteil im Wesentlichen fest, die Gesellschafter hätten in Ziffer 4 des Gesellschaftsvertrages gemäss deren Titel die "Leistungen der Konsorten" geregelt. In den darauffolgenden Bestimmungen (Ziff. 4.1.1 ff.) würden aber Leistungen der von den Parteien beherrschten Aktiengesellschaften aufgeführt. Ob diese Unternehmen vor diesem Hintergrund als eigentliche Hilfspersonen (Art. 101 OR) der sie beherrschenden Konsorten anzusehen seien, könne offen bleiben. Auf jeden Fall hätten die Konsorten nach Treu und Glauben damit rechnen dürfen, ein Vertragspartner, der zur Erfüllung einer von ihm eingegangen Verpflichtung ein mit ihm eng verbundenes oder gar von ihm beherrschtes Unternehmen beiziehe, werde dafür besorgt sein, dass dieses bei der Erbringung der Leistung die im Gesellschaftsvertrag festgesetzten Modalitäten respektiere. Daran ändere sich auch mit der nachfolgenden Modifizierung der Projektrealisierung nichts. Wenn der Beklagte im Rahmen des veränderten Projekts die von ihm beherrschte Aktiengesellschaft zur Vertragserfüllung beiziehe, habe er nach Treu und Glauben dafür zu sorgen, dass die Aktiengesellschaft die vorgesehene Gewinnverteilung respektiere. Dass es ihm nicht möglich gewesen wäre, dafür zu sorgen, dass die Aktiengesellschaft über den erzielten Gewinn abrechne, behaupte er nicht. Wenn er sich entscheide, den mit dem Projekt erwirtschafteten Gewinn bei der Aktiengesellschaft zu belassen, statt diese zu veranlassen, unter Beanspruchung des ihr zustehenden GU-Honorars von 4 % gegenüber dem Konsortium abzurechnen, fördere er seine persönlichen Interessen zu Lasten derjenigen der einfachen Gesellschaft und vereitle die Erzielung eines Gewinns durch das Konsortium, welche letztlich den Zweck der einfachen Gesellschaft bilde. Er verletze mithin seine aus der Gesellschafterstellung fliessenden Pflichten und werde bereits deswegen schadenersatzpflichtig. Ob er eine eigentliche Garantie für die von der Aktiengesellschaft zu erbringende Leistung übernommen habe und deshalb auch ohne Verletzung seiner Pflichten als Gesellschafter haften würde, könne offenbleiben. Für seine Haftung genüge, dass er sich nicht um die Leistung der Aktiengesellschaft bemüht habe. Aus diesem Grund nütze es ihm auch nichts, wenn er seine Passivlegitimation damit bestreite, nicht er, sondern die Aktiengesellschaft habe die verlangte Abrechnung vorzunehmen. Denn er habe dafür zu sorgen, dass die Abrechnung erfolge.
Eine Beurteilung der von der Vorinstanz im Einzelnen geprüften und verneinten Nichtigkeit der Vereinbarungen zufolge Steuerhinterziehung nahm das Bundesgericht nicht vor, weil sich der Beklagte in seiner Beschwerdeantwort nicht rechtsgenüglich mit der Argumentation der Vorinstanz auseinander gesetzt hatte.
3.3. Die Vorinstanz erwog, das Bundesgericht habe mit diesen Erwägungen verbindlich festgestellt, dass der Beschwerdeführer seine aus der Gesellschafterstellung fliessenden Pflichten verletze und schadenersatzpflichtig werde, wenn er nicht dafür sorge, dass eine Abrechnung und die vorgesehene Gewinnverteilung erfolge. Der Beschwerdeführer könne demnach nicht mehr auf die Frage der Pflichtverletzung zurückkommen.
Ebenso sei ein Rückkommen auf die Nichtigkeit des Hauptanspruchs auf Ablieferung des Konsortialgewinns wegen unerlaubter Steuerumgehung durch die gewählte Vertragskonstruktion ausgeschlossen. Denn die Frage sei in den obergerichtlichen Entscheiden vom 6. Mai 2008 und 1. September 2011 behandelt worden und das Bundesgericht habe es im Rückweisungsurteil vom 20. März 2012 mangels hinreichender Begründung ausdrücklich abgelehnt, auf die geltend gemachte Nichtigkeit näher einzugehen.
Schliesslich verwarf das Obergericht auch die Verjährungseinrede des Beschwerdeführers. Unter Hinweis auf die Ausführungen des Bezirksgerichts stellte es fest, die Verjährung sei mit der Klageeinleitung am 8. Februar 1999 unterbrochen worden. Die Beschwerdegegner hätten sich zur Begründung ihrer Ansprüche auf den Gesellschaftervertrag vom 29. Juni 1993 berufen. Die Verjährung werde unbeachtet der rechtlichen Qualifikation des geltend gemachten Anspruchs unterbrochen, solange dieser auf dem gleichen Lebenssachverhalt beruhe. Die Verjährung sei daher unterbrochen worden unabhängig davon, ob sich die Beschwerdegegner auf einen Garantievertrag oder auf eine gesellschaftsrechtliche Leistungs- bzw. Schadenersatzpflicht beriefen. In einer zweiten Begründung erwog das Obergericht sodann, die Anrufung der Verjährungseinrede in der Rechtsschrift vom 19. September 2012 bedeute eine unzulässige Ausweitung des Prozessstoffs im Anschluss an das Rückweisungsurteil vom 20. März 2012, da die Frage zuvor nicht aufgeworfen und auch vom Bundesgericht nicht behandelt worden sei.
3.4. Nach Auffassung des Beschwerdeführers verkennt die Vorinstanz, dass das Rückweisungsurteil des Bundesgerichts nicht den gleichen Streitgegenstand gehabt habe wie die nun beurteilte Forderung, nämlich nur den Abrechnungsanspruch. Es liege nicht eine eigentliche "Rückweisung" vor, bei welcher die gleiche Sache zu neuer oder ergänzender Beurteilung zurückgewiesen werde. Hier sei es nach der "Rückweisung" vielmehr um eine Fortsetzung des Verfahrens zur Behandlung des bislang noch nicht beurteilten Forderungsbegehrens gegangen. Daher könne das Rückweisungsurteil für die nun strittigen Fragen nicht präjudizierend sein; insbesondere könnten die generellen Erwägungen des Bundesgerichts mit Bezug auf gesellschaftsrechtliche Treuepflichten und allfällige daraus resultierende Schadenersatzfolgen entgegen der Vorinstanz nicht bindend sein. Weder die tatsächlichen Feststellungen noch die rechtlichen Erwägungen nähmen an der Rechtskraftwirkung teil. Da sich die Gerichte bisher lediglich bei der Beurteilung des Hilfsanspruchs auf Abrechnung mit dem Fortbestand der Gesellschaft befasst hätten, wäre diese Frage bei der Prüfung des Hauptanspruchs (Forderungsklage) nochmals einlässlich zu untersuchen gewesen. Indem die Vorinstanz dies wegen der angenommenen Bindungswirkung unterlassen habe, habe sie seinen Anspruch auf rechtliches Gehör (Art. 29 Abs. 2 BV, Art. 53 Abs. 1 ZPO) verletzt. In der Folge begründet der Beschwerdeführer erneut, weshalb ihn keine gesellschaftsrechtliche Treuepflicht trifft, gestützt auf welche er zu Leistungen verpflichtet werden könnte. Auch hinsichtlich der Nichtigkeit der zwischen den Konsorten getroffenen Vereinbarung wendet er ein, die Ausführungen zu präjudiziellen Rechtsverhältnissen im Rückweisungsurteil seien nur Glieder des Subsumtionsschlusses und hätten daher keine Bindungswirkung.
3.5.
3.5.1. Die Vorinstanz hat sich bei ihrer Beurteilung auf die Rechtsprechung des Bundesgerichts zur Bindungswirkung bei Rückweisungsentscheiden gestützt. Gemäss dieser sind nach einem Rückweisungsentscheid des Bundesgerichts sowohl dieses selbst als auch die kantonalen Instanzen an die rechtliche Beurteilung gebunden, mit der die Rückweisung begründet wurde. Wegen dieser Bindung der Gerichte ist es ihnen wie auch den Parteien - abgesehen von zulässigen Noven - verwehrt, der Beurteilung des Rechtsstreits einen anderen als den bisherigen Sachverhalt zu unterstellen oder die Sache unter rechtlichen Gesichtspunkten zu prüfen, die im Rückweisungsentscheid abgelehnt oder überhaupt nicht in Erwägung gezogen worden waren. Wie weit die Gerichte und Parteien an die erste Entscheidung gebunden sind, ergibt sich aus der Begründung der Rückweisung, die sowohl den Rahmen für die neuen Tatsachenfeststellungen als auch jenen für die neue rechtliche Begründung vorgibt (BGE 135 III 334 E. 2 und 2.1 S. 335 mit Hinweisen). Mit einer Beschwerde gegen den neuen kantonalen Entscheid können daher keine Argumente vorgetragen werden, die das Bundesgericht schon in seinem Rückweisungsentscheid verworfen hat oder die es im ersten Beschwerdeverfahren gar nicht prüfen musste, weil die Parteien sie nicht vorbrachten, obwohl sie dies tun konnten und mussten (Urteile 4A_268/2015 vom 24. September 2015 E. 1.2; 5A_748/2013 vom 25. November 2014 E. 2.1; 5A_488/2013 vom 4. April 2014 E. 3.1; je mit Hinweisen).
3.5.2. Diese Rechtsprechung bezieht sich aber auf den Regelfall, bei dem die Rückweisung zur Neubeurteilung an die Vorinstanz den gleichen Anspruch betrifft. Wie der Beschwerdeführer zu Recht geltend macht, ist das bei der Stufenklage nicht der Fall, da hier die Rückweisung nicht zur erneuten Beurteilung des Hilfsanspruchs erfolgt, sondern zur Fortsetzung des Verfahrens und Beurteilung des Hauptanspruchs. Es handelt sich in der Tat nicht um eine Rückweisung im eigentlichen Sinn. Vielmehr stellt sich die zusätzliche Frage, inwiefern ein Urteil über den Hilfsanspruch bindende Wirkung haben kann für den Hauptanspruch, der noch nicht Gegenstand der bundesgerichtlichen Beurteilung war.
3.5.2.1. Die vom Beschwerdeführer vertretene Auffassung entspricht der in Deutschland herrschenden Lehre und Rechtsprechung zur Stufenklage bei Gutheissung des Auskunftanspruchs (§ 254 der deutschen Zivilprozessordnung [dZPO]). Nach diesem Verständnis entspricht der Umfang der innerprozessualen Bindungswirkung jener der materiellen Rechtskraft. Da die Verurteilung zur Auskunftserteilung und Rechnungslegung bei einer Stufenklage insoweit nicht in Rechtskraft erwachse, wie darin der Hauptanspruch dem Grund nach bejaht werde, bestehe insoweit auch keine Bindungswirkung; die Bindung bestehe eben nur hinsichtlich des Urteilsspruchs, nicht hinsichtlich der Begründung (HANS-JOACHIM MUSIELAK, in: Münchener Kommentar zur Zivilprozessordnung, Bd. 1, 4. Aufl. 2013, N. 3 zu § 318 dZPO; DIETER LEIPOLD, in: Stein/Jonas [Hrsg.], Kommentar zur Zivilprozessordnung, Bd. 4, 22. Aufl. 2008, N. 1, 7 und 23 zu § 318 dZPO; BAUMBACH/LAUTERBACH/ALBERS/HARTMANN, Beck'scher Kurzkommentar zur Zivilprozessordnung, 74. Aufl. 2016, N. 12 zu § 318 dZPO; Urteil des BGH vom 26. April 1989 E. II.2.a, in: Neue Juristische Wochenschrift [NJW] 1989 S. 2821 ff.). Diese Sicht wird in der schweizerischen Lehre von LEUMANN LIEBSTER geteilt (PASCAL LEUMANN LIEBSTER, Die Stufenklage im schweizerischen Zivilprozessrecht, 2005, S. 174 ff., v.a. S. 182). Ihr ist aus zwei Überlegungen nicht zu folgen:
3.5.2.2. Das Bundesgericht setzt allgemein die formelle Rechtskraft, die materielle Rechtskraft und die innerprozessuale Bindungswirkung nicht gleich (vgl. auch Urteil 5A_866/2012 vom 1. Februar 2013 E. 4.2). Die Bindung der unteren Instanz an die Rechtsauffassung des Rechtsmittelgerichts wird nicht als Folge der Rechtskraftwirkung verstanden, sondern als eine Bindung sui generis, die sich aus der Hierarchie der Instanzen im gleichen Prozess ergibt (BGE 140 III 466 E. 4.2.1 S. 470; LORENZ DROESE, Res iudicata ius facit, 2015, S. 180 f.; OSCAR VOGEL, Die Bindung an den Rückweisungsentscheid, in: Festschrift 125 Jahre Kassationsgericht des Kantons Zürich, 2000, S. 136; JEAN-FRANÇOIS POUDRET, in: Commentaire de la loi fédérale d'organisation judiciaire, Bd. II, 1990, N. 1.3 zu Art. 66 OG; vgl. auch BERNARD CORBOZ, in: Commentaire de la LTF, 2. Aufl. 2014, N. 26 zu Art. 107 BGG). Auch die Bindung der urteilenden Instanz selber wird nicht aus der Rechtskraft abgeleitet, sondern aus einem allgemeinen Prinzip der Unabänderlichkeit und Einmaligkeit des Rechtsschutzes (BGE 140 III 466 E. 4.2.1 S. 470; vgl. auch BGE 139 III 120 E. 2; FABIENNE HOHL, Procédure civile, Bd. I, 2001, S. 240 Rz. 1265; MARTIN H. STERCHI, in: Berner Kommentar Schweizerische Zivilprozessordnung, Bd. II, 2012, N. 15 zu Art. 318 ZPO; REETZ/HILBER, in: Kommentar zur Schweizerischen Zivilprozessordnung, Sutter-Somm und andere [Hrsg.], 3. Aufl. 2016, N. 46 f. zu Art. 318 ZPO. A.A. wohl ALEXANDER BRUNNER, in: Kurzkommentar ZPO, Oberhammer und andere [Hrsg.], 2. Aufl. 2014, N. 8 zu Art. 318 ZPO. Vgl. auch MAX GULDENER, Schweizerisches Zivilprozessrecht, 3. Aufl. 1979, S. 487 f., der die von ihm vertretene fehlende Bindung der Rechtsmittelinstanz selber mit der fehlenden Rechtskraft des Rückweisungsentscheids begründet). Diese Begründung der Bindungswirkung trifft auf die Stufenklage ebenfalls zu; die Stufenklage mag zwar in zwei Etappen beurteilt werden, dennoch handelt es sich dabei um den gleichen Prozess.
3.5.2.3. Das Bundesgericht hat in seinem noch unter dem Bundesgesetz vom 16. Dezember 1943 über die Organisation der Bundesrechtspflege (OG; BS 3 531) gefällten Leitentscheid BGE 123 III 140 (E. 2b S. 142) zur Rechtsnatur der Stufenklage und zur Anfechtbarkeit des Entscheids über den Hilfsanspruch letzteren unter Hinweis auf VOGEL (OSCAR VOGEL, Die Stufenklage und die dienende Funktion des Zivilprozessrechts, recht 10/1992 S. 63) als Teilentscheid im Sinn des OG qualifiziert. Der Begriff des Teilentscheids nach OG setzte u.a. voraus, dass der beurteilte Anspruch Gegenstand eines selbstständigen Prozesses hätte bilden können und seine Beurteilung für die Beurteilung des Hauptbegehrens präjudiziell war (BGE 131 III 667 E. 1.3 S. 669 f.; 129 III 25 E. 1.1 S. 27; 123 III 140 E. 2a S. 141; je mit Hinweisen). Anders als gemäss dem dargelegten und vom Beschwerdeführer implizit vorausgesetzten deutschen Verständnis wird damit bei der Stufenklage nicht zwischen dem Urteilsspruch und der Begründung getrennt; vielmehr wird gerade umgekehrt von der präjudiziellen Wirkung der Beurteilung der Vorfrage im Teilentscheid für den noch zu beurteilenden Hauptanspruch ausgegangen.
3.5.2.4. Demnach besteht bei einer Stufenklage eine Bindung hinsichtlich des vom Bundesgericht bei der Beurteilung des Abrechnungsanspruchs erkannten Rechtsgrunds des Hilfs- und des Hauptanspruchs.
3.5.3. Das Bundesgericht bejahte in seinem Rückweisungsurteil eine materiellrechtliche Abrechnungspflicht des Beschwerdeführers als eine der "aus der Gesellschafterstellung fliessenden Pflichten". Damit wurde hinsichtlich des zugrunde liegenden Rechtsverhältnisses festgehalten, dass die Realisierung des Bauprojekts im Rahmen der einfachen Gesellschaft erfolgte; andernfalls hätte nicht gesagt werden können, es sei Teil der Pflichten als Gesellschafter, dafür zu sorgen, dass die zur Realisierung der Baute beigezogene Aktiengesellschaft abrechne. Da dieser Rechtsgrund genügte, um die Abrechnungspflicht zu bejahen, liess das Bundesgericht offen, ob der Beschwerdeführer für die von der Aktiengesellschaft zu erbringenden Leistungen eine eigentliche Garantie übernommen hatte.
Damit war die Vorinstanz insoweit gebunden, als sie vom Bestehen einer einfachen Gesellschaft als Grundlage eines Gewinnanteilanspruchs auszugehen hatte. Zutreffend sind daher auch die Ausführungen der Vorinstanz zur Bindung betreffend (fehlende) Nichtigkeit der Vereinbarungen zufolge Steuerhinterziehung. Nur weil das Bundesgericht von deren Gültigkeit ausging, konnte es eine Abrechnungspflicht des Beschwerdeführers gestützt auf seine Gesellschafterstellung bejahen.
3.5.4. Begründet ist dagegen der Einwand gegen die Eventualbegründung der Vorinstanz zur Verjährung, wonach das Bundesgericht die Frage nicht behandelt habe und die Anrufung der Verjährungseinrede im Anschluss an das Rückweisungsurteil daher eine unzulässige Ausweitung des Prozessstoffes darstelle (vgl. E. 3.3 a.E. hiervor). Der Beschwerdeführer macht zu Recht geltend, dass der Hauptanspruch auf Zahlung noch nicht Gegenstand der Beurteilung der ersten Stufe der Stufenklage war.
Allerdings überzeugt die diesbezügliche Hauptbegründung der Vorinstanz. Sie stellte zutreffend fest, mit der Klageeinleitung sei die Verjährung für eine Forderung gegenüber dem Beschwerdeführer unterbrochen worden unabhängig von der rechtlichen Qualifikation des geltend gemachten Anspruchs, solange dieser auf dem gleichen Lebenssachverhalt beruhe (vgl. E. 3.3 letzter Abs. hiervor). Dass die Klage ursprünglich auch gegen die Aktiengesellschaft gerichtet war aufgrund einer geltend gemachten schuldrechtlichen Verpflichtung, wie der Beschwerdeführer einwendet, ist nicht von Belang. Die für das Bundesgericht verbindliche Feststellung der Vorinstanz (vgl. E. 2.2 hiervor), wonach gemäss Klageschrift vom 8. Februar 1999 der Beschwerdeführer verpflichtet werden sollte, den Beschwerdegegnern ihre Gewinnanteile aus der Realisierung der Überbauung herauszugeben, bestreitet er nämlich nicht. Es kommt nicht darauf an, ob sich die Beschwerdegegner in rechtlicher Hinsicht auf einen unmittelbaren vertraglichen Anspruch auf Gewinnherausgabe durch den Beschwerdeführer stützten oder auf einen Schadenersatzanspruch im Falle der Nichtleistung durch die Aktiengesellschaft, auch wenn beide Ansprüche allenfalls quantitativ nicht identisch sind.
3.5.5. Zusammenfassend ist festzustellen, dass aufgrund des Rückweisungsurteils verbindlich von einer gültigen gesellschaftsrechtlichen Verpflichtung auszugehen ist und die Vorinstanz die Verjährungseinrede zu Recht verwarf. Die Verpflichtung des Beschwerdeführers bestand darin, dafür zu sorgen, den bei "seiner" Aktiengesellschaft entstandenen Gewinn, der nach den gesellschaftsrechtlichen Vereinbarungen den Mitgesellschaftern zustand, diesen abzuliefern. Soweit er dieser Verpflichtung nicht nachkam, beging er eine Pflichtverletzung; das ist bereits bindend entschieden.
Ob neben der gesellschaftsrechtlichen Grundlage auch ein Garantievertrag Rechtsgrund einer Forderung der Beschwerdegegner sein könnte, liess das Bundesgericht im Rückweisungsurteil vom 20. März 2012 wie erwähnt offen. Dies könnte nur eine Rolle spielen, wenn die Aktiengesellschaft trotz pflichtgemässem Verhalten des Beschwerdeführers die grundsätzlich geschuldeten Gewinnanteile nicht zahlt (z.B. zufolge Illiquidität). Diese Situation liegt nicht vor, weshalb die erneuten Vorbringen des Beschwerdeführers zum Garantievertrag von vornherein ins Leere stossen.
4.
Im Rückweisungsurteil wurde demgegenüber noch nichts festgestellt zum Umfang des Hauptanspruchs (also der Leistung eines Gewinnanteils bzw. von Schadenersatz im Nichtleistungsfall), was die Vorinstanz gebunden hätte.
Die Vorinstanz ging daher zu Unrecht davon aus, es sei bereits verbindlich entschieden worden, dass die Ermittlung des für den Schadenersatzanspruch relevanten Gewinns gemäss Ziffer 4.1.2 des Gesellschaftsvertrages unter Berücksichtigung eines GU-Honorars von 4 Prozent zu erfolgen habe. Sie führte aus, das Bundesgericht habe festgehalten, der Beschwerdeführer müsse dafür sorgen, dass die Aktiengesellschaft "die im Gesellschaftsvertrag vorgesehene Gewinnaufteilung" bzw. "die Gewinnaufteilung gemäss Gesellschaftsvertrag" bzw. "die im Gesellschaftsvertrag festgesetzten Modalitäten respektiere". Das Bundesgericht habe auch keinen Zweifel daran gelassen, dass die Aktiengesellschaft unter Beanspruchung eines ihr zustehenden GU-Honorars von 4 % abzurechnen habe.
Vorerst ist festzustellen, dass das Bundesgericht nirgends die Formulierung "gemäss Gesellschaftsvertrag" oder "die im Gesellschaftsvertrag vorgesehene Gewinnaufteilung" verwendete. Vielmehr führte es aus, der Beschwerdeführer sei aufgrund seiner Gesellschafterstellung verpflichtet, dafür zu sorgen, "dass die Aktiengesellschaft die vorgesehene Gewinnverteilung respektiert" (zit. Urteil 4A_619/2011 E. 3.8). Hierbei ging es nicht um den Inhalt dieser vorgesehenen Gewinnverteilung, sondern um den Grundsatz, dass die vorgesehene Gewinnverteilung zu respektieren ist. Es ging mit anderen Worten um eine Klarstellung der Beziehung zwischen dem Beschwerdeführer und seiner Aktiengesellschaft, was sich aus dem Zusammenhang mit Erwägung 3.7 des Rückweisungsurteils ergibt. Mit Blick auf die vom Beschwerdeführer vorgenommene Abgrenzung zwischen ihm selber (als Gesellschafter) und seiner Aktiengesellschaft wurde klargestellt, dass er dafür sorgen müsse, dass die Aktiengesellschaft als das von ihm benutzte Vehikel seinen gesellschaftsrechtlichen Pflichten zur Abrechnung und Ablieferung des Gewinns nachkam. Auch wenn der Gewinn aufgrund der Projektänderung zunächst in der Aktiengesellschaft anfalle - so die Kernaussage des Urteils - ändere dies nichts daran, dass das zwischen den Konsorten Vereinbarte diesbezüglich ebenfalls gelte. "[V]ereinbarungsgemäss" (vgl. zit. Urteil 4A_619/2011 E. 4) ist eine Abrechnung auch, wenn diese Vereinbarung nicht der ursprüngliche schriftliche Gesellschaftsvertrag ist, sondern eine zufolge Projektänderung allenfalls geänderte, konkludente Vereinbarung.
Es trifft zu, dass das Bundesgericht den Beschwerdeführer im Dispositiv verpflichtete, die Abrechnung so vorzunehmen, dass sie "sämtliche mit der Überbauung zusammenhängende[n] Geldeingänge und Ausgaben sowie das Generalunternehmer-Honorar der Aktiengesellschaft von 4 %" enthält. Diese Formulierung entsprach dem Dispositiv im Urteil des Bezirksgerichts, welche die Beschwerdegegner mit ihrem Rechtsbegehren im Beschwerdeverfahren vor Bundesgericht im Wesentlichen übernahmen (vgl. zit. Urteil 4A_619/2011 Sachverhalt F). Zutreffend ist ferner, dass das Bundesgericht festhielt, der Beschwerdeführer habe die Aktiengesellschaft dazu zu veranlassen, nach Massgabe von Ziff. 4.1.2 "unter Beanspruchung des ihr zustehenden GU-Honorars von 4 % gegenüber dem Konsortium" abzurechnen. Diese Formulierungen in den Erwägungen und im Dispositiv bezogen sich jedoch ausschliesslich auf den Auskunftsanspruch und dessen Inhalt. Der Umfang der zu erteilenden Information bestimmt sich in erster Linie nach dem Begehren des Informationsberechtigten (LEUMANN LIEBSTER, a.a.O., S. 138; WALTER FELLMANN, Berner Kommentar, 1992, N. 25 zu Art. 400 OR); in diesem Sinn wurde das Abrechnungsbegehren übernommen, ohne dass damit etwas zum Umfang der erst künftig zu beurteilenden Geldforderung gesagt wurde.
5.
Gemäss diesen grundsätzlichen Ausführungen sind nun die vom Beschwerdeführer vorgebrachten Rügen betreffend die Gewinnermittlung hinsichtlich der Geldforderung zu prüfen. Nach den Feststellungen der Vorinstanz anerkannten die Parteien die bereinigten Baukosten (ohne Honorar der Aktiengesellschaft) von Fr. 17'033'087.05. Davon scheint auch der Beschwerdeführer auszugehen; in seiner Aufstellung weicht er zwar um 5 Rappen davon ab, erläutert das aber nicht, weshalb auf diese minimale Differenz nicht weiter einzugehen ist. Hingegen macht er verschiedene Korrekturen bei einzelnen Positionen geltend, nämlich: Die andere Stellung der Aktiengesellschaft zufolge der geänderten Projektausführung im Vergleich zum Gesellschaftsvertrag rechtfertige ein Honorar von 9 % statt von 4 % (E. 6 hiernach). Die honorarberechtigte Bausumme sei um Fr. 124'421.-- zu erhöhen für zusätzlichen honorarberechtigten Aufwand bei den Baunebenkosten (BKP 5) (E. 7 hiernach). Ausserdem stünde den einfachen Gesellschaftern nur der um die Gewinnsteuern der Aktiengesellschaft und um die Einkommenssteuern von ihm auf den Dividenden seiner Aktiengesellschaft reduzierte Gewinn zu (E. 8 hiernach).
6.
6.1. Soweit die Vorinstanz das Honorar von 4 % mit der Bindung an das Rückweisungsurteil begründet, ist ihr wie dargelegt nicht zu folgen. Unbehelflich ist ferner das Argument, der Beschwerdeführer habe seinen Anspruch auf ein höheres Honorar erst in seiner Eingabe vom 19. September 2012, der als Folge des bundesgerichtlichen Rückweisungsurteils vorgelegten Abrechnung, vorgebracht. Dies sei zu spät, da es sich dabei nicht um ein zulässiges Novum handle, das die Bindung an den Bundesgerichtsentscheid entfallen liesse. Es ist jedoch nicht ersichtlich, dass damit dem Entscheid ein neuer (unzulässiger) Sachverhalt zugrunde gelegt worden wäre. Von Beginn weg ging es darum, dass die Überbauung in rechtlich geänderter Organisation realisiert wurde. Nur machte der Beschwerdeführer ursprünglich geltend, dadurch sei die einfache Gesellschaft aufgehoben worden; in der Folge erhöhte er auf der Grundlage der rechtlichen Beurteilung durch das Bundesgericht (Weiterbestand der einfachen Gesellschaft) seinen Honoraranspruch. Ebenso wenig handelt es sich dabei um einen rechtlichen Gesichtspunkt, der im Rückweisungsurteil abgelehnt worden wäre (vgl. E. 3.5.1 hiervor); vielmehr wurde er dort nicht behandelt, da die Geldforderung selber noch nicht Gegenstand der Beurteilung war. Somit steht das Rückweisungsurteil der Prüfung des Honoraranspruchs nicht entgegen.
6.2. Der Beschwerdeführer macht wie bereits vor der Vorinstanz eine Lücke im Gesellschaftsvertrag geltend, die durch Vertragsergänzung zu schliessen sei.
6.2.1. Eine Vertragslücke liegt vor, wenn die Parteien eine Rechtsfrage, die den Vertragsinhalt betrifft, nicht oder nicht vollständig geregelt haben. Ob der Vertrag in diesem Sinne einer Ergänzung bedarf, ist vorerst durch empirische, bei deren Ergebnislosigkeit durch normative Auslegung zu ermitteln (BGE 115 II 484 E. 4a S. 487; Urteile 4A_517/2011 vom 10. Februar 2012 E. 1.7; 4A_380/2011 vom 5. März 2012 E. 4.3; je mit Hinweisen).
Ist ein lückenhafter Vertrag zu ergänzen, hat das Gericht - falls dispositive Gesetzesbestimmungen fehlen - zu ermitteln, was die Parteien nach Treu und Glauben vereinbart hätten, wenn sie den nicht geregelten Punkt in Betracht gezogen hätten. Bei der Feststellung dieses hypothetischen Parteiwillens hat es sich am Denken und Handeln vernünftiger und redlicher Vertragspartner sowie an Wesen und Zweck des Vertrages zu orientieren. Das Ergebnis dieser normativen Tätigkeit überprüft das Bundesgericht zwar frei, aber mit einer gewissen Zurückhaltung, da die Vertragsergänzung regelmässig mit richterlichem Ermessen verbunden ist. Verbindlich sind dagegen Feststellungen der Vorinstanz über Tatsachen, die bei der Ermittlung des hypothetischen Willens in Betracht kommen (BGE 127 III 300 E. 6a und 6b S. 307 f.; 115 II 484 E. 4b S. 488; zit. Urteil 4A_380/2011 E. 5.1.3; je mit Hinweisen).
6.2.2. Die Vorinstanz verneinte in einer Eventualbegründung, dass die Änderung der Projektrealisierung ein höheres Honorar zu rechtfertigen vermöge. Sie führte aus, die Aktiengesellschaft sei nach wie vor nicht projektierende Generalunternehmerin gewesen, die ein eigenes Projekt zur Ausführung gebracht habe. Die Übernahme von Ausführungs- und Detailplänen mache die Generalunternehmerin noch nicht zur Totalunternehmerin. Der Beschwerdeführer begründe auch nicht näher, inwiefern die Aktiengesellschaft (wie eine Totalunternehmerin) die Verantwortung für allfällige Planungs- bzw. Projektierungsfehler übernommen habe. Die Leistung der Aktiengesellschaft im Hinblick auf die Art der Arbeiten sei trotz der nachträglichen Modifizierung der Projektrealisierung nicht anders ausgefallen als wenn die Aktiengesellschaft als Generalunternehmerin des Konsortiums gehandelt hätte.
Ein erhöhtes Honorar lasse sich auch nicht durch ein angeblich von der Aktiengesellschaft übernommenes zusätzliches Kostenrisiko rechtfertigen. Vielmehr sei mit den Beschwerdegegnern davon auszugehen, dass ein allfälliger Verlust nicht durch die Aktiengesellschaft, sondern durch das Konsortium zu tragen gewesen wäre. Jedenfalls führe "eine solche Auslegung bzw. Ergänzung des Gesellschaftsvertrags zu einem passenderen Resultat im Sinne des mutmasslichen Parteiwillens als die generelle Gewährung eines Zuschlags auf das Honorar (...) ".
Schliesslich sei die Honorarerhöhung auch nicht durch die zugunsten des Kantons Zürich zu stellende Bürgschaft/Garantie von Fr. 1.7 Mio. gerechtfertigt. Die vom Beschwerdeführer hierfür genannten Kosten von Fr. 340'000.-- seien nicht ausgewiesen.
6.2.3. Übereinstimmende wirkliche Willen zu dieser Frage stellt die Vorinstanz nicht fest. Gestützt auf eine objektivierte Vertragsauslegung verneint sie sinngemäss eine Lücke im Zusammenhang mit der Projektänderung, wenn sie feststellt, es seien als Folge der Projektänderung keine anderen Arbeiten getätigt und keine zusätzlichen Risiken übernommen worden als wenn die Aktiengesellschaft des Beschwerdeführers wie im Konsortialvertrag vorgesehen als Generalunternehmerin für das Konsortium tätig geworden wäre. Sie kommt also zum Schluss, die geänderte Projektrealisierung stimme im Wesentlichen mit der ursprünglich geplanten überein, weshalb die vorgesehene Regelung auch darauf Anwendung finde. Damit setzt sie voraus, dass die Änderung eine nachträgliche war, welche von den Parteien im Zeitpunkt des Vertragsschlusses nicht bedacht wurde. Sie impliziert zudem, dass eine Lücke vorliegen würde, wenn die Projektänderung zu anderen Arbeiten oder zusätzlichen Risiken geführt hätte, ansonsten die Prüfung, ob die Änderung der rechtlichen Konstruktion zu massgeblichen Änderungen betreffend den Leistungsumfang und die Risikolage geführt habe, unterlassen worden wäre. Davon ist im Folgenden auszugehen.
6.2.3.1. Der Gesellschaftszweck beinhaltete u.a. die gemeinsame Überbauung und Realisierung der Liegenschaft (Ziff. 2.2 des Gesellschaftsvertrages). Die Beiträge der Gesellschafter sollten in Arbeitsleistungen bestehen, die diese mit den von ihnen beherrschten Gesellschaften erbringen sollten (Ziff. 4.1 des Gesellschaftsvertrages). Die Arbeiten wären also nicht gemeinsam ausgeführt worden, sondern jeder Gesellschafter sollte mittels "seiner" Gesellschaft einen Teil der Gesamtleistung erbringen (vgl. zu den möglichen Modellen bei Baukonsortien: ANTON EGLI, Probleme von und mit Baukonsortien, in: Freiburger Baurechtstagung 1989, Bd. 2, S. 45). Die Gesellschaften hätten demnach mit dem Konsortium entsprechende Verträge - einen Architekturvertrag, einen Generalunternehmervertrag und einen Werkvertrag über Baumeisterarbeiten - geschlossen und wären für ihre jeweiligen Arbeiten entschädigt worden; die Aktiengesellschaft des Beschwerdeführers mit 4 % für die Generalunternehmer-Leistungen.
Als Generalunternehmerin für die einfache Gesellschaft sollte die Aktiengesellschaft offen abrechnen (Ziff. 4.1.2 des Gesellschaftsvertrages). Bei einer offenen Abrechnung (ohne Kostendach bzw. Festpreis) hat der Generalunternehmer dem Vertragspartner (hier dem Konsortium) über sämtliche Honorare und Vergütungen, die er für seine eigenen Leistungen beansprucht und die er an Dritte bezahlt hat, eine detaillierte Abrechnung vorzulegen. Der Werkpreis wird aufgrund der vorgelegten Unternehmer- und Lieferantenrechnungen ermittelt, also aufgrund der Schlussabrechnung des Generalunternehmers (HUBER/ SCHWENDENER, Der Generalunternehmervertrag des Verbands Schweizerischer Generalunternehmer, 2. Aufl. 2005, S. 74 zu Ziff. 16.1 des GU-Vertrages des VSGU; ANTON EGLI, Der General- und der Totalunternehmer, in: Freiburger Baurechtstagung 1991, S. 79 f.; SIA-Formularvertrag Nr. 1025, Werkvertrag für Totalunternehmer, 1982/2004, Ziff. 3.2 "Werkpreis"), wodurch der Generalunternehmer kein Kostenrisiko trägt. Diese Art der Preisvereinbarung ist beim General-/Totalunternehmervertrag eher selten, geht es doch bei einem solchen gerade darum, durch eine Pauschalisierung des Preises das Risiko auf den General-/Totalunternehmer abzuwälzen (HUBER/ SCHWENDENER, a.a.O., S. 74 Rz. 271; Anton Egli, Totalunternehmer, a.a.O., S. 78; CHRISTIAN WIDMER, Die massgeblichen Leistungen im Generalunternehmer-Vertrag, in: Das private Baurecht der Schweiz, Martin Lendi und andere [Hrsg.], 1994, S. 130).
In der Folge wurde die Überbauung aber so realisiert, dass die Aktiengesellschaft des Beschwerdeführers den Generalunternehmervertrag nicht mit dem Konsortium schloss, sondern mit dem Kanton Zürich zu einem Werkpreis von pauschal Fr. 20 Mio. (Generalunternehmervertrag vom 11. März 1994 Ziff. 3.1). Die rechtliche Struktur ist damit ganz anders als ursprünglich vorgesehen. Ob der Vertrag zwischen der Aktiengesellschaft und dem Kanton als General- oder als Totalunternehmervertrag bezeichnet wird, ist hierbei nicht entscheidend, zumal die Abgrenzung ohnehin fliessend ist. Der Unterschied zwischen General- und Totalunternehmervertrag liegt darin, dass der Generalunternehmer ein vom Bauherrn (bzw. dessen Hilfspersonen) geplantes Bauprojekt ausführt, während der Totalunternehmer ein "eigenes Projekt" realisiert. In der Praxis ist die Abgrenzung allerdings nicht so genau, weil der Begriff "Bauprojekt" sehr unterschiedlich verwendet wird. Ein Generalunternehmer erbringt oft auch Planungsleistungen, indem er vom Bauherrn ein bewilligtes Projekt erhält und alsdann die Detailpläne erstellt (ANTON EGLI, Totalunternehmer, a.a.O., S. 69 und S. 76 f.). Entscheidend sind die mit dem Vertrag übernommenen Leistungen und die damit verknüpften Verpflichtungen, deren Umfang und Inhalt massgeblich die dem General-/Totalunternehmer zustehende Vergütung bestimmen. Im Jahr 1991 wurde darauf hingewiesen, der Generalunternehmer-Zuschlag betrage in der Praxis 3-7%, je nach den übernommenen Aufgaben und Verantwortungen (insbesondere, wenn Zeit- und Preisgarantien abgegeben wurden) und allenfalls übernommenen Planerleistungen (ANTON EGLI, Totalunternehmer, a.a.O., S. 71 und S. 81 f.). Bei offener Abrechnung mit fixem GU-Zuschlag trägt die Aktiengesellschaft, wie ausgeführt, kein Kostenrisiko; von Kosteneinsparungen bei der Arbeitsausführung profitiert sie aber ebenfalls nicht. Demgegenüber ist ein Pauschalpreis für sie einerseits mit einem Kostenrisiko verbunden, andererseits grundsätzlich aber auch mit einer Chance, durch tiefere Kosten einen grösseren Gewinn zu erzielen. Vorliegend bestand für die Aktiengesellschaft allerdings letztlich gar keine Chance, da sie bei pflichtgemässem Vorgehen des Beschwerdeführers den Gewinn abzuliefern hatte; es blieb für sie bloss das erhöhte Risiko. Es ist daher aus ihrer Sicht ein grundsätzlicher Unterschied, ob sie alle erbrachten Leistungen offen abzurechnen hatte oder dafür einen Werkpreis von pauschal Fr. 20 Mio. vereinbarte.
Die Frage ist, ob sich daran etwas ändert, weil - wovon die Vorinstanz ausging - die Aktiengesellschaft letztlich kein erhöhtes Risiko lief, da der Verlust vom Konsortium zu tragen gewesen wäre. Die Vorinstanz begründete dies nicht weiter. Sie übergeht damit, dass gemäss der ursprünglichen Vorgehensweise ein Vertragsverhältnis zwischen der Aktiengesellschaft und dem Konsortium mit einem Anspruch auf offene Abrechnung bestanden hätte. Dieser wäre aufgrund der klaren vertraglichen Regelung einfach durchzusetzen gewesen. Demgegenüber bestand nach der Modifikation der Projektrealisierung kein Vertrag zwischen der Aktiengesellschaft und dem Konsortium. Die Parteien der einfachen Gesellschaft verpflichteten sich nur untereinander, nicht direkt gegenüber der Aktiengesellschaft, einen Verlust zu tragen. Die Aktiengesellschaft hätte damit höchstens mittelbar - über den Beschwerdeführer - einen Anspruch auf Verlusttragung gehabt, nicht aber einen eigenen vertraglichen Anspruch darauf. Wäre es zu einem Verlust gekommen, hätten die Beschwerdegegner bei der nun gewählten rechtlichen Ausgestaltung sodann vorbringen können, die einfache Gesellschaft bestehe nicht mehr und der Verlust sei allein von der Aktiengesellschaft des Beschwerdeführers zu tragen - wie die Prozessgeschichte zeigt, ist die Geltendmachung von Ansprüchen aus dem Gesellschaftsverhältnis ein durchaus dornenvoller Weg. Auch während der Vertragsabwicklung war das Risiko ein unterschiedliches, da die Aktiengesellschaft im einen Fall auf eine Leistung Zug-um-Zug bestehen konnte (Art. 82 OR), im anderen nicht. Es ist unzulässig, das eingegangene Risiko aus einer Sicht im Nachhinein zu beurteilen, in der eine gerichtliche Beurteilung der Rechtsverhältnisse bereits stattgefunden hat. Die beiden Situationen können daher entgegen der Vorinstanz nicht gleichgesetzt werden.
6.2.3.2. Die Vorinstanz stellte fest, dass der Umfang der für die Realisierung der Überbauung noch erforderlichen Planungsarbeiten zufolge der Projektänderung nicht anders ausgefallen ist, als wenn diese Arbeiten von der Aktiengesellschaft als Generalunternehmerin des Konsortiums erbracht worden wären. Der Beschwerdeführer habe von der Aktiengesellschaft erbrachte "Planungsaufwendungen" im bezirksgerichtlichen Verfahren auch nie näher konkretisiert und beziffert. Der Beschwerdeführer verweist auf die erstinstanzlichen Rechtsschriften, in denen er geltend gemacht habe, Planungsarbeiten seien "u.a." durch das Architekturbüro des Beschwerdegegners 2 ausgeführt worden, und auf die Konsortialabrechnung, aus der sich die von diesem Architekturbüro und vom Bauingenieur erbrachten Planungsarbeiten ziffernmässig ergäben. Die gegenteilige Feststellung der Vorinstanz sei daher willkürlich und verletze das rechtliche Gehör. Mit der angegebenen Formulierung hielt die Vorinstanz nur fest, dass die Aktiengesellschaft selber keine Pläne erstellte bzw. solche Planungsarbeiten nicht genügend konkretisiert wurden. Dass seine Aktiengesellschaft selber Planungsarbeiten ausführte, behauptet der Beschwerdeführer auch im Beschwerdeverfahren nicht. Insofern ist in der Tat kein Unterschied zur Situation vor der Projektänderung ersichtlich.
Davon zu unterscheiden ist die Frage der Verantwortlichkeit der Aktiengesellschaft für die von Dritten (inklusive dem Architekturbüro des Beschwerdegegners 2) gelieferten Pläne. Die Vorinstanz führte dazu aus, der Beschwerdeführer habe nicht näher begründet, inwiefern die Aktiengesellschaft beim geänderten Projekt die Verantwortung für allfällige Planungs- bzw. Projektierungsfehler übernommen habe. Dies ist jedoch eine gestützt auf den erstellten Sachverhalt zu beantwortende Rechtsfrage und liegt auf der Hand. Gegenüber dem Kanton Zürich haftete die Aktiengesellschaft beim geänderten Projekt als alleinige Vertragspartnerin (namentlich als Generalunternehmerin) aus Gewährleistung und zwar nicht nur für die Bauausführung durch die beigezogenen Subunternehmer, sondern auch für die Planungsleistungen ihrer als Hilfspersonen beigezogenen Architekten und übrigen Planer, wie der Beschwerdeführer zu Recht geltend macht. Sie hätte zwar ihrerseits Gewährleistungsansprüche gegenüber den Planerstellern gehabt bzw. aufgrund des Gesellschaftsvertrages wären die Kosten aus der Gewährleistung letztlich von den einfachen Gesellschaftern zu tragen gewesen. Die Ansprüche gegenüber bzw. zwischen den einfachen Gesellschaftern hätten aber wieder zuerst durchgesetzt werden müssen. Beim ursprünglichen Projekt hingegen wäre etwa das Architekturbüro des Beschwerdegegners 2 Vertragspartnerin der Konsorten gewesen und nicht der Aktiengesellschaft. Für dessen allfällige Planungsfehler hätte die Aktiengesellschaft daher gegenüber Dritten von vornherein nicht einzustehen gehabt. Kurzum, das Risiko war auch insofern für die Aktiengesellschaft nach der Projektänderung grösser als zuvor.
6.2.3.3. Der Beschwerdeführer rügt schliesslich als rechtsfehlerhaft, dass die Vorinstanz die geleistete Bürgschaft über Fr. 1.7 Mio., die im Gesellschaftsvertrag nicht vorgesehen war, nicht als zusätzlich zu vergütende Mehrleistung berücksichtigt habe. Das Zinsniveau im damaligen Zeitraum dürfte notorisch sein, sodass diese Kosten ohne weiteres abschätzbar und im Übrigen mittels der von ihm beantragten Expertise beweisbar gewesen wären. Die Verweigerung eines solchen Gutachtens stelle eine Verletzung des rechtlichen Gehörs (Art. 29 Abs. 2 BV, Art. 53 Abs. 1 ZPO), des Rechts auf Beweis (Art. 8 ZGB, Art. 29 Abs. 2 BV) und der ehemaligen kantonalen Bestimmung zum Beweisauflagebeschluss (§ 136 aZPO/ZH) dar. Die Vorinstanz habe zudem den Sachverhalt willkürlich festgestellt, indem sie auf die in der Schlussabrechnung enthaltenen Kosten von Fr. 5'964.-- verwiesen und deshalb die geltend gemachten Kosten für die Bürgschaft von Fr. 340'000.-- als übersetzt erachtet habe.
Mit diesen Rügen verkennt der Beschwerdeführer die Begründung der Vorinstanz. Sie erachtete die geltend gemachten Kosten durch die angerufenen Beweismittel als nicht ausgewiesen. Der Beschwerdeführer behauptet nicht, dass sich entgegen dem angefochtenen Urteil aus diesen Beweismitteln etwas zu seinen Gunsten ergeben hätte. Er bestreitet auch nicht, dass im Finanzrapport unter BKP 532.3 (Baugarantie) lediglich Fr. 5'964.-- aufgeführt waren. Sodann ist nicht ersichtlich, dass der Beschwerdeführer die nun erklärte Unterscheidung zwischen der bei Bauvollendung geleisteten Baugarantie einer Versicherung und der bei Baubeginn gestellten Bürgschaft einer Bank bereits vor der Vorinstanz substanziiert dargelegt hätte; er behauptet dies nicht einmal. Es ist daher nicht willkürlich, wenn die Vorinstanz die von den Beschwerdegegnern bestrittenen Kosten von Fr. 340'000.-- für eine Bürgschaft als nicht erwiesen erachtete. Es ist im Übrigen nicht nachvollziehbar, weshalb im Finanzrapport der verhältnismässig geringe Betrag für die Versicherungsgarantie als Kostenposition berücksichtigt wurde, die behaupteten viel höheren Zinskosten für die Bankbürgschaft dagegen nicht und stattdessen diese Kosten als Bemessungsfaktor für das Generalunternehmer-Honorar ins Gewicht fallen sollen. Unter diesen unklaren Umständen war (und ist) die Vorinstanz auch nicht gehalten, die in diesem Zusammenhang beantragte Expertise abzunehmen.
6.2.3.4. Zusammenfassend ist festzuhalten, dass die Aktiengesellschaft zufolge der Änderung der Projekterstellung im Hinblick auf den Pauschalpreis und die von ihr gegenüber dem Besteller vorerst übernommene Gewährleistungshaftung ein erhöhtes Risiko trug. Demnach liegt diesbezüglich eine Vertragslücke vor (vgl. E. 6.2.3 hiervor), welche zu schliessen ist.
Gemäss den Feststellungen der Vorinstanz hat der Beschwerdeführer eine Expertise zum praxisüblichen TU-Honorarzuschlag beantragt. Die Vorinstanz wird über das Honorar zu befinden haben, das die Parteien vereinbart hätten, und dabei gegebenenfalls eine Expertise einholen müssen, welche auf die genannten Risikofaktoren abstellt. Sodann wird sie nach pflichtgemässem Ermessen festlegen müssen, um wieviel der Zuschlag zu kürzen ist, weil die Aktiengesellschaft - anders als eine gewöhnliche Generalunternehmerin - anschliessend die Möglichkeit gehabt hätte, ihre Kosten gegenüber den einfachen Gesellschaftern geltend zu machen. Die Parteien werden zu berücksichtigen haben, dass das Bundesgericht in einer allfälligen Beschwerde die Ausübung des Ermessens durch die Vorinstanz nur unter einschränkenden Voraussetzungen prüfen kann (BGE 138 III 669 E. 3.1 S. 671; 135 III 121 E. 2 S. 123 f.; 130 III 28 E. 4.1 S. 32), weshalb auch aus diesem Grund eine vergleichsweise Erledigung naheliegen könnte.
7.
Der Beschwerdeführer hat die Baukosten und den Konsortialgewinn unter Einschluss der Baunebenkosten abgerechnet. Er berücksichtigte dabei unter anderem einen Betrag von insgesamt Fr. 124'421.-- für Muster, Modelle und Kopien (BKP 52), Versicherungen (BKP 53) und übrige Baunebenkosten (BKP 56); nach Darstellung des Beschwerdeführers handelt es sich bei letzteren um Kosten für Bewachung, Nachbarentschädigung, Miete fremden Grundes, Aufrichtefest und Baureklametafel. All diese Positionen zieht er in die Berechnungsbasis für das Honorar mit ein.
7.1. Die Vorinstanz stellte fest, die Parteien hätten im Gesellschaftsvertrag nicht geregelt, welche Leistungen honorarberechtigt seien. Sie liess offen, ob - wie die Beschwerdegegner behaupteten - Baunebenkosten (BKP 5) praxisgemäss generell nicht honorarberechtigt seien. Nachdem bereits das Bezirksgericht die Baunebenkosten nicht als honorarberechtigt erachtete, wies die Vorinstanz die dagegen gerichtete Berufung aus prozessualen Gründen ab. Der Beschwerdeführer habe erstinstanzlich die Baunebenkosten nur pauschal mit einbezogen und nicht näher dargetan, inwiefern diese Positionen auf seinen Aufwand "durchschlagen" würden. Nachdem die Beschwerdegegner bestritten hätten, dass diese Kosten zur honorarberechtigten Bausumme zu rechnen seien, wäre das aber notwendig gewesen. Erst in der Berufungsbegründung habe er dann dargelegt, dass die weiterhin geltend gemachten Baunebenkosten Leistungen beträfen, welche seine Aktiengesellschaft gegenüber dem Kanton in eigenverantwortlicher Weise unter Beizug von Subunternehmern erbracht habe. Diese weiterführenden Ausführungen könnten jedoch nicht beachtet werden, da weder ersichtlich noch dargetan sei, dass die Voraussetzungen für neue Tatsachenvorbringen gemäss Art. 317 Abs. 1 lit. b ZPO erfüllt seien. Im Übrigen würde auch die SIA-Ordnung 102 (Ausgabe 1984) die strittigen Nebenkosten nicht zu den honorarberechtigten Baukosten zählen.
7.2. Der Beschwerdeführer rügt eine fehlerhafte Verteilung der Behauptungs- und Beweislast und eine Verletzung der Verhandlungsmaxime. Die Beschwerdegegner hätten die entsprechenden Kosten als Aufwand der Generalunternehmerin anerkannt; sie hätte nur bestritten, dass darauf ein "GU-Honorar" geschuldet sei. Dabei handle es sich um eine Rechtsfrage; er habe daher keine Veranlassung gehabt, in tatsächlicher Hinsicht zur Bestreitung der Gegenpartei Stellung zu nehmen. Er wiederholt sodann seine inhaltliche Begründung der Honorarberechtigung, wie er sie erstmals in der Berufung vorbrachte, ohne sich zu den Ausführungen der Vorinstanz betreffend verspätetes Vorbringen (Art. 317 Abs. 1 lit. b ZPO) zu äussern. Er bestreitet somit die Feststellungen der Vorinstanz zum prozessualen Verhalten ebenso wenig wie deren Anwendung von Art. 317 Abs. 1 lit. b ZPO.
7.3. Nachdem der Gesellschaftsvertrag wie erwähnt nicht festlegte, welche Leistungen honorarberechtigt waren und diesbezüglich keine übereinstimmende tatsächliche Meinung bestand, ging es darum, auszulegen, von welchem Vertragsinhalt die Parteien nach Treu und Glauben ausgehen durften. Diese Auslegung basiert einerseits - soweit vorhanden - auf dem Wortlaut und dem Zusammenhang eines Vertragstextes, andererseits auf den gesamten Umständen. Diese Umstände sind von jener Partei darzulegen, die sich auf ein bestimmtes Vertragsverständnis beruft. Vorliegend war es somit am Beschwerdeführer, (tatsächliche) Umstände darzulegen - beispielsweise eine entsprechende Übung in Fachkreisen -, die für eine Honorarberechtigung auf den erwähnten Baunebenkosten sprechen. Die Vorinstanz erwähnte zu Recht, dass dargetan werden müsse, weshalb (tatsächlich) bestimmte Positionen auf den Aufwand der Generalunternehmerin "durchschlagen". Davon geht der Beschwerdeführer letztlich nun selber aus, wenn er ausführt, diese Nebenleistungen seien honorarberechtigt, weil sie der General-/Totalunternehmer im Gegensatz zum Architekten nach der SIA-Ordnung 102 in eigenverantwortlicher Weise erbringe und er so das damit verbundene Risiko trage. Es ging somit nicht bloss um eine Rechtsfrage, weshalb das Obergericht den Betrag von Fr. 124'421.-- zu Recht aus prozessualen Gründen nicht als honorarberechtigte Baukosten anerkannt hat. Im Übrigen ist nicht ohne weiteres einsichtig, weshalb z.B. Muster/Modelle/Kopien oder Versicherungen das Risiko des Generalunternehmers erhöhen sollen.
8.
Die Vorinstanz liess die vom Beschwerdeführer geltend gemachten Steuerabzüge nicht zu, nämlich die Gewinnsteuern seiner Aktiengesellschaft von ca. 30 % und seine Einkommenssteuern von ca. 40 % auf den Dividenden.
8.1. Sie begründete die Nicht-Berücksichtigung der Gewinnsteuern der Aktiengesellschaft vorerst mit der Bindungswirkung an das Rückweisungsurteil des Bundesgerichts. Nach der dortigen Formulierung seien nur die "mit der Überbauung zusammenhängenden Geldeingänge und Ausgaben" zu berücksichtigen. Dazu zählten die Steuern der Aktiengesellschaft nicht. Wie dargelegt hat sich das Bundesgericht jedoch nicht zum Umfang des Hauptanspruchs und damit zur Gewinnberechnung geäussert (E. 4 hiervor). Mit der Bindungswirkung des Rückweisungsurteils kann die Nicht-Berücksichtigung der Steuern somit nicht begründet werden.
Verbindlich festgestellt wurde im Rückweisungsurteil, der Beschwerdeführer sei gesellschaftsrechtlich verpflichtet, dafür zu sorgen, dass seine Aktiengesellschaft den Beschwerdegegnern die ihnen zustehenden Gewinnanteile zukommen lässt; da er die Aktiengesellschaft beherrsche, bestimme er deren Willensbildung (E. 3.8). Soweit der Beschwerdeführer als willkürlich rügt, dass die Vorinstanz von einer Beherrschung ausging, verkennt er diese bindenden Feststellungen des Bundesgerichts.
8.2. In einer Eventualbegründung erwog die Vorinstanz, die Aktiengesellschaft hätte entsprechende Aufwendungen in der Steuererklärung ertragsmindernd geltend machen können. Das Bundesgericht sei im Rückweisungsurteil mit der Formulierung "dass die Aktiengesellschaft die vorgesehene Gewinnverteilung respektiert" davon ausgegangen, diese treffe ein "Respektierungsgebot", was "nichts anderes als eine Rechts- bzw. Leistungspflicht der Aktiengesellschaft selbst darstellt, die auch von den Steuerbehörden nicht hätte übergangen werden können". Dass eine Auszahlung an die Beschwerdegegner nicht hätte erfolgen dürfen, weil sonst die mit der gewählten Konstruktion verfolgte Absicht einer Umgehung von Grundstückgewinn- und Handänderungssteuern offen gelegt worden wäre, sei nicht mehr zu prüfen, da die Frage einer Verheimlichung der Umgehung dieser Steuern im Zusammenhang mit der Nichtigkeit der Vereinbarungen verbindlich entschieden worden sei.
8.2.1. Ob die zwischen den Parteien getroffenen Vereinbarungen nichtig sind und deshalb keine vertraglichen Ansprüche bestehen, ist nicht dieselbe Frage wie ob die Parteien aufgrund der Steueroptimierung, die sie mit der geänderten Ausgestaltung der Projektdurchführung bezweckten, davon ausgingen bzw. der Beschwerdeführer nach Treu und Glauben davon ausgehen durfte, es dürfe gegen aussen keine Verbindung zwischen der Aktiengesellschaft und dem Konsortium hergestellt werden, weshalb eine Weiterleitung des Gewinns aus der Aktiengesellschaft zu den Konsorten unterbleiben müsse. Dass die Nichtigkeit nicht mehr zu prüfen ist (E. 3.5.3 hiervor), ändert deshalb nichts daran, dass die Vorinstanz diese Frage hätte beurteilen müssen.
Der Beschwerdeführer macht geltend, die Beschwerdegegner hätten selber darauf hingewiesen, mit der getrennten Abwicklung des Landverkaufs einerseits (direkt von den Erben B._ an den Kanton Zürich) und der Überbauung andererseits sei bezweckt gewesen, einer doppelten Belastung durch Handänderungssteuern und insbesondere einer Berechnung der Grundstückgewinnsteuer unter Mitberücksichtigung des Werklohns zu entgehen. Eine solche ungünstige grundstückgewinnsteuermässige Qualifikation wäre unvermeidlich gewesen, wenn die Konsortialpartner gegenüber dem Kanton Zürich gemeinsam als Vertragspartner aufgetreten und die Abwicklung des Generalunternehmervertrags lediglich intern an die Aktiengesellschaft weitergegeben hätten.
Es trifft zu, dass die Beschwerdegegner dies geltend gemacht haben. Indessen ist nicht klar, weshalb daraus zu folgern sein soll, der von der Aktiengesellschaft erzielte Gewinn hätte nicht an die Konsorten bzw. in das Konsortium weitergeleitet werden dürfen. Nach der Argumentation des Beschwerdeführers wäre es steuerrechtlich entscheidend gewesen, dass kein Zusammenhang zwischen der tatsächlichen Werkerstellerin (Aktiengesellschaft) und den dahinter stehenden Konsorten hätte erkannt werden dürfen. Das impliziert, dass bei einer Erstellung des Werkes durch die einfache Gesellschaft die Steuern höher ausgefallen wären als bei einer Erstellung durch die Aktiengesellschaft, und zwar auch dann, wenn das Grundstück direkt vom Kanton Zürich erworben wurde, wie es beim geänderten Projekt der Fall war. Weshalb das so sein soll, legt der Beschwerdeführer nicht dar. Zwar kann davon ausgegangen werden, dass bei der ursprünglich geplanten Vorgehensweise (Erwerb des Grundstücks durch das Konsortium resp. ein Mitglied davon) eine doppelte Handänderung betreffend das Grundstück (von der Erbengemeinschaft B._ auf das Konsortium resp. ein Mitglied davon und von diesem auf den Kanton Zürich) stattgefunden hätte. Es mag auch sein, dass bei Erstellung der Baute durch das Konsortium auf dem Land, das von ihm resp. einem seiner Mitglieder erworben und von diesem an den Kanton Zürich weiterverkauft wurde, der Preis für das Bauland und der Werkpreis für die Grundstückgewinnsteuer zusammengerechnet worden wären (BGE 131 II 722 E. 3.1 und 3.2; Urteil 2C_450/2015 vom 14. Juni 2016 E. 4.3). Erwarb der Kanton Zürich das Bauland aber direkt von der Erbengemeinschaft B._, ist kein Unterschied ersichtlich, je nachdem, ob die Baute anschliessend vom Konsortium oder von der Aktiengesellschaft des Beschwerdeführers realisiert wurde. Eine zweifache Handänderung stand nicht mehr zur Diskussion; und nachdem der Verkäufer des Grundstücks (Erbengemeinschaft B._) und der Werkersteller (Konsortium vor der Projektänderung oder Aktiengesellschaft danach) nicht (mehr) identisch oder als wirtschaftliche Einheit zu betrachten waren, war auch eine Zusammenrechnung von Kauf- und Werkpreis für die Einkommens- bzw. Grundstückgewinnsteuer ausgeschlossen (BGE 131 II 722 E. 3.2 S. 725 f.; zit. Urteil 2C_450/2015 E. 4.3; vgl. auch - mit anderer Begründung, aber im Ergebnis gleich - den Entscheid des Verwaltungsgerichts des Kantons Zürich SB.2005.00079 vom 10. Mai 2006 E. 2.2). Nur für die Handänderungssteuer wäre eine Zusammenrechnung von Land- und Werkpreis auch nach der Projektänderung noch in Frage gekommen, wenn die Voraussetzungen für die sog. Zusammenrechnungspraxis zu bejahen gewesen wären (BGE 131 II 722 E. 3.1.1 und E. 3.1.2 S. 724 f.). Der Beschwerdeführer legt jedoch nicht dar, inwiefern diese Voraussetzungen gegeben waren; insbesondere aber ist nicht ersichtlich, weshalb angesichts des separaten Landverkaufs die Voraussetzungen für eine Zusammenrechnung eher erfüllt gewesen wären, wenn das Konsortium und nicht die Aktiengesellschaft des Beschwerdeführers die Überbauung realisiert hätte.
Der Beschwerdeführer durfte somit nicht nach Treu und Glauben davon ausgehen, im Hinblick auf die Grundstückgewinn- und die Handänderungsteuer müsse beim geänderten Projekt eine Weiterleitung von Gewinn aus der Aktiengesellschaft an die Konsorten unterbleiben.
8.2.2. Es bleibt zu prüfen, ob sich die Weiterleitung der Gewinnanteile bei der Aktiengesellschaft gewinnsteuerrechtlich ertragsmindernd ausgewirkt hätte, wie die Vorinstanz annimmt (vgl. E. 8.2 hiervor).
8.2.2.1. Der Beschwerdeführer rügt, es sei nicht ersichtlich, was das von der Vorinstanz erwähnte, "letztlich diffus" bleibende Respektierungsgebot beinhalte; ohne vertragliche Verpflichtung der Aktiengesellschaft gegenüber dem Konsortium wäre die Ablieferung des Projektgewinns nicht als ertragsmindernd von den Steuerbehörden akzeptiert worden.
Zu Recht beanstandet der Beschwerdeführer die von der Vorinstanz angenommene Pflicht der Aktiengesellschaft. Das Bundesgericht hat - wie bereits mehrfach erwähnt - eine gesellschaftsrechtliche Pflicht des Beschwerdeführers festgestellt. Eine "Rechts- bzw. Leistungspflicht der Aktiengesellschaft selbst" kann daraus nicht abgeleitet werden; vielmehr wäre es eben gerade am Beschwerdeführer gewesen, eine solche gegenüber der Aktiengesellschaft zu begründen. Mit einer bestehenden schuldrechtlichen Verpflichtung der Aktiengesellschaft gegenüber dem Konsortium lässt sich somit die steuerrechtliche Problematik entgegen der Vorinstanz nicht lösen.
8.2.2.2. War die Aktiengesellschaft nicht vertraglich verpflichtet, Gewinn abzuliefern, hätten gleichwohl vorgenommene Auszahlungen an die einfachen Gesellschafter geldwerte Vorteile aus Beteiligung dargestellt. Eine sog. verdeckte Gewinnausschüttung setzt voraus, dass: (1) die leistende Kapitalgesellschaft oder Genossenschaft für ihre Leistung keine oder keine gleichwertige Gegenleistung erhält, (2) der Beteiligungsinhaber der Kapitalgesellschaft oder Genossenschaft direkt oder indirekt (z. B. über eine ihm nahestehende Person oder Unternehmung) einen Vorteil erlangt, (3) die Kapitalgesellschaft oder Genossenschaft diesen Vorteil einer nicht nahestehenden Person unter gleichen Bedingungen nicht zugestanden hätte, weshalb die Leistung insofern ungewöhnlich ist (Kriterium des Drittvergleichs), und (4) der Charakter dieser Leistung für die Organe der Kapitalgesellschaft oder Genossenschaft erkennbar war (BGE 140 II 88 E. 4.1 S. 92 f.; 138 II 57 E. 2.2 S. 59 f.; 131 II 593 E. 5.1 S. 607; vgl. zum Ganzen auch Urteil 2C_16/2015 vom 6. August 2015 E. 2.3.1; je mit Hinweisen). Als dem Beteiligungsinhaber nahestehend erachtet die Praxis eine natürliche oder juristische Person, die zum beherrschenden Beteiligungsinhaber enge wirtschaftliche oder persönliche, beispielsweise verwandtschaftliche Beziehungen unterhält. Nahestehend im steuerrechtlichen Sinn sind darüber hinaus Personen, denen der Beteiligungsinhaber gestattet, seine Gesellschaft wie eine eigene zu benutzen (BGE 138 II 57 E. 2.3 S. 60, 545 E. 3.4 S. 551; zit. Urteil 2C_16/2015 E. 2.3.2; je mit Hinweisen). Als geldwerte Leistungen gelten insbesondere auch Ertragsverzichte zugunsten des Beteiligungsinhabers oder einer ihm nahestehenden Person, die bei der Gesellschaft den Gewinn entsprechend kürzen. Solche Ertragsverzichte liegen vor, wenn die Gesellschaft auf ihr zustehende Einnahmen ganz oder teilweise verzichtet und die Erträge direkt dem Beteiligungsinhaber oder diesem nahestehenden Personen zufliessen bzw. wenn diese Personen dafür nicht jene Gegenleistung erbringen, welche die Gesellschaft von einem unbeteiligten Dritten fordern würde (Urteil 2C_942/2011 vom 29. Mai 2012 E. 2.1 mit Hinweis), beispielsweise bei der Weiterleitung von Veräusserungsgewinnen der Gesellschaft (PETER LOCHER, Kommentar zum DBG, II. Teil, 2004, N. 136 zu Art. 58 DBG). Ob eine verdeckte Gewinnausschüttung vorliegt, ist vom Standpunkt der jeweiligen steuerpflichtigen Gesellschaft aus zu beurteilen (LOCHER, a.a.O., N. 98 zu Art. 58 DBG).
Bei den andern Gesellschaftern der einfachen Gesellschaft handelt es sich um in diesem Sinn wirtschaftlich mit dem Beschwerdeführer eng verbundene Personen. Hätte die Aktiengesellschaft den Konsorten den aus der Erstellung der Überbauung realisierten Gewinn weitergeleitet, hätte der Beschwerdeführer als Beteiligungsinhaber direkt (sein Gewinnanteil) und indirekt (Gewinnanteil der beiden anderen einfachen Gesellschafter, womit eine Pflicht von ihm erfüllt worden wäre) einen Vorteil erlangt, was für alle Beteiligten offenkundig gewesen wäre. Aus ihrer Sicht erhielt die Aktiengesellschaft dafür keine Gegenleistung; es bestand kein Vertrag und ihr wurde im Gegenzug zur Weiterleitung des Gewinns keine Leistung versprochen. Allein der wirtschaftliche Hintergrund, nämlich dass die Aktiengesellschaft die Überbauung und damit den Gewinn nur realisieren konnte, weil das Konsortium ihr diese überliess und der Beschwerdegegner 1 im Hinblick darauf auf die Ausübung seines Kaufrechts verzichtete, kann nicht als "Gegenleistung" in diesem Sinn verstanden werden. An einen unabhängigen Dritten hätte die Aktiengesellschaft den Gewinn nicht weitergeleitet, ohne vertraglich dazu verpflichtet zu sein. Somit ist davon auszugehen, dass im Rahmen der Besteuerung der Aktiengesellschaft die Weiterleitung des erzielten Gewinns zu einer Aufrechnung und damit einer Gewinnbesteuerung geführt hätte.
Die Beschwerdegegner wenden aber zu Recht ein, wenn der Beschwerdeführer pflichtgemäss vorgegangen wäre, hätte er mit seiner Aktiengesellschaft einen Vertrag über die Ablieferung des Gewinns geschlossen und die von ihm beklagten Steuerfolgen wären nicht eingetreten. Diesfalls hätte die Aktiengesellschaft eine vertragliche Verpflichtung erfüllt, wobei die Gegenleistung darin bestanden hätte, dass ihr die Möglichkeit verschaffen wurde, die Überbauung zu realisieren, und dass ihr Verlustrisiko dabei reduziert wurde. Was der Beschwerdeführer dem entgegenhält, überzeugt nicht. So kann nicht gesagt werden, ein solcher Vertrag hätte gegen die Interessen der Aktiengesellschaft verstossen und wäre daher unzulässig gewesen, erhielt die Aktiengesellschaft doch dafür wie erwähnt die Möglichkeit, die Überbauung durchzuführen. Und selbst wenn bei einer nachträglichen, vorfrageweisen Beurteilung aufgrund der schwierigen steuerrechtlichen Abgrenzungsfragen bei derartigen wirtschaftlichen Zusammenhängen eine gewisse Unsicherheit verbleibt (etwa zum [Miss]verhältnis zwischen Leistung und Gegenleistung), könnte sich der Beschwerdeführer nicht darauf berufen. Denn er hätte es in der Hand gehabt, durch Abschluss eines entsprechenden Vertrags und rechtzeitige Auszahlung für eine Klärung der steuerrechtlichen Situation zu sorgen. Schliesslich ist auch der Einwand unbehelflich, die Beschwerdegegner hätten nie behauptet, der Beschwerdeführer sei zu einer solchen Vereinbarung verpflichtet gewesen; denn diese Frage ist Teil der rechtlichen Würdigung.
Demnach hat der Beschwerdeführer eine höhere Gewinnbesteuerung seiner Aktiengesellschaft selber zu verantworten und kann diese nicht als Schmälerung des Gewinns auf die Beschwerdegegner abwälzen. Bereits aus diesem Grund ist ein Abzug für seine privaten Steuern ebenfalls nicht berechtigt.
9.
Die Vorinstanz sprach den Beschwerdegegnern wie beantragt Verzugszins von 5 % seit dem 3. September 1998 (Eingang des Sühnebegehrens beim Friedensrichteramt) zu. Der Gewinnherausgabeanspruch bzw. der Schadenersatzanspruch der Beschwerdegegner sei bereits vor diesem Datum fällig gewesen, sodass der Beschwerdeführer mit dem Stellen des Sühnebegehrens in Verzug geraten sei. Die Fälligkeit ist nach wie vor umstritten.
9.1. Die Vorinstanz berief sich einerseits auf das Rückweisungsurteil des Bundesgerichts. Darin sei festgestellt worden, dass der Beschwerdeführer seine aus der Gesellschafterstellung fliessenden Pflichten verletze und schadenersatzpflichtig werde, indem er seine Aktiengesellschaft nicht zur Abrechnung anhalte und dadurch die Erzielung eines Gewinns durch das Konsortium vereitle. Diese Haftung, so die Vorinstanz weiter, setze weder eine vorgängige Liquidation der Gesellschaft noch eine Verwertung des Gesellschaftsvermögens voraus. So wie das Bundesgericht die Fälligkeit der Abrechnungspflicht bejaht habe, sei auch die Fälligkeit des Gewinnherausgabeanspruchs bzw. des Schadenersatzanspruchs zu bejahen.
Dem hält der Beschwerdeführer zu Recht entgegen, ein Schadenersatzanspruch für die unterbliebene Gewinnherausgabe könne nicht vor dem Gewinnherausgabeanspruch fällig werden. Zutreffend ist auch sein Einwand, dass sich aus der Fälligkeit der Abrechnungspflicht nicht zwingend die Fälligkeit des Gewinnherausgabeanspruchs ergibt.
9.2. In einer Alternativbegründung stützte sich die Vorinstanz sodann wie das Bezirksgericht auf Ziffer 6.2 Absatz 2 des Gesellschaftsvertrages vom 29. Juni 1993. Dieser lautet:
"Eine letzte Abrechnung erfolgt sofort nach realisiertem Gesamtverkauf der Überbauung und nach Erfüllung sämtlicher Verbindlichkeiten inkl. Grundstückgewinnsteuer. Vor Verteilung eines Erlöses sind die zur Deckung allfälliger Forderungen aus Baumängeln notwendigen Rückstellungen zu treffen."
9.2.1. Die Vorinstanz erwog, nach den Feststellungen des Bezirksgerichts wäre es der Aktiengesellschaft spätestens anfangs 1997 möglich gewesen, die Konsortialabrechnung und damit die letzte Abrechnung im Sinne von Ziffer 6.2 des Gesellschaftsvertrags zu erstellen. Zwar setze die Gewinnherausgabe das Treffen der notwendigen Rückstellungen für Baugarantiefälle voraus. Das Bezirksgericht habe aber ausgeführt, solche Rückstellungen wären gering gewesen, da der Aktiengesellschaft bei allfälligen Mängeln Gewährleistungsansprüche gegenüber den Subunternehmern zugestanden hätten. Da sich der Beschwerdeführer weder mit dieser Überlegung auseinandersetze noch sich auf einen konkreten Rückstellungsbedarf berufe, vermögen bloss potentielle Baugarantiefälle die Verteilung des Gewinns nicht zu hindern.
9.2.2. Der Beschwerdeführer rügt, damit habe die Vorinstanz eine vorgängige Abrechnungspflicht angenommen. Von Gesetzes wegen sei der eingeklagte Anspruch noch gar nicht fällig. Die anteilsmässigen Gewinnanteile würden nämlich nichts anderes darstellen als die Herausgabe eines nach der Liquidation allenfalls verbleibenden Überschusses. Da gemäss beschwerdegegnerischer Darstellung weder eine Auflösung der Gesellschaft erfolgt sei noch eine Verwertung des Gesellschaftsvermögens stattgefunden habe, sei der eingeklagte Anspruch von Gesetzes wegen noch nicht fällig. Die gesetzlichen Bestimmungen über die Liquidation sind jedoch dispositiver Natur und kommen nur zur Anwendung, wenn nichts Abweichendes im Gesellschaftsvertrag oder im Nachhinein vereinbart wurde (DANIEL STAEHELIN, in: Basler Kommentar, Obligationenrecht II, 4. Aufl. 2012, N. 2 zu Art. 548/549 OR). Davon geht der Beschwerdeführer letztlich selber aus, weshalb es sich erübrigt, weiter auf diese Argumentation einzugehen.
9.2.3. Zu prüfen ist, ob sich die Fälligkeit aus dem Gesellschaftsvertrag ergibt. Der Beschwerdeführer rügt in diesem Zusammenhang eine Verletzung der Verhandlungs- und Eventualmaxime und macht eine willkürliche Sachverhaltsfeststellung geltend, weil sich die Beschwerdegegner nie auf die Regelung in Ziffer 6.2 Absatz 2 des Gesellschaftsvertrages berufen bzw. diese zitiert hätten. Sie hätten lediglich generell einen Rechnungslegungs- und Gewinnherausgabeanspruch geltend gemacht. Auch darauf ist nicht weiter einzugehen. Selbst wenn man nämlich mit der Vorinstanz davon ausgeht, allein aufgrund des Wortlauts von Ziffer 6.2 Absatz 2 des Gesellschaftsvertrags sei eine Verteilung des Erlöses unmittelbar nach dem Verkauf der überbauten Liegenschaft fällig gewesen und zwar ohne Abzug für die in dieser Ziffer vorbehaltenen Rückstellungen, da der Beschwerdeführer solche nicht substanziiert habe, stellt sich die Frage, ob Ziffer 6.2 Absatz 2 des Gesellschaftsvertrages nach der Durchführung der Überbauung in einer anderen rechtlichen Struktur tel quel anzuwenden bleibt.
9.2.3.1. Der Beschwerdeführer macht sinngemäss geltend, die Anwendbarkeit widerspreche dem mit Ziffer 6.2 verfolgten Zweck. Dieser habe darin bestanden, die Konsorten, die das Bauprojekt gemäss Gesellschaftsvertrag fortlaufend selber zu finanzieren (insb. die Aufwendungen der beteiligten Gesellschaften der Konsorten fortlaufend zu vergüten) hatten, entsprechend zu orientieren. Eine Finanzierung durch das Konsortium sei aber nach der Projektänderung nicht erfolgt. Dieses Vorbringen kann sich aber nur auf den ersten Absatz von Ziffer 6.2 beziehen, wonach "[Ü]ber das Geschäftsergebnis (...) jeweils auf das Ende eines Kalenderjahres abgerechnet (wird) ". Einer Anwendung von Ziffer 6.2 Absatz 2 steht es nicht entgegen.
9.2.3.2. Wie bereits vor Vorinstanz beruft sich der Beschwerdeführer auch auf Ziffer 7.1 des Gesellschaftsvertrages. Danach hätte das Konsortium erst nach erfolgter Gesamtabrechnung und Erledigung allfälliger Baugarantiefälle aufgelöst werden können. Eine Auflösung und Verwertung des Gesellschaftsvermögens hätte deshalb erst nach Ablauf der fünfjährigen werkvertraglichen Garantie- und Verjährungsfrist erfolgen können, also frühestens am 14. Juli 2001 (fünf Jahre nach der Übergabe des Bauobjektes an den Kanton am 15. Juli 1996). Die Verwertung des Gesellschaftsvermögens hätte zudem die Kenntnis der Steuerbetreffnisse vorausgesetzt.
Die Vorinstanz stellte trotz Projektänderung ohne Anpassung auf den Vertragswortlaut ab. Danach regelt Ziffer 6.2 Absatz 2 die Verteilung des Erlöses vor Auflösung der Gesellschaft und Ziffer 7.1 die Auflösung der Gesellschaft. Aufgrund des Wortlauts kann die Gewinnverteilung somit vor der Auflösung stattfinden. Eine solche Auslegung übergeht allerdings den inneren Zusammenhang zwischen den beiden Vertragsziffern. Diese beruhen offensichtlich auf der Idee, dass zwar der Erlös - abzüglich Rückstellungen - schon vor Ablauf der Garantiefrist ausbezahlt wird, die einfache Gesellschaft aber bestehen bleibt. Letzteres macht nur Sinn, wenn damit der Zweck verfolgt werden sollte, gemeinsam im Rahmen der Gesellschaft die Baugarantiefälle zu erledigen, sollten die Rückstellungen nicht genügen. Nachdem die Aktiengesellschaft nun aber einzige Vertragspartnerin des Kantons Zürich war, wären die Garantiearbeiten vorerst allein an ihr hängen geblieben. Damit entfällt die Grundlage, den Erlös schon vor Ablauf der Garantiefrist zu verteilen und die beiden Ziffern wie die Vorinstanz abzugrenzen.
Daran ändert entgegen den Beschwerdegegnern auch nichts, dass der Beschwerdeführer keine konkreten Baugarantiefälle nachgewiesen hat. Solange die Garantiefrist lief, hätten solche geltend gemacht werden können. Das genügt, damit der Beschwerdeführer die Auszahlung während dieser Zeit zurückhalten durfte. Wären Baugarantiefälle eingetreten, hätte sogar über die fünfjährige Frist hinaus zugewartet werden dürfen, nämlich bis zu deren Erledigung. Dass der Beschwerdeführer keine konkreten Garantiefälle substanziiert geltend gemacht hat, hat somit einzig zur Folge, dass die Fälligkeit nicht erst nach dem 14. Juli 2001 eintrat. Die Vorinstanz wird daher im Rahmen der Rückweisung eine Verzinsung von 5 % ab dem 14. Juli 2001 zu berücksichtigen haben.
10.
Die Vorinstanz verteilte die erstinstanzlichen Kosten im Verhältnis ein Zehntel (Beschwerdegegner) zu neun Zehnteln (Beschwerdeführer), weil sie entgegen dem Bezirksgericht, das sämtliche Kosten dem Beschwerdeführer auferlegte, die Verzugszinsen nicht mit einbezog. Im Übrigen bestätigte sie aber das Urteil des Bezirksgerichts; namentlich insofern, als dieses den Streitwert nicht anhand der in der ursprünglichen Klage genannten approximativen Forderungsbeträge bestimmt hatte, sondern anhand der nach der Abrechnung bezifferten Rechtsbegehren. Entsprechend bestätigte sie ausdrücklich auch im Dispositiv (Ziff. 2) die erstinstanzlichen Kostenansätze.
Der Beschwerdeführer rügt dies und macht nach wie vor geltend, die Beschwerdegegner hätten mit ihren ursprünglichen Forderungen massiv überklagt. Selbst im Fall einer Bestätigung des vorinstanzlichen Urteils in den übrigen Punkten wären daher die Verfahrenskosten der Erstinstanz im Verhältnis von mindestens 33 % den Beschwerdegegnern aufzuerlegen und die ihnen zugesprochene Parteientschädigung wäre auf einen Drittel des Betrages zu reduzieren. Die Kostenverlegung und Parteientschädigung für das obergerichtliche Verfahren ficht er nicht an.
Zwar wird die Vorinstanz aufgrund der Rückweisung erneut auch über die Kosten und die Parteientschädigung zu befinden haben. Die Frage, von welchem Streitwert auszugehen ist, wird sich aber nicht ändern. Daher ist es sinnvoll, bereits jetzt darüber zu befinden. Die Vorinstanz hatte wie ausgeführt die korrekte Handhabung des anwendbaren Verfahrensrechts durch das Bezirksgericht zu überprüfen. Auf das Verfahren vor dem Bezirksgericht fand unbestritten noch das zürcherische Zivilprozessrecht Anwendung, da das Verfahren seit 1999 hängig war. Auch wenn die Zulässigkeit der Stufenklage vor dem Inkrafttreten der Schweizerischen Zivilprozessordnung aus dem materiellen Bundesrecht abgeleitet wurde (BGE 116 II 215 E. 4a S. 219 f.), blieb die Frage der Bestimmung des Streitwerts doch eine solche des kantonalen Prozessrechts. Soweit kantonales Recht zur Anwendung gelangt, können nur verfassungsmässige Rechte (namentlich das Willkürverbot) als verletzt gerügt werden (BGE 139 III 225 E. 2.3 S. 231; 136 I 241 E. 2.4 S. 249). Diesbezüglich bestehen erhöhte Rügeanforderungen (E. 2.1 hiervor). Diesen genügt die Beschwerde nicht, weshalb darauf nicht einzutreten ist.
11.
Die Beschwerde ist demnach teilweise gutzuheissen und das Urteil des Obergerichts ist aufzuheben. Die Sache ist zur Bestimmung des Honorarzuschlags, den die Parteien nach Treu und Glauben aufgrund der veränderten Risiken des geänderten Projektablaufs vereinbart hätten (vgl. E. 6.2.3.4), an die Vorinstanz zurückzuweisen. Dabei wird die Vorinstanz von einer Verzinsung zu 5 % ab 14. Juli 2001 auszugehen haben (vgl. E. 9.2.3.2). Im Übrigen ist der Beschwerde, soweit überhaupt darauf einzutreten ist, kein Erfolg beschieden.
Bei diesem Ausgang des Verfahrens rechtfertigt es sich, die Kosten den Parteien je hälftig aufzuerlegen (Art. 66 Abs. 1 BGG) und keine Parteientschädigungen (Art. 68 Abs. 1 BGG) zuzusprechen.
Demnach erkennt das Bundesgericht:
1.
In teilweiser Gutheissung der Beschwerde wird das Urteil des Obergerichts des Kantons Zürich, I. Zivilkammer, vom 11. November 2015 aufgehoben und die Sache an die Vorinstanz zurückgewiesen.
2.
Die Gerichtskosten von Fr. 16'000.-- werden zur Hälfte dem Beschwerdeführer und unter solidarischer Haftbarkeit zur Hälfte den Beschwerdegegnern auferlegt.
3.
Es werden keine Parteientschädigungen zugesprochen.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, I. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 25. Juli 2016
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Der Gerichtsschreiber: Lüthi