Sachverhalt:
A.
Mit Vereinbarung vom 17. Januar 2008 ("Konsortialvertrag") schlossen sich B._, (Beklagter 1; Beschwerdegegner 1), A._, Bauleiter, (Kläger; Beschwerdeführer), das Ingenieurbüro C._, (Beklagter 2; Beschwerdegegner 2), die D._ AG, (Beklagte 3; Beschwerdegegnerin 3) sowie die H._ AG, (Beklagte), zu einem Konsortium zusammen. Dieses bezweckt, als einfache Gesellschaft i.S.v. <ref-law> mit dem Namen "F._" Bauland in der Gemeinde U._ zu kaufen, zu überbauen und im Stockwerkeigentum gewinnbringend zu veräussern. Ziff. X. Abs. 2 des Konsortialvertrages lautet:
" Jeder Gesellschafter ist berechtigt, Arbeiten aus seiner Branche zu mittleren Konkurrenzpreisen zu übernehmen. Die Geschäftsführung hat die mittleren Konkurrenzpreise aus der Offertenstellung des Gesellschafters und drei unabhängigen Unternehmen festzulegen. Der Werkvertrag ist der Gesellschafterversammlung zur Genehmigung vorzulegen. "
B.
Mit Klagebewilligung des Friedensrichteramtes Meilen vom 26. Juni 2012 und Klageschrift vom 27. Juli 2012 machte A._ gegen seine vier Mitgesellschafter am Bezirksgericht Meilen eine Forderungsklage auf Verpflichtung zur Zahlung von Fr. 40'018.30 bzw. eines nach Massgabe des Beweisergebnisses höheren Betrags sowie von Auslagenersatz im Betrag von Fr. 7'248.15, jeweils nebst Zins anhängig. Zudem verlangte er Fr. 103.-- Zahlungsbefehlskosten vom Beklagten 1 für die gegen diesen erhobene Betreibung sowie Rechtsöffnung in derselben.
B.a. Die Beklagten erhoben eine Schiedseinrede. Anders als das Bezirksgericht und im Rechtsmittelverfahren das Obergericht des Kantons Zürich kam das Bundesgericht mit Urteil 4A_562/2013 vom 30. Juni 2014 zum Schluss, es liege keine Schiedsvereinbarung i.S.v. Art. 61 Ingress ZPO vor. Es wies die Sache an das Obergericht zurück. Dieses setzte am 21. August 2014 die zweitinstanzliche Entscheidgebühr auf Fr. 5'300.-- fest und überliess die Regelungen der Prozesskosten dem Bezirksgericht, dem es die Sache zurückwies.
B.b. Das Verfahren wurde vor Bezirksgericht fortgesetzt.
B.b.a. In der Klageschrift hatte sich der Kläger auf den Standpunkt gestellt, sein Honorar sei baukostenabhängig. In der Klageantwort gingen die Beklagten davon aus, der Kläger sei primär nach Aufwand zu entschädigen. In der Replik präzisierte der Kläger sein Rechtsbegehren dahingehend, dass er auch das nach der Klageeinleitung durch seine erbrachte Bauleitungstätigkeit entstandene Bauleiterhonorar (korrelierend mit den nach diesem Datum erbrachten Baukosten) beanspruche.
B.b.b. Mit Beschluss und Urteil vom 28. Dezember 2018 verpflichtete das Bezirksgericht die Beklagten, dem Kläger Fr. 7'248.15 nebst Zins aus dem Gesellschaftsvermögen zu bezahlen. Im Mehrumfang wies es die Klage ab, soweit es darauf eintrat. Die Gerichtskosten für das Verfahren vor Obergericht (Fr. 5'300.--), für das Schlichtungsverfahren (Fr. 475.--) und für das erstinstanzliche Verfahren (Fr. 7'950.--) auferlegte es dem Ausgang des Verfahrens entsprechend zu 85 % dem Kläger und zu 15 % den Beklagten. Auch die Parteientschädigungen berechnete sie nach dem gleichen Schlüssel und sprach den Beklagten 1 und 2 je Fr. 2'332.25 und den Beklagten 3 und 4 je Fr. 2'159.50 zu, wobei sich die Differenz dadurch erklärt, dass nur die Beklagten 1 und 2 Mehrwertsteuerzuschläge verlangt hatten.
Das Bezirksgericht erwog, es sei unbestritten, dass der Kläger die Bauleitung übernommen und dafür grundsätzlich eine Vergütung zugute habe. Der Nachweis der vom Kläger behaupteten Honorarvereinbarung scheitere indessen bereits am vertraglichen Formvorbehalt in Ziff. X. Abs. 2 des Konsortialvertrages. Aber auch unabhängig vom Formvorbehalt gelinge dem Kläger der Nachweis einer (rechtsgenügenden) baukostenabhängigen Honorarvereinbarung nicht. Das Bezirksgericht prüfte sodann, ob die Klage bei einer Entschädigung des Klägers nach Aufwand gutzuheissen sei. Es verneinte dies mit der Begründung, der Kläger habe es unterlassen, die Notwendigkeit und die Angemessenheit der geltend gemachten gut 2'000 Stunden Arbeit zu substanziieren.
B.c. Auf Berufung und parallele Kostenbeschwerde des Klägers, mit denen er zusätzlich zu dem ihm erstinstanzlich zugesprochenen Betrag Fr. 40'018.30 nebst Zins sowie Fr. 103.-- Zahlungsbefehlskosten verlangte und (auch unabhängig vom Erfolg der Berufung) die Prozesskostenregelung beanstandete, nahm das Obergericht mit Beschluss vom 17. Februar 2020 davon Vormerk, dass der erstinstanzliche Entscheid im Umfang, in dem die Klage gutgeheissen worden war, in Rechtskraft erwachsen sei. Mit Urteil vom gleichen Tag wies es das Begehren um Beseitigung des Rechtsvorschlages und Ersatz der Zahlungsbefehlskosten, auf welches das Bezirksgericht nicht eingetreten war, ab. Im Übrigen wies es die Berufung ab und bestätigte den erstinstanzlichen Entscheid.
Auch das Obergericht kam zum Schluss, mangels Schriftlichkeit könne keine gültige Honorarvereinbarung bestehen. Die Prüfung einer mündlichen oder konkludenten Honorarvereinbarung könne daher unterbleiben. Auch habe das Bezirksgericht keine überhöhten Anforderungen an die Substanziierung bezüglich einer Entschädigung nach Aufwand gestellt. Der Kläger habe es versäumt, den geltend gemachten Aufwand so darzulegen, dass dessen Notwendigkeit und Angemessenheit überprüft werden könne.
C.
Mit Beschwerde in Zivilsachen beantragt der Kläger dem Bundesgericht im Wesentlichen, das Urteil des Obergerichts aufzuheben und die Sache zur weiteren Behandlung der Berufung und eventuell zur Neubeurteilung an dieses zurückzuweisen. Unabhängig vom Ausgang des Beschwerdeverfahrens sei ihm eine Prozessentschädigung von Fr. 5'730.-- zuzusprechen und mit den ihm auferlegten Prozessentschädigungen zu verrechnen. Die zweitinstanzliche Entscheidgebühr nach Beschluss des Obergerichts vom 21. August 2014 in der Höhe von Fr. 5'300.-- sei den Beklagten aufzuerlegen unter Rückzahlung des von ihm geleisteten Prozesskostenvorschusses von Fr. 4'750.--, und es seien die erstinstanzlichen Gebühren je zur Hälfte ihm und den Beklagten aufzuerlegen. Die Beschwerdegegner schliessen auf kostenfällige Abweisung der Beschwerde, soweit darauf einzutreten sei. Das Obergericht hat auf Vernehmlassung verzichtet. Der Beschwerdeführer hat unaufgefordert eine Beschwerdereplik eingereicht.

Erwägungen:
1.
Die Vorinstanz führt in ihrem Urteil als Beklagte 4 die "G._ AG" an, während das Bezirksgericht die "E._ AG" als Beklagte 4 aufgeführt hat und sich die Berufung gegen die "E._ AG" richtete. Das Bezirksgericht hatte festgehalten, der Beschwerdeführer bezeichne in seiner Klage die "H._ AG" als Beklagte 4. Die "H._ AG" sei mit SHAB-Datum vom 28. Juni 2010 in "G._ AG" umfirmiert und ein Teil ihrer Aktiven und Passiven auf die neugegründeten "I._ AG" und "E._ AG" (Beklagte 4) übertragen worden. Die Beklagte 4 habe an der Instruktionsverhandlung vom 28. August 2018 bestätigt, dass die H._ AG aufgespalten worden sei. Rechtsnachfolgerin der " H._ AG " bezüglich des vorliegenden Streitgegenstandes sei die "E._ AG". Entsprechend berichtigte das Bezirksgericht das Rubrum. Weshalb die Vorinstanz im Rubrum anders als das Bezirksgericht die "G._ AG" führt, wird im angefochtenen Entscheid nicht begründet. Im Rubrum vor Bundesgericht ist daher wieder die "E._ AG" aufzunehmen. Bei der Parteibezeichnung der Vorinstanz handelt es sich entweder um ein Versehen oder der angefochtene Entscheid ist in diesem Punkt nicht hinreichend begründet, um eine Kontrolle durch das Bundesgericht zu erlauben (<ref-law>; vgl. zum selben Problem das in einem Parallelverfahren ergangene Urteil des Bundesgerichts 4A_595/2019 vom 18. Februar 2020 E. 1, wobei der Beschwerdeführer dort als Beschwerdegegnerin 4 die "E._ AG" angegeben hatte, während er hier in seiner Beschwerde als Beschwerdegegnerin 4 entsprechend der Vorinstanz die "G._ AG" anführt und erst in seiner Beschwerdereplik auch in diesem Verfahren die "E._ AG" als Beklagte 4 und Berufungsbeklagte 4 angibt).
2.
Die Beschwerdeschrift hat ein Rechtsbegehren zu enthalten (<ref-law>). Da die Beschwerde in Zivilsachen ein reformatorisches Rechtsmittel ist (<ref-law>), darf sich die beschwerdeführende Partei grundsätzlich nicht darauf beschränken, die Aufhebung des angefochtenen Entscheids zu beantragen, sondern muss einen Antrag in der Sache stellen. Sie muss angeben, welche Punkte des Entscheides angefochten und welche Abänderungen beantragt werden. Im Falle von Geldforderungen sind die Anträge zu beziffern (<ref-ruling> E. 1.2 S. 112 mit Hinweis). Grundsätzlich ist ein materieller Antrag erforderlich; Anträge auf Rückweisung der Sache an die Vorinstanz zu neuer Entscheidung oder blosse Aufhebungsanträge genügen nicht und machen die Beschwerde unzulässig. Ein blosser Rückweisungsantrag reicht ausnahmsweise aus, wenn das Bundesgericht im Falle der Gutheissung in der Sache nicht selbst entscheiden könnte, weil die erforderlichen Sachverhaltsfeststellungen der Vorinstanz fehlen (<ref-ruling> E. 1.2 S. 135; <ref-ruling> E. 1.3 S. 383; <ref-ruling> E. 3.1; je mit Hinweisen).
2.1. In der Sache stellt der Beschwerdeführer keinen materiellen Antrag. In der Beschwerdereplik begründet er dies damit, die Vorinstanz sei in der Hauptsache nur auf die Frage des Formvorbehalts eingegangen, so dass bei Gutheissung der Beschwerde das (mündliche beziehungsweise konkludente) vertragliche Fundament geprüft werden müsse.
2.2. Massgebend ist an sich nicht, ob sich für den Fall, dass sich die in der Beschwerde erhobenen Rügen als begründet erweisen sollten, Fragen stellen, zu denen sich die Vorinstanz noch nicht geäussert hat, sondern ob es dem Bundesgericht möglich wäre, die sich diesfalls stellenden Fragen gestützt auf die Feststellungen im angefochtenen Entscheid selbst zu entscheiden. Da im angefochtenen Urteil aber Feststellungen dazu fehlen, ob der geltend gemachte Anspruch nach der vom Beschwerdeführer befürworteten Berechnungsmethode in vollem Umfang ausgewiesen wäre, müsste das Bundesgericht die Sache zur Beurteilung des Quantitativs an die Vorinstanz zurückweisen zur Ergänzung des Sachverhalts. Daher erweist sich das Rückweisungsbegehren im Hauptpunkt als genügend.
3.
Die Beschwerde ist zulässig gegen Entscheide letzter kantonaler Instanzen, des Bundesverwaltungsgerichts und des Bundespatentgerichts (Artz. 75 Abs. 1 BGG). Nicht einzutreten ist auf die Beschwerde, soweit darin der erstinstanzliche Entscheid beanstandet wird. Ausführungen zum erstinstanzlichen Urteil sind nur angebracht, soweit dies zur Begründung einer Rüge gegen den angefochtenen Entscheid der oberen kantonalen Instanz notwendig ist.
4.
Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es prüft aber unter Berücksichtigung der allgemeinen Begründungsanforderungen (Art. 42 Abs. 1 und 2 BGG) grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind. Es ist nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr vorgetragen werden (<ref-ruling> E. 2 S. 88 f., 115 E. 2 S. 116). Unerlässlich ist, dass auf die Begründung des angefochtenen Urteils eingegangen und im Einzelnen dargetan wird, worin eine Verletzung von Bundesrecht liegen soll (<ref-ruling> E. 1.2.2 S. 286; <ref-ruling> E. 2 S. 89, 115 E. 2 S. 116).
4.1. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Dazu gehören sowohl die Feststellungen über den streitgegenständlichen Lebenssachverhalt als auch jene über den Ablauf des vor- und erstinstanzlichen Verfahrens, also die Feststellungen über den Prozesssachverhalt (<ref-ruling> E. 1.3.1 S. 17 f. mit Hinweisen). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 2.3.1 S. 244; <ref-ruling> E. 2 S. 117, 264 E. 2.3 S. 266). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein können (<ref-law>).
4.1.1. Willkürlich ist ein Entscheid nach konstanter Rechtsprechung nicht schon dann, wenn eine andere Lösung ebenfalls vertretbar erscheint oder gar vorzuziehen wäre. Das Bundesgericht hebt einen kantonalen Entscheid wegen Willkür vielmehr nur auf, wenn er offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft. Dabei genügt es nicht, wenn sich nur die Begründung des angefochtenen Entscheides als unhaltbar erweist. Eine Aufhebung rechtfertigt sich nur dann, wenn der Entscheid auch im Ergebnis verfassungswidrig ist (<ref-ruling> E. 4.1 S. 566; <ref-ruling> E. 2.1 S. 18 f.; <ref-ruling> E. 2.1 S. 9).
4.1.2. Eine Sachverhaltsfeststellung bzw. Beweiswürdigung erweist sich als willkürlich, wenn das Gericht Sinn und Tragweite eines Beweismittels offensichtlich verkannt hat, wenn es ohne sachlichen Grund ein wichtiges und entscheidwesentliches Beweismittel unberücksichtigt gelassen oder wenn es auf der Grundlage der festgestellten Tatsachen unhaltbare Schlussfolgerungen gezogen hat. Dass die von Sachgerichten gezogenen Schlüsse nicht mit der eigenen Darstellung der beschwerdeführenden Partei übereinstimmen, belegt keine Willkür (<ref-ruling> E. 2.3 S. 266 mit Hinweisen).
4.2. Für eine Kritik am festgestellten Sachverhalt gilt das strenge Rügeprinzip von <ref-law> (<ref-ruling> E. 2.3 S. 266 mit Hinweisen). Die Partei, welche die Sachverhaltsfeststellung der Vorinstanz anfechten will, muss klar und substanziiert aufzeigen, inwiefern die in E. 4.1 hiervor genannten Voraussetzungen erfüllt sein sollen (<ref-ruling> E. 1.3.1 S. 18 mit Hinweisen). Wenn sie den Sachverhalt ergänzen will, hat sie zudem mit präzisen Aktenhinweisen darzulegen, dass sie entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (<ref-ruling> E. 2 S. 90). Genügt die Kritik diesen Anforderungen nicht, können Vorbringen mit Bezug auf einen Sachverhalt, der vom angefochtenen Entscheid abweicht, nicht berücksichtigt werden (<ref-ruling> E. 1.3.1 S. 18).
4.3. Das Bundesgericht ist keine letzte Appellationsinstanz, die von den Parteien mit vollkommenen Rechtsmitteln angerufen werden könnte. Es genügt nicht, dem Bundesgericht, ohne eine substanziierte Sachverhaltsrüge zu erheben, unter gelegentlichem Hinweis auf die Akten einfach einen über die tatsächlichen Feststellungen im angefochtenen Entscheid hinausgehenden Sachverhalt zu unterbreiten, daraus vom angefochtenen Urteil abweichende Schlüsse zu ziehen und dieses als willkürlich zu bezeichnen. Ein derartiges Vorgehen verkennt die grundsätzliche Bindung des Bundesgerichts an die tatsächlichen Feststellungen im angefochtenen Entscheid (Art. 97 und 105 BGG). Es geht nicht an, in einer Beschwerde in Zivilsachen appellatorische Kritik an der Beweiswürdigung des kantonalen Gerichts zu üben und Ergänzungen bezüglich der tatsächlichen Feststellungen vorzunehmen, als ob dem Bundesgericht im Beschwerdeverfahren die freie Prüfung aller Tatfragen zukäme (<ref-ruling> E. 2.3 S. 266; <ref-ruling> E. 2.8 S. 494; je mit Hinweisen).
5.
Mit Blick auf die dargelegten Begründungsanforderungen erscheint die Beschwerde in formeller Hinsicht über weite Strecken mangelhaft.
5.1. Der Beschwerdeführer fasst seine Argumentation in der Beschwerde im Wesentlichen selbst wie folgt zusammen: Die Parteien hätten ein Baukonsortium gebildet, in dessen Rahmen die Werkverträge und Aufträge an die Konsortianten in ihren jeweiligen Fachgebieten vergeben worden seien (ihm selbst die Bauleitung). Die Vergabe dieser Werkverträge und Aufträge an die Konsortianten sei im Konsortialvertrag vom 17. Januar 2008 bereits fix vereinbart gewesen. Jedoch seien die Vergütungen noch zu bestimmen gewesen. Ziffer X. Abs. 2 des Konsortialvertrages habe vorgesehen, dass die Vergütungen von der Geschäftsführung aufgrund von mittleren Konkurrenzpreisen festzulegen und von der Gesellschafterversammlung zu genehmigen seien. Für ihn sei konkludent eine Vergütung im Sinne eines baukostenabhängigen Honorars gemäss Art. 7.9 der Norm SIA 102 vereinbart worden. Dies habe er in der Klageschrift unter anderem damit begründet, dass seine Zwischenrechnungen diesen Vergütungsmodus aufgewiesen und auf diesem beruht hätten und dass auch mit dem Architekten eine analoge Vergütungsabrede vereinbart gewesen sei. Ferner damit, dass bei einem früheren gemeinsamen Projekt dieselbe Vergütungsabrede gegolten habe und die Genehmigungsmodalitäten gemäss Ziffer X. Abs. 2 des Konsortialvertrages bei keinem der Konsortianten beachtet worden seien, sowie weitere Gründe. Unabhängig davon, welche Rüge der Beschwerdeführer in seiner Beschwerde erhebt, zielt die Begründung letztlich darauf ab, dass aus den dargestellten Umständen zu schliessen sei, die Konsortianten hätten mit Entgegennahme seiner Leistungen unter Verzicht auf allfällige Formvorschriften die von ihm behauptete Vereinbarung geschlossen. Letztlich handelt es sich genau besehen insgesamt um eine appellatorische Kritik daran, dass die kantonalen Instanzen diesem Argumentationsstrang, den er vor Bundesgericht wiederholt, nicht gefolgt sind.
5.2. Sodann kritisiert der Beschwerdeführer über weite Strecken den erstinstanzlichen Entscheid. Da dieser nicht Anfechtungsobjekt ist (vgl. E. 3 hiervor), kommt der Beschwerdeführer damit seinen Begründungsobliegenheiten nicht nach. Wenn er zunächst ausführlich den erstinstanzlichen Entscheid kritisiert, der nicht Anfechtungsobjekt ist, um dann mit Bezug auf den das Anfechtungsobjekt bildenden Entscheid der Vorinstanz auf seine Ausführungen zum erstinstanzlichen Entscheid zu verweisen, spannt er den Wagen vor das Pferd, da auf den erstinstanzlichen Entscheid nur einzugehen ist, wenn sich dies ausnahmsweise zur Begründung einer Rüge gegen den oberinstanzlichen Entscheid als notwendig erweist.
5.3. Soweit der Beschwerdeführer schliesslich über den im angefochtenen Entscheid festgestellten Sachverhalt hinausgeht, erweisen sich viele seiner Sachverhaltsrügen bereits mit Blick auf die dafür erforderlichen präzisen Aktenhinweise als ungenügend.
5.3.1. Es genügt beispielsweise nicht, wenn der Beschwerdeführer ausführt, die insgesamt 169 Seiten umfassenden Rechtsschriften hätten praktisch ausschliesslich die Behauptung beschlagen, es sei eine Vergütungsabrede konkludent zustandegekommen, weshalb die Feststellung der Vorinstanz, der Beschwerdeführer habe im Berufungsverfahren erstmalig einen konkludenten Vertragsschluss behauptet (so dass die Frage ungeprüft bleiben müsse), schlechterdings als " Chabis " bezeichnet werden müsse. Aus diesen Angaben des Beschwerdeführers geht nicht hervor, was er an welchen Orten seiner Rechtsschriften tatsächlich ausgeführt hat und ob er mit diesen Ausführungen in der Tat einen konkludenten Vertragsschluss behauptet hat. Aufgrund der in der Beschwerde enthaltenen Angaben müsste das Bundesgericht die gesamten Rechtsschriften danach durchforsten, ob sie Behauptungen zu einem konkludenten Vertragsschluss enthalten. Dasselbe Problem bestünde, wenn der Beschwerdeführer einfach seine gesamten Ausführungen in die Beschwerdeschrift übernehmen würde. Beides ist nicht der Sinn der Aktenhinweise (vgl. Urteil des Bundesgerichts 4A_709/2011 vom 31. Mai 2012 E. 1.4). Der Beschwerdeführer hätte vielmehr auf die präzisen Aktenstellen verweisen müssen, aus denen sich in seinen Augen ergibt, dass er einen konkludenten Vertragsschluss behauptet hat, und im Rahmen der Beschwerdebegründung kurz darstellen, was er dort ausgeführt hat. Dies würde dem Bundesgericht erlauben, aufgrund der Beschwerdeschrift zu entscheiden, ob mit den dargelegten Vorbringen ein konkludenter Vertragsschluss rechtsgenüglich behauptet wurde. Es müssten nicht die gesamten Rechtsschriften durchforstet werden, sondern es könnte an der angegebenen Aktenstelle geprüft werden, ob tatsächlich die behaupteten Ausführungen gemacht wurden.
5.3.2. Ebenfalls nicht hinreichend begründet ist die Beschwerde, soweit sich der Beschwerdeführer gegen den vorinstanzlichen Vorwurf, gewisse Vorbringen seien neu, zur Wehr setzt, indem er angibt, was er in gewissen Ziffern seiner Berufungseingabe ausgeführt haben will, und dabei die Verweise in der Berufungseingabe auf die erstinstanzlichen Akten zitiert. Denn für die Frage, ob ein Vorbringen im Berufungsverfahren neu ist, sind die Ausführungen im erstinstanzlichen Verfahren selbst massgebend. Diese wären im Einzelnen darzulegen gewesen. Die Aktenhinweise alleine genügen dazu nicht.
5.4. Aber auch davon abgesehen, verfehlt der Beschwerdeführer in tatsächlicher Hinsicht weitestgehend die Begründungsanforderungen.
5.4.1. Der Beschwerdeführer behauptet, die Parteien seien allesamt erfahrene und spezialisierte Baufachleute und hätten den Vertrag im Rahmen ihrer Berufsausübung geschlossen, was notorisch sei. Woraus sich diese Notorietät ergeben sollte, legt er aber nicht dar.
5.4.2. Der Beschwerdeführer bestreitet, dass sich die Beschwerdegegner vor erster Instanz rechtsgenüglich auf einen Formvorbehalt berufen hätten. Er behauptet, sie hätten moniert, der Abschluss von schriftlichen Verträgen sei wesentlich gewesen, da damit Streitigkeiten über Kostenüberschreitungen gegenüber dem Kostenvoranschlag hätten verhindert werden können. Er ist zwar der Ansicht, damit sei nicht behauptet worden, der von ihm angenommene mündliche beziehungsweise konkludent geschlossene Vertrag hätte der Schriftform bedurft, um gültig oder nur schon bewiesen zu sein. Damit äussert er aber allein seine abweichende Auffassung. Er setzt sich nicht damit auseinander, inwieweit mit dem von ihm behaupteten konkludenten Vertragsschluss der in den Augen der Beschwerdegegner auch nach dem Verständnis des Beschwerdeführers wesentliche Punkt einer Streitvermeidung bei einer Kostenüberschreitung hätte erreicht werden können. Insoweit konnte er zweifellos erkennen, dass die Beschwerdegegner einen nicht schriftlichen Vertrag als ungenügend betrachteten.
6.
Insgesamt stellt sich die Frage, ob die Beschwerdebegründung als genügend angesehen werden kann, zumal sich das Bundesgericht die zulässigen Ausführungen zwischen der unzulässigen appellatorischen Kritik, den nicht zu hörenden Beanstandungen des erstinstanzlichen Entscheides und den unzulässigen Sachverhaltsergänzungen zusammensuchen müsste. Die Frage braucht nicht vertieft zu werden, zumal die in der Beschwerde angeführten Umstände ohnehin nicht ausreichen, um auf die vom Beschwerdeführer behauptete Vergütungsvereinbarung zu schliessen, selbst wenn Ziff. X. Abs. 2 des Konsortialvertrages keinen Schriftlichkeitsvorbehalt enthalten sollte:
6.1. Ziel der Vertragsauslegung ist es, in erster Linie den übereinstimmenden wirklichen Willen der Parteien festzustellen (vgl. <ref-law>). Diese subjektive Vertragsauslegung beruht auf Beweiswürdigung, die vorbehältlich der Ausnahmen von Art. 97 und 105 BGG der bundesgerichtlichen Überprüfung entzogen ist (<ref-ruling> E. 5.2.2 S. 98 mit Hinweisen). Steht eine tatsächliche Willensübereinstimmung fest, bleibt für eine Auslegung nach dem Vertrauensgrundsatz kein Raum (<ref-ruling> E. 3.1 S. 632; <ref-ruling> E. 1a S. 73). Erst wenn eine tatsächliche Willensübereinstimmung unbewiesen bleibt, sind zur Ermittlung des mutmasslichen Parteiwillens die Erklärungen der Parteien aufgrund des Vertrauensprinzips so auszulegen, wie sie nach ihrem Wortlaut und Zusammenhang sowie den gesamten Umständen verstanden werden durften und mussten. Das Bundesgericht überprüft diese objektivierte Auslegung von Willenserklärungen als Rechtsfrage, wobei es an Feststellungen des kantonalen Richters über die äusseren Umstände sowie das Wissen und Wollen der Beteiligten grundsätzlich gebunden ist (<ref-law>). Massgebend ist dabei der Zeitpunkt des Vertragsabschlusses. Nachträgliches Parteiverhalten ist bei der Auslegung nach dem Vertrauensprinzip nicht von Bedeutung; es kann höchstens - im Rahmen der Beweiswürdigung - auf einen tatsächlichen Willen der Parteien schliessen lassen (<ref-ruling> E. 5.2.3 S. 99; <ref-ruling> E. 3.1 S. 632).
6.2. Gemäss Ziff. X, Abs. 2 des Konsortialvertrages ist jeder Gesellschafter berechtigt, Arbeiten aus seiner Branche zu mittleren Konkurrenzpreisen zu übernehmen. Damit ist vertraglich bereits festgelegt, welcher Gesellschafter welche Arbeiten zu welchem Preis übernehmen darf. Der Gesellschafter hat Anspruch darauf, dass ihm diese Arbeiten überlassen und zu mittleren Konkurrenzpreisen vergütet werden. Der Rest von Ziff. X. Abs. 2 regelt lediglich die Modalitäten, mit denen gewährleistet wird, dass die konkret vereinbarte Vergütung dem festgesetzten Umfang (mittlere Konkurrenzpreise) tatsächlich entspricht und von allen Beteiligten akzeptiert wird.
6.3. Wollen die Gesellschafter vor Erbringung der Arbeiten Gewissheit über die Höhe der Vergütung haben, haben sie diese nach den vorgesehenen Modalitäten festzusetzen: Die Geschäftsführung hat die mittleren Konkurrenzpreise aus der Offertenstellung des Gesellschafters und drei unabhängigen Unternehmen festzulegen und der Werkvertrag ist der Gesellschafterversammlung zur Genehmigung vorzulegen. Selbst wenn darin kein Schriftlichkeitsvorbehalt zu sehen wäre, macht der Beschwerdeführer nicht geltend, der vorgesehene Ablauf sei bei ihm mündlich oder konkludent eingehalten worden. Er beruft sich darauf, die Genehmigungsmodalitäten nach Ziffer X. Abs. 2 des Konsortialvertrages seien bei keinem der Konsortianten beachtet worden.
6.4. Werden Leistungen erbracht und entgegengenommen, ohne dass die Vergütung vorher festgelegt worden ist, ändert dies nach Treu und Glauben nichts an der Höhe des geschuldeten Entgelts. Die Leistungen sind nach wie vor zu mittleren Konkurrenzpreisen zu vergüten - nur ist noch nicht abschliessend festgesetzt, wie hoch die mittleren Konkurrenzpreise sind und die Entschädigung demgemäss ausfallen wird. Allein aus der Tatsache, dass auf eine vorgängige Festsetzung verzichtet wurde, konnte der Beschwerdeführer nach Treu und Glauben nicht ableiten, es stehe nunmehr ihm zu, die Art der Abrechnung festzusetzen. Daraus, dass seine Zwischenabrechnungen auf einer bestimmten Vergütungsmethode beruhten und bezahlt wurden, kann er nichts Entscheidendes ableiten. Wie der Begriff der Zwischenabrechnung deutlich macht, wird damit die Endabrechnung vorbehalten. Diese ist es, die der getroffenen Vereinbarung (mittlere Konkurrenzpreise) zu entsprechen hat. Es ist den Vertragspartnern nicht zuzumuten, diese Frage der Angemessenheit der vorgeschlagenen Abrechnung anhand von Zwischenabrechnungen zu beurteilen. Hätte der Beschwerdeführer Gewissheit über die Höhe der Entschädigung haben wollen, hätte er sich um eine vorgängige Festsetzung gemäss der getroffenen Vereinbarung bemühen müssen. Sonst riskiert er, im Streitfall die Höhe der Schlussabrechnung rechtfertigen zu müssen, indem er darlegt, dass sie mittleren Konkurrenzpreisen entspricht.
6.5. Daraus, dass die von ihm gewünschte Abrechnung im Rahmen anderer Projekte oder für die Leistungen des Architekten akzeptiert wurde, kann er nicht ableiten, es stehe ihm in jedem Fall zu, nach dieser Methode abzurechnen. Es wäre durchaus denkbar, dass die Abrechnungsmethode für gewisse Projekte und gewisse Leistungen mittleren Konkurrenzpreisen entspricht und für andere Projekte oder Leistungen nicht. Zudem steht es den Gesellschaftern frei, die Vertragsmässigkeit gewisser Rechnungen, von denen sie selbst annehmen sie seien vereinbarungsgemäss, ohne Einhaltung der an sich vorgesehenen Formalitäten zu akzeptieren, ohne dass sie dadurch des Rechts verlustig gingen, die Rechtmässigkeit anderer Rechnungen zu bestreiten, selbst wenn sie nach derselben Methode abgerechnet wurden. Denn dieselbe Methode kann sich für den Leistungserbringer je nach dem in Frage stehenden Objekt als vorteilhafter oder weniger vorteilhaft erweisen und je nachdem im Einklang mit mittleren Konkurrenzpreisen stehen oder nicht. Wie es sich damit verhält, ist im Einzelfall zu prüfen.
6.6. Aus den von ihm vorgebrachten Umständen durfte der Beschwerdeführer nicht auf die Genehmigung der von ihm gewünschten Abrechnungsmethode schliessen. Konnte er sich mit seinen Partnern in Bezug auf die Endabrechnung nicht auf die Abrechnungsmethode einigen, hätte er vielmehr substanziiert darlegen müssen, dass der geforderte Gesamtbetrag mittleren Konkurrenzpreisen entspricht. Diesfalls hätte das Konsortium, das seine Leistungen entgegengenommen hat, die Gegenleistung nach Treu und Glauben nicht verweigern dürfen. Dass er dies im kantonalen Verfahren prozesskonform getan hätte, ist nicht festgestellt und zeigt er nicht rechtsgenüglich auf. Damit ist die Abweisung des Hauptbegehrens nicht zu beanstanden.
7.
Unabhängig von der geltend gemachten Forderung bemängelt der Beschwerdeführer schliesslich die Kostenverteilung bezüglich des früheren Rechtsmittelverfahrens betreffend die Zuständigkeit. Wie bereits dargelegt (vgl. Sachverhalt B.a hiervor) setzte die Vorinstanz am 21. August 2014 die zweitinstanzliche Entscheidgebühr auf Fr. 5'300.-- fest und überliess die Regelungen der Prozesskosten dem Bezi rksgericht. Das Gericht entscheidet über die Prozesskosten in der Regel im Endentscheid (<ref-law>). In einem Rückweisungsentscheid kann die obere Instanz die Verteilung der Prozesskosten des Rechtsmittelverfahrens der Vorinstanz überlassen (<ref-law>). Dies hat die Vorinstanz hier getan.
7.1. Der Beschwerdeführer ist der Auffassung, <ref-law> gehe davon aus, die Kosten von Rückweisungsentscheiden seien grundsätzlich nach dem Unterliegensprinzip im Rückweisungsentscheid selber zu verlegen. Weil dies im Rahmen des noch ungewissen Ausgangs des weiteren Verfahrens aber unbillig sein könnte, werde eine Kompetenz der unteren Instanz statuiert, vom Unterliegensprinzip abzuweichen. Mitnichten dürfe sich die untere Instanz ohne weitere Begründ ung darauf beschränken, die Kosten des Rückweisungsentscheides einfach dem im Endentscheid Unterliegenden gemäss dem Unterliegerprinzip aufzuerlegen. Wenn dieser im Rückweisungsentscheid obsiege, wäre wenn überhaupt, nachvollziehbar zu erläutern, warum es sich ausnahmsweise rechtfertige, ihm auch die Kosten des Rückweisungsentscheids aufzuerlegen.
7.2. Der Beschwerdeführer geht in seiner Argumentation von falschen Voraussetzungen aus: Die Sonderregelung von <ref-law> berücksichtigt, dass im Falle der Rückweisung der Sache unter Umständen völlig offen ist, welche Partei am Schluss obsiegen wird, weshalb es Sinn macht, dass die Erstinstanz im neuen Entscheid auch die Prozesskosten des Rechtsmittelverfahrens verteilt, das zur Rückweisung geführt hat. Dabei berücksichtigt sie den Prozessausgang in der Sache und nicht denjenigen im Rechtsmittelverfahren. Bezogen auf jenes Rechtsmittelverfahren wird das Unterliegerprinzip (vgl. <ref-law>) mithin relativiert: Es ist nicht massgebend, welche Partei mit ihren Rechtsmittelanträgen, sondern welche Partei später mit ihren ursprünglichen Begehren in der Sache obsiegt (Urteile des Bundesgerichts 5A_327/2016 vom 1. Mai 2017 E. 3.3.2, nicht publ. in: <ref-ruling>; 4A_364/2013, 4A_394/2013 und 4A_396/2013 vom 5. März 2014 E. 15.4; vgl. auch Urteil 5A_517/2015 vom 7. Dezember 2015 E. 3). Vor diesem Hintergrund erweisen sich die Rügen des Beschwerdeführers als unbegründet.
8.
Damit ist die Beschwerde abzuweisen, soweit darauf einzutreten ist. Mit Blick auf die Unklarheiten im Rubrum ist der angefochtene Entscheid dennoch aufzuheben, um der Vorinstanz Gelegenheit zu geben, ein allfälliges Versehen in Bezug auf die Bezeichnung der Beschwerdegegnerin 4 zu korrigieren, oder aber hinreichend zu begründen, warum die Parteibezeichnung vom erstinstanzlichen Entscheid abweicht. Dem Ausgang des Verfahrens entsprechend wird der Beschwerdeführer kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und Art. 68 Abs. 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Der angefochtene Entscheid wird aufgehoben, und die Sache wird an die Vorinstanz zurückgewiesen zur Korrektur oder zur hinreichenden Begründung des Entscheides in Bezug auf die Parteibezeichnung der Beschwerdegegnerin 4.
3.
Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
4.
Der Beschwerdeführer hat die Beschwerdegegner für das bundesgerichtliche Verfahren mit insgesamt Fr. 2'500.-- zu entschädigen.
5.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, I. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 28. August 2020
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Der Gerichtsschreiber: Luczak