Sachverhalt:
A.
A.a. Mit Vereinbarung vom 17. Dezember 2007 ("Konsortialvertrag") schlossen sich B._ AG, A._, Bauleiter, das Ingenieurbüro C._, die D._ AG sowie die E._ AG zu einem Konsortium zusammen. Dieses bezweckt, als einfache Gesellschaft i.S.v. <ref-law> mit dem Namen "Konsortium F._" Bauland in der Gemeinde V._ zu kaufen, zu überbauen und im Stockwerkeigentum gewinnbringend zu veräussern.
A.b. Die letzte Seite des Konsortialvertrags enthält unter der Überschrift "Ziffer XI Schlussbestimmungen" eine Klausel mit folgendem Wortlaut:
"Für den vorliegenden Vertrag ist ausschliesslich schweizerisches Recht anwendbar. Gerichtsstand ist Meilen.
Streitigkeiten unter den Gesellschaftern über den vorliegenden Vertrag wie auch über Werkverträge, die das Konsortium mit den Gesellschaftern abschliesst, werden nach Möglichkeit unter Ausschluss der ordentlichen Gerichte durch ein Schiedsgericht erledigt. Die Parteien, unter denen Meinungsverschiedenheit besteht, sollen sich in der Monatsfrist auf einen Einzelschiedsrichter oder ein Schiedsgericht einigen. Erst wenn eine solche Einigung nicht möglich oder der Entscheid des Schiedsgerichts nicht akzeptiert wird, kann das zuständige Gericht angerufen werden."
B.
B.a. Mit Klagebewilligung des Friedensrichteramtes Meilen vom 26. Juni 2012 und Klageschrift vom 27. Juli 2012 machte A._ gegen seine vier Mitgesellschafter eine Forderungsklage auf Verurteilung zur Zahlung von Fr. 112'123.90 bzw. von einem nach Massgabe des Beweisergebnisses höheren Betrag sowie ein Gesuch um Anordnung vorsorglicher Massnahmen betreffend die Liquidation des Baukonsortiums am Bezirksgericht Meilen anhängig.
Mit Eingabe vom 28. September 2012 erhoben die Beklagten die Schiedseinrede.
Mit Eingabe vom 29. Oktober 2012 zog der Kläger das Gesuch um Anordnung vorsorglicher Massnahmen zurück.
Mit Zirkulationsbeschluss vom 21. Mai 2013 trat das Bezirksgericht Meilen auf die Klage nicht ein.
Das Bezirksgericht Meilen befand, dass Ziffer XI des Konsortialvertrages eine gültige Schiedsklausel enthalte, in welcher der klare Wille der Parteien zum Ausdruck komme, über Streitigkeiten unter den Gesellschaftern über den Konsortialvertrag oder über Werkverträge, welche das Konsortium mit den Gesellschaftern abschliesst, ein Schiedsgericht entscheiden zu lassen.
B.b. Gegen diesen Entscheid erhob der Kläger am 14. Juni 2013 Berufung an das Obergericht des Kantons Zürich.
Mit Urteil vom 9. Oktober 2013 wies das Obergericht die Berufung ab.
C.
Mit Beschwerde in Zivilsachen vom 11. November 2013 beantragt der Kläger dem Bundesgericht, es seien das obergerichtliche Urteil sowie der erstinstanzliche Nichteintretensbeschluss aufzuheben; die von den Beklagten erhobene Schiedseinrede sei abzuweisen und die Sache sei zur weiteren Behandlung an das Bezirksgericht Meilen zurückzuweisen. Die Gerichtskosten des Beschwerdeverfahrens und der beiden kantonalen Verfahren seien den Beschwerdegegnern aufzuerlegen, und es sei dem Beschwerdeführer zulasten der Beschwerdegegner eine Parteientschädigung für das bundesgerichtliche Verfahren sowie für die beiden kantonalen Verfahren zuzusprechen.
Die Beschwerdegegner beantragen in ihrer Vernehmlassung die Abweisung der Beschwerde, soweit Eintreten. Die Vorinstanz hat auf Vernehmlassung verzichtet.
Der Beschwerdeführer reichte eine Replik ein.

Erwägungen:
1.
Das Bundesgericht prüft von Amtes wegen und mit freier Kognition, ob ein Rechtsmittel zulässig ist (<ref-ruling> E. 1 m.w.H.).
1.1. Soweit der Beschwerdeführer die Aufhebung des erstinstanzlichen Entscheids verlangt, ist auf die Beschwerde nicht einzutreten, da es sich dabei nicht um einen kantonal letztinstanzlichen Rechtsmittelentscheid eines oberen kantonalen Gerichts handelt (<ref-law>).
1.2. Soweit der Beschwerdeführer demgegenüber die Aufhebung des obergerichtlichen Urteils verlangt, richtet sich die Beschwerde gegen einen verfahrensabschliessenden Rechtsmittelentscheid eines oberen kantonalen Gerichts (<ref-law> i.V.m. <ref-law>). Sie ist innert der Beschwerdefrist (<ref-law>) von der mit ihren Rechtsbegehren unterlegenen Partei (<ref-law>) eingereicht worden und bei der Streitsache handelt es sich um eine Zivilsache (<ref-law>) mit einem Streitwert von über Fr. 30'000.-- (<ref-law>).
2.
Zwischen den Parteien ist strittig, ob der Konsortialvertrag vom 17. Dezember 2007 eine Schiedsklausel enthält.
2.1. Beide Parteien hatten beim Abschluss des Konsortialvertrags ihren Sitz in der Schweiz, womit vorliegend die Regeln über die interne Schiedsgerichtsbarkeit zur Anwendung gelangen (<ref-law> i.V.m. <ref-law>). Der Vertrag datiert aus der Zeit vor Inkrafttreten der ZPO am 1. Januar 2011. Gemäss <ref-law> beurteilt sich im Binnenverhältnis die Gültigkeit von Schiedsvereinbarungen, die vor Inkrafttreten des Gesetzes geschlossen wurden, nach dem für sie günstigeren Recht. Sowohl die Vorinstanz wie auch das Bezirksgericht gingen unangefochten und zutreffend davon aus, dass die formellen Anforderungen der ZPO an eine Schiedsvereinbarung gegenüber denjenigen des früheren kantonalen Rechts günstiger sind, und prüften dementsprechend das Vorliegen einer Schiedsvereinbarung und deren Auswirkung auf die Zuständigkeit der staatlichen Gerichte nach Massgabe der ZPO.
2.2.
2.2.1. Die Auswirkung einer internen Schiedsvereinbarung auf die Zuständigkeit der staatlichen Gerichte ist in <ref-law> geregelt. Danach lehnt das angerufene staatliche Gericht seine Zuständigkeit ab, wenn die Parteien über eine schiedsfähige Streitsache eine Schiedsvereinbarung getroffen haben (Art. 61 Ingress), es sei denn, die beklagte Partei habe sich vorbehaltlos auf das Verfahren eingelassen (lit. a), das Gericht stelle fest, dass die Schiedsvereinbarung offensichtlich ungültig oder nicht erfüllbar sei (lit. b), oder das Schiedsgericht könne nicht bestellt werden aus Gründen, für welche die im Schiedsverfahren beklagte Partei offensichtlich einzustehen hat (lit. c).
2.2.2. Unter einer Schiedsvereinbarung ist eine Übereinkunft zu verstehen, mit der sich zwei oder mehrere bestimmte oder bestimmbare Parteien einigen, eine oder mehrere, bestehende oder künftige Streitigkeiten verbindlich unter Ausschluss der ursprünglichen staatlichen Gerichtsbarkeit einem Schiedsgericht nach Massgabe einer unmittelbar oder mittelbar bestimmten rechtlichen Ordnung zu unterstellen (<ref-ruling> E. 3.1 S. 138; <ref-ruling> E. 3.1 S. 70). Entscheidend ist, dass der Wille der Parteien zum Ausdruck kommt, über bestimmte Streitigkeiten ein privates Schiedsgericht unter Ausschluss der staatlichen Gerichtsbarkeit verbindlich entscheiden zu lassen (<ref-ruling> E. 3.1 S. 138; <ref-ruling> E. 2.2.3 S. 35; <ref-ruling> E. 2.3 S. 679 f.). Dabei muss sich der Wille, auf die staatlichen Gerichte zu verzichten, nach bundesgerichtlicher Rechtsprechung klar und unzweideutig aus der Parteivereinbarung ergeben (vgl. <ref-ruling> E. 3.2 S. 138; <ref-ruling> E. 2.3.1 S. 36 f.; <ref-ruling> E. 2.3 S. 680 f.; <ref-ruling> S. 58 E. 2c/aa).
2.2.3. Gemäss Art. 61 Ingress ZPO lehnt das staatliche Gericht seine Zuständigkeit nur dann ab, wenn die Parteien eine Schiedsvereinbarung abgeschlossen haben und diese sich auf eine schiedsfähige Streitsache bezieht. Diese in Art. 61 Ingress ZPO genannten Elemente sind in einem ersten Schritt mit voller Kognition zu prüfen (vgl. in diesem Sinne TANJA DOMEJ, in: ZPO, Oberhammer et al. [Hrsg.], 2. Aufl. 2013, N. 3 zu <ref-law>; Christoph Hurni, in: Berner Kommentar, 2012, N. 7 zu <ref-law>). Erst wenn eine Schiedsvereinbarung über einen schiedsfähigen Streitgegenstand i.S. von Art. 61 Ingress ZPO vorliegt, ist in einem zweiten Schritt nach <ref-law> zu prüfen, ob die Schiedsvereinbarung offensichtlich ungültig oder nicht erfüllbar ist. Dieser Wortlaut lehnt sich an jenen von <ref-law> an, wobei diese Bestimmung im Unterschied zu <ref-law> das Wort "offensichtlich" nicht enthält. Mit dem Kriterium der Offensichtlichkeit in <ref-law> wollte der Gesetzgeber die bundesgerichtliche Rechtsprechung zu <ref-law> kodifizieren, wonach das staatliche Gericht die Schiedsvereinbarung mit einer bloss summarischen Prüfung auf eine Hinfälligkeit, Unwirksamkeit oder Unerfüllbarkeit hin überprüfen soll (<ref-ruling> E. 3.2. S. 685 m.H.). Die summarische Prüfung nach <ref-law> bezieht sich namentlich auf die inhaltliche Tragweite der Schiedsvereinbarung (<ref-ruling> E. 3.2 S. 686) sowie auf pathologische Schiedsvereinbarungen, d.h. solche, aus denen zwar die verbindliche Unterstellung einer Streitentscheidung unter ein privates Schiedsgericht hervorgeht, die aber Bestimmungen enthalten, die unvollständig, unklar oder widersprüchlich sind (BGE <ref-ruling> E. 2.2.3 S. 35 m.H.).
3.
Der Beschwerdeführer rügt eine rechtsfehlerhafte Vertragsauslegung durch die Vorinstanz in Verletzung von Art. 1 und 18 OR und <ref-law> sowie eine Verletzung von <ref-law>. Er moniert, dass beide Absätze des Textes von Ziffer XI des Konsortialvertrages auszulegen seien, und bemängelt, die Vorinstanz habe der Verwendung des Wortes "Schiedsgericht " im fraglichen Text zu Unrecht bereits entscheidendes Gewicht beigemessen.
3.1. Eine Schiedsvereinbarung entsteht durch übereinstimmende gegenseitige Willensäusserung der Parteien (<ref-law>). Massgebend ist in erster Linie der übereinstimmende tatsächliche Wille der Parteien (<ref-ruling> E. 3.2 S. 138; <ref-ruling> E. 3.2 S. 71 mit Hinweisen). Kann ein solcher nicht festgestellt werden, sind die Willensäusserungen nach dem Vertrauensprinzip auszulegen, d.h. der mutmassliche Parteiwille ist so zu ermitteln, wie er vom jeweiligen Erklärungsempfänger nach den gesamten Umständen nach Treu und Glauben verstanden werden durfte und musste (<ref-ruling> E. 3.2 S. 138; <ref-ruling> E. 2.2.3; <ref-ruling> E. 5.2 S. 302; <ref-ruling> E. 3.2 S. 71; <ref-ruling> E. 2.3 S. 680). Dabei hat sich das Gericht an die von den Parteien im Hinblick auf die Erfüllung der Textformerfordernis (<ref-law>) verwendeten Formulierungen zu halten.
3.2. Die Vorinstanz stellte fest, dass die Parteien in Bezug auf den Text von Ziffer XI Abs. 2 des Konsortialvertrages einen übereinstimmenden tatsächlichen Willen ausdrücklich nicht behauptet hatten, und nahm daher zutreffend eine objektivierte Auslegung der Klausel nach dem Vertrauensprinzip vor. Sie hob zunächst den Gebrauch der Wörter "Schiedsgericht" und "Einzelschiedsrichter" hervor und schloss daraus, dass diese nach Treu und Glauben nicht anders verstanden werden könnten, als dass die Zuständigkeit eines Schiedsgerichts anstatt eines staatlichen Gerichts vereinbart worden sei. Die Vorinstanz hielt die Wendung "nach Möglichkeit" nicht für eine Relativierung dieses Schiedswillens, sondern für einen Vorbehalt der Möglichkeit einer Beschwerde nach <ref-law>. Sie fasste den Passus, wonach bei Nichteinigung auf einen Einzelschiedsrichter oder ein Schiedsgericht sowie bei Nichtakzeptanz eines schiedsrichterlichen Entscheids das zuständige Gericht angerufen werden könne, ebensowenig als Abschwächung eines Schiedswillens auf, sondern deutete ihn "im Gesamtzusammenhang" als Hinweis auf die Möglichkeit der Bestellung des Schiedsgerichtes durch ein staatliches Gericht gestützt auf <ref-law>.
3.3.
3.3.1. Die fragliche Klausel in Ziffer XI des Konsortialvertrages enthält zunächst eine Rechtswahl ("Für den vorliegenden Vertrag ist ausschliesslich schweizerisches Recht anwendbar"). Weiter enthält sie eine Gerichtsstandsklausel ("Gerichtsstand ist Meilen"), welche eindeutig und unbedingt ist. Danach wird bestimmt, "nach Möglichkeit" sollten Streitigkeiten unter Ausschluss der ordentlichen Gerichte durch ein Schiedsgericht erledigt werden. Zu diesem Zweck sollen sich die Parteien bei Meinungsverschiedenheiten "innert Monatsfrist auf einen Einzelschiedsrichter oder ein Schiedsgericht" einigen. Erst wenn eine "solche Einigung nicht möglich oder der Entscheid des Schiedsgerichts nicht akzeptiert" werde, könne "das zuständige Gericht angerufen werden".
3.3.2. Es ergibt sich bereits aus dem Wortlaut, dass die Parteien damit (noch) keine Schiedsvereinbarung abgeschlossen haben, sondern lediglich "nach Möglichkeit" versuchen wollen, einen Einzelschiedsrichter oder ein nicht näher definiertes Schiedsgericht einzusetzen. Die Parteien wollen also versuchen, bei Meinungsverschiedenheiten eine konkrete Schiedsvereinbarung überhaupt erst abzuschliessen. Selbst wenn sie mit dem zweiten Halbsatz ("oder der Entscheid des Schiedsgerichts nicht akzeptiert wird") den Fall eines Rechtsmittels an die staatlichen Gerichte regeln wollten, haben sie mit dem ersten Halbsatz ins Auge gefasst, dass eine einvernehmliche Bestellung des grundsätzlich bevorzugten - aber noch nicht vereinbarten - Schiedsgerichts nicht möglich sein könnte, und für diesen Fall die Anrufung des zuständigen (staatlichen) Gerichts ausdrücklich vorbehalten. Sie haben dabei entgegen der Ansicht der Vorinstanz und der Beschwerdegegner nicht erklärt, das staatliche Gericht solle ein Schiedsgericht bestellen, sondern sie haben erklärt, es könne das staatliche Gericht angerufen werden.
3.3.3. Die Vorinstanz hat folglich den Text in Ziffer XI Abs. 2 des Konsortialvertrages vertrauenstheoretisch falsch ausgelegt, wenn sie darin bereits einen Konsens über den Verzicht auf die staatliche und die Einsetzung einer privaten Gerichtsbarkeit sah. Es fehlt an einer klaren und unzweideutigen Willenserklärung der Parteien, Streitigkeiten aus ihrem Konsortialvertrag unter Ausschluss der staatlichen Gerichtsbarkeit einer verbindlichen Beurteilung durch ein Schiedsgericht zu unterstellen. Damit liegt keine Schiedsvereinbarung i.S.v. Art. 61 Ingress ZPO vor; eine summarische Prüfung der Klausel unter dem Aspekt von <ref-law> erübrigt sich.
4.
Die Beschwerde erweist sich als begründet. Der angefochtene Entscheid ist aufzuheben und die Sache an die Vorinstanz zu neuer Entscheidung zurückzuweisen.
Diesem Ausgang des Verfahrens entsprechend werden die Beschwerdegegner kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und Art. 68 Abs. 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen, der angefochtene Entscheid des Obergerichts wird aufgehoben und die Sache an die Vorinstanz zu neuer Entscheidung zurückgewiesen.
2.
Die Gerichtskosten von Fr. 5'000.-- werden den Beschwerdegegnern auferlegt (unter solidarischer Haftbarkeit und intern zu gleichen Teilen).
3.
Die Beschwerdegegner haben den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 6'000.-- zu entschädigen (unter solidarischer Haftbarkeit und intern zu gleichen Teilen).
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, I. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 30. Juni 2014
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Der Gerichtsschreiber: Hurni