Sachverhalt: A. A.a. Mit Vereinbarung vom 17. Dezember 2007 ("Konsortialvertrag") schlossen sich B._ AG, A._, Bauleiter, das Ingenieurbüro C._, die D._ AG sowie die E._ AG zu einem Konsortium zusammen. Dieses bezweckt, als einfache Gesellschaft i.S.v. Art. 530 ff. OR mit dem Namen "Konsortium F._" Bauland in der Gemeinde V._ zu kaufen, zu überbauen und im Stockwerkeigentum gewinnbringend zu veräussern. A.b. Die letzte Seite des Konsortialvertrags enthält unter der Überschrift "Ziffer XI Schlussbestimmungen" eine Klausel mit folgendem Wortlaut: "Für den vorliegenden Vertrag ist ausschliesslich schweizerisches Recht anwendbar. Gerichtsstand ist Meilen. Streitigkeiten unter den Gesellschaftern über den vorliegenden Vertrag wie auch über Werkverträge, die das Konsortium mit den Gesellschaftern abschliesst, werden nach Möglichkeit unter Ausschluss der ordentlichen Gerichte durch ein Schiedsgericht erledigt. Die Parteien, unter denen Meinungsverschiedenheit besteht, sollen sich in der Monatsfrist auf einen Einzelschiedsrichter oder ein Schiedsgericht einigen. Erst wenn eine solche Einigung nicht möglich oder der Entscheid des Schiedsgerichts nicht akzeptiert wird, kann das zuständige Gericht angerufen werden." B. B.a. Mit Klagebewilligung des Friedensrichteramtes Meilen vom 26. Juni 2012 und Klageschrift vom 27. Juli 2012 machte A._ gegen seine vier Mitgesellschafter eine Forderungsklage auf Verurteilung zur Zahlung von Fr. 112'123.90 bzw. von einem nach Massgabe des Beweisergebnisses höheren Betrag sowie ein Gesuch um Anordnung vorsorglicher Massnahmen betreffend die Liquidation des Baukonsortiums am Bezirksgericht Meilen anhängig. Mit Eingabe vom 28. September 2012 erhoben die Beklagten die Schiedseinrede. Mit Eingabe vom 29. Oktober 2012 zog der Kläger das Gesuch um Anordnung vorsorglicher Massnahmen zurück. Mit Zirkulationsbeschluss vom 21. Mai 2013 trat das Bezirksgericht Meilen auf die Klage nicht ein. Das Bezirksgericht Meilen befand, dass Ziffer XI des Konsortialvertrages eine gültige Schiedsklausel enthalte, in welcher der klare Wille der Parteien zum Ausdruck komme, über Streitigkeiten unter den Gesellschaftern über den Konsortialvertrag oder über Werkverträge, welche das Konsortium mit den Gesellschaftern abschliesst, ein Schiedsgericht entscheiden zu lassen. B.b. Gegen diesen Entscheid erhob der Kläger am 14. Juni 2013 Berufung an das Obergericht des Kantons Zürich. Mit Urteil vom 9. Oktober 2013 wies das Obergericht die Berufung ab. C. Mit Beschwerde in Zivilsachen vom 11. November 2013 beantragt der Kläger dem Bundesgericht, es seien das obergerichtliche Urteil sowie der erstinstanzliche Nichteintretensbeschluss aufzuheben; die von den Beklagten erhobene Schiedseinrede sei abzuweisen und die Sache sei zur weiteren Behandlung an das Bezirksgericht Meilen zurückzuweisen. Die Gerichtskosten des Beschwerdeverfahrens und der beiden kantonalen Verfahren seien den Beschwerdegegnern aufzuerlegen, und es sei dem Beschwerdeführer zulasten der Beschwerdegegner eine Parteientschädigung für das bundesgerichtliche Verfahren sowie für die beiden kantonalen Verfahren zuzusprechen. Die Beschwerdegegner beantragen in ihrer Vernehmlassung die Abweisung der Beschwerde, soweit Eintreten. Die Vorinstanz hat auf Vernehmlassung verzichtet. Der Beschwerdeführer reichte eine Replik ein.