Sachverhalt:
A. A.a Mit Partnerschaftsvertrag vom 19. Dezember 1995 schlossen sich A._ (Beschwerdeführer), B._ (Beschwerdegegner 1), C._ (Beschwerdegegner 2), D._ (Beschwerdegegner 3) sowie weitere Personen mit Wirkung ab 1. April 1996 zur Anwaltskanzlei C. A._ & Partner zusammen. Am 30. Juni 2000 verliess der Beschwerdeführer die Partnerschaft. In der Folge entzündete sich zwischen den Parteien ein Streit über die finanziellen Folgen der Auflösung der Partnerschaft.
A.b Ziff. 18 des Partnerschaftsvertrages enthält eine Schiedsklausel mit folgendem Wortlaut:
"18. Schiedsabrede
Alle sich aus diesem Partnerschaftsvertrag ergebenden Streitigkeiten werden von einem durch den Präsidenten des Standesgerichts des Vereins Zürcherischer Rechtsanwälte ernannten Schiedsrichter endgültig entschieden. Das Schiedsgericht hat seinen Sitz in Zürich. Das Verfahren richtet sich nach der Zivilprozessordnung des Kantons Zürich."
Gestützt darauf ersuchte der Beschwerdeführer mit Schreiben vom 16. Juli 2001 den Präsidenten des Standesgerichts um Ernennung eines Schiedsrichters. Das Schreiben trägt die Überschrift "Streitfall betr. Auflösung der ehemaligen Partnerschaft [...]" und enthält im Text folgende Begründung:
"Seit Auflösung der Partnerschaft (30.06.2000) habe ich alles vernünftige unternommen, um eine friedliche Lösung für die finanziellen Folgen der Partnerschaftsauflösung zu finden. Alle meine Bemühungen sind leider gescheitert."
Mit Verfügung vom 13. September 2001 setzte der vom Präsidenten des Standesgerichts ernannte Einzelschiedsrichter den Parteien Frist zur Leistung eines Vorschusses von je Fr. 25'000.-- unter der Androhung, dass er bei Nichtzahlung seine Unzuständigkeit erklären würde bzw. dass bei Zahlung nur durch eine Partei dieser die Möglichkeiten von Art. 30 Abs. 2 des Konkordats über die Schiedsgerichtsbarkeit vom 27. März 1969 eingeräumt würden.
Mit Verfügung vom 7. November 2001 stellte der Einzelschiedsrichter fest, dass das Schiedsgericht unzuständig sei. Zur Begründung führte er aus, dass der Beschwerdeführer die Frist zur Leistung des Vorschusses unbenutzt habe verstreichen lassen und die Beschwerdegegner innert Frist geantwortet hätten, der Vorschuss werde nicht bezahlt, da er in keinem Verhältnis zum strittigen Betrag stehe; da der Einzelschiedsrichter noch keine Kenntnis über den strittigen Betrag habe und beide Parteien innert Frist keinen Vorschuss bezahlt hätten, sei androhungsgemäss die Unzuständigkeit des Schiedsgerichts festzustellen, da sinngemäss auf Anrufung des Schiedsgerichts verzichtet werde. Diese Verfügung blieb unangefochten.
B. B.a Mit Klage vom 9. April 2008 beantragte der Beschwerdeführer dem Bezirksgericht Meilen, es seien die Beschwerdegegner zu verurteilen, dem Beschwerdeführer "für die Zeit vom 1. April 1996 bis 31. Dezember 2000 eine vollständige unverfälschte Buchhaltung der Kanzlei C. A._ & Partner unter Einbezug von auf Privatkonti abdisponierten Honorareinnahmen und Honorarforderungen vorzulegen" sowie eine "nach Vorliegen der unverfälschten Buchhaltung noch zu beziffernde Summe, resultierend aus dem Ausscheiden des Klägers aus der seinerzeitigen Anwaltssozietät C. A._ & Partner per 21. Dezember 2000 zu bezahlen".
Mit Beschluss vom 12. Januar 2009 trat das Bezirksgericht nicht auf die Klage ein und auferlegte dem Beschwerdeführer die Gerichts- und Parteikosten. Zur Begründung führte das Bezirksgericht aus, dass die Beschwerdegegner rechtzeitig die Einrede der Schiedsvereinbarung erhoben hätten. An die im Partnerschaftsvertrag vom 19. Dezember 1995 enthaltene Schiedsklausel seien die Parteien nach wie vor gebunden, da die Parteien die Schiedsabrede weder konkludent aufgehoben, noch gemäss Art. 30 Abs. 2 KSG darauf verzichtet hätten. Damit entfalle die Zuständigkeit der staatlichen Gerichte.
B.b Dagegen legte der Beschwerdeführer beim Obergericht des Kantons Zürich Rekurs ein. Mit Beschluss vom 28. Mai 2009 hiess das Obergericht den Rekurs hinsichtlich der Höhe der vom Beschwerdeführer an die Beschwerdegegner zu leistende Prozessentschädigung teilweise gut und bestätigte im Übrigen den angefochtenen Beschluss des Bezirksgerichts.
Das Obergericht kam wie das Bezirksgericht zum Schluss, dass die im Partnerschaftsvertrag enthaltene Schiedsklausel der Zuständigkeit des Bezirksgerichts entgegenstehe. Die Parteien hätten mit der Nichtleistung des Kostenvorschusses zwar auf das vom Beschwerdeführer im Jahr 2001 eingeleitete Schiedsverfahren verzichtet, nicht aber auf die Schiedsvereinbarung schlechthin. Eine rechtsgeschäftliche Aufhebung der Schiedsabrede habe nicht stattgefunden. Mit der beim Bezirksgericht eingereichten Klage werde zudem nicht die gleiche Streitsache geltend gemacht wie im Schiedsverfahren im Jahr 2001, weshalb die Schiedsklausel diesbezüglich nach wie vor bindend sei.
B.c Mit Zirkulationsbeschluss vom 3. September 2010 trat das Kassationsgericht auf die vom Beschwerdeführer gegen den Beschluss des Obergerichts eingereichte Nichtigkeitsbeschwerde nicht ein.
C. Mit Beschwerde in Zivilsachen beantragt der Beschwerdeführer dem Bundesgericht, es sei der Beschluss des Obergerichts des Kantons Zürich vom 28. Mai 2009 aufzuheben und festzustellen, dass das Bezirksgericht Meilen für die Behandlung der Klage zuständig ist.
Die Beschwerdegegner beantragen in ihrer Vernehmlassung, es sei auf die Beschwerde nicht einzutreten, eventualiter sei sie abzuweisen, soweit darauf einzutreten ist. Die Vorinstanz verzichtet auf Vernehmlassung.

Erwägungen:
1. Das Bundesgericht prüft von Amtes wegen und mit freier Kognition, ob ein Rechtsmittel zulässig ist (<ref-ruling> E. 1 S. 331 mit Hinweisen).
1.1 Das Kassationsgericht ist auf die vom Anfechtungsgegenstand her zulässige Nichtigkeitsbeschwerde nicht eingetreten, weil der Beschwerdeführer Rügen vorgebracht habe, für die ausschliesslich das Bundesgericht zuständig sei (vgl. <ref-law>/ZH). Der Nichteintretensentscheid erfolgte demnach nicht etwa, weil das Rechtsmittel an sich nicht zulässig gewesen wäre. Die Frist zur Einreichung der Beschwerde gegen das obergerichtliche Urteil hat deshalb gemäss dem auf das vorliegende Verfahren noch anwendbaren Art. 100 aAbs. 6 BGG (AS 2006 1234) mit der Eröffnung des Kassationsgerichtsentscheid zu laufen begonnen (vgl. <ref-ruling> E. 1.3 S. 339 f.) und ist vorliegend gewahrt.
1.2 Der Beschluss des Obergerichts ist allerdings nur insofern der Beschwerde zugänglich, als er das Erfordernis der Letztinstanzlichkeit erfüllt, mithin für die gegen diesen erhobenen Rügen kein kantonales Rechtsmittel mehr offen stand (<ref-law>; <ref-ruling> E. 1.3 S. 527). Gegen den Obergerichtsbeschluss konnte kantonale Nichtigkeitsbeschwerde an das Kassationsgericht des Kantons Zürich nach § 281 der per 1. Januar 2011 aufgehobenen Zivilprozessordnung vom 13. Juni 1976 (ZPO/ZH) erhoben werden. Er ist daher insoweit nicht kantonal letztinstanzlich, als er vom Kassationsgericht überprüft werde konnte. Nach <ref-law>/ZH konnte mit Nichtigkeitsbeschwerde geltend gemacht werden, der angefochtene Entscheid beruhe zum Nachteil des Nichtigkeitsklägers auf einer Verletzung eines wesentlichen Verfahrensgrundsatzes (Ziff. 1), auf einer aktenwidrigen oder willkürlichen tatsächlichen Annahme (Ziff. 2) oder auf einer Verletzung klaren materiellen Rechts (Ziff. 3). Ausgeschlossen war die Nichtigkeitsbeschwerde, wenn das Bundesgericht einen Mangel frei überprüfen konnte, wobei sie gemäss <ref-law>/ZH stets zulässig war, wenn eine Verletzung von Art. 8, 9, 29 oder 30 BV oder von Art. 6 EMRK geltend gemacht wurde.
Der angefochtene Beschluss des Obergerichts stellt demnach insoweit keinen kantonal letztinstanzlichen Entscheid dar, als geltend gemacht wird, das Obergericht habe seinen Entscheid auf aktenwidrige Feststellungen gestützt, gegen das Willkürverbot (<ref-law>) verstossen oder den Anspruch des Beschwerdeführers auf rechtliches Gehör (<ref-law>) verletzt. Entsprechende Rügen waren zwecks Ausschöpfung des kantonalen Instanzenzugs vor dem Kassationsgericht geltend zu machen (vgl. <ref-ruling> E. 2 S. 640); insofern solche Rügen vom Kassationsgericht in Verletzung verfassungsmässiger Rechte nicht bzw. nicht richtig beurteilt wurden, hätte dies der Beschwerdeführer in einer Beschwerde gegen den kassationsgerichtlichen Entscheid zu rügen. Auf entsprechende Rügen gegen den Beschluss des Obergerichts kann nicht eingetreten werden.
1.3 Mit Beschwerde in Zivilsachen können Rechtsverletzungen gemäss Art. 95 und 96 BGG gerügt werden. Die Beschwerde ist hinreichend zu begründen, andernfalls wird darauf nicht eingetreten. In der Beschwerdeschrift ist in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt (<ref-law>). Eine qualifizierte Rügepflicht gilt hinsichtlich der Verletzung von Grundrechten und von kantonalem und interkantonalem Recht. Das Bundesgericht prüft solche Rügen nur insofern, als sie in der Beschwerde präzise vorgebracht und begründet worden sind (<ref-law>; <ref-ruling> E. 1.4.2. S. 254; <ref-ruling> E. 6, 439 E. 3.2). Unerlässlich ist im Hinblick auf <ref-law>, dass die Beschwerde auf die Begründung des angefochtenen Entscheids eingeht und im Einzelnen aufzeigt, worin eine Verletzung von Bundesrecht liegt. Der Beschwerdeführer soll in der Beschwerdeschrift nicht bloss die Rechtsstandpunkte, die er im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit seiner Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (vgl. <ref-ruling> E. 2.1 S. 245 f.; <ref-ruling> E. 2a S. 400; <ref-ruling> E. 3 S. 749). Dabei hat die Begründung in der Beschwerdeschrift selbst zu erfolgen; Verweise auf andere Rechtsschriften, insbesondere im kantonalen Verfahren eingereichte, sind unbeachtlich (vgl. <ref-ruling> E. 3.1 S. 399 f.; <ref-ruling> E. 2.3 S. 387 f., je mit Verweisen).
1.4 Diese Grundsätze verkennt der Beschwerdeführer bei seiner Rüge, die Vorinstanz habe gegen Art. 30 Abs. 1 KSG verstossen, indem sie davon ausgegangen sei, dass die im Partnerschaftsvertrag enthaltene Schiedsabrede nicht gänzlich dahingefallen sei. Der Beschwerdeführer beschränkt sich darauf, zur Begründung dieser Rüge auf über sieben Seiten der Beschwerdeschrift Auszüge aus seinen im vorinstanzlichen Verfahren eingereichten Rechtsschriften im Originalwortlaut anzuführen, ohne sich auch nur im Ansatz mit den Erwägungen der Vorinstanz auseinanderzusetzen. Mangels hinreichender Auseinandersetzung mit den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ist auf diese Rüge somit nicht einzutreten.
2. Der Beschwerdeführer rügt eine Verletzung von Art. 30 Abs. 2 KSG. Entgegen der Auffassung der Vorinstanz habe er mit der am 9. April 2008 beim Bezirksgericht Meilen eingereichten Klage den gleichen Streitgegenstand geltend gemacht wie bereits im Jahr 2001 vor dem Schiedsgericht. Gemäss Art. 30 Abs. 2 Satz 2 KSG seien die Parteien bezüglich dieses Streitgegenstands nicht mehr an die im Partnerschaftsvertrag enthaltene Schiedsklausel gebunden. Die Vorinstanz habe die Zuständigkeit des Bezirksgerichts zu Unrecht verneint.
2.1 Art. 30 Abs. 2 des auf den vorliegenden Fall anwendbaren KSG lautet wie folgt: "Leistet eine Partei den von ihr verlangten Vorschuss nicht, so kann die andere Partei nach ihrer Wahl die gesamten Kosten vorschiessen oder auf das Schiedsverfahren verzichten. Verzichtet sie, so sind die Parteien mit Bezug auf diese Streitsache nicht mehr an die Schiedsabrede gebunden."
Die Vorinstanz führte aus, dass diese Norm nach Wortlaut und Systematik nur den Fall regle, in dem eine der Parteien den Vorschuss nicht leistet. Zum Fall, in dem beide Parteien den vom Schiedsgericht verlangten Vorschuss nicht geleistet haben, äussere sich Art. 30 Abs. 2 KSG hingegen nicht. Dennoch liessen sich die Folgen der beidseitigen Nichtleistung des verlangten Vorschusses "zwanglos" daraus ableiten. Denn ob beide Parteien von Anfang an oder nur eine der beiden von Anfang und die andere erst nach Ausübung eines entsprechenden Wahlrechts auf die Durchführung des Schiedsverfahrens verzichte, sei für die Folgen des Verzichts beider Parteien irrelevant, denn "im Endeffekt haben in beiden Fällen beide Parteien auf die Durchführung des hängigen Schiedsverfahrens verzichtet". Daher bewirke das beidseitige Nichtzahlen des Vorschusses nach dem Wortlaut von Art. 30 Abs. 2 KSG, dass die Parteien für "diese Streitsache" ("pour la contestation en cause", "per la causa in lite") nicht mehr an die Schiedsabrede gebunden seien. Für andere Streitsachen als die vor dem Schiedsgericht anhängig gemachte seien die Parteien hingegen nach wie vor an die Schiedsabrede gebunden.
Die Vorinstanz erwog sodann, dass der Beschwerdegegner seine Klage beim Bezirksgericht u.a. auf Tatsachenelemente abstütze, die er erst im Jahr 2005 entdeckt habe. Somit könne es sich dabei nicht um die gleiche Streitsache handeln wie bei jener vor dem Schiedsgericht im Jahre 2001. Die Parteien seien hinsichtlich der beim Bezirksgericht eingereichten Klage folglich nach wie vor an die Schiedsvereinbarung gebunden. Das Bezirksgericht sei zu Recht nicht auf die Klage eingetreten.
2.2 Wie die Beschwerdegegner in ihrer Vernehmlassung zu Recht vorbringen, hat sich das Bundesgericht im Urteil 4P.2/2003 vom 12. März 2003 zum Verzicht auf das Schiedsverfahren gemäss Art. 30 Abs. 2 KSG geäussert. Unter Hinweis auf die herrschende Lehre hat das Bundesgericht ausgeführt, dass nur diejenige Partei, welche ihrerseits den auf sie entfallenden Teil des Kostenvorschusses geleistet hat, ein Wahlrecht zwischen der Zahlung des gesamten Kostenvorschusses und dem Verzicht auf das Schiedsverfahren hat (Urteil 4P.2/2003 vom 12. März 2003 E. 3.6; unter Hinweis auf LALIVE/POUDRET/REYMOND, Le droit de l'arbitrage interne et international en Suisse, 1989, N. 3 zu Art. 30 KSG; Pierre Jolidon, Commentaire du Concordat suisse sur l'arbitrage, Bern 1984, S. 428 f.; Sträuli/Messmer/Wiget, Kommentar zur zürcherischen Zivilprozessordnung, 2. Aufl., Zürich 1982, N. 6 zu § 247 aZPO ZH; RÜEDE/HADENFELDT, Schweizerisches Schiedsgerichtsrecht, 2. Aufl., Zürich 1993, S. 226 Ziff. 9a/cc). Dies bedeutet, dass nur die nicht säumige Partei mittels Verzichtsausübung bewirken kann, dass die Bindungswirkung der Schiedsabrede in Bezug auf den hängigen Streitgegenstand gemäss Art. 30 Abs. 2 Satz 2 KSG entfällt. Leisten beide Parteien den Kostenvorschuss nicht, kann keine von ihnen einseitig das Dahinfallen der Schiedsvereinbarung gemäss Art. 30 Abs. 2 Satz 2 KSG herbeiführen (vgl. JOLIDON, a.a.O., S. 428 in fine).
Im vom Beschwerdeführer im Jahr 2001 eingeleiteten Schiedsverfahren hat keine der Parteien den Kostenvorschuss bezahlt. Weder der Beschwerdeführer noch die Beschwerdegegner konnten somit das Dahinfallen der Schiedsvereinbarung gemäss Art. 30 Abs. 2 Satz 2 KSG herbeiführen. Entgegen der Auffassung der Vorinstanz ist die Bindungswirkung der im Partnerschaftsvertrag vom 19. Dezember 1995 enthaltenen Schiedsklausel damit auch bezüglich des vom Beschwerdeführer im Schiedsverfahren des Jahres 2001 geltend gemachten Streitgegenstands nicht entfallen. Die Parteien haben die Schiedsklausel gemäss der Vorinstanz sodann auch rechtsgeschäftlich nicht aufgehoben, was vom Beschwerdeführer vorliegend nicht substanziiert bestritten wird. Die Parteien sind demnach für sämtliche Streitigkeiten aus dem Partnerschaftsvertrag nach wie vor an die Schiedsklausel gebunden. Die Vorinstanz ist im Ergebnis zu Recht zum Schluss gelangt, dass das Bezirksgericht zur Behandlung der Klage, mit welcher der Beschwerdeführer Ansprüche aus der Auflösung des Partnerschaftsvertrags geltend macht, nicht zuständig ist. Ob die beim Bezirksgericht eingereichte Klage identisch ist mit der im Jahr 2001 erhobenen Schiedsklage, ist unerheblich.
2.3 Die Beschwerde wäre aber selbst dann unbegründet, wenn die Parteien aufgrund von Art. 30 Abs. 2 Satz 2 KSG bezüglich des im Jahr 2001 mit der Schiedsklage geltend gemachten Streitgegenstands nicht mehr an die Schiedsklausel gebunden wären.
2.3.1 Wie die Vorinstanz zu Recht ausgeführt hat, besteht in der Literatur zum KSG Einigkeit, dass unter dem Begriff der "Streitsache" ("contestation en cause", "causa in lite") gemäss Art. 30 Abs. 2 Satz 2 KSG nur der vor dem Schiedsgericht anhängig gemachte Streitgegenstand zu verstehen ist. Verzichtet eine Partei infolge Nichtleistung des Kostenvorschusses durch die andere Partei auf das Schiedsverfahren, sind die Parteien nur in Bezug auf den hängigen Streitgegenstand nicht mehr an die Schiedsklausel gebunden; in Bezug auf andere ihr unterstellte Streitgegenstände ist die Schiedsklausel nach wie vor wirksam (RÜEDE/HADENFELDT, a.a.O., S. 226; JOLIDON, a.a.O., S. 432 f.; LALIVE/POUDRET/REYMOND, a.a.O., N. 3 zu Art. 30 KSG, S. 166).
Der Streitgegenstand bestimmt sich gemäss der bundesgerichtlichen Rechtsprechung nach den Klageanträgen und dem behaupteten Lebenssachverhalt, d.h. dem Tatsachenfundament, auf das sich die Klagebegehren stützen (<ref-ruling> E. 4.3.1 S. 126 m.H.).
2.3.2 Die Vorinstanz hat ausgeführt, dass der Beschwerdeführer seine Klage vor dem Bezirksgericht im Wesentlichen auf Tatsachenelemente abstütze, die er im Jahr 2001 noch nicht vorgebracht, sondern erst im Jahr 2005 entdeckt habe. Damit könne es sich hinsichtlich des Tatsachenfundaments nicht um den gleichen Streitgegenstand handeln, wie um denjenigen, welchen der Beschwerdeführer im Jahr 2001 im Schiedsverfahren geltend gemacht hat.
Diese Erwägung ist zutreffend. Der Beschwerdeführer geht fehl, wenn er dagegen einwendet, dass der Streitgegenstand nur nach den Klageanträgen zu bestimmen und die Klagebegründung ausser Acht zu lassen sei. Vielmehr bestimmt sich dieser auch nach dem Tatsachenfundament, welches zur Begründung der Klage vorgebracht wird. Darauf hat die Vorinstanz zu Recht abgestellt. Die Rüge erweist sich als unbegründet.
3. Nach dem Gesagten ist die Beschwerde abzuweisen, soweit darauf einzutreten ist.
Bei diesem Ausgang des Verfahrens wird der Beschwerdeführer kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und Art. 68 Abs. 2 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 5'000.-- werden dem Beschwerdeführer auferlegt.
3. Der Beschwerdeführer hat die Beschwerdegegner für das bundesgerichtliche Verfahren mit Fr. 6'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, I. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 21. März 2011
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Der Gerichtsschreiber:
Klett Hurni