Sachverhalt:
A. Y._ (Kläger und Beschwerdegegner) und X._ (Beklagter und Beschwerdeführer) hatten sich im Jahre 1981 zur Entwicklung und Herstellung von Kantenbrechgeräten und Zubehör zusammengetan. Sie lösten ihre Zusammenarbeit im Jahre 1984 auf. In einer Vereinbarung vom 13. Dezember 1984 überliess der Beklagte dem Kläger sämtliche Rechte am Gerät "ENGRA T" und verpflichtete sich zudem, jede Nutzung der ihm bekannten Fabrikationsgeheimnisse zu unterlassen sowie den Kläger bei der Herstellung und dem Vertrieb dieses Gerätes nicht zu konkurrenzieren. Seit 1991 kam es zu zahlreichen Rechtsstreitigkeiten im Zusammenhang mit dieser Vereinbarung. Dem Beklagten wurde wiederholt gerichtlich untersagt, Entgrat- bzw. Kantenfräsmaschinen herzustellen, die ein der "ENGRA T" entsprechendes Benutzerprofil aufweisen.
A.a Am 1. Juli 2004 gelangte der Kläger an das Bezirksgericht Dielsdorf mit dem Begehren, der Beklagte sei zur Bezahlung von Fr. 400'000.-- als Schadenersatz zu verpflichten, wobei Nachklage vorbehalten wurde. Das Gericht hiess die Klage am 2. März 2006 gut. Das Obergericht des Kantons Zürich kassierte dieses Urteil jedoch am 30. Oktober 2006 und wies die Sache zur Neuentscheidung zurück, worauf das Bezirksgericht die Klage am 15. Juni 2007 wiederum guthiess, worauf das Obergericht des Kantons Zürich am 30. Januar 2008 die Sache wiederum - ausdrücklich zur Durchführung eines Beweisverfahrens - an das Bezirksgericht zurückwies.
A.b Das Bezirksgericht erliess darauf am 21. August 2008 einen Beweisauflage- und am 22. Dezember 2009 einen Beweisabnahmebeschluss. Es beschränkte darin das Einsichtsrecht der Parteien in die Geschäftsbücher und -unterlagen der jeweiligen Gegenpartei und bestellte einen Gutachter als Bücherexperte zur Erstellung einer Expertise. Zum Ausgleich des fehlenden eigenen Einsichtsrechts in die Geschäftsbücher setzte das Gericht den Parteien Frist an, um allfällige Ergänzungsfragen für dieses Gutachten zu stellen, was die Parteien fristgerecht taten.
A.c Mit Zwischenbeschluss vom 26. Oktober 2010 entschied das Bezirksgericht, von den 25 Ergänzungsfragen des Beklagten würden nur drei Fragen dem Gutachter unterbreitet. Dagegen erhob der Beklagte am 3. Dezember 2010 Nichtigkeitsbeschwerde beim Obergericht.
B. Mit Zirkular-Erledigungsbeschluss vom 23. Februar 2011 trat das Obergericht des Kantons Zürich auf die Nichtigkeitsbeschwerde nicht ein. Das Obergericht wandte gestützt auf Art. 405 Abs. 1 ZPO das ehemalige Prozessrecht des Kantons Zürich an und gelangte zum Schluss, die Voraussetzungen des § 282 Abs. 1 Ziff. 2 aZPO/ZH seien für die Beschwerde nicht erfüllt.
C. Mit Eingabe vom 4. April 2011 reicht der Beschwerdeführer sowohl Beschwerde in Zivilsachen wie Verfassungsbeschwerde ein und stellt den Antrag, der Zirkulationsbeschluss des Obergerichts des Kantons Zürich vom 23. Februar 2011 sei aufzuheben und an das Obergericht des Kantons Zürich (in Neubesetzung) zur Neubeurteilung zurückzuweisen. Er rügt eine Verletzung von Art. 30 Abs. 1 BV und Art. 6 Ziff. 1 EMRK und behauptet, Oberrichter Dr. H.A. Müller sei befangen und hätte in den Ausstand treten müssen.
D. Das Obergericht des Kantons Zürich verzichtet auf Vernehmlassung. Der Beschwerdegegner und das Bezirksgericht Dielsdorf ersuchen das Bundesgericht, dem Beschwerdeführer keinesfalls Akten herauszugeben.
Erwägungen:
1. Die Beschwerde in Zivilsachen ist in vermögensrechtlichen Angelegenheiten - von hier nicht gegebenen Ausnahmen abgesehen - nur zulässig, wenn der Streitwert Fr. 30'000.-- beträgt. Der Streitwert bestimmt sich nach den im Hauptverfahren streitigen Begehren (Art. 51 Abs. 1 lit. c BGG); er beträgt vorliegend Fr. 400'000.-- und übersteigt damit die Streitwertgrenze. Die subsidiäre Verfassungsbeschwerde ist daher nicht zulässig.
2. Mit Beschwerde können Entscheide angefochten werden, die das Verfahren ganz oder teilweise abschliessen (Art. 90 f. BGG). Die Beschwerde ist sodann zulässig gegen selbstständig eröffnete Vor- oder Zwischenentscheide über die Zuständigkeit und über Ausstandsbegehren (Art. 92 BGG). Gegen andere selbstständig eröffnete Vor- und Zwischenentscheide ist die Beschwerde zulässig, wenn sie einen nicht wieder gut zu machenden Nachteil bewirken können (Art. 93 Abs. 1 lit. a BGG) oder wenn die Gutheissung der Beschwerde sofort einen Endentscheid herbeiführen und damit einen bedeutenden Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren ersparen würde (Art. 93 Abs. 1 lit. b BGG).
2.1 Der Beschwerdeführer erkennt, dass ein Endentscheid nicht vorliegt. Aber auch die alternativen Voraussetzungen von Art. 93 Abs. 1 lit. a oder b BGG sind nicht gegeben: Es ist nicht ersichtlich, dass der angefochtene Zwischenbeschluss einen nicht wieder gut zu machenden Nachteil rechtlicher Natur bewirken könnte (lit. a) und die Gutheissung der Beschwerde würde nicht ermöglichen, sofort einen Endentscheid herbeizuführen (lit. b). Insofern sind die Voraussetzungen der Beschwerde nicht gegeben. Es kann sich höchstens fragen, ob der angefochtene Entscheid als selbstständig eröffneter Vor- oder Zwischenentscheid über Ausstandsbegehren im Sinne von Art. 92 BGG zu qualifizieren ist.
2.2 Der Beschwerdeführer beruft sich auf Art. 30 BV und Art. 6 EMRK und rügt, der am angefochtenen Entscheid als Vorsitzender mitwirkende Richter sei vorbefasst. Er bringt insofern vor, der Rückweisungsentscheid des Obergerichts vom 30. Januar 2008 enthalte zahlreiche Aktenwidrigkeiten, die er in seiner Vernehmlassungsantwort vom 17. Januar 2011 detailliert aufgeführt habe. Der Umstand, dass diese Ausführungen im Sachverhalt des angefochtenen Nichteintretensbeschlusses vom 23. Februar 2011 nicht aufgeführt wurden, begründet für den Beschwerdeführer den Anschein der Voreingenommenheit infolge Vorbefasstheit. Ausserdem vermutet er, es sei durch Nichteintreten ein Ausstand vermieden worden, der für einen materiellen Entscheid angezeigt gewesen wäre.
2.3 Der Beschwerdeführer behauptet nicht, er habe den Ausstand eines an der Beurteilung der Streitsache mitwirkenden Richters verlangt oder ein von ihm gestelltes Ablehnungsgesuch sei abgelehnt worden. Der angefochtene Entscheid, mit dem auf das kantonale Rechtsmittel gegen einen Zwischenbeschluss nicht eingetreten wird, enthält auch keinerlei Feststellungen über ein derartiges Begehren. Gegenstand des angefochtenen Entscheides bildet nicht der Ausstand oder die Ablehnung eines Richters, sondern ausschliesslich der Zwischenbeschluss des Bezirksgerichts über die Beweismassnahme; der Beschwerdeführer verlangt den Ausstand des vorsitzenden Richters der Beschwerdeinstanz erstmals vor Bundesgericht. Es handelt sich beim angefochtenen Entscheid nicht um einen selbstständig eröffneten Vor- oder Zwischenentscheid über Ablehnungsbegehren.
2.4 Gegen den angefochtenen Entscheid des Obergerichts des Kantons Zürich vom 23. Februar 2011 ist die Beschwerde nach Art. 90 ff. BGG nicht zulässig. Er bildet keinen anfechtbaren Entscheid im Sinne dieser Bestimmungen, weshalb darauf nicht einzutreten ist.
3. Auf die Beschwerde ist nicht einzutreten. Die Gerichtsgebühr ist bei diesem Verfahrensausgang dem Beschwerdeführer zu auferlegen. Da sich der Beschwerdegegner zur Sache nicht geäussert hat, ist keine Parteientschädigung zuzusprechen.
Demnach erkennt das Bundesgericht:
1. Auf die Beschwerde wird nicht eingetreten.
2. Die Gerichtsgebühr von Fr. 3'000.-- wird dem Beschwerdeführer auferlegt.
3. Es wird keine Parteientschädigung zugesprochen.
4. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, III. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 21. Juni 2011
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Die Gerichtsschreiberin:
Klett Hotz