Sachverhalt:
A. Im Januar 2007 führte Y._, Revisorin des Steueramtes des Kantons Zürich, bei Rechtsanwalt X._ in Bassersdorf eine Prüfung der Geschäftsbücher der Geschäftsjahre 2003 bis 2005 durch. Am 18. Februar 2008 eröffnete das kantonale Steueramt X._ die Einschätzungsvorschläge für die Staats- und Gemeindesteuern sowie die direkte Bundessteuer; die steuerbaren Einkommen in den drei geprüften Jahren wurden festgesetzt auf Fr. 286'300.--, Fr. 446'700.-- und Fr. 1'004'300.--. Nach einer Besprechung mit der Revisorin liess das kantonale Steueramt dem Steuerpflichtigen im Juni 2008 korrigierte Einschätzungsvorschläge zukommen, worin die steuerbaren Einkommen auf Fr. 132'200.--, Fr. 134'700.-- und Fr. 503'200.-- festgesetzt waren.
Am 10. November 2008 stellte X._ bei der Finanzdirektion des Kantons Zürich ein Ausstandsgesuch gegen die Revisorin und den Chef der Division Bücherrevision des kantonalen Steueramtes, welches abgewiesen wurde. Die von X._ dagegen ergriffenen kantonalen Rechtsmittel wurden von der kantonalen Steuerrekurskommission und vom Verwaltungsgericht des Kantons Zürich abgewiesen.
B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt X._ dem Bundesgericht, den Entscheid des Verwaltungsgerichts des Kantons Zürich vom 3. November 2010 aufzuheben und das Ausstandsbegehren gutzuheissen.
Das kantonale Steueramt sowie die Finanzdirektion des Kantons Zürich haben auf eine Vernehmlassung verzichtet.
Das Verwaltungsgericht des Kantons Zürich beantragt, die Beschwerde abzuweisen, soweit darauf einzutreten sei.

Erwägungen:
1. Der im Rahmen des Veranlagungsverfahrens für die Staats- und Gemeindesteuern sowie die direkte Bundessteuer ergangene, kantonal letztinstanzliche Entscheid der Vorinstanz über ein Ausstandsbegehren kann mit Beschwerde in öffentlich-rechtlichen Angelegenheiten angefochten werden (<ref-law>). Der Beschwerdeführer ist dazu legitimiert (<ref-law>).
2. 2.1 Der Beschwerdeführer rügt, bei der Vorinstanz handle es sich um kein unabhängiges und unparteiisches Gericht, weshalb <ref-law> verletzt sei.
2.2 Für die Behauptung des Beschwerdeführers, die Vorinstanz habe ihren Entscheid schon vor dessen Versand dem kantonalen Steueramt mitgeteilt, fehlen jegliche Anhaltspunkte in den Akten; der Beschwerdeführer vermag solche denn auch nicht aufzuzeigen, weshalb die Rüge unbegründet ist.
Auch der Umstand, dass ein Angehöriger des kantonalen Steueramtes zugleich Ersatzmitglied des Verwaltungsgerichts ist, ist verfassungsrechtlich nicht zu beanstanden, da die genannte Person am angefochtenen Entscheid nicht mitgewirkt hat.
Dasselbe gilt für die pauschale Rüge, die meisten der Mitglieder des Verwaltungsgerichts, der Steuerrekurskommission sowie des kantonalen Steueramtes seien ehemalige Steuerkommissäre sowie Referenten oder Mitglieder des Instituts für Schweizerisches Steuerrecht. Die Rüge der Verletzung von <ref-law> sowie Art. 14 Ziff. 1 UNO-Pakt II (SR 0.103.2) - welche insoweit keinen weitergehenden Anspruch begründet - ist mangels jeglicher Anhaltspunkte für die Annahme einer Parteilichkeit oder Abhängigkeit der Vorinstanz offensichtlich unbegründet. Die Befürchtungen des Beschwerdeführers sind denn auch rein abstrakter Natur und lassen bei objektiver Betrachtung keinerlei Voreingenommenheit vermuten. Dies gilt namentlich für die Zugehörigkeit zum Institut für Schweizerisches und Internationales Steuerrecht (ISIS), die nicht anders zu beurteilen ist als jene zu einer anderen Interessengruppe oder zu einem Berufsverband (vgl. Urteil 8F_3/2008 vom 20. August 2008). Im Übrigen wurde dem Beschwerdeführer die Zusammensetzung der Vorinstanz vor der Urteilsfällung bekanntgegeben; ein Ausstandsbegehren gegen die mitwirkenden Gerichtspersonen hat er jedoch nicht gestellt, weshalb der Einwand auch als verspätet zu bezeichnen wäre (vgl. <ref-ruling> E. 4.3 f. S. 496 f.).
3. 3.1 Der Beschwerdeführer beanstandet sodann eine unrichtige Feststellung des Sachverhalts (<ref-law>).
3.2 In Bezug auf die beanstandete einseitige Sachverhaltsdarstellung (einseitige "Besprechung", kein Protokoll, keine früheren Beanstandungen der Buchführung, reduziertes Arbeitspensum) legt der Beschwerdeführer nicht dar, inwiefern diese Gesichtspunkte für die Beurteilung der hier allein streitigen Ausstandsfrage entscheidend sein könnten (<ref-law>). Auf die Vorbringen ist daher nicht näher einzugehen.
3.3 Dies gilt auch für die übrigen, nach Auffassung des Beschwerdeführers von der Vorinstanz "verschwiegenen" Sachverhalte (privat motivierte Informationsbeschaffung, Amtsgeheimnisverletzung, aussichtsloser Rechtsweg, Verletzung des rechtlichen Gehörs, falsches Bild des Beschwerdeführers/der Revisorin, unterlassene Anhörung des Vorgesetzten, unvollständige Akten). Die Vorinstanz durfte auf die nähere Prüfung dieser vom Beschwerdeführer vorgebrachten Sachverhalte in verfassungsrechtlich zulässiger antizipierter Beweiswürdigung verzichten, da der Beschwerdeführer nicht darzulegen vermag, inwiefern sie für den Ausgang des Ausstandsverfahrens entscheidend sein könnten.
4. 4.1 In Analogie zu <ref-law> verpflichtet <ref-law> eine Amtsperson zum Ausstand, wenn Umstände vorliegen, die nach objektiven Gesichtspunkten geeignet sind, den Anschein der Befangenheit zu erwecken (<ref-ruling> E. 2b). Bei Ausstandsbegehren gegen Verwaltungsbehörden ist freilich den jeweiligen konkreten Verhältnissen in besonderem Masse Rechnung zu tragen (<ref-ruling> E. 8a S. 218). So wirkt sich etwa die Art der Funktion, die das abgelehnte Behördenmitglied erfüllt, auf die Beurteilung des gegen ihn gerichteten Ausstandsbegehrens aus (<ref-ruling> E. 3 f.). Nach der Rechtsprechung haben nichtrichterliche Amtspersonen im Wesentlichen nur dann in den Ausstand zu treten, wenn sie an der zu behandelnden Sache ein persönliches Interesse haben, zu einem früheren Zeitpunkt gegenüber der Partei ihre persönliche Geringschätzung oder Abneigung zum Ausdruck gebracht haben oder wenn ihnen Verfahrens- oder Ermessensfehler unterlaufen sind, die nach ihrer Natur oder wegen ihrer aussergewöhnlichen Häufung besonders schwer wiegen und auf eine gravierende Verletzung ihrer Amtspflichten gegenüber dem Betroffenen hinauslaufen. In der Regel kann aus Äusserungen, die mit der normalen Ausübung von Verwaltungsfunktionen oder mit den üblichen Befugnissen der am Verfahren beteiligten Behörde im Einklang stehen, nicht auf den Anschein von Parteilichkeit geschlossen werden (vgl. <ref-ruling> E. 3e f., Urteile 2C_643/2010 vom 1. Februar 2011 E. 5.5.1 und 2C_36/2010 vom 14. Juni 2010 E. 3.3).
4.2 Eine Befangenheit der Steuerrevisorin kann nicht bereits darin erblickt werden, dass diese ermessensweise eine massiv erhöhte Veranlagung in Aussicht genommen hat. Dazu ist zu bemerken, dass eine in den Augen des Betroffenen angeblich falsche Rechtsauffassung für sich allein noch keinen Anschein der Befangenheit zu begründen vermag. Selbst prozessuale Fehler und materiell fehlerhafte Entscheide begründen nicht den Anschein der Befangenheit; sie sind in dem dazu vorgesehenen Rechtsmittelverfahren zu korrigieren. Anders kann es sich nur verhalten, wenn besonders krasse oder wiederholte Fehler vorliegen, die als eigentliche Amtspflichtverletzungen qualifiziert werden müssten und auf diese Weise auf Parteilichkeit schliessen liessen (Urteil 2C_598/2009 vom 11. Februar 2010 E. 3.4).
4.3 Die Vorinstanz hat unter Bezugnahme auf die einschlägige Rechtsprechung und in verfassungsrechtlich nicht zu beanstandender Würdigung der für die Beurteilung des vorliegenden Falles wesentlichen Gesichtspunkte einlässlich begründet, weshalb die Revisorin und deren Vorgesetzter nicht als befangen zu betrachten seien. Es kann auf diese überzeugenden und zutreffenden Ausführungen (angefochtenes Urteil E. 3 und 4) verwiesen werden. Die Ausdrucksweise der Revisorin, es habe sich bei den Aufrechnungen um eine "fishing expedition" gehandelt, ist zwar unpassend, weil sie den Eindruck eines einseitigen und unsachgemässen Vorgehens erwecken kann. Die Revisorin ist jedoch nicht im Rahmen eines Amts- oder Rechtshilfeverfahrens tätig, in dem eine "fishing expedition" verpönt ist und zur Unverwertbarkeit der erhobenen Beweise führen kann; vielmehr hatte sie eine Steuerveranlagung vorzunehmen. Dabei kann jederzeit und ohne besonderen Verdacht auf Unregelmässigkeiten eine Kontrolle der Geschäftsbücher durchgeführt werden (§ 132 Abs. 2 StG/ZH und <ref-law>); wie die Vorinstanz zutreffend festhält, beruht die Vorgehensweise der Revisorin auf den gesetzlichen Bestimmungen, und es sind keine Anhaltspunkte für ein unsachgemässes Handeln erkennbar. Dass sich die Revisorin allenfalls über das dem Beschwerdeführer offenbar geläufige Vorgehen bei der Gründung einer Anwaltskörperschaft erkundigte, vermag in keiner Weise eine Befangenheit zu begründen. Ebensowenig führen die angeblichen Amtsgeheimnisverletzungen, die weder offenkundig noch durch entsprechende strafrechtliche Entscheide festgestellt worden sind, zum Anschein der Befangenheit. Auch die pauschale Behauptung, Gewerbetreibende würden im Kanton Zürich nach dem immer gleichen Muster von den Steuerrevisoren "fertig gemacht", entbehrt jeder Grundlage.
Selbst wenn die Auffassung der Revisorin im vorliegenden Fall unzutreffend und die in Aussicht genommene Ermessensveranlagung übertrieben hoch sein sollte, wäre darüber - mangels eines besonders krassen oder wiederholten, als eigentliche Amtspflichtverletzung einzustufenden Fehlers - nicht hier, sondern gegebenenfalls im dafür vorgesehenen Rechtsmittelverfahren zu befinden. Jedenfalls genügen diese Umstände nicht, die Steuerrevisorin als befangen abzulehnen.
4.4 Was die Befangenheit des Vorgesetzten der Revisorin betrifft, so kann auch hier auf die Ausführungen der Vorinstanz verwiesen werden, denen der Beschwerdeführer keine stichhaltigen Argumente entgegenzusetzen vermag.
5. Die Beschwerde ist aus diesen Gründen abzuweisen. Entsprechend diesem Ausgang hat der Beschwerdeführer die Kosten des Verfahrens vor Bundesgericht zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Verfahrensbeteiligten und dem Verwaltungsgericht des Kantons Zürich schriftlich mitgeteilt.
Lausanne, 7. April 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Küng