Sachverhalt:
A. Im Rahmen der Beurteilung des Rekurses der X._ AG betreffend die Steuereinschätzung für die Staats-, Gemeinde- und direkte Bundessteuer vom 1. Oktober 2006 bis 30. September 2007 ordnete der Präsident der 1. Abteilung des Steuerrekursgerichtes des Kantons Zürich die Durchführung eines Gutachtens über Verrechnungspreise der Pflichtigen an. Mit Verfügung vom 29. Juni 2011 bestellte er A._ zum Gutachter und wies das vom Kantonalen Steueramt gegen diesen erhobene Ausstandsbegehren ab.
B. Mit zwei Beschlüssen vom 2. November 2011 - der eine Beschluss betrifft die Staats- und Gemeindesteuern, der andere die direkte Bundessteuer - trat das Verwaltungsgericht des Kantons Zürich auf die vom Kantonalen Steueramt Zürich am 8. Juli 2011 erhobene Beschwerde gegen die Verfügung vom 29. Juni 2011 nicht ein.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt das Kantonale Steueramt Zürich, die Beschlüsse des Verwaltungsgerichts des Kantons Zürich vom 2. November 2011 seien aufzuheben und es sei die Angelegenheit an das Verwaltungsgericht zurückzuweisen, damit dieses im Sinne der Erwägungen über die Beschwerde vom 8. Juli 2011 entscheide. Gestützt auf diese Eingabe sind mithin zwei bundesgerichtliche Verfahren eröffnet worden, nämlich das Verfahren 2C_991/2011(betreffend die direkte Bundessteuer) und das Verfahren 2C_992/2011(betreffend die Staats- und Gemeindesteuern).
Das Verwaltungsgericht des Kantons Zürich und die X._ AG beantragen, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei.
Erwägungen:
1. 1.1 Obschon im Hinblick auf die beiden Beschlüsse des kantonalen Verwaltungsgerichts zwei Verfahren eröffnet worden sind, hindert das nicht, die beiden Verfahren zu vereinigen. Sie betreffen den gleichen Sachverhalt, die gleichen Parteien und werfen identische Fragen auf (vgl. Art. 71 BGG in Verbindung mit Art. 24 BZP; BGE 131 V 59 E. 1 S. 60 f. mit Hinweis).
1.2 Bei den angefochtenen Beschlüssen handelt es sich um kantonal letztinstanzliche Entscheide eines oberen kantonalen Gerichts in einer Angelegenheit des öffentlichen Rechts, die unter keinen der Ausschlussgründe von Art. 83 BGG fallen und gegen welche die Beschwerde in öffentlich-rechtlichen Angelegenheiten grundsätzlich zulässig ist (Art. 82 ff. BGG). Das Kantonale Steueramt ist gestützt auf Art. 89 Abs. 2 lit. d BGG in Verbindung mit Art. 146 des Bundesgesetzes vom 14. Dezember 1990 über die direkte Bundessteuer (DBG; SR 642.11) und Art. 73 Abs. 2 des Bundesgesetzes vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden (StHG; SR 642.14) zur Beschwerde berechtigt (vgl. BGE 134 I 303 E. 1.2 S. 305 f.; 134 II 124 E. 2.6.3 S. 130 f.; Urteil 2C_365/2009 vom 24. März 2010 E. 2.1).
1.3 Die Beschwerde an das Bundesgericht ist zulässig gegen End- und Teilentscheide (Art. 90 und 91 BGG) sowie gegen Vor- und Zwischenentscheide über die Zuständigkeit und den Ausstand (Art. 92 Abs. 1 BGG). Gegen andere Vor- und Zwischenentscheide ist die Beschwerde nur unter den in Art. 93 BGG genannten Voraussetzungen zulässig. Umstritten ist vorliegend das Ausstandsbegehren gegenüber dem vom Steuerrekursgericht beigezogenen Gutachter. Unter Art. 92 BGG fallen nach der Rechtsprechung auch Zwischenentscheide über den Ausstand von Sachverständigen (Urteile 4A_255/2011 vom 4. Juli 2011 E. 1.2; 8C_1020/2010 vom 14. April 2011 E. 3.2, in: Plädoyer 2011/3 S. 78; 9C_304/2010 vom 12. Mai 2010 E. 2, in: SVR 2010 IV Nr. 66 S. 199). Diese Entscheide können später nicht mehr angefochten werden (Art. 92 Abs. 2 BGG). Eine entsprechende Praxis bestand bereits zum früheren Bundesrechtspflegegesetz (Art. 87 Abs. 1 OG; vgl. BGE 97 I 1 E. 1b S. 3 f.; Urteile 1B_22/2007 vom 29. Mai 2007 E. 2; 1P.17/2002 vom 30. Januar 2002 E. 2; vgl. MARC FORSTER, Staatsrechtliche Beschwerde, in: Prozessieren vor Bundesgericht, 2. Aufl. 1998, Rz. 2.14).
1.4 Rechtsmittelentscheide betreffend Zwischenentscheide sind ihrerseits Zwischenentscheide, ausser wenn sie den Abschluss des Hauptverfahrens bilden (RHINOW/KOLLER/KISS/THURNHERR/BRÜHL-MOSER, Öffentliches Prozessrecht, 2. Aufl. 2010, Rz. 1870). Dies gilt auch, wenn sich die Beschwerde an das Bundesgericht - wie hier - gegen einen vorinstanzlichen Nichteintretensentscheid richtet, welchem seinerseits ein Rechtsmittel gegen einen selbständig eröffneten Vor- oder Zwischenentscheid über die Zuständigkeit oder über Ausstandsbegehren zugrunde lag. Diesfalls hat das Bundesgericht allerdings nur zu prüfen, ob die Vorinstanz zu Recht auf das bei ihr erhobene Rechtsmittel nicht eingetreten ist. Nicht zu prüfen ist die materielle Frage, ob der Gerichtsexperte hätte in den Ausstand treten müssen (vgl. BGE 132 V 74 E. 1.1 S. 76 mit Hinweis). Auf die Beschwerde ist folglich einzutreten.
2. 2.1 Nach der bundesgerichtlichen Rechtsprechung gelten für Sachverständige die gleichen Ausstands- und Ablehnungsgründe, wie sie für Richter vorgesehen sind (BGE 132 V 93 E. 7.1 S. 109; 126 III 249 E. 3c S. 253; 125 II 541 E. 4a S. 544 f.; so bereits 94 I 417 E. 4 S. 425). Gestützt auf den auch für Behörden geltenden Grundsatz von Treu und Glauben und das Verbot des Rechtsmissbrauchs wird aber verlangt, dass ein echter oder vermeintlicher (formeller) Ausstands- oder Ablehnungsgrund so früh wie möglich geltend gemacht wird. Es verstösst gegen Treu und Glauben, Einwände dieser Art erst im Rechtsmittelverfahren vorzubringen, wenn der Mangel schon vorher hätte festgestellt und gerügt werden können. Wer den Mangel nicht unverzüglich vorbringt, wenn er davon Kenntnis erhält, sondern sich stillschweigend auf ein Verfahren einlässt, verwirkt den Anspruch auf spätere Anrufung der vermeintlich verletzten Ausstandsbestimmungen (BGE 132 II 485 E. 4.3 S. 496 mit Hinweisen). Art. 92 BGG über die sofortige Anfechtbarkeit von Zwischenentscheiden über den Ausstand beruht auf diesem Konzept.
2.2 Art. 109 DBG konkretisiert die Ausstandsgründe für das Verfahren der direkten Bundessteuer. In den Ausstand muss u.a. treten, wer (lit. a) an der Sache ein persönliches Interesse hat, (lit. c) Vertreter einer Partei ist oder für eine Partei in gleicher Sache tätig war, oder (lit. d) aus anderen Gründen in der Sache befangen sein könnte. Art. 109 DBG gilt nach seinem Wortlaut allerdings nur für Personen, die "beim Vollzug dieses Gesetzes in einer Sache zu entscheiden oder an einer Verfügung oder Entscheidung mitzuwirken" haben. Die Norm richtet sich in erster Linie an Richter sowie an die mit der Vorbereitung und Abfassung der Entscheide betrauten Personen. Das Gutachten ist, gleich wie etwa eine technische Expertise, ein Beweismittel, das der freien richterlichen Würdigung unterliegt. Der beigezogene Gutachter oder Experte wirkt daher nicht an einem Entscheid oder an einer Verfügung mit. Die Pflicht des Gutachters, die Ausstandsgründe zu beachten und nötigenfalls in den Ausstand zu treten, ergibt sich aber aus der allgemeinen Garantie für ein faires Verfahren (Art. 29 Abs. 1 BV; BGE 120 V 357 E. 3a S. 364). Wer als Richter in den Ausstand treten müsste, kann auch nicht als Sachverständiger mitwirken. Die steuerrechtliche Doktrin geht denn auch - zu Recht - davon aus, dass Art. 109 DBG auf Gutachter sinngemäss (analog) anzuwenden ist (Martin Zweifel, in: Kommentar zum Schweizerischen Steuerrecht, Bd. I/2b, 2. Aufl. 2008, N. 10 zu Art. 109 DBG; Richner et al., a.a.O., N. 11 zu Art. 109 DBG; Andrea Pedroli, in: Commentaire Romand, Impôt fédéral direct, 2008, N. 8 zu Art. 109 DBG).
2.3 Die Harmonisierung der direkten Steuern von Bund, Kantonen und Gemeinden erstreckt sich auch auf das Verfahrensrecht (Art. 129 Abs. 2 BV). Das Steuerharmonisierungsgesetz ist ein Rahmen- oder Grundsatzgesetz. Welcher Regelungsspielraum dem kantonalen Gesetzgeber zusteht, ist nach den gleichen Methoden zu bestimmen, wie sie für die Gesetzesauslegung allgemein gelten (BGE 130 II 65 E. 5.2 S. 72 f.; 128 II 56 E. 6a S. 64 f.). Zum Ausstand äussert sich das Steuerharmonisierungsgesetz - im Gegensatz zum DBG - nicht (Richner/Frei/Kaufmann/Meuter, Kommentar zum harmonisierten Zürcher Steuergesetz, 2. Aufl. 2006, N. 1 zu § 119 StG). § 119 des Zürcher Steuergesetzes vom 8. Juni 1997 (StG) enthält aber Ausstandsgründe, die weitgehend dem Art. 109 DBG nachgebildet sind (Richner et al., a.a.O., N. 5 zu § 119 StG). Im Hinblick auf die Notwendigkeit eines einheitlichen Verfahrens für die direkte Bundessteuer und die kantonalen direkten Steuern rechtfertigt es sich, die sich aus § 119 StG und Art. 29 Abs. 1 BV ergebenden Garantien auf richtige Zusammensetzung der Gerichte und Behörden jedenfalls nicht enger auszulegen als nach Art. 109 DBG.
3. 3.1 Die Vorinstanz trat in den angefochtenen Beschlüssen auf die Beschwerde des Kantonalen Steueramtes gegen den Entscheid über den streitigen Ausstandsgrund nicht ein. Ihre Begründung lautet dahingehend, dass die formellen Ausstandsvorschriften von Art. 109 Abs. 1 DBG und § 119 Abs. 1 StG nur für Personen gelten, die beim Vollzug des betreffenden Steuergesetzes aufgrund der gesetzlichen Zuständigkeitsbestimmungen in einer Sache zu entscheiden oder an einer Verfügung oder Entscheidung in massgeblicher Stellung mitzuwirken haben. Auch wenn die Ausstandsgründe von Art. 109 Abs. 1 DBG und § 119 Abs. 1 StG als Konkretisierung der Grundsätze eines fairen Verfahrens für amtliche Gutachter sinngemäss heranzuziehen seien, so ergebe sich daraus nicht das Recht der Verfahrenspartei, prozessleitende Verfügungen und Beschlüsse, mit welchen ein Sachverständiger bestellt werde, unter Berufung auf dessen Befangenheit selbständig anzufechten. Denn der selbständige Weiterzug von Ausstandsentscheiden soll die verfassungsrechtlich garantierte Beurteilung durch ein unparteiisches und unvoreingenommenes Gericht gewährleisten (Art. 30 Abs. 1 BV), was letztlich nur bei Missachtung von Ausstandsgründen durch Gerichtsmitglieder und Gerichtsschreiber der Fall sei.
3.2 Diese Unterscheidung von Ausstandsgründen, welche im Gesetz explizit genannt sind, und solchen, die sich durch Auslegung der massgeblichen gesetzlichen Bestimmungen aus Verfassung und Gesetz ergeben, ist dem Art. 92 BGG fremd. Art. 92 BGG erfasst alle Entscheide über Ausstandsbegehren, auch solche über Ausstandsbegehren gegenüber Sachverständigen (s. vorn E. 1.3). Die Vorinstanz anerkennt einen Anspruch der Verfahrenspartei auf einen weiterziehbaren Zwischenentscheid, wenn Ausstands- oder Ablehnungsgründe gegenüber Gerichtsmitgliedern oder Gerichtsschreibern streitig sind. Dann ist aber auch der Entscheid, mit dem über den Ausstand eines Gutachters oder Sachverständigen befunden wird, als sofort anfechtbar zu bezeichnen, und können solche Entscheide gemäss Art. 92 BGG an das Bundesgericht weitergezogen werden.
Die angefochtenen Beschlüsse, mit denen die Vorinstanz auf die Beschwerde gegen die Zwischenentscheide des Steuerrekursgerichts betreffend das Ausstandsgesuch des kantonalen Steueramtes gegenüber dem gerichtlich bestellten Gutachter nicht eintrat, verletzen daher Art. 92 BGG und sind aufzuheben. Das Verwaltungsgericht des Kantons Zürich ist anzuweisen, über das Ausstandsbegehren betreffend den vom Steuerrekursgericht eingesetzten Gutachter zu befinden.
4. Es werden keine Gerichtskosten erhoben (Art. 66 Abs. 4 BGG). Eine Parteientschädigung ist nicht geschuldet, da sich die Steuerpflichtige am vorliegenden Verfahren nicht aktiv beteiligt hat.
Demnach erkennt das Bundesgericht:
1. Die Verfahren 2C_991/2011 und 2C_992/2011 werden vereinigt.
2. Die Beschwerde wird gutgeheissen, die beiden Beschlüsse des Verwaltungsgerichts des Kantons Zürich vom 2. November 2011 werden aufgehoben und das Verwaltungsgericht des Kantons Zürich wird angewiesen, über das Ausstandsbegehren betreffend den vom Steuerrekursgericht eingesetzten Gutachter zu entscheiden.
3. Es werden keine Gerichtskosten erhoben.
4. Dieses Urteil wird den Parteien und dem Verwaltungsgericht des Kantons Zürich, 2. Kammer, schriftlich mitgeteilt.
Lausanne, 18. Juli 2012
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Wyssmann