Sachverhalt:
A. Die X._ GmbH, damals eine 100 % Tochtergesellschaft der X._ Holding AG, deklarierte für die Steuerperiode 2003 einen steuerbaren Reingewinn von Fr. 62'742'175.-- und ein Eigenkapital von Fr. 37'012'113.--. Für die Steuerperiode 2004 deklarierte sie einen steuerbaren Reingewinn von Fr. 65'442'933.-- und ein Kapital von Fr. 9'178'913.--. Vom Kantonalen Steueramt Zürich wurde sie am 17. Juli 2008 für die Staats- und Gemeindesteuern mit einem steuerbaren Kapital von Fr. 53'776'000.-- (2003) bzw. Fr. 9'178'000.-- (2004) eingeschätzt; dabei wurde festgehalten, die Gesellschaft werde als Holdinggesellschaft besteuert.
Die Abweichungen zur Deklaration ergaben sich insbesondere aufgrund von Aufrechnungen wegen unterpreislichem Verkauf von Aktien der A._ AG an die X._ Holding AG, die B._ GmbH & Co. KG sowie die A._ AG selber. Dabei wurde dem während dem Einschätzungsverfahren geäusserten Antrag der X._ GmbH nicht gefolgt, wonach aufgrund einer handelsrechtswidrigen Verbuchung eine Bilanzberichtigung vorzunehmen, der Ertrag aus Kaufpreiserhöhung in der Jahresrechnung 2003 zu stornieren und als Beteiligungsertrag in der Jahresrechnung 2004 zu verbuchen sei, mit entsprechender Korrektur des steuerbaren Kapitals.
Die X._ GmbH erhob gegen diese Einschätzungsentscheide ohne Erfolg Einsprache (Entscheid des Kantonalen Steueramts Zürich vom 29. Oktober 2008).
Gemäss Handelsregistereintrag vom 7. Dezember 2007 gingen während dem laufenden Einspracheverfahren die Aktiven und Passiven der X._ GmbH infolge Fusion auf die X._ Holding AG über und die X._ GmbH wurde gelöscht.
B. Die von der X._ Holding AG als Rechtsnachfolgerin der X._ GmbH gegen den Einspracheentscheid angerufene Steuerrekurskommission II des Kantons Zürich wies den Rekurs mit Entscheid vom 16. März 2009 ab.
Die dagegen von der X._ Holding AG erhobene Beschwerde wies das Verwaltungsgericht des Kantons Zürich (2. Kammer) mit Urteil vom 30. September 2009 ab.
C. Die X._ Holding AG beantragt dem Bundesgericht mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 30. Dezember 2009 - welche sich sowohl gegen den Entscheid des Verwaltungsgerichts vom 30. September 2009 betreffend die Staats- und Gemeindesteuern (SB.2009.00044; Verfahren 2C_856/2009) als auch gegen den gleichentags ergangenen separaten Entscheid betreffend die direkten Bundessteuern (SB.2009.00045; Verfahren 2C_857/2009) richtet -, die Entscheide des Verwaltungsgerichts und der Steuerrekurskommission des Kantons Zürich sowie die Einsprache- und Einschätzungsentscheide der Kantonalen Steuerverwaltung Zürich seien aufzuheben. Die Beschwerdeführerin sei für die Staats- und Gemeindesteuern 2003 mit einem steuerbaren Kapital von Fr. 37'012'000.-- und für die Staats- und Gemeindesteuern 2004 mit einem solchen von Fr. 9'178'000.-- einzuschätzen. Eventualiter sei die Beschwerdeführerin für die Staats- und Gemeindesteuern 2003 mit einem steuerbaren Kapital von Fr. 53'776'400.-- einzuschätzen. Schliesslich beantragt sie subeventualiter, die Gerichtsgebühr für den Entscheid des Verwaltungsgerichts betreffend Staats- und Gemeindesteuern 2003 und 2004 (SB.2009.00044) sei auf Fr. 2'000.-- zu reduzieren.
Das Verwaltungsgericht des Kantons Zürich (2. Abteilung) stellt den Antrag, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei. Das Kantonale Steueramt Zürich beantragt, auf die Beschwerde sei nicht einzutreten; bezüglich der subeventuell beantragten Reduktion der Gerichtsgebühr verzichtet es auf eine Stellungnahme. Die Eidgenössische Steuerverwaltung verzichtet auf einen Antrag.
Erwägungen:
1. Das Verwaltungsgericht des Kantons Zürich hat in zwei separaten Urteilen vom 30. September 2009 über das bei ihm hängige Rechtsmittel hinsichtlich der direkten Bundessteuern und der Staats- und Gemeindesteuern entschieden. Die Beschwerdeführerin erhebt in einer einzigen Eingabe an das Bundesgericht Beschwerde gegen beide Urteile. Aufgrund des unterschiedlichen Ausgangs der beiden angefochtenen Entscheide sowie insbesondere mit Blick darauf, dass es im Verfahren betreffend die direkte Bundessteuer um die Gewinnsteuer geht, währenddem im Verfahren betreffend die kantonalen Steuern lediglich die Frage der Kapitalsteuer im Rahmen der Holdingbesteuerung zur Diskussion steht, sind die beiden Verfahren getrennt zu behandeln. Im vorliegenden Verfahren (2C_856/2009) ist damit lediglich auf diejenigen Beschwerdevorbringen und -anträge einzugehen, welche sich auf die kantonalen Steuern beziehen.
2. 2.1 Das Bundesgericht prüft seine Zuständigkeit und die Eintretensvoraussetzungen von Amtes wegen und mit freier Kognition (Art. 29 Abs. 1 BGG; BGE 135 III 1 E. 1.1 S. 3 mit Hinweisen).
2.2 Beim angefochtenen Urteil des Verwaltungsgerichts handelt es sich um einen kantonal letztinstanzlichen Entscheid in einer Angelegenheit des öffentlichen Rechts, die beim Bundesgericht mit Beschwerde in öffentlich-rechtlichen Angelegenheiten angefochten werden kann (Art. 82 ff. BGG in Verbindung mit Art. 73 des Bundesgesetzes vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden [StHG; SR 642.14], in der Fassung gemäss Anhang Ziff. 58 des Bundesgesetzes vom 17. Juni 2005 über das Bundesverwaltungsgericht [VGG; SR 173.32]).
Soweit die Beschwerdeführerin die Aufhebung von Einschätzungs- und Einspracheentscheiden sowie des Entscheids der Steuerrekurskommission beantragt, sind ihre Begehren unzulässig. Diese Verfügungen und Entscheide sind durch die Urteile des Verwaltungsgerichts ersetzt worden (sog. Devolutiveffekt). Sie gelten aber als inhaltlich mitangefochten (vgl. BGE 134 II 142 E. 1.4 S. 144; 129 II 438 E. 1 S. 441 mit Hinweisen).
Als Steuerpflichtige ist die Beschwerdeführerin gestützt auf Art. 89 Abs. 1 BGG grundsätzlich zur Beschwerde legitimiert.
2.3 Gemäss Art. 90 BGG ist die Beschwerde an das Bundesgericht gegen Entscheide, die das Verfahren abschliessen (sog. Endentscheide), zulässig. Das Verwaltungsgericht weist die Beschwerde betreffend die Staats- und Gemeindesteuern ab. Damit liegt diesbezüglich ein Endentscheid vor, gegen den die Beschwerde an das Bundesgericht gemäss Art. 90 BGG zulässig ist.
2.4 Rechtsschriften haben nach Art. 42 Abs. 1 BGG unter anderem die Begehren und deren Begründung mit Angabe der Beweismittel zu enthalten. In der Begründung ist in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt (Art. 42 Abs. 2 Satz 1 BGG). Die Vorbringen müssen sachbezogen sein, damit aus der Beschwerdeschrift ersichtlich ist, in welchen Punkten und weshalb der angefochtene Entscheid beanstandet wird. Dies setzt voraus, dass sich die Beschwerdeführerin wenigstens kurz mit den Erwägungen des angefochtenen Entscheides auseinandersetzt (vgl. BGE 134 II 244 E. 2.1 S. 245 f.). Eine qualifizierte Rügepflicht gilt hinsichtlich der Verletzung von Grundrechten und von kantonalem und interkantonalem Recht. Das Bundesgericht prüft eine solche Rüge nur insofern, als sie in der Beschwerde präzise vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG; BGE 133 II 249 E. 1.4.2 S. 254).
2.4.1 Die Beschwerdeführerin beantragt, sie sei für die Staats- und Gemeindesteuer 2003 mit einem steuerbaren Kapital von Fr. 37'012'000.--, eventualiter Fr. 53'776'400.--, und für 2004 mit einem solchen von Fr. 9'178'000.-- einzuschätzen.
2.4.2 Was den Antrag betreffend Festsetzung des steuerbaren Kapitals für das Jahr 2004 betrifft, ist festzustellen, dass es der Beschwerdeführerin an einem schutzwürdigen Interesse an der Aufhebung oder Änderung des angefochtenen Entscheids fehlt. Sie wurde mit Einschätzungsentscheid vom 17. Juli 2008 mit dem Kapital eingeschätzt, wie sie es nun selber verlangt, und der Einschätzungsentscheid wurde diesbezüglich mit dem Einspracheentscheid vom 29. Oktober 2008 und dem angefochtenen Entscheid vom 30. September 2009 bestätigt. Auf dieses Begehren kann daher nicht eingetreten werden.
2.4.3 Was den Antrag betreffend Festsetzung des steuerbaren Kapitals für das Jahr 2003 (Hauptbegehren) betrifft, ergibt sich aus den Vorbringen der Beschwerdeführerin vor der Steuerrekurskommission Zürich, dass er offenbar mit der Notwendigkeit einer Bilanzberichtigung zufolge handelsrechtswidriger Verbuchung eines Gewinns in der Jahresrechnung 2003 begründet wurde. Die Beschwerde enthält jedoch diesbezüglich keinerlei Ausführungen. Damit fehlt es an den Begründungsanforderungen entsprechenden Darlegungen dazu, inwieweit der angefochtene Entscheid bundesrechtswidrig sein soll. Auf dieses Begehren kann deshalb ebenfalls nicht eingetreten werden. Was das Eventualbegehren betreffend die Festsetzung des Kapitals für das Jahr 2003 betrifft, ist zusätzlich festzuhalten, dass es der Beschwerdeführerin an einem schutzwürdigen Interesse fehlt, liegt doch ihr Eventualantrag Fr. 400.-- über dem gemäss angefochtenem Urteil veranlagten Betrag.
3. 3.1 Die Beschwerdeführerin beantragt schliesslich, die vom Verwaltungsgericht auf Fr. 25'000.-- (zuzüglich Zustellkosten von Fr. 120.--) festgesetzte Gerichtsgebühr für den Entscheid betreffend Staats- und Gemeindesteuern 2003 und 2004 sei auf Fr. 2'000.-- zu reduzieren. Sie macht in diesem Zusammenhang eine Verletzung von Art. 9 und 127 BV geltend. Inwieweit eine Verletzung von Art. 127 BV vorliegen soll, lässt sich der Beschwerdebegründung nicht entnehmen, weshalb auf diese Rüge nicht eingetreten werden kann. Hingegen bringt die Beschwerdeführerin ihre Rüge betreffend Verletzung von Art. 9 BV in der Beschwerde präzise und begründet vor, weshalb sie vom Bundesgericht zu prüfen ist.
3.2 Die Beschwerdeführerin trägt vor, sie sei in den Jahren 2003 und 2004 als Holdinggesellschaft besteuert worden und habe somit keine Gewinnsteuer sondern bloss eine (stark) reduzierte Kapitalsteuer entrichtet. Die Differenz zwischen dem für das Jahr 2003 veranlagten Kapital und dem für dieses Jahr mit Verwaltungsgerichtsbeschwerde beantragten Kapital betrage Fr. 16'761'000.--. Daraus ergebe sich eine zusätzliche Steuer von Fr. 5'028.-- bzw. ein massgeblicher Streitwert von Fr. 12'570.--. Demgegenüber trägt die Vorinstanz in ihrer Vernehmlassung vor, der Streitwert vor Verwaltungsgericht habe Fr. 1'676'400.-- (einfache Staatssteuer) betragen.
3.3 Aufgrund der Akten ergibt sich, dass die Darstellung der Beschwerdeführerin - abgesehen von einem nicht ins Gewicht fallenden Verschrieb bezüglich des veranlagten Kapitals (Fr. 53'776'000.-- statt wie vorgetragen Fr. 53'773'000.--) - zutreffend ist. Wie sich dem Einspracheentscheid des Kantonalen Steueramtes vom 29. Oktober 2008 entnehmen lässt, wurde die Beschwerdeführerin in den fraglichen Steuerperioden als Holdinggesellschaft gemäss § 73 des zürcherischen Steuergesetzes vom 8. Juni 1997 (StG/ZH) eingeschätzt, wobei der massgebliche Kapitalsteuersatz gemäss § 82 StG/ZH in der hier anwendbaren früheren Fassung dieser Bestimmung (proportional) 0,3 Promille beträgt, was bei der vorliegend vor Verwaltungsgericht streitigen Differenz hinsichtlich des zu veranlagenden Kapitals im Ergebnis einen Steuerbetrag von rund Fr. 5'029.-- ergibt. Die Berechnung der Vorinstanz lässt sich demgegenüber nicht nachvollziehen.
Nach § 2 der züricherischen Verordnung über Gebühren, Kosten und Entschädigungen im Verfahren vor Verwaltungsgericht vom 26. Juni 1997 (GebV VGr/ZH) berücksichtigt die Gerichtsgebühr insbesondere den Zeitaufwand des Gerichts, die Schwierigkeit des Falles und das tatsächliche Streitinteresse. § 3 GebV VGr/ZH sieht einen auf Streitwert beruhenden Tarif vor, welcher die Gerichtsgebühr für den Regelfall festlegt. Gemäss Abs. 2 von § 3 GebV VGr/ZH wird in Steuersachen bei der einfachen Staatssteuer, worunter die aufgrund der im kantonalen Steuergesetz festgelegten Steuersätze berechnete Steuer zu verstehen ist (vgl. § 2 Abs. 1 StG/ZH), der streitige Betrag mit dem Faktor 2,5 vervielfacht. Dies führt vorliegend zu einem Streitwert von Fr. 12'573.--. Gemäss § 3 Abs. 1 GebV VGr/ZH beträgt die Gerichtsgebühr bei Streitwerten zwischen Fr. 10'000.-- und Fr. 20'000.-- in der Regel bis Fr. 2'000.--. Gründe für eine derart massive Abweichung von der Regelgebühr werden weder von der Vorinstanz vorgetragen, noch ergeben sich solche aus den Akten. Die Festsetzung der Gerichtsgebühr beruhte damit auf einer willkürlichen Anwendung der massgeblichen Bestimmungen der genannten Gebührenordnung und erweist sich in der fraglichen Höhe als offensichtlich übersetzt.
3.4 Die Beschwerde ist aus diesen Gründen bezüglich der Festsetzung der Gerichtsgebühr im vorinstanzlichen Verfahren gutzuheissen, Ziff. 2 des Dispositivs des angefochtenen Urteils aufzuheben und die Sache zur neuen Festsetzung der Gerichtsgebühr an die Vorinstanz zurückzuweisen. Im Übrigen kann auf die Beschwerde nicht eingetreten werden.
4. Bei diesem Ausgang sind die Kosten des bundesgerichtlichen Verfahrens der bloss in einem Nebenpunkt obsiegenden Beschwerdeführerin aufzuerlegen (Art. 65 und 66 BGG). Eine Parteientschädigung ist nicht auszurichten (Art. 68 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird teilweise gutgeheissen, Ziffer 2 des Dispositivs des Entscheids des Verwaltungsgerichts des Kantons Zürich vom 30. September 2009 (SB.2009.00044) wird aufgehoben und die Sache wird zur neuen Festlegung der Gerichtsgebühren an die Vorinstanz zurückgewiesen. Im Übrigen wird auf die Beschwerde nicht eingetreten.
2. Die Gerichtskosten von Fr. 4'000.-- werden der Beschwerdeführerin auferlegt.
3. Dieses Urteil wird der Beschwerdeführerin, dem Kantonalen Steueramt Zürich, dem Verwaltungsgericht des Kantons Zürich, 2. Kammer, und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 17. Mai 2010
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Moser