Sachverhalt: A. Die X._ AG mit Sitz in A._ (nachfolgend: X._ AG) ist eine Gesellschaft mit Produktions- und Handelsaktivitäten im Bausektor, Bereich F._technik. Sie ist eine Gruppengesellschaft des Y._-Konzerns und ihrerseits Rechtsnachfolgerin einer gleichnamigen Gesellschaft (Übernahme durch Fusion am 25. Juni 2008, nachfolgend aus Vereinfachungsgründen ebenfalls als X._ AG bezeichnet). Unter der Firma Z._ AG bestand eine weitere Gruppengesellschaft mit Sitz in B._ (nachfolgend Z._ AG). Sie besass eine C._produktion, für welche sie die notwendigen D._ selbst herstellte. Sie bediente als Produzentin sowohl Möbelindustrie und Holzfachhandel wie auch Bauindustrie und Baufachhandel, wobei rund 20 % der Produkte den Bausektor betrafen. Zur Sanierung der Z._ AG verzichtete die Konzernholdinggesellschaft in den Jahren 2000 bis 2002 auf Darlehen im Umfang von insgesamt Fr. ... Mio. Die Forderungsverzichte erfolgten gegen Ausgabe von Besserungsscheinen mit der Verpflichtung zur Rückzahlung, sobald u.a. das Aktienkapital der Z._ AG wieder intakt sein sollte. Im Jahr 2004 wurde zudem das Aktienkapital der Z._ AG von Fr. ... Mio. auf Fr. 100'000.-- herabgesetzt. Im Rahmen der Neuordnung der Y._-Gruppe wurde im Jahr 2002 bei der Z._ AG die Produktion von C._ stillgelegt und wurden die Möbel- und Holzhandelsaktivitäten an einen Dritten veräussert. Die verbleibenden Aktivitäten, welche sich auf den Sektor Bau konzentrierten (insbesondere E._), sowie die nicht bilanzierten Werte wie Immaterialgüterrechte (abgelaufene Patente für die Herstellung von D._), Know-how und Baukunden-Kartei verblieben weiterhin bei der Z._ AG. Sie konnten aber in der Y._-Gruppe genutzt werden. Trotz Veräusserung des Betriebsgrundstücks am 20. November 2003 führte die Z._ AG ihre reduzierten Aktivitäten durch zwei langjährige Mitarbeiter weiter. Am 23. Dezember 2004 übernahm die (damalige alte) X._ AG per Stichtag 30. November 2004 die Z._ AG mit sämtlichen Aktiven und Passiven. B. Für die direkte Bundessteuer 2004 brachte die X._ AG u.a. die Verlustvorträge der Z._ AG von Fr. ... vom ausgewiesenen Gewinn in Abzug. Das kantonale Steueramt Zürich verweigerte die Verlustverrechnung, rechnete einen (nicht mehr umstrittenen) betriebsfremden Aufwand von Fr. ... zum steuerbaren Gewinn hinzu und ermittelte einen steuerbaren Reingewinn von Fr. ... (Veranlagungsverfügung vom 29. Januar 2007; Einspracheentscheid vom 12. Juni 2008). Die gegen den Einspracheentscheid erhobene Beschwerde wies die Steuerrekurskommission II des Kantons Zürich am 27. Oktober 2008 ab. Eine dagegen gerichtete Beschwerde an das Verwaltungsgericht des Kantons Zürich blieb erfolglos. Mit Urteil vom 16. Juni 2010 hiess das Bundesgericht die Beschwerde der X._ AG aus formellen Gründen (Verletzung des Anspruchs auf rechtliches Gehör) gut und hob das Urteil des Verwaltungsgerichts vom 18. November 2009 auf. Das Verwaltungsgericht wies die Beschwerde im zweiten Rechtsgang mit Urteil vom 23. Februar 2011 ab. Es befand, die von der X._ AG übernommene Z._ AG sei im Zeitpunkt der Fusion bereits liquidiert gewesen. Das schliesse eine Verrechnung der Vorjahresverluste der absorbierten Gesellschaft aus. Dass die Eidgenössische Steuerverwaltung für die Stempelabgaben und die Verrechnungssteuer darin keinen steuerbaren Vorgang erblickt habe, binde die Veranlagungsbehörde für die direkte Bundessteuer nicht. Der Grundsatz von Treu und Glauben sei nicht verletzt. C. Hiergegen führt die X._ AG beim Bundesgericht Beschwerde mit dem Antrag, das Urteil des Verwaltungsgerichts des Kantons Zürich vom 23. Februar 2011 betreffend die direkte Bundessteuer sei aufzuheben und der steuerbare Reingewinn für die Steuerperiode 2004 auf Fr. 0.-- festzusetzen. Das Kantonale Steueramt Zürich und die Eidgenössische Steuerverwaltung schliessen auf Abweisung der Beschwerde. Das Verwaltungsgericht des Kantons Zürich hat auf Vernehmlassung verzichtet.