Sachverhalt:
A. Der 1995 verstorbene Y._ war Alleinaktionär der Bauunternehmung Y._ AG und der Y._ Immobilien AG. Daneben handelte er mit Liegenschaften, weshalb er für einen 1979 erfolgten Grundstücksverkauf als selbständiger Liegenschaftenhändler behandelt wurde. Nach seinem Tode im Februar 1995 übernahm die Ehefrau, X._, die Aktien der Y._ Immobilien AG. Diese verkaufte sie am 17. Februar 2005 (bei einem Nominalwert der Aktien von Fr. 200'000.--) zum Preis von Fr. 14'500'000.--.
B. In der Veranlagungsverfügung vom 1. Februar 2008 für die Steuerperiode 2005 wurde X._ die Differenz zwischen dem Verkaufspreis und dem Nominalwert der Aktien, abzüglich der darauf geschuldeten AHV-Beiträge in der Höhe von Fr. 1'366'651.--, d.h. Fr. 12'933'349.-- bei der direkten Bundessteuer als Einkommen aufgerechnet. Daraus ergab sich ein steuerbares Einkommen von Fr. 14'418'000.--; das Kantonale Steueramt bestätigte die Veranlagung mit Entscheid vom 3. Oktober 2008.
Die dagegen erhobene Beschwerde von X._ wies die damalige Steuerrekurskommission II (heute: Steuerrekursgericht) am 6. März 2009 ab. Das daraufhin angerufene Verwaltungsgericht des Kantons Zürich hiess die Beschwerde von X._ am 30. September 2009 teilweise gut und wies die Sache zur weiteren Untersuchung und zum Neuentscheid im Sinne der Erwägungen an die Steuerrekurskommission II zurück. Auf eine dagegen gerichtete Beschwerde in öffentlich-rechtlichen Angelegenheiten der Steuerpflichtigen trat das Bundesgericht am 6. April 2010 nicht ein (Urteil 2C_814/2009). Am 1. Juni 2010 hiess die Steuerrekurskommission II (im 2. Rechtsgang) die Beschwerde teilweise gut und wies die Sache zur weiteren Untersuchung und zum Neuentscheid im Sinne der Erwägungen des Verwaltungsgerichts an das Kantonale Steueramt zurück. Eine dagegen erhobene Beschwerde des Kantonalen Steueramts hiess das Verwaltungsgericht am 17. November 2010 gut und wies die Sache an die Steuerrekurskommission zurück mit der Weisung, die Untersuchungen selber durchzuführen. Mit Entscheid vom 29. Juni 2011 hiess das Steuerrekursgericht (im 3. Rechtsgang) die Beschwerde teilweise gut und nahm - weisungsgemäss - die Überführung der fraglichen Aktien ins Geschäftsvermögen des Liegenschaftshandels erst per 1979 an. Sie ging von einem geschätzten Überführungswert von Fr. 3'400'000.-- aus und ermittelte einen leicht reduzierten Gewinn aus Aktienverkauf von Fr. 11'100'000.-- (Fr. 14'500'000.-- ./. Fr. 3'400'000.--) bzw. nach Berücksichtigung der AHV-Beiträge von Fr. 9'990'000.-- (statt Fr. 12'933'349.--). Entsprechend setzte sie das steuerbare Einkommen von X._ für die Steuerperiode 2005 neu auf Fr. 11'474'657.-- fest. Soweit es darauf eintrat, wies das Verwaltungsgericht mit Urteil vom 15. Februar 2012 Beschwerden des Kantonalen Steueramtes einerseits und von X._ andererseits hiergegen ab.
C. Gegen dieses Urteil des Verwaltungsgerichts des Kantons Zürich vom 15. Februar 2012 führen sowohl das Kantonale Steueramt (Verfahren 2C_297/2012) als auch X._ (Verfahren 2C_300/2012) mit Eingaben vom 27. bzw. 28. März 2012 Beschwerden in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht. Das Kantonale Steueramt beantragt, das angefochtene Urteil des Verwaltungsgerichts sei aufzuheben und der Einspracheentscheid des Steueramts vom 3. Oktober 2008 sei zu bestätigen (2C_297/2012). X._ beantragt, das angefochtene Urteil des Verwaltungsgerichts sei aufzuheben und es sei festzustellen, dass die Beteiligung an der Y._ Immobilien AG dem Privatvermögen von X._ angehöre und der aus dem Verkauf dieser Aktien erzielte Gewinn bei ihr deshalb nicht steuerbar sei (2C_300/2012). Eventualiter beantragt sie, die Sache sei an das Kantonale Steueramt Zürich zurückzuweisen zur Erfassung der Differenz zwischen dem Überführungswert der Aktien per Ende 1992 von Fr. 9'327'190.-- und dem Verkaufserlös unter Berücksichtigung der AHV-Beiträge.
D. Während X._ und das Verwaltungsgericht des Kantons Zürich beantragen, die Beschwerde des Kantonalen Steueramtes Zürich sei abzuweisen, schliesst die Eidgenössische Steuerverwaltung auf deren Gutheissung; demgegenüber beantragen sämtliche zur Vernehmlassung aufgeforderten Instanzen, nämlich das Kantonale Steueramt Zürich, das Verwaltungsgericht des Kantons Zürich sowie die Eidgenössische Steuerverwaltung, die Beschwerde von X._ sei abzuweisen, soweit darauf einzutreten ist.
E. Mit Verfügung vom 3. April 2012 hat der Präsident der II. öffentlich-rechtlichen Abteilung das Gesuch von X._ um aufschiebende Wirkung (im Verfahren 2C_300/2012) abgewiesen.

Erwägungen:
1. 1.1 Die vorliegenden Beschwerden betreffen die gleichen Parteien, richten sich gegen denselben Entscheid und werfen identische Rechtsfragen auf. Es rechtfertigt sich deshalb, die Verfahren zu vereinigen und die Beschwerden in einem einzigen Urteil zu erledigen (vgl. <ref-law> in Verbindung mit <ref-law>; <ref-ruling> E. 1 S. 60 f. mit Hinweis).
1.2 Beim angefochtenen Urteil handelt es sich um einen kantonal letztinstanzlichen Entscheid über die direkten Steuern des Bundes. Dagegen steht gemäss <ref-law> in Verbindung mit Art. 146 des Bundesgesetzes vom 14. Dezember 1990 über die direkte Bundessteuer (DBG; SR 642.11) die Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht offen. Auf die form- und fristgerecht eingereichten Beschwerden der gemäss <ref-law> (Verfahren 2C_297/2012) bzw. <ref-law> (Verfahren 2C_300/2012) legitimierten Beschwerdeführer ist grundsätzlich einzutreten. Nicht einzutreten ist auf die Beschwerde 2C_300/2012 insoweit, als neben dem Antrag auf Nichtbesteuerung des Gewinns aus dem Verkauf der Aktien noch ein Feststellungsbegehren gestellt wird, besteht doch hierfür kein schutzwürdiges Interesse (vgl. <ref-ruling> E. 2c S. 303 f.).
1.3 Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann namentlich die Verletzung von Bundesrecht gerügt werden (<ref-law>). Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist daher weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen, und es kann eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Das Bundesgericht legt sodann seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (<ref-law>), es sei denn, dieser sei offensichtlich unrichtig oder beruhe auf einer Rechtsverletzung im Sinne von <ref-law> (Art. 105 Abs. 2 bzw. <ref-law>).
1.4 Gemäss <ref-law> hat die Rechtsschrift die Begehren und deren Begründung zu enthalten; im Rahmen der Begründung ist in gedrängter Form darzulegen, inwiefern der angefochtene Entscheid Recht verletzt (<ref-law>). Die Vorbringen müssen sachbezogen sein, damit aus der Beschwerdeschrift ersichtlich ist, in welchen Punkten und weshalb der angefochtene Entscheid beanstandet wird. Diesen Begründungsanforderungen genügt die Beschwerdeschrift im Verfahren 2C_300/2012 nur teilweise, indem sie sich weitgehend in appellatorischer Kritik am vorinstanzlichen Urteil erschöpft. Soweit die Begründungsanforderungen nicht erfüllt sind, kann auf die Beschwerde 2C_300/2012 nicht eingetreten werden.
2. Es rechtfertigt sich, das Hauptbegehren der Beschwerde 2C_300/2012 der steuerpflichtigen Person, die einen steuerbaren Kapitalgewinn nach <ref-law> grundsätzlich verneint, vorab (vgl. E. 3 und 4 hiernach) zu behandeln. Sollte diese Beschwerde gutzuheissen sein, würde sich die Beschwerde 2C_297/2012 des Kantonalen Steueramtes Zürich, die sich mit der Bemessung dieses Kapitalgewinns befasst, als gegenstandslos erweisen. Zusammen mit der letztgenannten Beschwerde 2C_297/2012 kann sodann (vgl. E. 5 hiernach) der Eventualantrag der Beschwerde 2C_300/2012 behandelt werden, wo es ebenfalls um Bemessungsfragen geht.
3. 3.1 Gemäss <ref-law> unterliegen der Einkommenssteuer alle wiederkehrenden und einmaligen Einkünfte mit Ausnahme der Kapitalgewinne aus der Veräusserung von Privatvermögen. <ref-law> bestimmt, dass alle Einkünfte aus einem Handels-, Industrie-, Gewerbe-, Land- oder Forstwirtschaftsbetrieb, aus einem freien Beruf sowie aus jeder anderen selbständigen Erwerbstätigkeit steuerbar sind. Zu den Einkünften aus selbständiger Erwerbstätigkeit gehören nach <ref-law> auch alle Kapitalgewinne aus Veräusserung, Verwertung oder buchmässiger Aufwertung von Geschäftsvermögen. Als Geschäftsvermögen gelten gemäss <ref-law> alle Vermögenswerte, die ganz oder vorwiegend der selbständigen Erwerbstätigkeit dienen. Ob ein Vermögensgegenstand dem Privat- oder Geschäftsvermögen zuzuordnen ist, ist aufgrund einer Würdigung aller in Betracht kommenden tatsächlichen Umstände zu entscheiden (<ref-ruling> E. 5b S. 120 f.; <ref-ruling> E. 5a S. 452 f.; Urteile 2C_47/2012 und 2C_48/2012 vom 28. Juni 2012 E. 4.2; 2C_1023/2011 und 2C_1024/2011 vom 10. Mai 2012 E. 6.1; 2C_385/2011 vom 12. September 2011 E. 2.1, in: StE 2011 B 23.1 Nr. 72; je mit Hinweisen). Dabei ändert die Qualifikation eines Vermögensgegenstandes zum Geschäfts- oder Privatvermögen durch den Erbgang allein nicht (Urteile 2A.698/2004 vom 8. Mai 2006 E. 3.3, in: StE 2006 B 23.2 Nr. 33; 2A.52/2003 vom 23. Januar 2004 E. 3.1 mit Hinweisen, in: ASA 74 S. 737).
3.2 Umstritten ist hier, ob mit dem Verkauf sämtlicher Aktien der Y._ Immobilien AG ein Kapitalgewinn auf beweglichem Geschäftsvermögen gemäss <ref-law> realisiert wurde, indem diese Beteiligungsrechte zum Geschäftsvermögen der Einzelfirma des verstorbenen Y._ bzw. dessen Rechtsnachfolgerin gehörten. Bei einem Alternativgut, das sowohl in Beziehung zur Geschäftstätigkeit der steuerpflichtigen Person stehen als auch ausschliesslich privat verwendet werden kann, ist massgebend, welchem Bereich der Vermögensgegenstand in Anbetracht seiner technisch-wirtschaftlichen Funktion tatsächlich dient (vgl. PETER LOCHER, Kommentar zum DBG, I. Teil, 2001, Rz. 145 zu <ref-law>; YVES NOËL, in: Commentaire romand de l'impôt fédéral direct, 2008, N. 71 zu <ref-law>; MARKUS REICH, in: Kommentar zum Schweizerischen Steuerrecht, Bd. I/2a, 2. Aufl. 2008, N. 48 zu <ref-law>; RICHNER/FREI/KAUFMANN/MEUTER, Handkommentar zum DBG, 2. Aufl. 2009, Rz. 97 zu <ref-law>).
Im Urteil 2A.431/2000 vom 9. April 2001 E. 4c, in: ASA 71 S. 288, präzisierte das Bundesgericht seine Praxis zur Zuordnung von Beteiligungen in Fällen, in denen die steuerpflichtigen Personen nebenher noch einen geschäftlichen Betrieb führen. Dabei bezog es sich auf zwei frühere, nicht amtlich publizierte Entscheide (Urteile 2A.17/1989 vom 28. Juni 1989 E. 4a; 2A.110/1989 vom 17. November 1989 E. 2c). Im jüngeren der beiden Präjudizien hat das Bundesgericht festgehalten, welche wirtschaftlichen Aspekte für die Zuordnungsfrage relevant sind: Eine wirtschaftliche Beziehung zwischen der Beteiligung und dem Geschäft des Steuerpflichtigen ist insbesondere dann anzunehmen, wenn der Erwerb der Beteiligung der Einzelunternehmung erlaubt, auf eine in einem verwandten Gebiet tätige Unternehmung einen beherrschenden Einfluss auszuüben. Mit einer solchen Beteiligung erweitert der Steuerpflichtige sein Geschäft. Es muss deshalb angenommen werden, der Steuerpflichtige habe eine solche Beteiligung zum Zwecke der Gewinnerzielung in seinem Geschäft erworben, weshalb sie zu seinem Geschäftsvermögen zu rechnen ist. Indes genügt zur Annahme von Geschäftsvermögen in einem solchen Falle nicht, dass zwischen dem in Form der Einzelfirma und dem von der Aktiengesellschaft geführten Betrieb enge wirtschaftliche Beziehungen bestehen. Erforderlich ist in dem Falle der - in den tatsächlichen Verhältnissen zum Ausdruck gebrachte und verwirklichte - Wille des Steuerpflichtigen, die Beteiligung der Gewinnerzielung in seinem Betrieb zu widmen (Urteil 2A.110/1989 vom 17. November 1989 E. 2c).
Entsprechend führte das Bundesgericht im erwähnten Urteil 2A.431/2000 in E. 4c aus, dass eine wirtschaftliche Verflechtung zwischen dem Unternehmen des Steuerpflichtigen und der Aktiengesellschaft, an der er beteiligt ist, noch nicht für eine Zuordnung der Aktien zu seinem Vermögen genügt. Massgebendes Kriterium ist der Wille des Betreffenden, seine Beteiligungsrechte konkret dazu zu nutzen, um das Geschäftsergebnis seines eigenen Unternehmens zu verbessern. Die neuere bundesgerichtliche Praxis zu dieser Problematik (Urteile 2C_47/2012 und 2C_48/2012 vom 28. Juni 2012 E. 4.2; 2C_1023/2011 und 2C_1024/2011 vom 10. Mai 2012 E. 6.2; 2C_361/2011 und 2C_364/2011 vom 8. November 2011 E. 2.4.2; 2C_349/2009 vom 16. November 2009 E. 4.2.2) bezieht sich durchwegs auf dieses Grundsatzurteil.
4. 4.1 Hier hat die Vorinstanz in für das Bundesgericht bindender Weise (vgl. E. 1.3 hiervor) festgestellt, zwischen der selbständigen Erwerbstätigkeit von Y._ als Liegenschaftenhändler und der Y._ Immobilien AG habe eine enge wirtschaftliche Beziehung bestanden. Er habe massgebenden Einfluss auf die Y._ AG und die Y._ Immobilien AG gehabt und sie in seinem Gesamtgefüge der Immobilientätigkeit nach seinem Willen so einsetzen können, dass er das Geschäftsergebnis aller Gesellschaften (d.h. auch des Liegenschaftshandelsbetriebs) zu verbessern in der Lage war (vgl. angefochtener Entscheid E. 2.2.2). Im Übrigen anerkennt selbst die Steuerpflichtige in Ziff. 60 f. ihrer Beschwerdeschrift, dass sich die enge wirtschaftliche Beziehung tatsächlich (d.h. zu einem bestimmten Zeitpunkt) im erforderlichen Ausmass manifestierte. Damit liegt die Zugehörigkeit der Aktien der Y._ Immobilien AG zum Geschäftsvermögen des Liegenschaftshandelsbetriebs auf der Hand. Daran vermag weder der Übergang dieser Aktien von Todes wegen auf die steuerpflichtige Person noch der Umstand, dass für den Liegenschaftshandelsbetrieb gar keine Bücher geführt wurden, etwas zu ändern.
4.2 Was die Steuerpflichtige dagegen einwendet, überzeugt - abgesehen davon, dass sich ihre Vorbringen weitgehend in appellatorischer Kritik am vorinstanzlichen Urteil (vgl. E. 1.4 hiervor) erschöpfen - nicht: Sie hält dafür, die Aktien der Y._ Immobilien AG hätten mit dem Vermögensübergang von Todes wegen auf die steuerpflichtige Person zu Privatvermögen mutiert, was wie bereits erwähnt (vgl. E. 3.1 in fine hiervor) nicht zutrifft. Im Übrigen kann ein Vermögensgegenstand im Geschäftsvermögen durch blossen Zeitablauf nicht in das Privatvermögen übergehen (<ref-ruling> E. 6c/bb S. 127; vgl. auch Urteile 2C_948/2010 vom 31. Oktober 2011 E. 4.1; 2C_16/2009 vom 26. August 2009 E. 3.1.2).
Auch das Vorbringen, die Steuerbehörde habe die Deklaration als Privatvermögen stets anerkannt und nie eine Buchhaltung verlangt, dringt nicht durch: Gemäss Praxis spielt der Umstand, dass die fraglichen Aktien von der steuerpflichtigen Person als Privatvermögen eingestuft wurden und die Steuerbehörden diese Qualifikation nicht beanstandet hatten, keine entscheidende Rolle (Urteil 2C_361/2011 und 2C_364/2011 vom 8. November 2011 E. 3.3). Auch der Übergang vom Bundessteuerbeschluss auf das DBG ist in dieser Hinsicht nicht relevant (vgl. Urteil 2A.698/2004 vom 8. Mai 2006 E. 3.3, in: StE 2006 B 23.2 Nr. 33), zumal die neue Präponderanzmethode vor allem für Liegenschaften gilt. Im Übrigen ist es nicht Aufgabe der Steuerbehörde, nach dem 1. Januar 1995 verbindlich und aus eigenem Antrieb für jeden Vermögensgegenstand die Zugehörigkeit zum Privat- oder Geschäftsvermögen bekanntzugeben. Ohne eine entsprechende Meinungsäusserung der Steuerbehörde besteht aber keine irgendwie geartete Vertrauensgrundlage, womit auch kein Verstoss gegen Treu und Glauben vorliegen kann. Das von der Steuerpflichtigen mehrfach zitierte Urteil 2A.384/1999 vom 29. Mai 2000 ist im vorliegenden Zusammenhang ebenso wenig relevant, weil hier eine ("vererbte") selbständige Erwerbstätigkeit vorliegt, deren (Weiter)Existenz von der steuerpflichtigen Person zu Unrecht in Abrede gestellt wird.
Damit steht als erstes Ergebnis fest, dass die veräusserten Aktien der Y._ Immobilien AG zum Geschäftsvermögen des Liegenschaftshandelsbetriebs gehörten.
5. 5.1 Somit stellt sich noch die Frage der Bemessung des steuerbaren Kapitalgewinns (vgl. E. 2 hiervor). Grundsätzlich bemisst sich ein steuerbarer Kapitalgewinn auf Geschäftsvermögen nach der Differenz zwischen Buchwert und Erlös des veräusserten Vermögensgegenstands (Urteil 2A.425/1995 vom 23. Oktober 1996 E. 5b, in: ASA 66 S. 232 E. 5b; LOCHER, a.a.O., Rz. 85 zu <ref-law>). Sofern nicht ein konkreter "Einbringungswert" zu einem bestimmten Zeitpunkt nachgewiesen werden kann, ist auf den Nominalwert der Aktien der Y._ Immobilien AG abzustellen. Demgegenüber bezieht sich die Vorinstanz im Urteil vom 30. September 2009 auf die Rechtsprechung zum gewerbsmässigen Liegenschaftshandel, wo der durch Wertzuwachs erzielte Gewinn eines Liegenschaftenhändlers nur insoweit mit der Einkommenssteuer erfasst werden darf, als dieser Wertzuwachs in den Zeitraum nach dem Zeitpunkt der Aufnahme der Erwerbstätigkeit bzw. des Liegenschaftenhandels fällt (Urteil 2C_598/2007 vom 2. Juli 2008 E. 4.2, in: StR 63/2008 S. 864). Diese Rechtsprechung ist freilich nur für ordentliche Einkünfte nach <ref-law>, nicht aber für ausserordentliche Kapitalgewinne nach <ref-law> massgebend. Schon allein aus diesem Grund erweist sich die Beschwerde des Kantonalen Steueramts (2C_297/2012) als begründet und ist gutzuheissen.
5.2 Selbst wenn man der Argumentation der Vorinstanz folgen würde, hätte Y._ die selbständige Erwerbstätigkeit nicht erst 1979/80 mit dem Beginn der Verkaufstätigkeit von Liegenschaften, sondern schon viel früher aufgenommen. In der Aktennotiz vom 3. Oktober 1983 einer Besprechung vom 30. September 1983 mit dem zuständigen Steuerkommissär wird der Beginn dieser selbständigen Erwerbstätigkeit nicht näher umschrieben und insbesondere nicht zeitlich fixiert. Der im Eventualbegehren der Beschwerde 2C_300/2012 beantragte Beginn der selbständigen Erwerbstätigkeit per Dezember 1992 überzeugt ebenso wenig: Wohl traten damals "engere wirtschaftliche Beziehungen zwischen der Beteiligung an der Kapitalgesellschaft und dem Geschäft von Y._ sel." zutage (Ziff. 61 der Beschwerdeschrift). Die Vorinstanzen gingen aber zu Recht schon für einen Zeitraum lange vorher von intensiven "Synergien" zwischen sämtlichen Gesellschaften des Unternehmers aus. Mangels einer anderen massgebenden Ausgangsgrösse ist damit auf den Nominalwert der Aktien der Y._ Immobilien AG abzustellen.
6. Damit erweist sich die Beschwerde des Kantonalen Steueramtes Zürich (2C_297/2012) als begründet und ist gutzuheissen, das angefochtene Urteil aufzuheben und das steuerbare Einkommen der Beschwerdegegnerin für die direkte Bundessteuer 2005 auf Fr. 14'418'000.-- festzusetzen. Demgegenüber ist die Beschwerde der Steuerpflichtigen (2C_300/2012) abzuweisen, soweit darauf eingetreten werden kann.
7. Die Kosten des bundesgerichtlichen Verfahrens sind der Steuerpflichtigen aufzuerlegen (Art. 65 f. BGG). Eine Parteientschädigung ist nicht auszurichten (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Verfahren 2C_297/2012 und 2C_300/2012 werden vereinigt.
2. Die Beschwerde des Kantonalen Steueramtes Zürich (2C_297/2012) wird gutgeheissen, das Urteil des Verwaltungsgerichts des Kantons Zürich vom 15. Februar 2012 aufgehoben und das steuerbare Einkommen für die direkte Bundessteuer 2005 auf Fr. 14'418'000.-- festgesetzt.
3. Die Beschwerde der Steuerpflichtigen (2C_300/2012) wird abgewiesen, soweit darauf einzutreten ist.
4. Die Gerichtskosten von Fr. 15'000.-- werden der Steuerpflichtigen auferlegt.
5. Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Zürich, 2. Kammer, und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 17. Oktober 2012
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Winiger