Sachverhalt:
A. A.a Die X._ AG (Beschwerdeführerin, Klägerin) ist eines der grössten deutschen Energieunternehmen mit Sitz in A._. Ihre Hauptbetätigungen liegen in der Erzeugung von Energie, dem Handel und Vertrieb von Strom und Gas sowie in Umweltdienstleistungen. Sie ist mit Rückwirkung per 1. Januar 1997 aus einer Fusion der B._ AG und der C._ AG hervorgegangen.
Y._ (Beschwerdegegner, Beklagter) ist deutscher Staatsangehöriger mit Wohnsitz in D._, vormals in Italien. Von Beruf E._, widmete er sich als Unternehmer seit Ende der 80er-Jahre des letzten Jahrhunderts der F._-Technologie, die der Energiegewinnung aus Müll sowie der Müllverwertung dient. Er ist Hauptaktionär der F._ AG und technischer Berater der F._-Gruppe.
Die F._ AG hat ihren Sitz in G._ und wurde im Jahre 1990 als Aktiengesellschaft gegründet. Das Aktienkapital betrug anfangs 1 Million Franken; später wurde dieses auf 70 Millionen Franken erhöht. Gesellschaftszweck ist die Forschung und Entwicklung auf dem Gebiete der Umwelttechnologie, die Verwertung von Patenten und Lizenzen auf diesem Gebiete, einschliesslich der thermischen Müllverwertung. Namentlich hält die F._ AG die Patente für das sogenannte F._-Verfahren. Sie verwertet dieses Verfahren über ihre Tochtergesellschaften.
Eine dieser Tochtergesellschaften war die in D._ domiziliert gewesene Q._ AG bzw. Q._ SA (später: F._ SA), der das operative Geschäft übertragen wurde. Die F._ AG, G._, hielt 100 % des Aktienkapitals, das gemäss Handelsregister bei der Gründung im Jahre 1990 Fr. 13'200'000 und ab dem Jahre 2001 Fr. 65'000'000 betrug. Am 29. Oktober 2009 wurde der Konkurs über die Gesellschaft eröffnet.
A.b Am 7. Dezember 1995 schlossen der Beschwerdegegner als Verkäufer und eine Rechtsvorgängerin der Beschwerdeführerin, die H._ in A._, einen "Vertrag über Verkauf und Übertragung von Aktien der F._ Aktiengesellschaft, G._". Die Parteien gingen zur Zeit des Vertragsschlusses von einem Aktienkapital von Fr. 6'000'000 aus (§ 1 des Vertrags). Der Beschwerdegegner verkaufte der Beschwerdeführerin 1'506 Inhaberaktien der F._ AG im Nennwert von Fr. 1'506'000, was einer Beteiligung von 25.1 % an der F._ AG entsprach (§ 2 Abs. 1 des Vertrags). Es wurde bestimmt, dass das Eigentum an den Aktien mit Übergabe der Aktienurkunden auf das "H._" übergehen soll, und zwar "Zug um Zug gegen Zahlung des Restkaufpreises". Die Mitgliedschaftsrechte gelten gemäss Vertrag "als mit Wirkung zum 01. Januar 1995 übergegangen" (§ 2 Abs. 2). Bezüglich der Bestimmung des Kaufpreises wurde in § 3 des Vertrags vom 7. Dezember 1995 Folgendes festgelegt:
"(1) Der Kaufpreis entspricht 25,1 % des Unternehmenswertes von F._. Der Unternehmenswert ist gleich dem Ertragswert. Bei der Ermittlung des Ertragswertes werden ein Betrachtungszeitraum von zehn Jahren ab dem Bewertungsstichtag und ein Kapitalisierungszinsfuss von 11% (in Worten: elf Prozent) zugrundegelegt, mit dem die Ergebnisse der zehn Referenzjahre abgezinst werden.
(2) Die Bewertung erfolgt auf den 01. Januar 1999 (Bewertungsstichtag).
(3) Einigen sich die Parteien über den Unternehmenswert (Ertragswert) von F._ nicht, so bestellt jede Partei einen Gutachter, der eine Unternehmensbewertung (Ertragsbewertung) vornimmt. Als massgeblich gilt der Mittelwert zwischen den beiden Bewertungen, vorausgesetzt, dass das Gutachten mit dem höheren Endwert nicht mehr als 10% von dem Gutachten mit dem niedrigeren Endwert abweicht; die 10% werden vom niedrigeren Endwert berechnet.
Weichen die Endwerte hiernach um mehr als 10% voneinander ab, so einigen sich die beiden Gutachter innerhalb von vier Wochen nach Vorlage des letzten Gutachtens auf einen dritten Sachverständigen als Obergutachter. Im Falle der Nichteinigung wird dieser Obergutachter auf Antrag einer Partei vom Präsidenten des Appellationsgerichts in Zürich ernannt.
Über den Wert entscheidet der Obergutachter endgültig. Er darf jedoch den niedrigeren Wert nicht unter-, den höheren Wert nicht überschreiten.
Bestellt eine Partei innerhalb eines Monats nach Aufforderung durch die andere Partei keinen Gutachter, so entscheidet die Wertermittlung des von der anderen Partei bestellten Gutachters.
Alle nach dieser Bestimmung zu wählenden oder zu ernennenden Gutachter müssen Wirtschaftsprüfer oder Wirtschaftsprüfergesellschaften sein."
A.c In der Folge ergaben sich zwischen den Parteien Differenzen, namentlich darüber, aus welchen Gründen verschiedene F._-Anlagen nicht wie gewünscht funktionierten (Projekt A._, Projekt I._, Projekt J._). Im Jahre 1999 begannen die Parteien Gespräche zum Thema, wie die Bewertung des Kaufpreises im Sinne des Vertrags vom 7. Dezember 1995 bewerkstelligt werden könnte. Nach einem Unterbruch wurden diese Gespräche über die Bewertung des Kaufgegenstandes erst im Jahre 2003 wieder aufgenommen.
Am 28. Januar 2003 schlossen die Parteien eine Vereinbarung, die sie als "Zusatzvereinbarung" bezeichnen. Als Käuferin nannten sie dieses Mal die Rechtsnachfolgerin des früheren "H._s", die Beschwerdeführerin. Die Zusatzvereinbarung hat folgenden Wortlaut:
"1. Zwischen den Parteien besteht ein Kaufvertrag über Aktien an der F._ AG. Herr Y._ wird sich bemühen, die an X._ [= heutige Klägerin] verkauften Aktien einem Dritten weiterzuveräussern. X._ stimmt der Übertragung auf einen Dritten gegen Rückgabe der Anzahlung in Höhe von DM 50 Mio. ausdrücklich zu.
2. Nach dem o.g. Kaufvertrag wird der endgültige Kaufpreis der Aktien nach einem Bewertungsgutachten festgelegt. Unabhängig von Ziff. 1 vereinbaren die Parteien, dass keine weiteren Zahlungen auf dem Kaufvertrag erfolgen, bis das Bewertungsgutachten erstellt und Einigkeit darüber erzielt ist. Falls der Verkauf an einen Dritten nicht gelingt, wird der Kaufpreis erst und nur auf der Basis des einvernehmlichen Bewertungsgutachtens festgelegt und entrichtet. Die im Kaufvertrag vorgesehene Leistung einer weiteren Anzahlung auf den Kaufpreis unterbleibt.
3. Die Parteien verständigen sich auf Prof. Dr. K._ + L._, M._, als Bewertungsgutachter.
4. Über Streitigkeiten aus dem Kaufvertrag und aus dieser Vereinbarung entscheidet ausschliesslich das ordentliche Gericht der Stadt Zürich."
A.d Am 7. Februar 2003 wandten sich die Parteien im Sinne der Zusatzvereinbarung in einem gemeinsamen Schreiben an Prof. Dr. K._ zwecks Erteilung des Gutachterauftrages.
Schon bald nach der Arbeitsaufnahme durch Prof. K._ begann die Beschwerdeführerin dessen Neutralität anzuzweifeln, indem sie dem Gutachter vorwarf, sich mit der Gegenpartei abzustimmen. Jedenfalls teilte sie Prof. K._ am 22. September 2003 mit, dass sie jede Fortführung seiner gutachterlichen Tätigkeit ablehne und ihn auffordere, "das Mandat unverzüglich niederzulegen". Mit Schreiben vom 30. September 2003 und 6. Oktober 2003 wiesen sowohl Prof. K._ als auch der Beschwerdegegner die Vorwürfe der Beschwerdeführerin gegenüber dem Gutachter zurück.
Am 2. Juli 2004 unterbreitete Prof. K._ den Parteien seinen "Bericht über die Ermittlung des Unternehmenswertes zum 01.01.1999 der F._ AG, G._". Unter Bezugnahme auf diesen Bericht forderte der Beschwerdegegner von der Beschwerdeführerin mit Schreiben vom 19. Juli 2004 unter Berücksichtigung der von ihr bereits geleisteten Anzahlung von DM 50 Mio. den "noch ausstehenden Restkaufpreis von EUR 45'085'000" unter Ansetzung einer Zahlungsfrist bis zum 10. August 2004. Umgehend wies die Beschwerdeführerin diese Forderung am 23. Juli 2004 zurück. Sie anerkenne weder das Bewertungsgutachten von Prof. K._ noch das Verfahren, in dem es zustande gekommen sei.
Am 31. Januar 2005 stellte der Beschwerdegegner der Beschwerdeführerin den Entwurf für eine Schiedsvereinbarung zu und erklärte gleichzeitig, dass er "die auf den Bericht von Prof. K._ gestützte Forderung nicht weiter geltend macht". Umgekehrt gehe es ihm darum, "den eingeleiteten Bewertungsprozess nun zügig fortzuführen". Der Beschwerdegegner nahm damit Bezug auf ein Schreiben der Beschwerdeführerin vom 19. Januar 2005, mit dem sie ihm den Rücktritt vom Aktienkaufvertrag androhte, wenn er nicht bis zum 2. Februar 2005 "endgültig und unwiderruflich" auf Ansprüche gestützt auf den Bericht des Prof. K._ verzichte.
Die Beschwerdeführerin erachtete die Distanzierung des Beschwerdegegners vom Bericht K._ gemäss dessen Schreiben vom 31. Januar 2005 nicht als genügend. Am 11. Februar 2005 übermittelte sie ihm daher eine von ihm "zu unterzeichnende Anerkennung der Unverwertbarkeit des Berichts von Prof. K._, die den Erfordernissen gemäss Rz. 10 unseres Schreibens vom 19. Januar 2005" entsprechen sollte. Auf weitere Verhandlungen "über ein klärendes Feststellungsverfahren" werde sie sich nur einlassen, wenn er die ihm vorgelegte Erklärung bis 28. Februar 2005 "vorbehaltlos" unterzeichne. "Alternativ" möge er bis zum gleichen Zeitpunkt die von ihm mit Schreiben der Beschwerdeführerin "vom 2. April 2004 angeforderten Unterlagen ohne Auflagen herausgeben". Schliesslich forderte die Beschwerdeführerin vom Beschwerdegegner Schadenersatz von EUR 200'800 wegen der Nichtoffenlegung der Vorbefassung von Prof. K._ und der nicht vollständigen Offenlegung der Interessenbindungen.
In seinem Antwortschreiben vom 28. Februar 2005 führte der Beschwerdegegner aus, er habe "nie einen Zweifel daran gelassen (...), dass er seine Ansprüche nicht auf das Gutachten des Herrn Prof. K._ als einem vereinbarten neutralen Obergutachter stützen wird, sofern Ablehnungsgründe gegen Herrn K._ bestehen". Er habe aber ein erhebliches Interesse daran, "das Bewertungsverfahren zur Ermittlung der Höhe seines Restkaufpreises zügig durchzuführen".
Am 10. März 2005 antwortete die Beschwerdeführerin, aus dem Verhalten des Beschwerdegegners ergebe sich, dass für sie die erneute Durchführung eines Bewertungsverfahrens ("klärendes Feststellungsverfahren") nicht mehr zumutbar sei,
weil dem Beschwerdegegner und seinen Vertretern der Wille fehle, darauf zu verzichten, das Bewertungsverfahren gemäss Zusatzvereinbarung vom 28. Januar 2003 mit unzulässigen Mitteln zu beeinflussen;
weil keine klare Distanzierung von diesem Verhalten erfolgt sei;
weil keine vollständige Herausgabe aller bewertungsrelevanten Unterlagen erfolgt sei.
Aus diesem Grunde trete die Beschwerdeführerin vom Aktienkaufvertrag zurück. Der Beschwerdegegner möge ihr die geleistete Anzahlung von DM 50 Mio., entsprechend EUR 25'561'000, "unverzüglich" zurückerstatten, d.h. Zug um Zug gegen die Herausgabe der von der Beschwerdeführerin gehaltenen Aktien der F._ AG.
Der Beschwerdegegner wies hierauf am 16. März 2005 die Rücktrittserklärung der Beschwerdeführerin zurück.
Bis heute fand der von den Parteien mit der Zusatzvereinbarung anvisierte Verkauf der Aktien an einen Dritten nicht statt.
B. B.a Am 29. Juli 2005 klagte die Beschwerdeführerin beim Bezirksgericht Zürich mit folgenden Rechtsbegehren:
"1. Der Beklagte sei zu verpflichten, der Klägerin EUR 25'564'594 zuzüglich 5% Zinsen seit 20. Februar 1995 zu bezahlen, Zug um Zug gegen die Herausgabe bzw. Freigabe der von der Klägerin gekauften Aktien der F._ AG.
2. Eventualiter - d.h. im Falle einer Abweisung von Ziff. 1 des Rechtsbegehrens - sei:
2.1. festzustellen, dass der "Bericht über die Ermittlung des Unternehmenswerts zum 01.01.1999 der F._ AG, G._" von Prof. Dr. K._ u. L._ unter Mitwirkung von N._ datiert vom 2. Juli 2004 kein Schiedsgutachten im Sinne von § 258 ZPO ist, und dass dieser Bericht keine verwertbare Grundlage für Ansprüche und Forderungen des Beklagten gegenüber der Klägerin ist;
2.2. der Beklagte zu verpflichten, die folgenden Unterlagen vollständig - d.h. inklusive solcher, die an oder nach dem 1. Januar 1999 erstellt worden sind - an O._, Herrn P._, ohne Auflagen herauszugeben:
Jahresabschlüsse der operativen Tochtergesellschaften der F._-Gruppe, namentlich der F._ SA, nach 1999;
Steuerbescheide der operativen Tochtergesellschaften der F._-Gruppe, namentlich der F._ SA, nach 1998;
wichtige Gesellschafterbeschlüsse der operativen Tochtergesellschaften, namentlich der F._ SA, die noch nicht übergeben wurden;
Unternehmensverträge, die noch nicht übergeben wurden;
Auflistung sämtlicher Verträge innerhalb der Unternehmensgruppe;
Feststellungen von steuerlichen Verlustvorträgen;
Informationen über wesentliche Betriebsprüfungsergebnisse bzw. laufende Betriebsprüfungen bei der F._ AG sowie den operativen Gesellschaften, insbesondere in Bezug auf Vereinbarungen mit der eidgenössischen Steuerverwaltung über die Zurechnung von Know-how-Aufwand;
Annahmen über Zahlungsziele bei Forderungen und Verbindlichkeiten aus Lieferungen und Leistungen;
Annahmen hinsichtlich der Bildung, Inanspruchnahme von Rückstellungen;
Angaben über eventuell vorhandenes nicht betriebsnotwendiges Vermögen;
Angaben über die Entwicklung der Anzahl der beschäftigten Mitarbeiter in den operativen Gesellschaften seit 1997;
weitere Dokumente, deren Bedarf sich durch die Auswertung der auszuhändigenden Unterlagen ergibt.
3. Der Beklagte sei zu verpflichten, der Klägerin EUR 200'800 zu bezahlen, zuzüglich 5% Zinsen seit 28. Februar 2005."
Der Beschwerdegegner erhob Widerklage, unter anderem mit folgenden Anträgen:
"1.1 Es sei festzustellen, dass für die Ermittlung des Unternehmenswerts der F._ AG die folgenden Grundsätze verbindlich sind:
Bewertungsstichtag: 1. Januar 1999
Unternehmenswert = Ertragswert, betrachtet für 10 Jahre ab dem Bewertungsstichtag
Kapitalisierungszinsfuss für die Abzinsung: 11 %
Unternehmensbewertung gemäss Regelung nach IDW-Standard S. 1.
1.2 Es sei die Klägerin zu verpflichten, dem Beklagten einen nach Durchführung des Beweisverfahrens zu beziffernden Betrag zu bezahlen."
Am 7. April 2009 fällte das Bezirksgericht folgendes Urteil:
"1. Die Hauptklage wird abgewiesen, soweit darauf einzutreten ist.
2. In teilweiser Gutheissung von Widerklagerechtsbegehren 1 wird festgestellt, dass für die Ermittlung des Unternehmenswertes der F._ die folgenden Grundsätze verbindlich sind:
Bewertungsstichtag: 1. Januar 1999
Unternehmenswert = Ertragswert, betrachtet für 10 Jahre ab dem Bewertungsstichtag
Kapitalisierungszinsfuss für Abzinsung: 11 %
Unternehmensbewertung nach den Grundsätzen von IDW Standard S 1.
Im Übrigen wird auf die Widerklage nicht eingetreten."
B.b Die Beschwerdeführerin erhob Berufung an das Obergericht des Kantons Zürich und verlangte Folgendes:
"1.1 Es sei Ziff. 1 des Urteils des Bezirksgerichts Zürich, 4. Abteilung, vom 7. April 2009 (CG050156/U) aufzuheben und die Klage vollumfänglich (Hauptklagebegehren Ziff. 1 und 3) gutzuheissen. Entsprechend sei der Beklagte, Widerkläger und Appellat zu verpflichten, der Klägerin, Widerbeklagten und Appellantin
EUR 25'564'594 zuzüglich 5% Zinsen seit 20. Februar 1995, Zug um Zug gegen Herausgabe bzw. Freigabe der von der Klägerin gekauften Aktien der F._ AG (Hauptklagebegehren Ziff. 1) sowie
EUR 200'800 zuzüglich 5% Zinsen seit 28. Februar 2005 (Hauptklagebegehren Ziff. 3) zu bezahlen.
1.2 Eventualiter, im Falle einer Abweisung von Hauptklagebegehren Ziff. 1, seien die Eventualanträge Ziff. 2.1 und 2.2 der Klage gutzuheissen.
(...)
2.1 Ziff. 2 des vorinstanzlichen Urteils sei insoweit aufzuheben, als damit Widerklagerechtsbegehren 1 teilweise gutgeheissen wird (Gutheissung der Feststellung gemäss Widerklagerechtsbegehren Ziff. 1.1), und es sei auch auf Widerklagerechtsbegehren Ziff. 1.1 nicht einzutreten, eventualiter sei Widerklagerechtsbegehren Ziff. 1.1 abzuweisen. Im Übrigen sei auf die Widerklage nicht einzutreten.
2.2 Eventualiter, d.h. im Falle einer Abweisung von Ziff. 2.1 der Berufungsanträge, sei in Ergänzung zu Ziff. 2 des vorinstanzlichen Urteils festzustellen, dass bei der Bewertung der F._ AG die aus dem Betrieb der F._-Anlage A._ gewonnenen Erkenntnisse über die grosstechnische Eignung des F._-Verfahrens zu berücksichtigen sind.
Zudem sei in Ergänzung zu Ziff. 2 des vorinstanzlichen Urteils festzustellen, dass für die Ermittlung des Unternehmenswertes der F._ ein zweistufiges Bewertungsverfahren durchzuführen sei, für das ausschliesslich die in § 3 Abs. 3 des Aktienkaufvertrages vom 7. Dezember 1995 getroffene Regelung Anwendung findet."
(...)
Mit Rückweisungsbeschluss vom 12. April 2011 nahm das Obergericht davon Vormerk, dass das Urteil des Bezirksgerichts insoweit in Rechtskraft erwachsen ist, als auf die Widerklage des Beschwerdegegners nicht eingetreten wurde. Sodann trat es auf den Berufungsantrag Ziff. 2.2 der Beschwerdeführerin nicht ein. Damit sei die Eventualanschlussberufung des Beschwerdegegners gegenstandslos. In Dispositivziffer 3 hob das Obergericht das Urteil des Bezirksgerichts Zürich vom 7. April 2009, soweit es noch nicht in Rechtskraft erwachsen ist, auf, und wies die Sache zur Ergänzung des Verfahrens und zu neuem Entscheid im Sinne der Erwägungen an das Bezirksgericht zurück.
C. Die Beschwerdeführerin beantragt mit Beschwerde in Zivilsachen und subsidiärer Verfassungsbeschwerde, Ziffer 3 des Rückweisungsbeschlusses des Obergerichts vom 12. April 2011 sei insoweit aufzuheben, als damit Rückweisung an die Vorinstanz zwecks Durchführung einer Unternehmensbewertung im Sinne der vorinstanzlichen Erwägung 9 angeordnet wird, und es sei das Hauptklagebegehren Ziffer 1 vollumfänglich gutzuheissen. Entsprechend sei der Beschwerdegegner zu verpflichten, der Beschwerdeführerin EUR 25'564'594.-- zuzüglich Zins zu 5 % seit 20. Februar 1995 zu bezahlen, Zug um Zug gegen die Herausgabe bzw. Freigabe der von der Beschwerdeführerin gekauften Aktien der F._ AG.
Der Beschwerdegegner beantragt, die Beschwerde vollumfänglich abzuweisen. Die Vorinstanz verzichtete auf eine Vernehmlassung.
Die Parteien reichten Replik und Duplik ein.
Erwägungen:
1. Das Bundesgericht prüft von Amtes wegen und mit freier Kognition, ob auf eine Beschwerde eingetreten werden kann (BGE 137 III 417 E. 1 S. 417 mit Hinweisen).
1.1 Der angefochtene Rückweisungsbeschluss hebt das erstinstanzliche Urteil, soweit es noch nicht in Rechtskraft erwachsen ist, auf und weist die Sache zur Ergänzung des Verfahrens und zu neuem Entscheid im Sinne der Erwägungen an das Bezirksgericht zurück. Bei einem solchen Rückweisungsentscheid handelt es sich um einen Zwischenentscheid (BGE 137 V 314 E. 1 S. 315; 135 V 141 E. 1.1; 135 III 212 E. 1.2 S. 216, 329 E. 1.2 S. 331).
1.2 Gegen selbständig eröffnete Vor- und Zwischenentscheide, die weder die Zuständigkeit noch den Ausstand betreffen, ist die Beschwerde nur zulässig, wenn eine der folgenden alternativen Voraussetzungen erfüllt ist: Wenn der Zwischenentscheid einen nicht wieder gutzumachenden Nachteil bewirken kann (Art. 93 Abs. 1 lit. a BGG) oder wenn die Gutheissung der Beschwerde sofort einen Endentscheid herbeiführen und damit einen bedeutenden Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren ersparen würde (Art. 93 Abs. 1 lit. b BGG). Die selbständige Anfechtbarkeit von Zwischenentscheiden bildet aus prozessökonomischen Gründen eine Ausnahme vom Grundsatz, dass sich das Bundesgericht mit jeder Angelegenheit nur einmal befassen soll (BGE 135 I 261 E. 1.2; 134 III 188 E. 2.2; 133 III 629 E. 2.1). Die Ausnahme ist restriktiv zu handhaben. Dementsprechend obliegt es dem Beschwerdeführer darzutun, dass die Voraussetzungen von Art. 93 BGG erfüllt sind, soweit deren Vorliegen nicht offensichtlich in die Augen springt (BGE 137 III 324 E. 1.1 S. 329; 134 III 426 E. 1.2 in fine; 133 III 629 E. 2.3.1 und 2.4.2).
1.3 Die Variante nach Art. 93 Abs. 1 lit. a BGG ist vorliegend nicht gegeben und wird in der Beschwerde auch nicht geltend gemacht. Die Beschwerdeführerin beruft sich auf die Variante nach Art. 93 Abs. 1 lit. b BGG.
1.4 Die erste Voraussetzung von Art. 93 Abs. 1 lit. b BGG ist erfüllt, wenn das Bundesgericht, sollte es die Rechtsauffassung des Beschwerdeführers teilen, einen verfahrensabschliessenden Endentscheid fällen könnte (BGE 133 III 629 E. 2.4.1 mit Hinweis). Dies trifft dann nicht zu, wenn das Bundesgericht nicht selbst reformatorisch entscheiden könnte (vgl. Art. 107 Abs. 2 BGG), sondern seinerseits an die Vorinstanz zurückweisen müsste, weil beispielsweise die erforderlichen Tatsachenfeststellungen fehlen (Urteil 4A_210/2010 vom 1. Oktober 2010 E. 3.2).
Die Beschwerdeführerin beantragt mit ihrem Hauptklagebegehren Ziffer 1 die Bezahlung von EUR 25'564'594 Zug um Zug gegen die Herausgabe bzw. Freigabe der von der Beschwerdeführerin gekauften Aktien der F._ AG. Sie stützt dieses Begehren auf ein angebliches Rücktrittsrecht vom Aktienkaufvertrag und verlangt die Rückabwicklung des Vertrags, mithin die Rückzahlung der geleisteten Anzahlung gegen Herausgabe bzw. Freigabe der gekauften Aktien. Die Vorinstanz verneinte ein Rücktrittsrecht. Trotzdem lehnte sie das Leistungsbegehren nicht einfach ab (wie das Bezirksgericht). Vielmehr hielt sie dafür, es müsse geprüft werden, ob das Leistungsbegehren wenigstens teilweise gutgeheissen werden könne, weil der gemäss Vertrag zu ermittelnde Kaufpreis tiefer ist als die geleistete Anzahlung, und die Beschwerdeführerin demnach Anspruch auf Erstattung der Differenz hat. Zur Ermittlung des Kaufpreises müsse der Ertragswert der F._ mittels Gutachten eruiert werden. Zu diesem Zweck wies sie die Sache an das Bezirksgericht zurück.
Die Beschwerdeführerin stellt sich auf den Standpunkt, die Vorinstanz verletze die Dispositionsmaxime, indem sie die Sache in diesem Sinne an das Bezirksgericht zurückweise. Sie habe eine Rückabwicklung des Kaufvertrags verlangt und nicht die eventuelle Differenz zwischen Anzahlung und zu ermittelndem Kaufpreis. Sollte das Bundesgericht diese Auffassung teilen, so könnte es über das Hauptklagebegehren Ziffer 1 endgültig materiell entscheiden. Der Beschwerdegegner macht zwar geltend, der Sachverhalt sei betreffend die allfällige Verletzung einer vertraglichen Neben-Schutzpflicht, aus der die Beschwerdeführerin das Rücktrittsrecht ableitet, nicht vollständig abgeklärt. Das Verfahren müsste zur Ergänzung des Sachverhalts zurückgewiesen werden, wobei er im Einzelnen mehrere seiner Behauptungen rekapituliert, über welche Beweis abgenommen werden müsste. Wie zu zeigen sein wird (Erwägung 3), erweist sich die Sache indessen in diesem Punkt als spruchreif, so dass das Bundesgericht, wie von der Beschwerdeführerin verlangt, selbst materiell entscheiden könnte.
Das Urteil des Bundesgerichts würde nicht das ganze Verfahren beenden, sondern nur über einen Teil der Begehren befinden. Soweit die Vorinstanz das Verfahren zur Ergänzung des Verfahrens und zu neuem Entscheid betreffend das Hauptklagebegehren Ziffer 3 zurückweist, ficht die Beschwerdeführerin den Rückweisungsbeschluss nicht an. Insoweit nimmt das Verfahren seine Fortsetzung. Da aber auch ein Teilentscheid (Art. 91 BGG) ein partieller Endentscheid darstellt, lässt es die Rechtsprechung zur Erfüllung der Voraussetzung nach Art. 93 Abs. 1 lit. b BGG genügen, wenn die Gutheissung der Beschwerde sofort einen Teilentscheid bewirken könnte (Urteil 4A_650/2010 vom 28. März 2011 E. 1.4 mit Hinweisen). Nachdem über die beiden Leistungsbegehren gemäss Hauptklagebegehren Ziffer 1 und Ziffer 3 unabhängig voneinander entschieden werden könnte, ist es vorliegend bei (teilweiser) Gutheissung der Beschwerde möglich, einen Teilentscheid zu fällen.
Die erste Voraussetzung von Art. 93 Abs. 1 lit. b BGG ist demnach erfüllt.
1.5 Zur zweiten Voraussetzung, der Ersparnis eines bedeutenden Aufwandes an Zeit oder Kosten für ein weitläufiges Beweisverfahren, legt die Beschwerdeführerin einleuchtend dar, dass das vom Bezirksgericht anzuordnende Gutachten zur Bewertung der F._ AG ein weitläufiges und kostspieliges Beweisverfahren auslösen würde. Somit ist auch die zweite Voraussetzung von Art. 93 Abs. 1 lit. b BGG als gegeben zu betrachten.
1.6 Bei Zwischenentscheiden folgt der Rechtsweg jenem der Hauptsache (BGE 134 V 138 E. 3 S. 144; 133 III 645 E. 2.2 S. 647 f.). Diese betrifft eine vermögensrechtliche Zivilrechtsstreitigkeit mit einem Fr. 30'000.-- übersteigenden Streitwert (Art. 74 Abs. 1 lit. b BGG). Die Beschwerde in Zivilsachen erweist sich demnach als zulässig, womit die ebenfalls erhobene Verfassungsbeschwerde ausscheidet (Art. 113 BGG). Auf diese ist nicht einzutreten.
2. 2.1 Die Beschwerdeführerin rügt, die Vorinstanz habe die Dispositionsmaxime offensichtlich schwer verletzt. Während die Beschwerdeführerin mit ihrem Hauptklagebegehren Ziffer 1 stets nur einen Anspruch auf Rückerstattung der Kaufpreisanzahlung infolge ihres Rücktritts vom Aktienkaufvertrag (Rückabwicklungsanspruch) geltend gemacht habe, Zug um Zug gegen Heraus- bzw. Freigabe der von ihr gekauften Aktien der F._ AG, wolle die Vorinstanz nun prüfen lassen, ob der Beschwerdeführerin allenfalls - unter Aufrechterhaltung des Aktienkaufvertrags - ein Anspruch auf (teilweise) Rückzahlung ihrer Kaufpreisanzahlung im Rahmen der definitiven Bestimmung des Kaufpreises für die F._-Aktien zustehe. Einen solchen Erfüllungsanspruch habe die Beschwerdeführerin nie erhoben. Die Vorinstanz würde der Beschwerdeführerin etwas anderes (nämlich Erfüllung statt Rückabwicklung) zusprechen als von ihr beantragt. Darin liege eine willkürliche Anwendung von § 54 Abs. 2 aZPO/ZH.
2.2 Für das Verfahren vor der Vorinstanz galt noch das bisherige kantonale Zivilprozessrecht (Art. 404 Abs. 1 ZPO), mithin die aZPO/ZH. Die Dispositionsmaxime gehörte unter dieser Verfahrensordnung dem kantonalen Recht an (BGE 109 II 452 E. 5d S. 460). Vorliegend ist demnach die Dispositionsmaxime nach § 54 Abs. 2 aZPO/ZH massgebend. Danach darf das Gericht einer Partei weder mehr noch anderes zusprechen, als sie selbst verlangt, noch weniger, als der Gegner anerkannt hat.
Die Anwendung kantonalen Rechts kann das Bundesgericht nur unter dem Blickwinkel einer Verletzung von Bundesrecht, namentlich des Willkürverbots, prüfen (BGE 135 III 513 E. 4.3 S. 521 f.; 133 III 462 E. 2.3 S. 466). Die Beschwerdeführerin rügt denn auch die willkürliche Anwendung von § 54 Abs. 2 aZPO/ZH. Sie erhebt diese Rüge zwar im Rahmen der subsidiären Verfassungsbeschwerde, auf die nicht einzutreten ist. Die Rüge ist aber auch in der Beschwerde in Zivilsachen zulässig und daher ohne Weiteres im Rahmen derselben zu prüfen.
2.3 Willkür im Sinne von Art. 9 BV liegt nach ständiger Rechtsprechung nicht schon dann vor, wenn eine andere Lösung ebenfalls vertretbar erscheint oder gar vorzuziehen wäre. Das Bundesgericht hebt einen kantonalen Entscheid wegen Willkür nur auf, wenn er offensichtlich unhaltbar ist, zur tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgrundsatz zuwiderläuft. Willkür liegt zudem nur vor, wenn nicht bloss die Begründung eines Entscheids, sondern auch das Ergebnis unhaltbar ist (BGE 137 I 1 E. 2.4 mit Hinweisen).
2.4 Die Dispositionsmaxime bedeutet, dass die Parteien über den Streitgegenstand bestimmen, d.h. ob, wann, in welchem Umfang und wie lange sie als Kläger einen Anspruch gerichtlich geltend machen bzw. als Beklagter anerkennen wollen (vgl. BGE 134 III 151 E. 3.2 S. 158; 111 II 358 E. 1 S. 360; 110 II 113 E. 4).
Ob ein Gericht mehr oder anderes zugesprochen hat, als eine Prozesspartei verlangt hat, misst sich in erster Linie an den gestellten Rechtsbegehren. Auf deren Begründung wird nur zurückgegriffen, wenn das Begehren unklar ist und einer Auslegung bedarf. Wo das Gericht gehalten ist, das Recht von Amtes wegen anzuwenden, verletzt es die Dispositionsmaxime nicht, wenn es den gestellten Antrag mit einer anderen rechtlichen Begründung gutheisst als der Antragsteller vorgebracht hat. Nach der bundesgerichtlichen Rechtsprechung liegt eine Verletzung des Grundsatzes "ne eat iudex ultra petita partium" nicht vor, wenn ein Gericht den eingeklagten Anspruch in rechtlicher Hinsicht ganz oder teilweise abweichend von den Begründungen der Parteien würdigt, sofern er vom Rechtsbegehren gedeckt ist (BGE 120 II 172 E. 3a S. 175). Das Gericht ist aber an den Gegenstand und Umfang des Begehrens gebunden, insbesondere wenn der Kläger seine Ansprüche im Rechtsbegehren selbst qualifiziert oder beschränkt (Urteil 4A_464/2009 vom 15. Februar 2010 E. 4.1 mit Hinweis).
2.5 Letzteres trifft vorliegend auf das Hauptklagebegehren Ziffer 1 zu. Die Beschwerdeführerin verlangte die Zahlung von EUR 25'564'594 nebst Zins zu 5% seit dem 20. Februar 1995 und stützte diesen Antrag in rechtlicher Hinsicht auf den Rückabwicklungsanspruch infolge ihres Rücktritts vom Aktienkaufvertrag, den sie am 7. Dezember 1995 mit dem Beschwerdegegner geschlossen hatte. Dies brachte sie im Rechtsbegehren selbst insofern zum Ausdruck, als sie Zahlung Zug um Zug gegen Herausgabe bzw. Freigabe der gekauften Aktien der F._ AG verlangte. Die Vorinstanz verwarf ein Rücktrittsrecht der Beschwerdeführerin. Trotzdem wies sie das Hauptklagebegehren Ziffer 1 nicht ab, sondern erwog, dass - bei Aufrechterhaltung des Aktienkaufvertrags - das Leistungsbegehren der Beschwerdeführerin allenfalls (teilweise) berechtigt sein könnte, weil sie mit der erbrachten Kaufpreisrate allenfalls schon zu viel bezahlt hat. Dazu müsse der Kaufpreis ausgehend von § 3 Abs. 1 und 2 des Aktienkaufvertrags ermittelt werden.
Mit diesem Vorgehen übersieht die Vorinstanz, dass die Beschwerdeführerin mit ihrem Hauptklagebegehren Ziffer 1 nicht einfach einen nicht weiter qualifizierten Anspruch auf Geldleistung geltend machte. Vielmehr individualisierte sie ihr Begehren klarerweise als Rückabwicklungsanspruch, indem sie die Rückzahlung der geleisteten Anzahlung Zug um Zug gegen Herausgabe bzw. Freigabe der gekauften Aktien der F._ AG verlangte. Die Beschwerdeführerin bringt zu Recht vor, dass sie ihr Rechtsbegehren mit der Zug-um-Zug-Klausel qualifiziert und beschränkt habe. Daran war die Vorinstanz gebunden (Erwägung 2.4 in fine). Die Vorinstanz ging ohne Begründung über diese Bindung hinweg und verletzte damit die Dispositionsmaxime in unhaltbarer Weise.
2.6 Was der Beschwerdegegner vorbringt, erheischt keine andere Beurteilung:
Er weist auf die Regelung von Art. 205 Abs. 2 OR hin. Danach steht es dem Richter frei, auch wenn die Wandelungsklage angestellt worden ist, bloss Ersatz des Minderwertes zuzusprechen, sofern die Umstände es nicht rechtfertigen, den Kauf rückgängig zu machen. Diese Spezialregelung für Klagen auf Sachgewährleistung (vgl. dazu STAEHELIN/ STAEHELIN/GROLIMUND, Zivilprozessrecht, 2008, § 10 Rz. 13) ist indessen vorliegend nicht einschlägig, geht es doch nicht um Sachgewährleistung, sondern um eine Rückabwicklungsforderung infolge eines Vertragsrücktritts wegen Verletzung von vertraglichen Nebenpflichten.
Auch die Berufung auf das Urteil 4P.16/2007 vom 7. September 2007 E. 4.1 hilft nicht weiter. Dort fiel die Zug-um-Zug-Klausel weg, weil jener Teil des Rechtsbegehrens, der sich auf die im Gegenzug zu erbringende Leistung bezog, gegenstandslos wurde. Eine solche spezielle Konstellation ist vorliegend nicht gegeben.
Schliesslich kann auch nicht gesagt werden, die Beschwerdeführerin sei nicht legitimiert, die Verletzung der Dispositionsmaxime geltend zu machen, weil sie nicht beschwert werde, wenn ihr mehr zugesprochen würde als beantragt, nämlich Geldzahlung ohne Rückgabe der Aktien, wie der Beschwerdegegner meint. Mit der Rückweisung zur Bestimmung des Kaufpreises ist die Durchführung eines Beweisverfahrens über den Ertragswert der F._ AG per 1. Januar 1999 verbunden. Die Beschwerdeführerin bringt vor, dass sie die tatsächlichen Grundlagen zu diesem Streitgegenstand nicht vorgetragen habe. Hinsichtlich der eigentlichen Unternehmensbewertung der F._ AG habe sie nur zur diesbezüglichen Widerklage des Beschwerdegegners Stellung genommen. Diese sei aber vor der Vorinstanz fallen gelassen worden. Da sie nie einen eigenen Anspruch auf Erfüllung des Aktienkaufvertrags (teilweise oder vollständige Rückerstattung der Kaufpreisanzahlung aufgrund einer Bewertung der F._ AG) geltend gemacht habe, habe sie diesen Anspruch auch nicht substantiiert. Wenn sie nun aber nicht das Recht erhielte, die tatsächlichen Grundlagen zur Bewertung der F._ AG umfassend selber vorzutragen, würde ihr Gehörsanspruch verletzt. Diese Vorbringen treffen zu. Sodann umfasst die Dispositionsmaxime gerade das Recht der Partei, selber zu bestimmen, ob und wann sie einen Anspruch geltend machen will. Wenn dieses Recht missachtet wird, ist die Partei beschwert.
2.7 Nach dem Gesagten ist eine willkürliche Handhabung der Dispositionsmaxime nach § 54 Abs. 2 aZPO/ZH dargetan.
3. Im Weiteren wirft die Beschwerdeführerin der Vorinstanz eine Bundesrechtsverletzung vor, indem sie ihr nicht gestützt auf Art. 97 Abs. 1 bzw. Art. 107 Abs. 2 und Art. 109 OR analog ein Rücktrittsrecht vom Aktienkaufvertrag zuerkannt habe.
3.1 Kann die Erfüllung der Verbindlichkeit überhaupt nicht oder nicht gehörig bewirkt werden, so hat der Schuldner für den daraus entstandenen Schaden Ersatz zu leisten, sofern er nicht beweist, dass ihm keinerlei Verschulden zur Last falle (Art. 97 Abs. 1 OR). Eine Form der nicht gehörigen Erfüllung stellt insbesondere die Verletzung von vertraglichen Nebenpflichten dar. Zu diesen gehören Verhaltenspflichten, die zum Zweck haben, die Hauptleistung zu ergänzen und deren ordnungsgemässe Erfüllung zu sichern bzw. den Vertragszweck zu erreichen, wie namentlich Schutz-, Obhuts-, Beratungs-, Unterlassungs-, Informations- und Aufklärungspflichten (Urteil 4A_306/2009 vom 8. Februar 2010 E. 6.1; WEBER, Berner Kommentar, 3. Aufl. 2000, Vorbem. zu Art. 97-109 OR, N. 43, 54 ff. und 95 zu Art. 97 OR; WIEGAND, in: Basler Kommentar, Obligationenrecht, Bd. I, 5. Aufl. 2011, N. 32 ff. zu Art. 97 OR; GAUCH/SCHLUEP/SCHMID/EMMENEGGER, OR Allgemeiner Teil, 9. Aufl., 2008, Rz. 2642 ff.).
Wenn sich ein Schuldner bei zweiseitigen Verträgen im Verzug befindet, so ist der Gläubiger berechtigt, ihm eine angemessene Frist zur nachträglichen Erfüllung anzusetzen oder durch die zuständige Behörde ansetzen zu lassen (Art. 107 Abs. 1 OR). Wird auch bis zum Ablauf dieser Frist nicht erfüllt, hat der Gläubiger die Wahl, entweder immer noch Erfüllung - sowie Verspätungsschaden - zu verlangen oder, wenn er es unverzüglich erklärt, auf die nachträgliche Leistung zu verzichten. Verzichtet er auf nachträgliche Leistung, kann er entweder Schadenersatz wegen Nichterfüllung verlangen oder vom Vertrag zurücktreten (vgl. Art. 107 Abs. 2 OR).
Art. 97 Abs. 1 OR sieht für alle Vertragsverletzungen nur eine Rechtsfolge, nämlich den Schadenersatzanspruch des Gläubigers vor. In der Lehre wird teilweise dennoch zusätzlich ein Rücktrittsrecht im Sinne von Art. 107 ff. OR befürwortet, vorwiegend allerdings nur bei einer schwerwiegenden Pflichtverletzung, die das Vertrauensverhältnis der Parteien so stark erschüttert, dass eine Fortsetzung der Vertragsbindung nicht ohne Weiteres mehr als zumutbar erscheint (WEBER, a.a.O., N. 270 zu Art. 97 OR; WIEGAND, a.a.O., N. 58 zu Art. 97 OR).
Mehrheitlich wird die Meinung vertreten, die Verletzung blosser Nebenpflichten berechtige den Gläubiger nur zu Schadenersatz, grundsätzlich nicht aber zur Aufhebung des Synallagma (WIEGAND, a.a.O., N. 4 zu Art. 107 OR; VON TUHR/ESCHER, Allgemeiner Teil des schweizerischen Obligationenrechts, Bd. II, 3. Aufl. 1974, S. 157; WEBER, a.a.O., N. 45 zu Art. 107 OR mit weiteren Hinweisen). Demgegenüber befürwortet etwa KOLLER (Schweizerisches Obligationenrecht Allgemeiner Teil, 3. Aufl. 2009, § 58 insb. N. 7 in fine und N. 8), dass selbst die Verletzung nicht leistungsbezogener Nebenpflichten in Ausnahmefällen zur Vertragsauflösung berechtige.
3.2 Wie es sich damit verhält, braucht vorliegend nicht entschieden zu werden. Denn auf dem Boden der verbindlichen Feststellungen der Vorinstanz (Art. 105 Abs. 1 BGG) kann jedenfalls keine Nebenpflicht aus dem Aktienkaufvertrag vom 7. Dezember 1995 erblickt werden, die der Beschwerdegegner schwerwiegend verletzt hätte, so dass der Beschwerdeführerin ein Festhalten am Aktienkaufvertrag nicht mehr zumutbar wäre. Im kantonalen Verfahren warf die Beschwerdeführerin dem Beschwerdegegner vor, die Unverwertbarkeit des Schiedsgutachtens K._ nicht anerkannt, die Vorbefassung von K._ nicht offen gelegt zu haben, und mit unzulässigen Mitteln versucht zu haben, das Bewertungsverfahren zu seinen Gunsten zu beeinflussen, von welchem Verhalten er sich nicht klar distanziert habe. Ausserdem habe er die notwendigen Unterlagen dem von der Beschwerdeführerin bestellten Gutachter nicht ausgehändigt. Ihr sei wegen dieser Pflichtverletzungen des Beschwerdegegners eine erneute Durchführung des Bewertungsverfahrens nicht zumutbar. In der Beschwerde begründet die Beschwerdeführerin das geltend gemachte Rücktrittsrecht dahingehend, dass der Beschwerdegegner die sich mit dem Abschluss der Zusatzvereinbarung vom 28. Januar 2003 ergebende Schutzpflicht krass verletzt habe, dass keiner der Vertragspartner in einer Weise auf den Gutachter einwirke, dass dieser die für die ordnungsgemässe Erfüllung seiner Aufgabe notwendige Neutralität verletze.
Die Vorinstanz stellte zu Recht fest, dass die Frage der Verwertbarkeit des Schiedsgutachtens K._ nicht die vertraglichen Nebenpflichten des Beschwerdegegners betrifft, sondern ob dieses Schiedsgutachten eine taugliche Grundlage für die Bestimmung des Kaufpreises bildet. Daraus kann keine Verletzung einer Nebenpflicht aus dem Aktienkaufvertrag vom 7. Dezember 1995 abgeleitet werden. Das Gleiche gilt für den Vorwurf, der Beschwerdegegner habe die notwendigen Unterlagen dem von der Beschwerdeführerin bestellten Gutachter nicht ausgehändigt. Dazu hielt die Vorinstanz zutreffend fest, dass keine Verpflichtung des Beschwerdegegners bestand, dem Privatgutachter der Beschwerdeführerin irgendwelche Unterlagen abzugeben. Die Beschwerdeführerin insistiert denn auch nicht mehr auf diesem Punkt. Wenn sie geltend macht, der Beschwerdegegner habe durch seine "Manipulationen des Bewertungsverfahrens Prof. K._" seine vertragliche Schutzpflicht krass verletzt, so kann auch in diesem Zusammenhang keine aus dem Aktienkaufvertrag vom 7. Dezember 1995 fliessende Nebenpflicht erblickt werden, deren Verletzung die Beschwerdeführerin zum Rücktritt berechtigen könnte, so man eine solche Möglichkeit denn überhaupt grundsätzlich anerkennen würde.
Die Einflussnahme des Beschwerdegegners auf den gemeinsam bestellten Schiedsgutachter K._ erscheint als Verletzung einer vertraglichen Nebenpflicht aus der Zusatzvereinbarung vom 28. Januar 2003. Denn mit der Bestellung eines gemeinsamen Schiedsgutachters gemäss dieser Vereinbarung darf erwartet werden, dass keine der Parteien die Neutralität des Gutachters zu beeinträchtigen sucht. Die Vorinstanz wertete das beanstandete Verhalten des Beschwerdegegners, soweit sie dieses als erwiesen erachtete, zutreffend u.a. als Verletzung einer vertraglichen Nebenpflicht, was die Beschwerdeführerin berechtige, Schadenersatz zu verlangen, wie dies die Beschwerdeführerin mit ihrem Hauptklagebegehren Ziffer 3 beantragte. Als Grundlage für einen Rücktritt vom Aktienkaufvertrag wegen Unzumutbarkeit der Fortführung desselben taugt dieses Verhalten des Beschwerdegegners aber nicht.
3.3 Die vorinstanzliche Verneinung eines Rücktrittsrechts ist demnach nicht zu beanstanden.
4. Die Beschwerde ist in Bezug auf die Verletzung der Dispositionsmaxime begründet, in Bezug auf die Ablehnung eines Rücktrittsrechts vom Aktienkaufvertrag unbegründet und somit teilweise gutzuheissen. Dies bedeutet, dass Ziffer 3 des Rückweisungsbeschlusses des Obergerichts vom 12. April 2011 insoweit aufzuheben ist, als damit Rückweisung an das Bezirksgericht zwecks Durchführung einer Unternehmensbewertung im Sinne der vorinstanzlichen Erwägung 9 angeordnet wird. Da aber - entgegen der Auffassung der Beschwerdeführerin - der von ihr geltend gemachte Anspruch auf Rückzahlung der geleisteten Anzahlung Zug um Zug gegen Herausgabe bzw. Freigabe der gekauften Aktien nicht geschützt werden kann, ist das Hauptklagebegehren Ziffer 1 abzuweisen. Wohl bemerkt, liegt darin nicht etwa eine reformatio in pejus. Denn die Beschwerdeführerin verlangt vom Bundesgericht ausdrücklich einen materiellen Entscheid über den geltend gemachten Rückwicklungsanspruch infolge Vertragsrücktritt. Sie musste damit rechnen, dass dieser abgewiesen werden könnte, wenn das Bundesgericht der Beschwerdebegründung nicht folgen sollte. Sie selber führt denn auch in der Beschwerde aus, dass diesfalls das Hauptklagebegehren Ziffer 1 abzuweisen wäre (Beschwerde S. 13 Ziff. 39). Zutreffend bemerkt sie dort auch, dass in diesem Fall auf das Hauptklage-Eventualbegehren Ziffer 2.1 nicht einzutreten und das Hauptklage-Eventualbegehren Ziffer 2.2 abzuweisen ist. Die Vorinstanz hat denn auch über die beiden dem Hauptklagebegehren 1 zugeordneten Eventualbegehren in den Erwägungen entsprechend entschieden (Erwägung 6.3 betreffend Hauptklage-Eventualbegehren Ziffer 2.1 auf Feststellung; Erwägung 10 betreffend Hauptklage-Eventualbegehren Ziffer 2.2 betreffend Herausgabe). Hinsichtlich dieser Punkte hat die Beschwerdeführerin deren Entscheid nicht angefochten.
5. Die Beschwerdeführerin erhält Recht in Bezug auf ihre Rüge einer willkürlichen Anwendung von § 54 Abs. 2 aZPO/ZH. Dies bleibt aber quantitativ ohne Auswirkung auf ihre Ansprüche. Mit ihrem materiellen Begehren (Hauptklagebegehren Ziffer 1) unterliegt sie vollumfänglich. Dies rechtfertigt es, die bundesgerichtlichen Kosten- und Entschädigungsfolgen im Verhältnis von drei Vierteln zulasten der Beschwerdeführerin und zu einem Viertel zulasten des Beschwerdegegners, der sich gegen die geltend gemachte Verletzung der Dispositionsmaxime stellte, vorzunehmen (Art. 66 Abs. 1 und Art. 68 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1. Auf die subsidiäre Verfassungsbeschwerde wird nicht eingetreten.
2. Die Beschwerde in Zivilsachen wird teilweise gutgeheissen.
Dispositiv-Ziffer 3 des Rückweisungsbeschlusses des Obergerichts des Kantons Zürich vom 12. April 2011 wird insoweit aufgehoben, als damit Rückweisung an das Bezirksgericht zwecks Durchführung einer Unternehmensbewertung im Sinne der vorinstanzlichen Erwägung 9 angeordnet wird. Das Hauptklagebegehren Ziffer 1 wird abgewiesen.
3. Die Gerichtskosten von Fr. 70'000.-- werden im Betrag von Fr. 52'500.-- der Beschwerdeführerin und im Betrag von Fr. 17'500.-- dem Beschwerdegegner auferlegt.
4. Die Beschwerdeführerin hat den Beschwerdegegner für das bundesgerichtliche Verfahren mit Fr. 40'000.-- zu entschädigen.
5. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, II. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 16. Dezember 2011
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Der Gerichtsschreiber: Widmer