Sachverhalt:
A. Am 1. Mai 2000 eröffnete das Amtsgericht Karlsruhe/D den Konkurs über A._ und bestellte einen Insolvenzverwalter in der Person von B._. Dieser stellte fest, dass gegen die damalige Ehefrau des Gemeinschuldners, Y._ (Beschwerdegegnerin), Anfechtungsansprüche bestanden, die er mit Anfechtungsklage nach § 129 ff. der deutschen Insolvenzordnung beim Landgericht Karlsruhe einzuklagen gedachte. Vor diesem Hintergrund schloss er mit der Beschwerdegegnerin am 30. April 2001 eine notariell beurkundete "Vergleichs- und Auseinandersetzungsvereinbarung" ab. Darin verpflichtete sich die Beschwerdegegnerin, den grössten Teil ihres Vermögens, darunter eine Liegenschaft in St. Moritz, gegen gewisse Gegenleistungen an den Insolvenzverwalter zum Einbezug in die Konkursmasse des A._ "zu übereignen bzw. abzutreten oder sonstwie zu übertragen" und die dazu nach jeweiligem Ortsrecht notwendigen Erklärungen unverzüglich abzugeben. Im Gegenzug erklärte der Insolvenzverwalter all seine Ansprüche wegen denkbarer Insolvenzanfechtung gegen die Beschwerdeführerin als durch diese Vereinbarung erledigt. Diese Vereinbarung wurde in der Folge mehrfach abgeändert. In ihrer Fassung vom 17. September 2001 erteilte die damals noch in Deutschland wohnhafte Beschwerdegegnerin dem Insolvenzverwalter Vollmacht, die gemäss Vereinbarung vom 30. April 2001 in die Konkursmasse einzubeziehende Liegenschaft in St. Moritz zu verkaufen und trat ihm gleichzeitig den künftigen Verkaufserlös ab.
Am 30. Mai 2006 verkaufte die mittlerweile in der Schweiz wohnhafte Beschwerdegegnerin die in den Vereinbarungen genannte Liegenschaft in St. Moritz zu einem Preis von Fr. 17'500'000.--, den sie für sich behielt.
B. Mit Klage vom 23. September 2008 belangte der Insolvenzverwalter B._ die Beschwerdegegnerin vor dem Bezirksgericht Meilen unter Vorbehalt des Nachklagerechts auf Zahlung von Fr. 17'500'000.-- zuzüglich Verzugszinsen ab 30. Mai 2006. Er verlangte damit gestützt auf die Abtretungserklärung der Beschwerdegegnerin in der Vereinbarung vom 17. September 2001 die Herausgabe des Verkaufserlöses aus dem Verkauf ihrer Liegenschaft in St. Moritz.
Das Bezirksgericht beschränkte das Verfahren zunächst auf die Frage der Aktivlegitimation des Insolvenzverwalters, die es mit Vorurteil vom 13. April 2010 bejahte. Dieses Urteil hat die Beschwerdegegnerin mit Berufung beim Obergericht des Kantons Zürich angefochten, das nach dem Tod des bisherigen Insolvenzverwalters das Berufungsverfahren mit dem neu bestellten Insolvenzverwalter Dr. X._ als Kläger fortführte. Mit Beschluss vom 18. Mai 2011 hob das Obergericht das erstinstanzliche Vorurteil auf und trat auf die Klage nicht ein.
C. X._ (Beschwerdeführer) beantragt dem Bundesgericht mit Beschwerde in Zivilsachen, den Beschluss des Obergerichts des Kantons Zürich vom 18. Mai 2011 aufzuheben, das Vorurteil des Bezirksgerichts Meilen vom 13. April 2010 zu bestätigen und festzustellen, dass er zur Einreichung der vorliegenden Forderungsklage legitimiert ist. Eventuell sei die Sache an die Vorinstanz zurückzuweisen.
Der Beschwerde wurde mit Verfügung vom 20. Juli 2011 die aufschiebende Wirkung erteilt.
Die Beschwerdegegnerin schliesst auf Abweisung der Beschwerde. Die Vorinstanz verzichtete auf eine Vernehmlassung.
Erwägungen:
1. 1.1 Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist somit weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind. Es ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr vorgetragen werden (BGE 133 II 249 E. 1.4.1 S. 254 mit Hinweisen).
1.2 Eine qualifizierte Rügepflicht gilt hinsichtlich der Verletzung von Grundrechten und von kantonalem und interkantonalem Recht. Das Bundesgericht prüft eine solche Rüge nur insofern, als sie in der Beschwerde präzise vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG). Macht der Beschwerdeführer beispielsweise eine Verletzung des Willkürverbots (Art. 9 BV) geltend, genügt es nicht, wenn er einfach behauptet, der angefochtene Entscheid sei willkürlich; er hat vielmehr im Einzelnen zu zeigen, inwiefern der angefochtene Entscheid offensichtlich unhaltbar ist (BGE 134 II 349 E. 3 S. 352; 133 III 439 E. 3.2 S. 444).
1.3 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein (Art. 97 Abs. 1 BGG). Neue Tatsachen und Beweismittel dürfen nur soweit vorgebracht werden, als der Entscheid der Vorinstanz dazu Anlass gibt (Art. 99 Abs. 1 BGG). Der Beschwerdeführer, der die Sachverhaltsfeststellungen der Vorinstanz anfechten will, muss substanziiert darlegen, inwiefern die Voraussetzungen einer Ausnahme gemäss Art. 105 Abs. 2 BGG gegeben sind und das Verfahren bei rechtskonformer Ermittlung des Sachverhalts anders ausgegangen wäre; andernfalls kann ein Sachverhalt, der vom im angefochtenen Entscheid festgestellten abweicht, nicht berücksichtigt werden. Auf eine Kritik an den tatsächlichen Feststellungen der Vorinstanz, die diesen Anforderungen nicht genügt, ist nicht einzutreten (vgl. BGE 133 III 350 E. 1.3 S. 351 f., 133 III 462 E. 2.4 S. 466 f.).
1.4 Soweit der Beschwerdeführer den von der Vorinstanz festgestellten Sachverhalt erweitert oder davon abweicht, ohne rechtsgenügend begründete Sachverhaltsrügen zu erheben, bleiben seine Vorbringen ausser Acht. Dies gilt namentlich für die Ausführungen betreffend ein gegen die Beschwerdegegnerin eingeleitetes Strafverfahren, die Hintergründe des Erwerbs der Liegenschaft in St. Moritz oder die Behauptung, es gebe keine Gläubiger des Gemeinschuldners in der Schweiz.
2. 2.1 Das Obergericht erwog, der Beschwerdeführer klage auf Erfüllung einer Vereinbarung vom 30. April 2001, die er als Konkursverwalter im Konkurs des A._ mit der Beschwerdegegnerin abgeschlossen habe. Diese Vereinbarung sei zur vergleichsweisen Regelung von konkursrechtlichen Anfechtungsansprüchen nach deutschem Recht (analog der paulianischen Anfechtung des Schweizer Rechts) getroffen worden und habe auf die Rückführung von Vermögenswerten des Gemeinschuldners und damit auf eine Vergrösserung der Konkursmasse abgezielt. Das Verfahren zur Vollstreckung einer solchen Vereinbarung falle daher analog zu den Anfechtungsklagen unter die Ausschlussklausel von Art. 1 Abs. 2 lit. b des Lugano-Übereinkommens (LugÜ) betreffend konkursrechtliche Verfahren. Auf solche seien ausschliesslich die Art. 166 ff. IPRG anwendbar, weshalb der Beschwerdeführer auf das Verfahren zur Anerkennung des deutschen Konkursdekretes und zur Eröffnung eines Schweizer Hilfskonkurses zu verweisen sei. Da Forderungen gemäss Art. 167 Abs. 3 IPRG örtlich am Wohnsitz des Schuldners lägen und die Beschwerdegegnerin als Schuldnerin der umstrittenen Forderung ihren Wohnsitz in der Schweiz habe, handle es sich bei dieser Forderung um einen Vermögenswert in der Schweiz.
2.2 Der Beschwerdeführer rügt eine Verletzung von Art. 166 ff. IPRG. Er ist der Meinung, die Vorinstanz habe verkannt, dass es sich beim eingeklagten Anspruch weder um einen Anfechtungs- noch um einen diesen ersetzenden Anspruch handle, sondern vielmehr um eine nach Eröffnung der Insolvenz durch eine gültige Verwertungsmassnahme der Insolvenzverwaltung entstandene zivilrechtliche Forderung des Beschwerdeführers gegen die Beschwerdegegnerin. Mit Abschluss der Vereinbarung vom 30. April 2001 habe der Beschwerdeführer eine in seinem Zuständigkeitsbereich liegende Verwertungshandlung vorgenommen und die Anfechtungsansprüche durch Begründung von neuen Ansprüchen "getilgt" bzw. "erledigt". Spätestens mit der Abtretung der zukünftigen Kaufpreisforderung an den Beschwerdeführer sei letztlich die "Verwertung" der ursprünglichen "Anfechtungsansprüche" erfolgt. Damit seien die Anfechtungsansprüche untergegangen, die Aktiven des Insolvenzverwalters hätten sich um die Kaufpreisforderung vergrössert und neue Ansprüche direkt beim Beschwerdeführer entstehen lassen, welche direkt in die deutsche Insolvenzmasse gefallen seien und nach schweizerischer Rechtsauffassung Masseforderungen bildeten. Die Kaufpreisforderung habe nie dem Gemeinschuldner zugestanden. Das in der Schweiz eingeleitete Verfahren habe somit keinen in der Schweiz belegenen Vermögenswert zum Gegenstand, denn die Liegenschaft in St. Moritz habe nie im Eigentum des Gemeinschuldners gestanden, sondern sie sei im Jahre 1997 von der Beschwerdegegnerin erworben worden. Das Verfahren richte sich auch nicht gegen einen Schuldner des Gemeinschuldners in der Schweiz. Die Kaufpreisforderung rühre von einer zwischen den Parteien abgeschlossenen Vergleichsvereinbarung her und sei dem Beschwerdeführer im Zuge der Verwertung potenzieller Anfechtungsansprüche persönlich abgetreten worden, weshalb ihm das Recht zustehen müsse, diese Forderung als Masseforderung gerichtlich durchzusetzen. Da es somit weder um die Admassierung eines in der Schweiz gelegenen Vermögenswerts noch um eine Anfechtungsklage oder die Einziehung einer Forderung des Gemeinschuldners gegenüber einem Drittschuldner in der Schweiz gehe, liege kein enger Bezug zu einem Konkurs oder konkursähnlichen Verfahren vor, weshalb die Vorinstanz Völkerrecht verletzt habe, indem sie das LugÜ für unanwendbar erklärt habe.
2.2 Der Beschwerdeführer rügt eine Verletzung von Art. 166 ff. IPRG. Er ist der Meinung, die Vorinstanz habe verkannt, dass es sich beim eingeklagten Anspruch weder um einen Anfechtungs- noch um einen diesen ersetzenden Anspruch handle, sondern vielmehr um eine nach Eröffnung der Insolvenz durch eine gültige Verwertungsmassnahme der Insolvenzverwaltung entstandene zivilrechtliche Forderung des Beschwerdeführers gegen die Beschwerdegegnerin. Mit Abschluss der Vereinbarung vom 30. April 2001 habe der Beschwerdeführer eine in seinem Zuständigkeitsbereich liegende Verwertungshandlung vorgenommen und die Anfechtungsansprüche durch Begründung von neuen Ansprüchen "getilgt" bzw. "erledigt". Spätestens mit der Abtretung der zukünftigen Kaufpreisforderung an den Beschwerdeführer sei letztlich die "Verwertung" der ursprünglichen "Anfechtungsansprüche" erfolgt. Damit seien die Anfechtungsansprüche untergegangen, die Aktiven des Insolvenzverwalters hätten sich um die Kaufpreisforderung vergrössert und neue Ansprüche direkt beim Beschwerdeführer entstehen lassen, welche direkt in die deutsche Insolvenzmasse gefallen seien und nach schweizerischer Rechtsauffassung Masseforderungen bildeten. Die Kaufpreisforderung habe nie dem Gemeinschuldner zugestanden. Das in der Schweiz eingeleitete Verfahren habe somit keinen in der Schweiz belegenen Vermögenswert zum Gegenstand, denn die Liegenschaft in St. Moritz habe nie im Eigentum des Gemeinschuldners gestanden, sondern sie sei im Jahre 1997 von der Beschwerdegegnerin erworben worden. Das Verfahren richte sich auch nicht gegen einen Schuldner des Gemeinschuldners in der Schweiz. Die Kaufpreisforderung rühre von einer zwischen den Parteien abgeschlossenen Vergleichsvereinbarung her und sei dem Beschwerdeführer im Zuge der Verwertung potenzieller Anfechtungsansprüche persönlich abgetreten worden, weshalb ihm das Recht zustehen müsse, diese Forderung als Masseforderung gerichtlich durchzusetzen. Da es somit weder um die Admassierung eines in der Schweiz gelegenen Vermögenswerts noch um eine Anfechtungsklage oder die Einziehung einer Forderung des Gemeinschuldners gegenüber einem Drittschuldner in der Schweiz gehe, liege kein enger Bezug zu einem Konkurs oder konkursähnlichen Verfahren vor, weshalb die Vorinstanz Völkerrecht verletzt habe, indem sie das LugÜ für unanwendbar erklärt habe.
2.3 2.3.1 Das internationale Konkursrecht der Schweiz steht auf dem Boden des sog. "gelockerten" Territorialitätsprinzips, wobei die "Lockerung" darin besteht, dass mit der Anerkennung des ausländischen Konkursdekretes gemäss Art. 166 IPRG die Voraussetzungen für eine zwischenstaatliche Kooperation geschaffen werden (BGE 5A_415/2011 vom 21. September 2011 E. 2 mit Hinweisen). Im Übrigen sind hoheitliche Akte ausländischer Rechtsträger in der Schweiz unzulässig (FRIDOLIN WALTER, Paulianische Anfechtungsansprüche im internationalen Verhältnis - ausgewählte Probleme, in: Internationales Zivilprozess- und Verfahrensrecht V, 2005, S. 79 ff., 96). Darunter fallen Betreibungshandlungen (BGE 129 III 683 E. 5.3 S. 688) und Verwertungshandlungen im Konkurs (BGE 106 III 79 E. 4 betreffend die Verwertung von Vermögen durch einen Freihandverkauf).
2.3.2 Gemäss Art. 166 Abs. 1 IPRG wird ein ausländisches Konkursdekret, das am Sitz der schuldnerischen Gesellschaft ergangen ist, auf Antrag der ausländischen Konkursverwaltung oder eines Konkursgläubigers anerkannt. Der Begriff der ausländischen Konkursverwaltung wird von der Funktion der Konkursverwaltung nach schweizerischem Recht vorbestimmt. Es handelt sich um diejenige Instanz, welche das Vermögen des Konkursiten verwaltet, verwertet und verteilt, wobei sich die Ausgestaltung im Einzelfall nach dem Recht des Konkursstaates richtet. Unter den Begriff fallen somit Institutionen oder Personen, die nach dem ausländischen Recht des Hauptkonkurses zur Anhebung, Leitung und Durchführung des Verfahrens zuständig sind (BGE 135 III 666 E. 3.2.2 S. 668; Urteil 6B_557/2010 vom 9. März 2011 E. 6.1 mit Hinweisen). Wird ein ausländisches Konkursdekret gestützt auf Art. 166 IPRG für das Gebiet der Schweiz anerkannt, so zieht dies für das in der Schweiz gelegene Vermögen des Gemeinschuldners die konkursrechtlichen Folgen des schweizerischen Rechts nach sich, soweit nicht IPRG-Bestimmungen etwas anderes vorsehen (Art. 170 Abs. 1 IPRG). Das in der Schweiz durchgeführte Verfahren wird namentlich als "Anschluss-", "Mini-", oder "IPRG-Konkurs" bezeichnet (Urteil 5A_83/2010 vom 11. März 2010 E. 2 mit Hinweis). Dabei handelt es sich um eine Form von Rechtshilfe zu Gunsten eines im Ausland durchgeführten Verfahrens. Die Durchführung des Anschlusskonkurses liegt in der Zuständigkeit des schweizerischen Konkursamtes. Dieses ist ausschliesslich befugt, die zur ausländischen Konkursmasse gehörenden Rechte auszuüben, soweit es um in der Schweiz gelegenes Vermögen geht (BGE 135 III 40 E. 2.5.1 S. 44 mit Hinweisen).
2.3.3 Der ausländische Konkursverwalter ist in der Schweiz einzig berechtigt, die Anerkennung des ausländischen Konkursdekretes und sichernde Massnahmen zu beantragen (Art. 166 Abs. 1 und Art. 168 IPRG) und - nach erfolgter Anerkennung des ausländischen Konkursdekrets in der Schweiz - gestützt auf Art. 171 IPRG subsidiär Anfechtungsansprüche gemäss Art. 285 ff. SchKG geltend zu machen, wenn das schweizerische Konkursamt und die kollozierten Gläubiger darauf verzichtet haben (BGE 129 III 683 E. 5.3 S. 688; 135 III 40 E. 2.5.1 S. 44 mit Hinweisen). Ansonsten ist er jedoch nicht aktivlegitimiert, in der Schweiz Forderungsklagen einzureichen, sofern er nicht zuerst die Anerkennung des ausländischen Konkursdekrets erwirkt hat (BGE 134 III 366 E. 9.2.3 S. 377; 135 III 40 E. 2.4 und 2.5.1 S. 43 f.). In einem neueren, zur Publikation bestimmten Entscheid hält das Bundesgericht fest, einer ausländischen Konkursmasse bzw. deren Konkursverwalter komme in der Schweiz nur dann Prozessführungsbefugnis zu, wenn sie das ausländische Konkursdekret vorgängig in der Schweiz nach Massgabe von Art. 166 ff. IPRG habe anerkennen lassen (BGE 5A_415/2011 vom 21. September 2011 E. 3). Andernfalls würde das vom IPRG in den Art. 166 ff. konzipierte System, das insbesondere eine Privilegierung von Gläubigern mit Wohnsitz in der Schweiz anstrebe, ausgehöhlt. Aus dem gleichen Grund könne die erwähnte Anerkennung auch nicht bloss vorfrageweise, etwa im Rahmen einer Betreibung oder Forderungsklage, sondern nur hauptfrageweise beurteilt werden (BGE 5A_415/2011 vom 21. September 2011 E. 2 mit Verweis auf BGE 134 III 366 E. 9.2.4 S. 378 und BGE 134 III 366 E. 5.1.2 S. 373; vgl. auch Urteil 2C_303/2010 vom 24. Oktober 2011 E. 2.4.1).
2.3.4 Diese Rechtsprechung ist nicht durch eine kausale, sondern eine finale Betrachtungsweise geprägt. Es ist nicht danach zu unterscheiden, auf welchem Rechtsgrund die Forderung beruht, die der ausländische Konkursverwalter in der Schweiz geltend macht. Vielmehr knüpft die Rechtsprechung stets am Zweck der in der Schweiz angehobenen Klage an. Besteht dieser darin, das Haftungssubstrat für die Konkursgläubiger um in der Schweiz gelegene Vermögenswerte zu vergrössern, dient sie der Durchführung des (ausländischen) Konkurses und ist dem Konkursverwalter die direkte Klage wegen der territorialen Wirkung des Konkurses grundsätzlich untersagt. Es stehen ihm die Rechtsbehelfe nach Art. 166 ff. IPRG zur Verfügung (vgl. PAUL OBERHAMMER, Kurze Urteilsbesprechungen und -hinweise, ZZZ 2008/09, S. 430 ff., 432 f., der dieser Rechtsprechung de lege lata zustimmt). Der Beschwerdeführer trägt allerdings zutreffend vor, dass die genannten Bestimmungen nur greifen, wenn in der Schweiz gelegenes Vermögen zur Masse gezogen werden soll. Andernfalls fehlt es am territorialen Bezug zur Schweiz. Zunächst ist somit zu prüfen, ob die Klage Vermögen in der Schweiz betrifft, was der Beschwerdeführer in Abrede stellt.
2.4 Die der vorliegenden Klage zu Grunde liegende Vereinbarung betraf die vergleichsweise Regelung von konkursrechtlichen Anfechtungsansprüchen, welche gemäss den Darlegungen des Beschwerdeführers - in schweizerischer Terminologie ausgedrückt - zu inventarisieren und in die ausländische Konkursmasse aufzunehmen gewesen wären. Diese Ansprüche umfassten auch eine Liegenschaft in St. Moritz, deren Verkaufserlös den Gläubigern hätte zugute kommen sollen. Damit war insoweit in der Schweiz liegendes Vermögen betroffen und der relevante Bezug zur Schweiz gegeben. Dass diese Liegenschaft im Zeitpunkt der Konkurseröffnung nicht im Eigentum des Gemeinschuldners stand, ändert daran nichts, sollte doch auf dem Wege der konkursrechtlichen Anfechtung ein in der Schweiz gelegener Vermögenswert in die ausländische Konkursmasse überführt werden. Dass Art. 166 ff. IPRG gerade in einem solchen Fall zur Anwendung gelangen, belegt Art. 171 IPRG, welcher derartige Anfechtungsansprüche dem schweizerischen Recht unterstellt und deren direkte Durchsetzung durch die ausländische Konkursverwaltung nur im Rahmen eines Anschlusskonkurses in der Schweiz zulässt (vgl. E. 2.3.3 hiervor). Der Anfechtungsanspruch war damit in der Schweiz durchzusetzen.
2.5 Wie der Beschwerdeführer mehrfach ausführt, stellten die mit der Beschwerdegegnerin abgeschlossenen Vergleiche Verwertungshandlungen dar. So sollte die Liegenschaft der Beschwerdegegnerin in St. Moritz freihändig verkauft und der Verkaufserlös der ausländischen Konkursmasse überführt werden. Verwertungshandlungen dürfen jedoch nach dem Gesagten (E. 2.3.1 hiervor) mit Bezug auf die erwähnte Liegenschaft einzig im Rahmen eines IPRG-Konkurses in der Schweiz erfolgen und fallen in die Zuständigkeit des schweizerischen Konkursverwalters. Dabei ist ausschlaggebend, dass mit der Vereinbarung die Verwertung von Schuldnervermögen bezweckt wurde und nicht, in welche Form die betreffende Verwertungshandlung gekleidet wurde. Dass der Beschwerdeführer im Rahmen der Verwertung einen privatrechtlichen Vergleich abschloss, ändert somit nichts hinsichtlich der Frage der Anerkennungsbedürftigkeit des Konkursdekrets, und diese war mit Bezug auf den die Liegenschaft in St. Moritz betreffenden Anfechtungsanspruch gegeben (E. 2.4 hiervor). Da der Beschwerdeführer nicht um Anerkennung des ausländischen Konkursdekrets in der Schweiz nachsuchte, ist er nicht befugt, in der Schweiz einen Prozess zu führen, mit dem er Rechte verfolgt, die er aus den zur Verwertung seines Anfechtungsanspruchs abgeschlossenen Vereinbarungen betreffend das in der Schweiz liegende Grundstück ableitet. Die Vorinstanz hat demnach jedenfalls im Ergebnis kein Bundesrecht verletzt, wenn sie auf die Klage nicht eintrat.
2.6 Bei dieser Sachlage braucht nicht auf die Einwände eingegangen zu werden, welche der Beschwerdeführer gegen die einzelnen Erwägungen der Vorinstanz vorbringt. Namentlich kann offenbleiben, ob mit den Vergleichsvereinbarungen Masseforderungen begründet wurden und die Zuständigkeit deshalb nach LugÜ zu beurteilen ist, ob die Anfechtungsansprüche materiell begründet wären oder daran gescheitert wären, dass der Gemeinschuldner nie Eigentümer der betreffenden Liegenschaft war, und es ist nicht auf die Ausführungen des Beschwerdeführers einzutreten, mit denen er eine Verletzung der Rechtsweggarantie (Art. 29a BV und Art. 18 KV/ZH) und der Eigentumsgarantie (Art. 26 BV) durch die Vorinstanz begründet, zumal er dabei zu Unrecht davon ausgeht, die im Jahre 2001 geltend gemachten Anfechtungsansprüche hätten keinen territorialen Bezug zur Schweiz gehabt. Angefügt sei schliesslich, dass die vom Beschwerdeführer herangezogene Feststellung gemäss einem Urteil des deutschen Bundesgerichtshofes vom 27. April 2010, wonach die Vereinbarung vom 30. April 2001 mit der Beschwerdegegnerin mehr als nur die erwähnten Anfechtungsansprüche zum Gegenstand hatte, zweifellos zutrifft. Daraus lässt sich indessen nichts für den Standpunkt des Beschwerdeführers gewinnen, da lediglich jener Teil der Vereinbarung zur Debatte steht, der die Verwertung der Liegenschaft in St. Moritz betrifft.
3. Aus den dargelegten Gründen erweist sich die Beschwerde als unbegründet und ist abzuweisen, soweit darauf einzutreten ist. Bei diesem Verfahrensausgang wird der Beschwerdeführer für das bundesgerichtliche Verfahren kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und Art. 68 Abs. 2 BGG).
Das Bundesgericht erkennt:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 50'000.-- werden dem Beschwerdeführer auferlegt.
3. Der Beschwerdeführer hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 60'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, I. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 26. Oktober 2011
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Der Gerichtsschreiber: Gelzer