Sachverhalt:
A. A.a Die Masse en faillite ancillaire de Sabena SA (fortan: Klägerin bzw. Beschwerdeführerin) klagte am 31. Oktober 2006 mit vorläufiger Begründung gegen die Nachlassmasse der SAirGroup AG in Nachlassliquidation (fortan: Beschwerdegegnerin) auf Kollokation einer Schadenersatzforderung von rund 2.4 Milliarden Franken (Verfahren FB060144 des Einzelrichters im beschleunigten Verfahren am Bezirksgericht Zürich). Parallel dazu führte der Einzelrichter ein weiteres Kollokationsverfahren derselben Klägerin gegen die Nachlassmasse der SAirLines AG (Verfahren FB060046).
A.b Nach längerer Sistierung des Verfahrens FB060144 auferlegte der Einzelrichter der Beschwerdeführerin mit Verfügung vom 20. Oktober 2008 eine Prozesskaution von Fr. 2'313'745.-- (Gerichtskosten Fr. 1'328'290.--, Prozessentschädigung Fr. 985'455.--). Ein dagegen geführter Rekurs wurde vom Obergericht des Kantons Zürich am 3. April 2009 teilweise gutgeheissen und die Prozesskaution auf Fr. 1'966'000.-- bestimmt (Gerichtskosten Fr. 1'129'000.--, Prozessentschädigung Fr. 837'000.--). Nachdem eine dagegen geführte Nichtigkeitsbeschwerde vom Kassationsgericht des Kantons Zürich am 1. März 2010 gutgeheissen und die Sache an das Obergericht zurückgewiesen worden war, ordnete dieses am 11. Mai 2010 eine Prozesskaution von Fr. 1'112'000.-- (Gerichtskosten Fr. 275'000.--, Prozessentschädigung Fr. 837'000.--) an.
B. Am 22. November 2010 reichte die Beschwerdeführerin ihre Klageergänzung ein. Das Bezirksgericht erhöhte daraufhin mit Verfügung vom 7. Januar 2011 die Kaution für die mutmassliche Gerichtsgebühr um Fr. 771'250.--. Das Obergericht hiess die dagegen geführte Beschwerde mit Urteil vom 17. Mai 2011 teilweise gut und reduzierte die zusätzliche Kaution auf Fr. 389'125.--. Das Obergericht setzte der Beschwerdeführerin eine Frist von zwanzig Tagen ab Zustellung des Entscheids zur Bezahlung der Sicherheitsleistung.
C. Die Beschwerdeführerin hat am 8. Juni 2011 Beschwerde in Zivilsachen mit vorläufiger Begründung erhoben. Sie beantragt die Aufhebung des angefochtenen Urteils und die Feststellung, dass sie im Verfahren FB060144 zurzeit keine zusätzliche Gerichtskostensicherheit zu leisten habe und die angesetzte Zahlungsfrist (Ablauf 14. Juni 2011) dahinfalle. Für den Fall der Abweisung der Beschwerde sei die Zahlungsfrist im Umfang von mindestens zwanzig Tagen neu anzusetzen oder eventuell sei die Vorinstanz anzuweisen, dies zu tun. Zudem hat die Beschwerdeführerin um superprovisorische Anordnung der aufschiebenden Wirkung vor Fristablauf am 14. Juni 2011 ersucht und eventuell um Anweisung an den Einzelrichter, die Zahlungsfrist um mindestens zwanzig Tage über die allfällige Abweisung des Gesuchs um aufschiebende Wirkung hinaus zu erstrecken. Die vollständig begründete Beschwerde hat sie am 9. Juni 2011 eingereicht.
Gleichentags hat das Bundesgericht vorläufig alle Vollziehungsvorkehrungen untersagt und zur Vernehmlassung zum Gesuch um aufschiebende Wirkung eingeladen. Das Obergericht und die Beschwerdegegnerin haben auf Stellungnahme verzichtet. Letztere hat zugleich auf Stellungnahme in der Sache verzichtet. Mit Präsidialverfügung vom 20. Juni 2011 ist der Beschwerde aufschiebende Wirkung zuerkannt worden.
In der Sache sind keine Vernehmlassungen eingeholt worden.
Erwägungen:
1. Die Beschwerdeführerin ficht fristgerecht (Art. 100 Abs. 1 BGG) ein kantonal letztinstanzliches Urteil eines auf Rechtsmittel hin entscheidenden oberen Gerichts (Art. 75 BGG) an. Das angefochtene Urteil betrifft die Festlegung einer Sicherheit für die mutmasslichen Gerichtsgebühren in einem Kollokationsverfahren. Es handelt sich um einen Zwischenentscheid (Art. 93 BGG). Die Beschwerde gegen Zwischenentscheide ist nur unter eingeschränkten Voraussetzungen zulässig, wobei vorliegend einzig die Variante von Art. 93 Abs. 1 lit. a BGG in Betracht fällt. Um anfechtbar zu sein, muss der Zwischenentscheid demnach einen nicht wieder gutzumachenden Nachteil bewirken können. Ein Zwischenentscheid, mit dem ein Gericht einen Kostenvorschuss bzw. eine Kostensicherheit einfordert und für den Fall der Nichtbezahlung einen Nichteintretensentscheid androht, kann nach der Rechtsprechung einen nicht wieder gutzumachenden Nachteil bewirken (BGE 133 V 402 E. 1.2 S. 403). Bei Zwischenentscheiden folgt der Rechtsweg jenem der Hauptsache (Urteil 5A_233/2011 vom 5. August 2011 E. 1.1). Die auf Art. 250 Abs. 1 SchKG i.V.m. Art. 321 Abs. 2 SchKG gestützte Kollokationsklage zielt auf Zulassung einer im Kollokationsplan abgewiesenen zivilrechtlichen Schadenersatzforderung und hat demnach das Bestehen bzw. die Höhe der Forderung zum Gegenstand. In der Hauptsache geht es folglich um eine zivilrechtliche Angelegenheit gemäss Art. 72 Abs. 1 BGG (BGE 135 III 545 E. 1 S. 547 mit Hinweis). Der Streitwert der Hauptsache wird von der Vorinstanz mit rund Fr. 251.5 Millionen angegeben; effektiv strittig war vor der Vorinstanz die Kautionserhöhung von Fr. 771'250.--. Der erforderliche Streitwert ist so oder anders überschritten (Art. 74 Abs. 1 lit. b BGG). Die Beschwerde ist somit zulässig.
2. Umstritten ist die Erhöhung der Gerichtskostensicherheit für den vor Bezirksgericht hängigen Kollokationsprozess. Das Obergericht hat für die Bestimmung der Sicherheit auf die per 1. Januar 2011 aufgehobene Verordnung des Obergerichts über die Gerichtsgebühren vom 4. April 2007 abgestellt (ehemals LS 211.11; OS 62, 535; nachfolgend: aGebV/ZH). Grundlage für die Gebühr bilde der Streitwert bzw. das tatsächliche Streitinteresse, der Zeitaufwand des Gerichts und die Schwierigkeit des Falles (§ 2 Abs. 1 aGebV/ZH). Bei vermögensrechtlichen Streitigkeiten sehe § 4 Abs. 1 aGebV/ZH einen streitwertabhängigen Tarif vor. Die so berechnete Gebühr könne um bis zu einem Drittel, in Ausnahmefällen auch um mehr, erhöht oder insbesondere bei periodisch wiederkehrenden Leistungen ermässigt werden (§ 4 Abs. 2 aGebV/ZH). Eine Begrenzung nach oben gebe es nicht. Ausgehend vom Streitwert von rund Fr. 251.5 Millionen würde die ordentliche Gerichtsgebühr somit rund Fr. 1'328'250.-- betragen. Nach der Erhöhung der Sicherheit durch das Bezirksgericht belaufe sich die Gesamtkaution auf Fr. 1'046'250.-- (Fr. 275'000.-- + Fr. 771'250.--) und es sei zu überprüfen, ob dies dem Äquivalenzprinzip noch entspreche.
Das Obergericht hat in der Folge die vom Kassationsgericht in seinem Entscheid vom 1. März 2010 vertretene Auffassung zurückgewiesen, wonach eine Gerichtsgebühr bis Fr. 275'000.-- für ein erstinstanzliches einzelrichterliches Verfahren das Äquivalenzprinzip grundsätzlich nicht verletze, höhere Gerichtsgebühren indes einer überprüfbaren, d.h. konkretisierten und substantiierten Begründung des gerichtlichen Kostenaufwandes bedürften. Das Obergericht hat die Meinung vertreten, solches lasse sich der bundesgerichtlichen Rechtsprechung zum Äquivalenzprinzip nicht entnehmen. Die Obergrenze liege vielmehr dort, wo der Rechtsschutz illusorisch oder übermässig erschwert würde. Zudem dürfe die Gebühr nicht in einem offensichtlichen Missverhältnis zum objektiven Wert der Leistung stehen und müsse sich in vernünftigen Grenzen halten. Zur Berechnung des Werts der Leistung könne einerseits auf den wirtschaftlichen Nutzen für den Zahlungspflichtigen abgestellt werden, wobei dieser grundsätzlich vom Streitwert abhänge. Andererseits könne auf den Kostenaufwand abgestellt werden, wobei es sich vorliegend um ein aussergewöhnlich umfangreiches und zeitaufwendiges Verfahren handle. Dies zeige sich an der Klagebegründung im Umfang von nunmehr 660 Seiten und an den Beilagen in insgesamt 51 Bundesordnern, wobei viele Unterlagen auf Französisch oder Englisch verfasst seien. Eine Gerichtsgebühr dürfe zudem die konkreten Kosten eines einzelnen Prozesses übersteigen, um Verluste in weniger bedeutenden Geschäften bis zu einem gewissen Grad wettzumachen. Der Gebührenberechnung sei folglich der Streitwert zugrunde zu legen. Als Basisbetrag sei von der ordentlichen Gerichtsgebühr gemäss § 4 Abs. 1 aGebV/ZH auszugehen (Fr. 1'328'250.--). Der Synergieeffekt mit dem Verfahren FB060046 sei zu berücksichtigen. Obwohl er beträchtlich sein möge, müsse das Gericht in beiden Prozessen sämtliche Akten prüfen und allenfalls ein Beweisverfahren durchführen. Zwar möge ein gleicher oder vergleichbarer Streitgegenstand vorliegen, doch seien die Beklagten nicht dieselben und die Ansprüche stützten sich auf verschiedene Rechtsgrundlagen. Schliesslich könne die Beschwerdeführerin im Rahmen der Replik nochmals Beilagen einreichen. Der Synergieeffekt sei durch die Reduktion der ordentlichen Gebühr auf die Hälfte zu berücksichtigen. Die Gesamtkaution sei somit auf Fr. 664'125.-- (d.h. die Hälfte von Fr. 1'328'250.--) festzusetzen und die Kautionserhöhung folglich auf Fr. 389'125.-- (Fr. 664'125.-- abzüglich der bezahlten Kaution von Fr. 275'000.--).
3. 3.1 Die Beschwerdeführerin wendet sich unter verschiedenen Gesichtspunkten dagegen, dass das Obergericht vom Rückweisungsbeschluss des Kassationsgerichts vom 1. März 2010 und dem darauf beruhenden obergerichtlichen Beschluss vom 11. Mai 2010 abgewichen ist.
So habe das Obergericht trotz unveränderter Verhältnisse den ursprünglichen Kautionsentscheid in Wiedererwägung gezogen. Bereits in der ursprünglichen Kautionsverfügung vom 20. Oktober 2008 im Verfahren FB060144 sei von einem äusserst komplexen Verfahren ausgegangen worden. Es sei unhaltbar, dass die Vorinstanz nun annehme, die Komplexität des Falles sei erst nach der ergänzenden Klagebegründung deutlich geworden. Die Grundlagen für die Berechnung der Kaution hätten sich durch die Einreichung der ergänzenden Klagebegründung und ihrer Beilagen nicht verändert. Es handle sich somit gar nicht um eine Kautionserhöhung aufgrund veränderter Umstände, sondern um eine verdeckte Wiedererwägung des kassationsgerichtlichen Entscheids vom 1. März 2010 und des obergerichtlichen Beschlusses vom 11. Mai 2010. Da sich die Umstände nicht geändert hätten, sei eine Wiedererwägung nicht möglich. Auch eine Änderung durch die untere Instanz wegen Fehlerhaftigkeit oder Unangemessenheit der ersten Kaution sei ausgeschlossen, da die Höhe der ersten Kaution von einer Rechtsmittelinstanz bestimmt worden sei.
Des Weiteren habe sich das Obergericht nicht an bindende Vorgaben des kassationsgerichtlichen Entscheids vom 1. März 2010 über die Begründung einer Kaution gehalten, die Fr. 275'000.-- übersteigen soll. Die Beschwerdeführerin sieht § 104a Abs. 1 des Gerichtsverfassungsgesetzes vom 13. Juni 1976 (GVG; ehemals LS 211.1; OS 56, 707) über die Bindungswirkung eines Rückweisungsentscheids verletzt.
Die Beschwerdeführerin verweist schliesslich darauf, die Kollokationsklagen in den Verfahren FB060046 und FB060144 beruhten auf denselben Tatsachen - und entgegen der Vorinstanz - denselben Rechtsgründen. Der Synergieeffekt sei total. Der einzige Unterschied liege darin, dass in jenem Verfahren einzig eine Teilforderung eingeklagt worden sei, in diesem aber die Gesamtforderung. Die Klagebegründung in diesem Verfahren sei etwas ausführlicher als in jenem. Dies sei aber darauf zurückzuführen, dass bereits Erwägungen aus der Replik im anderen Verfahren in die Begründung eingearbeitet worden seien. Es sei bisher auch nur ein Ordner mit Beilagen mehr ins Recht gelegt worden als im ganzen Verfahren FB060046. Im Verfahren FB060046 sei die Gerichtskostenkaution von Fr. 275'000.-- zudem nie erhöht worden.
3.2 Die Auffassung der Beschwerdeführerin, der Einzelrichter und das Obergericht hätten verdeckt und unrechtmässig die ursprüngliche Kautionsverfügung in Wiedererwägung gezogen, trifft nicht zu. Die Beschwerdeführerin bestreitet selber nicht, dass ein Gericht zumindest bei veränderten Umständen eine solche Verfügung anpassen darf. Solche Umstände können in der Einreichung der ergänzenden Klagebegründung mitsamt Beilagen erblickt werden. Der Richter geniesst in der Einschätzung der Komplexität weitgehendes Ermessen. Dass er bereits in seiner ersten Sicherstellungsverfügung gestützt auf die vorläufige Klagebegründung mit einem äusserst komplexen Verfahren rechnete, hindert ihn nicht daran, die Kaution nach Erhalt der ergänzten Begründung zu erhöhen, sobald die Komplexität klarer erkennbar wird. Eine solche Erhöhung hatte er sich in der Verfügung vom 20. Oktober 2008 auch ausdrücklich vorbehalten. Der Einzelrichter führte darin aus, die von der Klägerin behauptete Komplexität würde an sich eine Erhöhung der Gerichtsgebühr über das übliche Mass hinaus rechtfertigen, davon werde aber einstweilen abgesehen. Die Beschwerdeführerin selber gibt im Übrigen zu, die Beilagen zur vorläufigen Begründung hätten praktisch ausschliesslich dazu gedient, das Sistierungsgesuch für dieses Verfahren zu begründen. Beilagen zum Materiellen hat sie somit erst zusammen mit der Klageergänzung eingereicht.
Dem Obergericht kann auch nicht vorgeworfen werden, sich über eine bindende Vorgabe des Kassationsgerichts in seinem Urteil vom 1. März 2010 hinweggesetzt zu haben. § 104a Abs. 1 GVG sieht vor, dass bei Rückweisungen die untere Instanz und, bei erneuter Befassung mit dem Fall, die rückweisende Instanz an die Rechtsauffassung gebunden sei, welche dem Rückweisungsentscheid zugrunde liege. Abs. 3 der genannten Norm behält allerdings geänderte Sachverhalte und Änderungen der Rechtsprechung übergeordneter Gerichte vor. Vorliegend geht es nicht um den auf die Rückweisung durch das Kassationsgericht folgenden Entscheid des Obergerichts. Vielmehr geht es um einen neuen Zwischenentscheid, dem neue Umstände zugrunde liegen. Dass § 104a Abs. 1 GVG auch diesen Fall abdecken würde, ist nicht rechtsgenüglich dargetan (Art. 106 Abs. 2 BGG). Dem kassationsgerichtlichen Urteil lässt sich eine solche Bindung hinsichtlich der Höhe der Kaution nicht entnehmen. Es schliesst eine Kaution, welche Fr. 275'000.-- übersteigt, nicht kategorisch aus, sondern behält im Gegenteil eine spätere Erhöhung vor. Es macht keine Vorgaben zur Maximalhöhe einer zulässigen Kaution, sondern einzig zur Art der Begründung, sobald die Kaution den fraglichen Betrag übersteigen soll. Diese Vorgaben an die Begründung hat das Obergericht im angefochtenen Urteil verworfen, da sie sich dem Äquivalenzprinzip nicht entnehmen liessen. Hätte sich das Kassationsgericht mit der Kautionserhöhung zu befassen gehabt, hätte es das obergerichtliche Urteil des Obergerichts wegen Verstosses gegen seine Auslegung des Äquivalenzprinzips möglicherweise aufgehoben. Nach dem Gesagten war das Obergericht diesbezüglich aber nicht an die Auffassung des Kassationsgerichts gebunden. Selbst wenn das Obergericht kantonale Grundsätze über die Bindungswirkung von Urteilen verkannt hätte, wäre dies vorliegend nicht relevant. Das Bundesgericht prüft selber, ob die Kautionserhöhung gegen das Äquivalenzprinzip verstösst (unten E. 3.5).
Schliesslich kann die Beschwerdeführerin auch aus dem Vergleich mit dem Parallelverfahren FB060046 nichts zu ihren Gunsten ableiten. Selbst wenn die Klageergänzung im Verfahren FB060144 und die dazugehörigen Beilagen im Wesentlichen bereits aus dem erstgenannten Verfahren FB060046 bekannt gewesen sein sollten, ändert dies nichts an der Neuheit der Eingaben im Verfahren FB060144. Aus der Höhe der Kaution in jenem Verfahren und dem Verzicht, dort je eine Kautionserhöhung zu verlangen, können ebenfalls keine Rückschlüsse auf die Höhe der Kaution in diesem Verfahren gezogen werden. Es handelt sich um getrennte Verfahren mit unterschiedlichem Streitwert. Der Synergieeffekt der beiden Verfahren ist mit einem Abzug von 50 % berücksichtigt worden (dazu unten E. 3.5).
3.3 Für den Fall, dass nicht bereits der kassationsgerichtliche Entscheid vom 1. März 2010 einer Erhöhung der Kaution entgegenstünde, sieht die Beschwerdeführerin in der Anhebung eine Verletzung des Äquivalenzprinzips. Werde die Gebühr anhand des Streitwerts berechnet, habe sie keinen Bezug mehr zum konkreten Kostenaufwand. Gehe man von den Löhnen der involvierten Gerichtspersonen und ihrem mutmasslichen Zeitaufwand aus, ergäben sich Gerichtskosten von rund Fr. 160'000.--. Bestehe ein krasses Missverhältnis zwischen Kaution und mutmasslichem Aufwand des Gerichts, wirke die Sicherheit prohibitiv und verletze die Rechtsweggarantie gemäss (unter anderen) Art. 6 und 13 EMRK sowie Art. 29a BV.
3.4 Gerichtsgebühren sind kostenabhängige Kausalabgaben. Sie müssen deshalb das Kostendeckungs- sowie das Äquivalenzprinzip einhalten (BGE 120 Ia 171 E. 2a S. 174 mit Hinweisen). Das Kostendeckungsprinzip ist vorliegend nicht angerufen und mithin nicht zu untersuchen.
Das Äquivalenzprinzip konkretisiert das Verhältnismässigkeitsprinzip und das Willkürverbot (Art. 5 Abs. 2 sowie Art. 8 und 9 BV) für den Bereich der Kausalabgaben. Es bestimmt, dass eine Gebühr nicht in einem offensichtlichen Missverhältnis zum objektiven Wert der Leistung stehen darf und sich in vernünftigen Grenzen halten muss. Der Wert der Leistung bemisst sich nach dem wirtschaftlichen Nutzen, den sie dem Pflichtigen bringt, oder nach dem Kostenaufwand der konkreten Inanspruchnahme im Verhältnis zum gesamten Aufwand des betreffenden Verwaltungszweigs, wobei schematische, auf Wahrscheinlichkeit und Durchschnittserfahrungen beruhende Massstäbe angelegt werden dürfen. Es ist nicht notwendig, dass die Gebühren in jedem Fall genau dem Verwaltungsaufwand entsprechen; sie sollen indessen nach sachlich vertretbaren Kriterien bemessen sein und nicht Unterscheidungen treffen, für die keine vernünftigen Gründe ersichtlich sind. Bei der Festsetzung von Verwaltungsgebühren darf deshalb innerhalb eines gewissen Rahmens auch der wirtschaftlichen Situation des Pflichtigen und dessen Interesse am abzugeltenden Akt Rechnung getragen werden. Bei Gerichtsgebühren darf namentlich der Streitwert eine massgebende Rolle spielen, wobei dem Gemeinwesen nicht verwehrt ist, mit den Gebühren für bedeutende Geschäfte den Ausfall in weniger bedeutsamen Fällen auszugleichen. In Fällen mit hohem Streitwert und starrem Tarif, der die Berücksichtigung des Aufwandes nicht erlaubt, kann die Belastung allerdings unverhältnismässig werden, namentlich dann, wenn die Gebühr in Prozenten oder Promillen festgelegt wird und eine obere Begrenzung fehlt (BGE 130 III 225 E. 2.3 S. 228 f. mit Hinweisen). Die Gebühr darf die Inanspruchnahme bestimmter staatlicher Leistungen nicht verunmöglichen oder übermässig erschweren (BGE 120 Ia 171 E. 2a S. 174 mit Hinweisen).
3.5 Aus diesen Grundsätzen ergibt sich, dass die Vorinstanz grundsätzlich auf den Streitwert abstellen durfte, um die Gerichtsgebühr zu bestimmen. Das Kriterium des Streitwerts trägt dem Interesse des Pflichtigen an der staatlichen Handlung Rechnung und erlaubt einen Ausgleich zwischen mehr und weniger bedeutsamen Geschäften (BGE 130 III 225 E. 2.4 S. 229). Die Vorinstanz hat den streitwertabhängigen Tarif von § 4 Abs. 1 aGebV/ZH nicht starr angewandt, sondern die mit seiner Hilfe berechnete Gebühr gemäss § 4 Abs. 2 aGebV/ZH gekürzt. Für die Erhöhung bzw. Ermässigung der nach einem Tarif abgestuften Gerichtsgebühren ist im Einzelfall der Aufwand massgebend, den das Verfahren mit sich bringt, wie die Anzahl Verhandlungen, der Umfang der Rechtsschriften und Beilagen sowie die tatsächliche oder rechtliche Schwierigkeit des Falles (Urteile 5A_210/2011 vom 10. August 2011 E. 4.2.1 und 5A_484/2010 vom 20. Dezember 2010 E. 4.3.3; je mit Hinweis). Die Vorinstanz hat die Gebühr um die Hälfte gekürzt, um dem Synergieeffekt mit dem Verfahren FB060046 Rechnung zu tragen. Damit hat es die Besonderheiten des Einzelfalls berücksichtigt. In der Tatsache, dass es keine stärkere Kürzung vorgenommen hat, kann keine Bundesrechtsverletzung erblickt werden. Dies gilt auch dann, wenn - wie die Beschwerdeführerin behauptet - im Gegensatz zur Darstellung der Vorinstanz auch die anspruchsbegründenden Rechtsgrundlagen der beiden Verfahren identisch sein sollten. Es bleibt nämlich dabei, dass es sich um Verfahren gegen zwei verschiedene Beklagte handelt und das Gericht nach wie vor alle Rechtsschriften und Beilagen sorgfältig zu studieren und zu würdigen hat.
Vergleicht man Streitwert (Fr. 251.5 Millionen) und resultierende Gesamtkaution (Fr. 664'125.--) miteinander, so entspricht die Kaution rund 0.26 % der Streitsumme. Sie erscheint insoweit als moderat, auch wenn zu berücksichtigen ist, dass sich der Streitwert in Kollokationsprozessen nur annäherungsweise bestimmen lässt (vgl. auch Urteil 4P.315/2006 vom 22. Mai 2007 E. 2.3, wo eine oberinstanzliche Gebühr von Fr. 180'000.-- bei einem Streitwert von Fr. 5.5 Millionen geschützt wurde). Es ist zudem daran zu erinnern, dass der Streitwert im Kollokationsprozess eine rechnerische Grösse darstellt und tatsächlich Forderungen im Umfang von rund Fr. 2.4 Milliarden zu beurteilen sind.
Zu berücksichtigen ist aber auch die absolute Höhe der Gebühr. Die Gesamtkaution von Fr. 664'125.-- erscheint insoweit als sehr hoch. Von einem offensichtlichen Missverhältnis zum Wert der in Anspruch genommenen staatlichen Leistung kann jedoch nicht gesprochen werden. Die staatliche Leistung besteht in der Führung eines umfangreichen, zeitaufwendigen und anspruchsvollen Verfahrens. Nach den Feststellungen der Vorinstanz, die auch von der Beschwerdeführerin nicht bestritten werden, sind umfangreiche Rechtsschriften und zahlreiche - teilweise fremdsprachige - Belege zu würdigen (anders etwa als in BGE 130 III 225). Die verhängte Gebühr erscheint deshalb als mit dem Äquivalenzprinzip vereinbar.
Nicht gefolgt werden kann schliesslich dem Hinweis der Beschwerdeführerin auf die prohibitive Wirkung zu hoch angesetzter Gebühren und die angebliche Verletzung der Rechtsweggarantie. Dieses Thema vertieft zu erörtern, besteht kein Anlass. Die Beschwerdeführerin behauptet nämlich selber nicht, dass die verhängte Gebühr für sie prohibitiv wirke und sie von der Prozessführung abhalte oder die Prozessführung übermässig erschwere. Sie macht einzig geltend, es werde ihr in erheblichem Ausmass Liquidität entzogen, auf welche sie als Konkursmasse dringend angewiesen sei. Sie führt diesen Punkt aber nicht weiter aus. An einer abstrakten Beurteilung dieser Frage hat sie kein schützenswertes Interesse. Auf diese Rüge ist deshalb nicht einzutreten.
3.6 Die Beschwerde ist unbegründet und folglich abzuweisen, soweit darauf eingetreten werden kann. Der Beschwerde wurde aufschiebende Wirkung zuerkannt. Die Vorinstanz hat deshalb eine neue, angemessene Frist zur Zahlung der erhöhten Gerichtskostensicherheit anzusetzen.
4. Bei diesem Ausgang des Verfahrens wird die Beschwerdeführerin kostenpflichtig (Art. 66 Abs. 1 BGG). Auf eine Ausscheidung der Kosten des Zwischenverfahrens zur Genehmigung der aufschiebenden Wirkung wird verzichtet. Der Beschwerdegegnerin ist kein zu entschädigender Aufwand entstanden.
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Das Obergericht des Kantons Zürich, II. Zivilkammer, wird angewiesen, der Beschwerdeführerin eine neue, angemessene Frist zur Leistung der zusätzlichen Gerichtskostenkaution anzusetzen.
3. Die Gerichtskosten von Fr. 20'000.-- werden der Beschwerdeführerin auferlegt.
4. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, II. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 25. Oktober 2011
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Zingg