Sachverhalt:
A. Die SAirGroup (nachfolgend SAir) schloss mit der Zweigniederlassung der Bank X._ in London (nachfolgend X._) mit einer Laufzeit bis 23. November 2001 eine Vereinbarung ("Share Swap Transaction"), die einen "Total Return Swap" sowie "Collateral"-Zahlungen beinhaltete. Dabei übertrug die SAir der X._ am 23. November 1999 mit Valuta 26. November 500'000 eigene Aktien zum damaligen Tageskurs von je Fr. 341.-- und diese überwies der SAir am 26. November 1999 die entsprechende Summe von Fr. 170,5 Mio.
Die ordentlichen Beendigungsmodalitäten sahen ein "Physical Settlement" oder nach Wahl von SAir ein "Cash Settlement" vor. Bei Ersterem hätte die SAir die Aktien zurückgekauft, bei Letzterem hätte die X._ die Aktien am Markt platziert und mit der SAir darüber abgerechnet.
Bis und mit September 2001 wurde vertragsgemäss jeweils am 23. Tag eines jeden Monats der aktuelle Marktwert der 500'000 Aktien ermittelt und die Differenz zur vorangehenden Bewertung in bar ausgeglichen. Insgesamt leistete die SAir Zahlungen von Fr. 114'250'000.-- an die X._, während diese Zahlungen von Fr. 30'500'000.-- an die SAir erbrachte; die Differenz aller Zahlungen betrug mithin Fr. 83'750'000.-- und u.a. diese Summe ist vorliegend angefochten (dazu Lit. B).
Zu diesem Konzept des Wertausgleichs trat eine von der SAir in Form von "Collateral-"Zahlungen bei der X._ in bar zu hinterlegende Sicherheit hinzu, welche anhand der Schwankungen des Börsenkurses der SAir-Aktie zu ermitteln war. Bis August erfolgten "Collateral"-Zahlungen der SAir von EUR 23'472'912.13 und Rückzahlungen der X._ von EUR 23'212'867.54. Die Differenz von EUR 260'044.59 ist nicht angefochten. Angefochten (dazu Lit. B) sind jedoch die drei im September 2001 an die X._ erfolgten Zahlungen von total EUR 20'170'176.81 (Rückzahlungen gab es in dieser Periode keine).
Neben der vorgenannten "Share Swap Transaction" ist ein weiterer Vertrag Streitgegenstand, und zwar der sog. 1-Mia-Kredit, der schliesslich am 11. Juli 2001 abgeschlossen, aber nie ausbezahlt wurde. Die Bank Z._ war vorzeitig aus den Vertragsverhandlungen ausgestiegen und der Kredit wurde schliesslich von der Bank X._ Luxemburg (nachfolgend X._ Lux), der Bank Y._ und der Bank W._ gewährt. Mit Blick auf den Abschluss wurde eine in drei Tranchen zu leistende Bearbeitungsgebühr ("Upfront Fee") von insgesamt 0,85 % der Kreditsumme sowie eine einmalige Vermittlergebühr ("Agency Fee") von Fr. 20'000.-- vereinbart. Die beiden ersten Tranchen von 0,1 % und 0,375 % der "Upfront Fee", insgesamt ausmachend Fr. 4,75 Mio., wurden an die federführende W._ überwiesen, die dritte Tranche aufgrund der zwischenzeitlich eingetretenen Nachlassstundung nicht mehr; der Anteil der X._ an den überwiesenen Tranchen betrug Fr. 1'583'333.33 und ist vorliegend ebenfalls eingeklagt (vgl. Lit. B).
Auf Gesuch vom 4. Oktober 2001 hin wurde der Beschwerdeführerin am 5. Oktober 2001 die provisorische Nachlassstundung bewilligt, welche später in eine definitive umgewandelt wurde. Am 20. Juni 2003 wurde der Nachlassvertrag mit Vermögensabtretung vom 26. Juni 2002 gerichtlich bestätigt.
B. Am 22. August 2005 reichte die SAir gegen die X._ eine auf Art. 288 SchKG gestützte Anfechtungsklage ein mit den Begehren, diese sei zur Bezahlung von Fr. 85'333'333.33 und von EUR 20'170'176.81 (eventualiter umgerechnet zu Fr. 31'255'709.98), je nebst Zins zu 5 % seit dem 1. August 2004, zu verpflichten.
Mit Urteil vom 27. Oktober 2010 verpflichtete das Handelsgericht des Kantons Zürich die X._, der SAir Fr. 1'583'333.33 und EUR 20'170'176.81, je nebst Zins zu 5 % seit dem 1. August 2004, zu bezahlen. Im Übrigen wies es die Klage ab.
C. Dagegen haben beide Parteien eine Beschwerde in Zivilsachen erhoben. Die X._ beantragte mit Eingabe vom 16. Dezember 2010 (Nr. 5A_892/2010) die vollständige Abweisung der Klage, eventualiter die Rückweisung der Sache an das Handelsgericht, und die SAir beantragte mit Eingabe vom 17. Dezember 2010 (Nr. 5A_900/2010) die Verpflichtung der X._ zur zusätzlichen Zahlung von Fr. 83'750'000.-- nebst Zins zu 5 % seit dem 1. August 2004, d.h. die vollständige Gutheissung der Klage. Mit Präsidialverfügung vom 14. Januar 2011 wurde im Verfahren 5A_892/2010 im Sinne der Erwägungen die aufschiebende Wirkung erteilt. In der Sache selbst wurden keine Vernehmlassungen eingeholt.
Erwägungen:
1. Die Beschwerde in Zivilsachen steht bei paulianischen Anfechtungsklagen mit Fr. 30'000.-- übersteigendem Streitwert grundsätzlich offen (Art. 72 Abs. 2 lit. a und Art. 74 Abs. 1 lit. b BGG). Das Handelsgericht des Kantons Zürich ist sachlich als einzige kantonale Instanz zuständig und hat einen Endentscheid gefällt (Art. 75 Abs. 2 lit. b und Art. 90 BGG).
Zwar wendet das Bundesgericht das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Wegen der Begründungspflicht gemäss Art. 42 Abs. 2 BGG wird die Rechtsanwendung aber grundsätzlich nur dann überprüft, wenn in der Beschwerde eine Verletzung geltend gemacht wird; dies setzt voraus, dass sich der Beschwerdeführer wenigstens kurz mit den Erwägungen des angefochtenen Entscheides auseinandersetzt (BGE 134 II 244 E. 2.3 S. 246 f.).
Im Bereich von Verfassungsverletzungen gelten strengere Begründungsanforderungen, weil hier das strickte Rügeprinzip zur Anwendung gelangt (Art. 106 Abs. 2 BGG). Das bedeutet, dass das Bundesgericht nur klar und detailliert erhobene und soweit möglich belegte Rügen prüft, während es auf ungenügend begründete Rügen und rein appellatorische Kritik am angefochtenen Entscheid nicht eintritt. Wird die Verletzung des Willkürverbots gerügt, reicht es sodann nicht aus, die Lage aus Sicht des Beschwerdeführers darzulegen und den davon abweichenden angefochtenen Entscheid als willkürlich zu bezeichnen; vielmehr ist im Einzelnen darzulegen, inwiefern das kantonale Gericht willkürlich entschieden haben soll und der angefochtene Entscheid deshalb an einem qualifizierten und offensichtlichen Mangel leidet (BGE 134 II 244 E. 2.2 S. 246).
Schliesslich ist das Bundesgericht an den festgestellten Sachverhalt grundsätzlich gebunden (Art. 105 Abs. 1 BGG). Diesbezüglich kann einzig vorgebracht werden, er sei offensichtlich unrichtig festgestellt worden (Art. 97 Abs. 1 BGG), wobei "offensichtlich unrichtig" mit "willkürlich" gleichzusetzen ist (Botschaft, BBl 2001 IV 4338; BGE 133 II 249 E. 1.2.2 S. 252; 133 III 393 E. 7.1 S. 398), oder er beruhe auf einer anderen Rechtsverletzung im Sinn von Art. 95 BGG (z.B. Art. 29 Abs. 2 BV oder Art. 8 ZGB). Ausserdem muss in der Beschwerde aufgezeigt werden, inwiefern die Behebung der vorerwähnten Mängel für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG; BGE 135 I 19 E. 2.2.2 S. 22). Für all diese Elemente gilt wiederum das strenge Rügeprinzip (Art. 106 Abs. 2 BGG; BGE 133 II 249 E. 1.4.2 S. 254).
Die beiden von den Parteien wechselseitig eingereichten Beschwerden richten sich gegen das gleiche Urteil und betreffen die gleiche Thematik. Sie stehen damit in unmittelbarem funktionellen und sachlichen Zusammenhang, weshalb die Verfahren Nrn. 5A_892/2010 und 5A_900/2010 zu vereinigen und vorliegend in einem Entscheid zu beurteilen sind.
2. Gemäss Art. 288 SchKG sind alle Rechtshandlungen anfechtbar, welche der Schuldner innerhalb der letzten fünf Jahre vor der Pfändung oder Konkurseröffnung in der dem anderen Teil erkennbaren Absicht vorgenommen hat, seine Gläubiger zu benachteiligen oder einzelne Gläubiger zum Nachteil anderer zu begünstigen. Der Anfechtung nach diesen Grundsätzen unterliegen gemäss Art. 331 Abs. 1 SchKG auch die Rechtshandlungen, welche der Schuldner vor der Bestätigung des Nachlassvertrages vorgenommen hat.
Als erstes Tatbestandsmerkmal von Art. 288 SchKG muss eine Schädigung der anderen Gläubiger durch Beeinträchtigung der Exekutionsrechte vorliegen, indem ihre Befriedigung im Rahmen der General- oder Spezialexekution oder ihre Stellung im Vollstreckungsverfahren wegen der Bevorzugung des einen Gläubigers beeinträchtigt wird (BGE 135 III 265 E. 2 S. 267, 513 E. 3.1 S. 515; 136 III 247 E. 3 S. 250). Die tatsächliche Schädigung wird zugunsten der Konkursmasse vermutet, wobei dem Anfechtungsbeklagten der Gegenbeweis offen steht, dass die anderen Gläubiger auch bei richtigem Verhalten des Schuldners zum gleichen Verlust gekommen wären, dient doch die Anfechtungsklage nicht der Bestrafung des beklagten Gläubigers, sondern der Wiederherstellung des Zustandes, in welchem sich ohne das angefochtene Geschäft das zur Befriedigung der übrigen Gläubiger dienende Vermögen des Schuldners im Zeitpunkt der Konkurseröffnung befunden hätte (BGE 134 III 615 E. 4.1 S. 617; 135 III 265 E. 2 S. 267; 136 III 247 E. 3 S. 250).
An einer Schädigung fehlt es in der Regel auch, wenn die angefochtene Rechtshandlung im Austausch gleichwertiger Leistungen besteht (BGE 135 III 276 E. 6.1.2 S. 280; 136 III 247 E. 3 S. 251), es sei denn, der Schuldner habe mit dem Geschäft den Zweck verfolgt, über seine letzten Aktiven zum Schaden der Gläubiger verfügen zu können, und sein Geschäftspartner habe das erkannt oder bei pflichtgemässer Aufmerksamkeit erkennen müssen (BGE 99 III 27 E. 4 S. 34; 101 III 92 E. 4a S. 94; 130 III 235 E. 2.1.2 S. 238; 134 III 452 E. 3.1 S. 455). Ein Austausch gleichwertiger Leistungen liegt namentlich vor, wenn der Schuldner gegen Bestellung eines Pfandes ein Darlehen erhält (BGE 53 III 79), wenn ihm gegen Bestellung eines Pfandes Ware auf Kredit geliefert wird (BGE 63 III 150 E. 3 S. 155), wenn er ihm gehörende Sachen gegen Zahlung des vollen Gegenwertes veräussert (BGE 65 III 142 E. 5 S. 147; 79 III 175) oder wenn ihm bei einem Finanzierungsgeschäft der volle Gegenwert der von ihm unter Garantie der Einbringlichkeit abgetretenen Forderungen vergütet wird (BGE 74 III 84 E. 3 S. 88).
All diesen Geschäften ist gemeinsam, dass der Schuldner anstelle der von ihm veräusserten oder verpfändeten Vermögenswerte Ware oder Geld erhält. Wenn der Schuldner dagegen anstelle der von ihm veräusserten Vermögensstücke bloss eine Forderung erwirbt oder wenn er Geld oder andere Vermögenswerte zum blossen Zweck der Tilgung einer Forderung hingibt, tauscht er für seine Leistung keine Gegenleistung ein, die eine Schädigung der Gläubiger von vornherein ausschliessen würde (BGE 99 III 27 E. 4 S. 34). Insbesondere ist beim Darlehensvertrag die Rückzahlung nicht eine (gleichwertige) Gegenleistung für die Hingabe des Darlehensbetrages, sondern die Erfüllung der mit der Darlehensaufnahme eingegangenen Pflicht zu späterer Rückzahlung (BGE 99 III 27 E. 5 S. 38; 134 III 452 E. 3.1 S. 455; 136 III 247 E. 3 S. 251). Eine Schädigung der anderen Gläubiger tritt auch ein, wenn nachträglich Sicherheiten bestellt werden, und zwar selbst dann, wenn sich der Schuldner zu deren Bestellung bereits bei der Kreditaufnahme verpflichtet hat (ausdrücklich BGE 99 III 89 E. 4 S. 91; nachträgliche Bestellung bei ursprünglicher Verpflichtung in BGE 101 III 92 E. 4a S. 94 allerdings als Grenzfall bezeichnet).
3. Umstritten ist zunächst die Anfechtbarkeit der Ausgleichszahlungen, deren Differenz von Fr. 83'750'000.-- die SAir vor Handelsgericht ohne Erfolg eingeklagt hatte.
3.1 Das Handelsgericht hat befunden, mit der abgeschlossenen Vereinbarung seien die von der SAir selbst gehaltenen Aktien gegen Liquidität eingetauscht worden, wobei das wirtschaftliche Risiko bei der SAir verbleiben sollte, indem die Dividenden weiterzuleiten und insbesondere die Kursschwankungen periodisch auszugleichen waren, und zwar auf monatlicher Basis sowie am Schluss im Rahmen des finalen (Cash oder Physical) "Settlements". Im Gegensatz zu einem Darlehen sei der "Share Swap" von gegenseitigen Verpflichtungen während der ganzen Vertragsdauer zur Leistung von Ausgleichszahlungen geprägt, und die SAir habe auch ein Wahlrecht gehabt, bei Vertragsende die Aktien zurückzuerhalten ("Physical Settlement") oder durch die X._ am Markt platzieren und darüber abrechnen zu lassen ("Cash Settlement"). Mit den Ausgleichszahlungen sollte periodisch ein Gleichgewicht zwischen den ausgetauschten Vermögenspositionen hergestellt werden.
Im Sinn einer alternativen Begründung hat das Handelsgericht darauf hingewiesen, dass sich die Vermögenslage der SAir durch die Ausgleichszahlungen im Vergleich zur Situation ohne "Share Swap" nicht verändert habe, da sie als wirtschaftlich Berechtigte an den Aktien ohnehin für die Kursschwankungen einzustehen gehabt habe. Auch bei vertragswidrigem Zahlungsstopp hätte sie bei der Saldierung, wozu die X._ vertraglich sofort berechtigt gewesen wäre, für die Wertverluste einstehen müssen.
3.2 Die SAir macht geltend, es gehe um einen Gesamtrendite-Swap, bei welchem im Austausch gegen einen Bezugszins die Gesamtheit aller mit einem Basiswert verbundenen wirtschaftlichen Ergebnisse auf den Swap-Abnehmer übertragen werden, weshalb im Unterschied zum Zins- oder Währungs-Swap der marktwertbezogene Zahlungsstrom je nach Kursverlauf positiv oder negativ ausfalle und deshalb nicht periodisch wechselweise, sondern jeweils nur in eine Richtung fliesse. Sie wirft dem Handelsgericht vor, zu Unrecht dem Swap-Entscheid des Bundesgerichts vom 28. Mai 2009 in Sachen SAir gegen Y._ (5A_420/2008) gefolgt zu sein und ausser Acht gelassen zu haben, dass es sich vorliegend um ein davon abweichendes Swap-Geschäft gehandelt habe. Die rechtliche Grundstruktur der vorliegenden Vereinbarung erscheine nicht "im äusseren Kleid eines Kaufvertrages", weil am Schluss primär ein "Physical Settlement" vorgesehen gewesen sei (dazu E. 3.3). Sodann seien gerade nicht die Ausgleichszahlungen als "Collateral" bezeichnet worden, sondern dieser Begriff sei vorliegend für die Barhinterlage als zusätzliche Sicherheit (dazu E. 4) verwendet worden.
Die SAir macht weiter geltend, das Handelsgericht habe seinen Blick fälschlicherweise auf die ganze Geschäftsbeziehung gerichtet. In Wahrheit sei jedes Ereignis einzeln zu betrachten und dann würden die Ausgleichszahlungen nicht mehr in einem gleichwertigen Austauschverhältnis zur geleisteten Liquidität stehen: Weil die SAir Risikoträgerin geblieben sei, habe sich deren Vermögen nicht durch die Ausgleichszahlungen, sondern bereits durch das Absinken des Aktienkurses vermindert. Die Ausgleichszahlungen seien nicht Zug um Zug, sondern zeitlich verzögert erfolgt; mit anderen Worten habe bloss eine Anwartschaft auf Zahlung bestanden und mit deren Vornahme sei ohne zeitliche Nähe zum Zufluss eines Vermögenswertes einfach Liquidität aus dem Vermögen der SAir abgeflossen. Vor diesem Hintergrund könne nicht von einem Austauschverhältnis bzw. einem Subsynallagma gesprochen werden (dazu E. 3.3).
Abschliessend hält die SAir dafür, dass selbst wenn man der falschen rechtlichen Würdigung durch das Handelsgericht folgen wollte, jedenfalls für die letzte Zahlung vom 27. September 2001 anders zu entscheiden wäre. Diese stehe derart in zeitlicher Nähe zur Nachlassstundung, dass sie geradezu vom Zweck getragen sei, über letzte Aktiven zum Schaden der anderen Gläubiger zu verfügen (dazu E. 3.4).
3.3 Was die Behauptung anbelangt, am Ende der Laufzeit sei primär ein "Physical Settlement" vorgesehen gewesen, geht die SAir über die verbindliche (Art. 105 Abs. 1 BGG) und nirgends als willkürlich gerügte (Art. 9 BV i.V.m. Art. 97 Abs. 1 und Art. 106 Abs. 2 BGG) handelsgerichtliche Sachverhaltsfeststellung hinweg, wonach der SAir ein Wahlrecht zustand, ob sie am Schluss ein "Physical Settlement" oder ein "Cash Settlement" wünsche. Damit liegt ein ähnlicher Sachverhalt vor wie beim Fall 5A_420/2008, wo ebenfalls am Ende der Vertragslaufzeit entweder die Aktien von der Y._ an die SAir rückübertragen oder aber am Markt platziert worden wären, unter Abrechnung über den Erlös aus dem Weiterverkauf. Sodann bestreitet die SAir nicht, dass die Aktien auch im vorliegenden Fall der X._ zu Eigentum übertragen wurden. Analog zum Fall 5A_420/2008 wurde im Vertrag ein "Initial Price" festgesetzt (Fr. 341.-- pro Aktie) und festgehalten, dass der "Final Price" dem "official closing price per Share" im relevanten Bewertungszeitpunkt (gemeint: am Ende der ordentlichen oder ausserordentlichen Laufzeit) entspreche. Wie in jenem Fall ging es also auch im hier zu beurteilenden Geschäft darum, durch den Verkauf eigener Aktien gebundene Mittel in ungebundene Liquidität umzuwandeln, ohne auf den aus den Aktien erzielbaren Nutzen verzichten zu müssen (u.a. waren die der X._ als Eigentümerin anfallenden Dividenden an die SAir abzuliefern), und insbesondere war bei der vorliegenden Vereinbarung wiederum das zentrale Element, dass das Kursrisiko während der Laufzeit des Vertrages bei der SAir verbleiben sollte. Wie im Fall 5A_420/2008 wurde diesbezüglich vereinbart, dass nicht erst am Schluss der Laufzeit darüber abzurechnen sei ("Final Price"), sondern periodisch bereits während der Vertragslaufzeit, indem monatlich der aktuelle Wert der Aktien zu ermitteln und die Differenz zum vorangehenden Kurswert durch Zahlungen in die eine oder andere Richtung auszugleichen war.
Daraus ergibt sich, dass die zwischen den Parteien geschlossene Vereinbarung derjenigen im Fall 5A_420/2008 von der Grundstruktur her gleicht, wobei vorliegend bei sinkendem Aktienkurs zusätzlich als "Collateral" bezeichnete nachträgliche Sicherheiten in bar zu leisten waren, auf die in E. 4 einzugehen sein wird. Für die an dieser Stelle zu beurteilenden Ausgleichszahlungen, welche der periodischen Ausgleichung der Wertparität zwischen den beiden ausgetauschten Leistungen (Aktien gegen Geld) dienten, hat das Gleiche zu gelten, was ausführlich im Urteil 5A_420/2008 E. 5 und 6 festgehalten worden ist und sich wie folgt zusammenfassen lässt: Im Unterschied zu einem Darlehen wurde vorliegend nicht die Hingabe einer bestimmten Geldsumme für eine bestimmte Zeit unter Tragung des Kreditrisikos durch die Kreditgeberin, sondern der Austausch von Aktien gegen Liquidität vereinbart, wobei die sich aus dem Verlauf des Aktienkurses ergebenden Vermögensrisiken während der Vertragslaufzeit bei der SAir verbleiben und sich aus Kursschwankungen ergebende Wertdisparitäten durch monatliche Ausgleichszahlungen korrigiert werden sollten. Die Ausgleichszahlungen stellen deshalb weder Zinsen noch nachträglich bestellte Sicherheiten dar, sondern eine periodische Anpassung an den für die spätere Abrechnung massgeblichen "Final Price", und die betreffenden Zahlungen erfolgten jeweils unmittelbar nach Vornahme der Berechnung, so dass entgegen der Behauptung der SAir nicht von der Tilgung längst verfallener Schulden gesprochen werden kann. Wirtschaftlich stellen die Zahlungen einen Ausgleich für den gesunkenen Marktwert der Gegenleistung dar, und innerhalb des Gesamtsystems der gegenseitigen Ausgleichsströme (Globalsynallagma) waren sie die Gegenleistung für die weitere Zurverfügungstellung von Liquidität (Subsynallagma). Vor diesem Hintergrund der periodischen Ausgleichung zwischen Wert und Gegenwert ist keine Schädigung der anderen Gläubiger ersichtlich.
3.4 Soweit die SAir geltend macht, anderes müsse jedenfalls für die letzte Ausgleichszahlung vom 27. September 2001 gelten, so trifft es zwar zu, dass die angesprochene Ausgleichszahlung kurz vor dem Fallieren erfolgte. Sie glich aber lediglich den seit der letzten Anpassung bereits eingetretenen weiteren Kurszerfall der Aktie aus und stellte damit - wie die früheren, in die eine oder andere Richtung erfolgten Ausgleichszahlungen - lediglich wieder die Wertparität zwischen den ausgetauschten Vermögenswerten her.
Gegen eine abweichende Behandlung der letzten Ausgleichszahlung vom 27. September 2001 spricht im Übrigen auch eine Analogie zum "Zins-Entscheid" BGE 136 III 247: Dort wurde für die letzten, sehr nahe an der Nachlassstundung der SAir liegenden Zinszahlungen ebenfalls keine Ausnahme getroffen; auch im vorliegenden Fall kann die dort in E. 6 vor dem Hintergrund der Zwecksetzung der paulianischen Klagen erfolgte Überlegung fruchtbar gemacht werden, dass im Zusammenhang mit den Ausgleichszahlungen keinerlei Machenschaften verbunden waren, sondern diese im Rahmen eines seit 1999 bestehenden Vertrages aufgrund vorbestimmter Modalitäten gewissermassen routinemässig bzw. automatisch erfolgten. Ähnliche Überlegungen finden sich auch im bereits mehrfach erwähnten "Swap-Urteil" 5A_420/2008, wo in E. 6 festgehalten wurde, dass keine der beiden Parteien direkten Einfluss auf die bei Vertragsschluss nicht voraussehbare Kursentwicklung und damit auf den jeweiligen Wert der auszutauschenden Leistungen hatte.
4. Umstritten sind sodann drei "Collateral"-Zahlungen vom 5., 14., und 21. September 2001 über total EUR 20'170'176.81, welche die SAir vor Handelsgericht erfolgreich eingeklagt hatte und deren Anfechtbarkeit die X._ in ihrer Beschwerde nach wie vor bestreitet.
4.1 Das Handelsgericht hat festgehalten, dass nach der zwischen den Parteien abgeschlossenen Vereinbarung bei fallendem Aktienkurs als zusätzliche Sicherheit "Collateral"-Zahlungen zu leisten waren, wobei die Höhe wöchentlich aufgrund des Kursverlaufes zu berechnen war, und erwogen, im Gegensatz zu den Ausgleichszahlungen stünden die "Collateral"-Zahlungen nicht im Austausch mit der erhaltenen Liquidität, sondern stellten eine bei Bedarf nachträglich zu erbringende Sicherheit dar, welche über die Gegenleistung hinausgegangen sei und deshalb Tilgung einer bestehenden Verpflichtung bedeutet habe.
Mit Bezug auf das Vorbringen der X._, sie habe das "Collateral" mit der Ausfallforderung verrechnet und dies dem Liquidator mit der Kollokationseingabe kommuniziert, weshalb Haupt- wie Verrechnungsforderung untergegangen und deshalb die "Collateral"-Zahlungen nicht anfechtbar seien, hat das Handelsgericht unter Verweis auf Art. 291 Abs. 2 SchKG und auf das Kreisschreiben des Bundesgerichts Nr. 10 vom 9. Juli 1915 erwogen, die X._ verliere ihre zur Verrechnung gebrachten Ansprüche nicht, sondern nehme bei Gutheissung der vorliegenden Klage im betreffenden Umfang wieder am Nachlassverfahren teil.
4.2 Die X._ macht in ihrer Beschwerde geltend, mit der letzten Erwägung gehe das Handelsgericht über das 1992 ISDA Master Agreement hinweg, welchem die "Share Swap Transaction" unterstellt worden sei und welches bei einem "Event of default" ein automatisches "close out-Netting" vorsehe. Der Konkurs stelle das wichtigste "close out-Event" dar und mit der Gewährung der Nachlassstundung habe sich dieses verwirklicht. Das 1992 ISDA Master Agreement enthalte eine eigenständige Ordnung der konkursmässigen Abwicklung, welche es zu respektieren gelte. Das Handelsgericht habe Art. 211 Abs. 2bis SchKG sowie ferner Art. 120 OR und Art. 213 i.V.m. Art. 297 Abs. 4 SchKG verletzt, indem es die Verrechnung nicht anerkannt habe.
4.3 Mit dieser materiell- bzw. vertragsrechtlichen Argumentation, wonach das 1992 ISDA Master Agreement ein allgemeines Verrechnungsrecht kenne, welches den SchKG-mässigen Anfechtungsmöglichkeiten vorgehe, verkehrt die X._ das gesetzlich vorgesehene Verhältnis zwischen vertraglichen Vereinbarungen (das Master Agreement ist ein von der International Swaps and Derivatives Association herausgegebener Mustervertrag) und dem Anfechtungsrecht gemäss SchKG ins Gegenteil: Die Anfechtungsklage ist ein im Dienst der Gläubigergleichbehandlung stehendes Instrument, bei dem es um die Rückführung von aus vollstreckungsrechtlicher Sicht unrechtmässig entäussertem Substrat geht, indem bestimmte Handlungen des Schuldners, die während einer gesetzlich festgelegten Verdachtsperiode vorgenommen worden sind, auf der vollstreckungsrechtlichen Ebene unbeachtlich bleiben, wenn tatsächlich der Konkursfall eingetreten ist oder ein Gläubiger einen Pfändungsverlust erlitten hat (BGE 136 III 247 E. 2 S. 249). Die Anfechtung macht aber nicht etwa die betreffenden Rechtsgeschäfte zivilrechtlich ungültig; vielmehr werden einfach die übertragenen Vermögenswerte der Zwangsvollstreckung zugeführt (vgl. Art. 285 Abs. 1 und Art. 291 Abs. 1 SchKG), wobei diesfalls der Gläubiger mit seinen ursprünglichen Ansprüchen wiederum am Nachlassverfahren teilnehmen kann (vgl. Art. 291 Abs. 2 SchKG).
Dies bedeutet im vorliegenden Fall, dass die "Collateral"-Zahlungen unabhängig vom materiellen Inhalt des abgeschlossenen Vertrages bzw. des Vertragsbestandteil bildenden 1992 ISDA Master Agreements anfechtbar sind, soweit die Voraussetzungen des Anfechtungstatbestandes erfüllt sind. Dass die beiden subjektiven Tatbestandsmerkmale von Art. 288 SchKG nicht gegeben wären, bringt die X._ nirgends vor, weshalb sich eine entsprechende Prüfung erübrigt (vgl. E. 1). Hingegen macht sie geltend, es handle sich bei den "Collateral"-Zahlungen nicht um nachträgliche bestellte, sondern von Anfang an vereinbarte Sicherheitsleistungen, weshalb keine Gläubigerschädigung vorliege; dies ist im Folgenden zu prüfen.
4.4 Gemäss der in E. 2 dargestellten bundesgerichtlichen Rechtsprechung zu Art. 288 SchKG ist die Kreditierung gegen unmittelbare Sicherheitsleistung bei gleichwertigem Austauschverhältnis grundsätzlich nicht anfechtbar, während die nachträgliche Bestellung von Sicherheiten in der Regel anfechtbar ist, weil sie ausserhalb des Austauschverhältnisses steht. Was die vorliegende Besicherung des Ausfallrisikos durch "Collateral"-Zahlungen anbelangt, geht zunächst das Vorbringen der X._, das Handelsgericht habe Art. 288 SchKG insofern verletzt, als bei dessen Auslegung nicht mitberücksichtigt worden sei, dass nach dem an weniger strenge Voraussetzungen gebundenen Tatbestand gemäss Art. 287 SchKG keine Anfechtungsmöglichkeit bestünde, an der Sache vorbei: Jede der drei Anfechtungsklagen gemäss Art. 286 - 288 SchKG hat ihre eigenen Voraussetzungen, welche sich nicht gegenseitig bedingen. Vorliegend hat die SAir ihre Klage ausschliesslich auf Art. 288 SchKG abgestützt; inwiefern andere Anfechtungstatbestände angeblich erfüllt wären oder nicht, ist dabei belanglos. Nichts für ihren Standpunkt ableiten kann die X._ sodann aus ihrer Behauptung, die Besicherung des Ausfallrisikos sei bei einer "Share Swap Transaction" marktüblich: Das mag so sein, tut aber nichts zur Sache; bereits in anderem Zusammenhang wurde in einem Swissair-Urteil festgehalten, Standardklauseln könnten nicht zu einer generellen Unanfechtbarkeit bestimmter Rechtsgeschäfte führen, da ansonsten bestimmten Gläubigerkategorien eine Vorzugsstellung eingeräumt würde (Urteil 5A_386/2008 vom 6. April 2009 E. 4.3; vgl. auch die vorstehend in E. 4.3 aufgeführte Überlegung, dass die gesetzliche Anfechtungsordnung nicht durch vertragliche Vereinbarungen derogiert werden kann). Ohnehin ist im vorliegenden Fall entscheidend, dass in der "Share Swap Transaction" nur der Grundsatz festgehalten wurde, dass bei Kursschwankungen zur Absicherung eines zukünftigen Ausfallrisikos "Collateral"-Zahlungen fällig würden. Die konkrete Berechnung bzw. Festsetzung der Sicherheiten erfolgte jeweils wöchentlich aufgrund des aktuellen Kursverlaufes und damit nicht beim Vertragsabschluss bzw. der Kreditaufnahme, sondern erst im Nachhinein. Es liegt mithin nicht die in BGE 101 III 92 E. 4a S. 94 als Grenzfall bezeichnete Situation vor, dass eine im Grundgeschäft präzis festgelegte Sicherheit für ein bestimmtes zu besicherndes Objekt zum vertraglich vereinbarten späteren Zeitpunkt geleistet worden wäre (vgl. vorstehend S. 8). Vielmehr war der Umfang der jeweils zu leistenden Sicherheiten im Vertragszeitpunkt völlig offen, weil sie sich nach dem zukünftigen - und damit notwendigerweise spekulativen - Aktienkurs bestimmten und bei gleich bleibendem Kurs überhaupt keine "Collateral"-Zahlungen bzw. bei steigendem Kurs Rückzahlungen fällig waren. Im Übrigen war im Vertragszeitpunkt auch die zu besichernde Liquidität bzw. das diesbezügliche Ausfallrisiko offen, weil sich diese Grössen aufgrund der infolge des schwankenden Aktienkurses fällig werdenden Ausgleichszahlungen (dazu E. 3) ebenfalls laufend veränderten. Das Handelsgericht hat kein Bundesrecht verletzt, wenn es bei dieser Ausgangslage von nachträglichen Sicherheitsleistungen und deshalb entsprechend dem in BGE 99 III 89 E. 4 S. 91 aufgestellten Grundsatz von einer Gläubigerschädigung ausgegangen ist, können doch die "Collateral"-Zahlungen vor dem geschilderten Hintergrund entgegen der Behauptung der X._ nicht als gleichwertige Gegenleistung für die Zurverfügungstellung von Liquidität angesehen werden. Jeder Grundlage entbehrt sodann das abschliessende Vorbringen der X._, die Sicherheitsleistungen stellten einen reinen Aktiventausch dar. Mithin sind die Zahlungen unter dem Titel von Art. 288 SchKG anfechtbar, soweit auch die beiden subjektiven Tatbestandsmerkmale gegeben sind, was in der Beschwerde der X._, wie bereits erwähnt, nicht in Frage gestellt wird.
5. Umstritten ist schliesslich der auf die X._ entfallende Teil der "Upfront Fee", deren Erhalt sie in ihrer Beschwerde nach wie vor nicht anerkennt.
5.1 Das Handelsgericht hat festgestellt, gemäss "Term Sheet" vom 24. April 2001 sei die erste Tranche über Fr. 1 Mio. mit Annahme des Schreibens durch die SAir geschuldet gewesen; überwiesen worden sei der Betrag jedoch erst am 29. Mai 2001. Die zweite Tranche über Fr. 3,75 Mio. sei mit der Unterzeichnung des 1-Mrd-Kreditvertrages geschuldet gewesen, mithin am 11. Juli 2001; überwiesen worden sei der Betrag jedoch erst am 3. August 2001. Beide Tranchen seien demnach nicht im Gegenzug zur erbrachten Leistung (Verhandlungen, Erstellen und Unterzeichnen von "Term Sheet" und Kreditvertrag) überwiesen worden; vielmehr stellten sie Tilgung fälliger Schulden dar. Das Handelsgericht hat auch die Auffassung der X._ verneint, die "Upfront Fee" zur Bereitstellung der Kreditlimite sei mit Zinsen zu vergleichen, womit ein Austauschverhältnis mit der zur Verfügung gestellten Kreditsumme bestanden habe. Es kam zum Schluss, aufgrund der Überweisungen sei den anderen Gläubigern Substrat entzogen worden, welches sich sonst in der Nachlassmasse befunden hätte, und entsprechend sei eine Gläubigerschädigung gegeben.
Die X._ hatte im Übrigen geltend gemacht, die SAir habe nicht bewiesen, dass der ihr (X._) zustehende Anteil von Fr. 1'583'333.33 der gesamthaft an die federführende W._ bezahlten "Upfront Fee" intern weitergeleitet worden sei, weshalb sie ihre Passivlegitimation bestreite. Diesbezüglich hat das Handelsgericht erwogen, die Anforderungen an die Substanziierung im Bestreitungsfall würden sich - im Gegensatz zur Behauptungslast für die Begründung eines Anspruches - nicht nach Bundesrecht, sondern nach der kantonalrechtlichen Prozessgesetzgebung bestimmen. Es stehe den Kantonen daher offen, ein substanziiertes Bestreiten zu verlangen, wie dies gemäss § 113 ZPO/ZH der Fall sei. Die X._ stehe den zur Vervollständigung des Streitthemas notwendigen Informationen näher, weshalb ihr ein substanziiertes Bestreiten zumutbar sei. Mit Verfügung vom 10. September 2007 und damit vor Erstattung der Duplik sei sie darauf hingewiesen worden, dass konkrete Behauptungen einzeln zu bestreiten oder durch eine abweichende Sachverhaltsdarstellung zu widerlegen seien. In der Klageantwort sei die Überweisung der "Upfront Fee" im Umfang von Fr. 4,75 Mio. an die W._ anerkannt worden; daran ändere nichts, dass die Zahlungen in der Duplik wieder "mit Nichtwissen" bestritten worden seien. Auch die Weiterleitung des ihr zustehenden Anteils werde de facto "mit Nichtwissen" bestritten, indem die X._ geltend mache, die SAir habe die Weiterleitung des Anteils zu belegen, bzw. indem sie geltend mache, im Fall der Weiterleitung habe "höchstens" die X._ Lux das Geld erhalten. Die X._ unterlasse es somit, die Behauptung der SAir mit einer klaren eigenen Darstellung zu bestreiten. Es sei nicht ersichtlich, wo der von der W._ erwähnte Drittel der "Upfront Fee" ihrer Ansicht nach verblieben sein sollte und weshalb die W._ in ihrem Schreiben auf die Verteilung der "Upfront Fee" unter den "Joint Arrangers" hinweisen sollte, wenn sie die ganze Gebühr selbst einbehalten hätte. Die X._ ziele bewusst auf die Beweisnotlage der SAir ab, einen Beleg für die endgültige Verteilung der "Upfront Fee" beibringen zu können, zumal sie auch die Zulässigkeit eines diesbezüglichen Editionsbegehrens der SAir bestreite. Darüber hinaus bleibe sie eine Erklärung schuldig, weshalb die "Upfront Fee" zwar für das Arrangieren des Vertrages und somit ihr gegenüber geschuldet sei, sie jedoch keinen Anteil an der Gebühr erhalten haben wolle. Damit genüge sie ihrer Substanziierungslast nicht, weshalb die Überweisung der anteilmässigen "Upfront Fee" an die X._ als anerkannt zu gelten habe.
5.2 In ihrer Beschwerde macht die X._ einzig - und anderes ist demnach nicht zu prüfen (vgl. E. 1) - eine Verletzung von Art. 8 ZGB geltend, indem das Handelsgericht durch zu hohe Anforderungen an die Substanziierung im Bestreitungsfall der SAir faktisch den Beweis erlassen habe, dass sie (die X._) den ihr zustehenden Anteil an der "Upfront Fee" erhalten habe. Aus Sicht des Bundesrechts könne ihr aber nicht mehr als eine Bestreitung auferlegt werden und die SAir habe sich auch nicht in einer "Beweisnot" befunden, da sie bei der W._ Unterlagen über die anteilsmässige Weiterleitung der "Upfront Fee" hätte anfordern können.
5.3 Mit ihren Ausführungen stellt die X._ letztlich nicht in Frage, dass sich im Zeitpunkt des handelsgerichtlichen Urteils aus dem Bundesrecht nur die Anforderungen an die Behauptung von Ansprüchen ergab, diejenigen an die Bestreitung von Ansprüchen sich aber nach dem kantonalen Prozessrecht bestimmten, solange dieses damit nicht in Widerspruch zu Art. 8 ZGB stand (vgl. dazu BGE 108 II 337 E. 2d S. 340; 117 II 113; Urteile 4C.153/1995 vom 14. September 1995 E. 3; 4C.434/2006 vom 25. Februar 2008 E. 3.2). Dass die kantonalrechtlichen Grundlagen willkürlich oder in Verletzung eines anderen verfassungsmässigen Rechtes angewandt worden wären, macht die X._ nicht geltend, und ohnehin setzt sie sich auch nicht mit den Ausführungen des Handelsgerichts in einer Weise auseinander, wie dies nach Art. 106 Abs. 2 BGG nötig wäre. Vielmehr macht sie eine Verletzung von Art. 8 ZGB geltend. Das Handelsgericht hat aber keineswegs die Beweislast umgekehrt, sondern dargelegt, weshalb von einer Anerkennung der Forderung durch die X._ ausgegangen werden müsse. Es hat dabei ausgeführt, dass sich die SAir in einem Beweisnotstand befinde, zumal ihr Editionsbegehren von der X._ bestritten worden sei, und dass diese notwendigerweise über das Schicksal der anteilsmässigen "Upfront Fee" wissen müsse, da sie selbst ihre Berechtigung am Anteil behaupte. Ist aber auch die X._ der Auffassung, dass ihr der Anteil an der "Upfront Fee" zusteht, ist nicht plausibel und bleibt von ihr gänzlich unerklärt, weshalb sie plötzlich darauf hätte verzichten sollen, und stünde ihr bei fehlendem Verzicht nach wie vor eine entsprechende Forderung gegenüber der W._ zu, wenn sie den Betrag nicht erhalten hätte. Mit all diesen sich aus der kantonalen Prozessordnung ergebenden Umständen bzw. Argumenten, die zur handelsgerichtlichen Schlussfolgerung führten, die Überweisung der anteilmässigen "Upfront Fee" an die X._ habe aufgrund der einschlägigen kantonal-prozessrechtlichen Maximen als anerkannt zu gelten, setzt sich die X._ in ihrer Beschwerde aber wie gesagt nicht auseinander, obwohl sie diesbezüglich eine Rügepflicht trifft (vgl. E. 1), und in der handelsgerichtlichen Schlussfolgerung liegt, wie bereits erwähnt, keine Umkehr der Beweislast begründet, weshalb Art. 8 ZGB nicht verletzt ist.
6. Wie die vorstehenden Erwägungen zeigen, ist mit Bezug auf die Ausgleichszahlungen keine Gläubigerschädigung gegeben, weshalb es bereits am objektiven Tatbestandsmerkmal von Art. 288 SchKG fehlt und somit die beiden subjektiven Merkmale der Schädigungsabsicht und der Erkennbarkeit keiner Überprüfung bedürfen. Demgegenüber war mit den "Collateral"-Zahlungen und der "Upfront Fee" eine Schädigung der übrigen Gläubiger verbunden; auch hier erübrigt sich aber eine Auseinandersetzung mit den vom Handelsgericht bejahten subjektiven Tatbestandsmerkmalen, weil die X._ diese in ihrer Beschwerde mit keinem Wort thematisiert hat und sie deshalb nicht zu überprüfen sind (vgl. E. 1) bzw. als anerkannt gelten müssen.
7. Zusammenfassend ergibt sich, dass das Handelsgericht entgegen den beidseits behaupteten Rechtsverletzungen das einschlägige Bundesrecht richtig angewandt hat und von keiner Seite Verfassungsverletzungen geltend gemacht werden, weshalb die Beschwerden beider Parteien abzuweisen sind, soweit darauf eingetreten werden kann. Die Parteien haben je Gerichtskosten entsprechend dem Streitwert ihrer Beschwerde zu tragen (Art. 66 Abs. 1 BGG). Die SAir hat keine Vernehmlassung zum Gesuch um aufschiebende Wirkung der X._ eingereicht und in der Sache selbst wurden keine Vernehmlassungen eingeholt, weshalb den Parteien kein entschädigungspflichtiger Aufwand entstanden ist und sie sich unter dem Titel "Parteikosten" gegenseitig nichts schulden.
Demnach erkennt das Bundesgericht:
1. Die Verfahren Nrn. 5A_892/2010 und 5A_900/2010 werden vereinigt.
2. Die Beschwerden werden abgewiesen.
3. Der X._ werden Gerichtskosten von Fr. 60'000.-- und der SAir Group in Nachlass werden Gerichtskosten von Fr. 100'000.-- auferlegt.
4. Dieses Urteil wird den Parteien und dem Handelsgericht des Kantons Zürich schriftlich mitgeteilt.
Lausanne, 22. August 2011
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Möckli