Sachverhalt:
A. Bezirksrichter Felix Ziltener (Beschwerdegegner) ist seit Ende Oktober 2006 als Einzelrichter im beschleunigten Verfahren mit dem am Bezirksgericht Zürich hängigen Verfahren FB060144 befasst. Der Prozess betrifft die Kollokation einer Forderung der Masse en faillite ancillaire de Sabena SA (Beschwerdeführerin) in der Nachlassliquidation der SAir Group. Am 7. Januar 2011 verfügte der Beschwerdegegner eine Erhöhung der Kaution für die Gerichtsgebühren um Fr. 771'250.--.
B. Am 20. Januar 2011 lehnte die Beschwerdeführerin den Beschwerdegegner mit Eingabe an das Bezirksgericht ab. Für den Fall, dass auf das Ausstandsverfahren neues eidgenössisches Zivilprozessrecht zur Anwendung kommen sollte, beantragte sie zudem, die Verfügung vom 7. Januar 2011 gestützt auf Art. 51 Abs. 1 ZPO aufzuheben. Des Weiteren machte sie geltend, wenn der Beschwerdegegner die Ausstandsgründe bestreiten und für das vorliegende Ausstandsverfahren neues Recht für anwendbar halten sollte, so müsse er die Akten dem Gesamtgericht überweisen und das Bezirksgericht Zürich habe erstinstanzlich über das Ablehnungsbegehren und die Verfügung vom 7. Januar 2011 zu befinden.
In der Folge überwies der Beschwerdegegner die Eingabe der Beschwerdeführerin dem Obergericht des Kantons Zürich. Mit Beschluss vom 17. März 2011 wies dieses das Ablehnungsbegehren ab und trat auf den Antrag um Aufhebung der Verfügung vom 7. Januar 2011 nicht ein.
C. Mit Beschwerde in Zivilsachen vom 5. Mai 2011 beantragt die Beschwerdeführerin dem Bundesgericht die Aufhebung des obergerichtlichen Beschlusses und die Gutheissung des Ablehnungsbegehrens. Eventuell sei die Sache an die Vorinstanz zur Gutheissung des Ablehnungsbegehrens zurückzuweisen. Zudem ersucht sie um aufschiebende Wirkung und um vorsorgliche Anweisung an den Beschwerdegegner, im Verfahren FB060144 während Hängigkeit des Beschwerdeverfahrens keine Amtshandlungen mehr vorzunehmen.
Der Beschwerdegegner und die Nachlassmasse der SAir Group haben auf Abweisung des Gesuchs um aufschiebende Wirkung geschlossen und das Obergericht hat diesbezüglich auf Vernehmlassung verzichtet. Mit Präsidialverfügung vom 18. Mai 2011 ist der Beschwerde in dem Sinne aufschiebende Wirkung zugebilligt worden, als dem Beschwerdegegner untersagt wurde, während der Dauer des bundesgerichtlichen Verfahrens im fraglichen Prozess Amtshandlungen vorzunehmen.
In der Sache sind keine Vernehmlassungen eingeholt worden. Hingegen wurde ein Meinungsaustausch mit der I. zivilrechtlichen Abteilung über die Anwendung von Art. 75 Abs. 2 BGG sowie von Art. 404 und Art. 405 ZPO durchgeführt.
Erwägungen:
1. Vom umfassenden Antrag der Beschwerdeführerin auf Aufhebung des angefochtenen Beschlusses ist an sich auch der Entscheid der Vorinstanz erfasst, auf den Antrag um Aufhebung der Verfügung vom 7. Januar 2011 (Kautionserhöhung) nicht einzutreten. Die Beschwerdeführerin stellt diesbezüglich aber weder einen weitergehenden materiellen oder Rückweisungsantrag noch geht sie in der Beschwerdebegründung auf diesen Punkt ein. Darauf kann nicht eingetreten werden (Art. 42 Abs. 1 und 2 BGG). Zu beurteilen ist folglich einzig der Zwischenentscheid (Art. 92 BGG) des Obergerichts über die Ablehnung des Beschwerdegegners.
2. 2.1 Gemäss Art. 75 Abs. 1 BGG ist die Beschwerde zulässig gegen Entscheide letzter kantonaler Instanzen. Bei der letzten kantonalen Instanz muss es sich um ein oberes Gericht handeln (Art. 75 Abs. 2 Satz 1 BGG). Zudem muss dieses obere Gericht als Rechtsmittelinstanz entscheiden (Art. 75 Abs. 2 Satz 2 BGG), es sei denn, es liege einer der Ausnahmefälle von Art. 75 Abs. 2 lit. a bis c BGG vor. Die den Kantonen zur Anpassung ihrer Bestimmungen an Art. 75 Abs. 2 BGG gewährte Übergangsfrist (Art. 130 Abs. 2 BGG) ist mit Inkrafttreten der schweizerischen Zivilprozessordnung am 1. Januar 2011 abgelaufen. Seit dem 1. Januar 2011 ist somit die Beschwerde in Zivilsachen, wie im Übrigen auch die subsidiäre Verfassungsbeschwerde (Art. 114 BGG), nur noch zulässig gegen Urteile letzter kantonaler Instanzen, die zugleich obere Gerichte sind und - unter Vorbehalt der Ausnahmen - auf Rechtsmittel hin entschieden haben (Urteil 5A_162/2011 vom 19. April 2011 E. 2.2).
2.2 Das Obergericht hat nicht als Rechtsmittelinstanz über die Ablehnung des Beschwerdegegners entschieden, sondern als erste und einzige kantonale Instanz. Dies ist nur zulässig, sofern eine Ausnahme gemäss Art. 75 Abs. 2 lit. a bis c BGG vorliegt. Die Varianten von lit. b und c fallen vorliegend von vornherein ausser Betracht. Eine allgemeine Ausnahme für Zwischenentscheide besteht ebenfalls nicht. Vorbehalten ist allerdings folgender Fall: Ist ein oberes Gericht mit einem Rechtsmittelverfahren befasst und fällt es in diesem Rahmen einen Zwischenentscheid (z.B. über den Ausstand eines Mitglieds des oberen Gerichts), so ist die Beschwerde an das Bundesgericht bei im Übrigen gegebenen Voraussetzungen zulässig (Botschaft zur Schweizerischen Zivilprozessordnung [ZPO] vom 28. Juni 2006, BBl 2006 7377 Ziff. 5.23.2; HOHL, Procédure civile, Tome II, 2. Aufl. 2010, Rz. 2490; DIGGELMANN, Vom GVG zum GOG, SJZ 106/2010 S. 89).
Einziger vorliegend in Betracht fallender Ausnahmetatbestand ist Art. 75 Abs. 2 lit. a BGG. Es müsste demnach ein Bundesgesetz eine einzige Instanz vorsehen, damit der Rechtsweg an das Bundesgericht eröffnet ist (unten E. 2.3.2).
Einziger vorliegend in Betracht fallender Ausnahmetatbestand ist Art. 75 Abs. 2 lit. a BGG. Es müsste demnach ein Bundesgesetz eine einzige Instanz vorsehen, damit der Rechtsweg an das Bundesgericht eröffnet ist (unten E. 2.3.2).
2.3 2.3.1 Das vorliegende Verfahren weist einen übergangsrechtlichen Aspekt auf. Das Hauptverfahren wurde noch vor Inkrafttreten der eidgenössischen ZPO anhängig gemacht, weshalb darauf grundsätzlich das bisherige Verfahrensrecht anzuwenden ist (Art. 404 Abs. 1 ZPO). Davon ist auch das Obergericht ausgegangen und es hat insbesondere erwogen, ein Ausstandsbegehren sei kein Rechtsmittel nach Art. 405 Abs. 1 ZPO. Anwendbar seien deshalb die Zivilprozessordnung des Kantons Zürich und das Gerichtsverfassungsgesetz. Nach § 101 Abs. 1 des Gerichtsverfassungsgesetzes vom 13. Juni 1976 (GVG; GS II 25) in Verbindung mit § 18 lit. k Ziff. 1 der Verordnung des Obergerichts über die Organisation vom 3. November 2010 (LS 212.51) habe somit die Verwaltungskommission des Obergerichts über das Ausstandsbegehren gegen ein Mitglied eines Bezirksgerichts zu entscheiden. Indes sei das kantonale Rechtsmittel der Nichtigkeitsbeschwerde gegen den obergerichtlichen Beschluss aufgrund von Art. 405 ZPO nicht mehr gegeben.
2.3.2 Ein Ausnahmetatbestand gemäss Art. 75 Abs. 2 lit. a BGG und damit die Zulässigkeit einer Beschwerde an das Bundesgericht unter Verzicht auf die Einhaltung des Prinzips der vorgängigen double instance könnte sich aus dem Übergangsrecht der schweizerischen ZPO ergeben. Dies wäre dann der Fall, wenn für Rechtsmittel gegen Zwischenentscheide im Sinne von Art. 92 und 93 BGG nicht Art. 405 Abs. 1 ZPO massgebend wäre, sondern Art. 404 Abs. 1 ZPO und zudem nach kantonalem Verfahrensrecht gegen den Zwischenentscheid kein Rechtsmittel zur Verfügung stehen würde. Diesfalls könnte davon gesprochen werden, das Übergangsrecht der ZPO und damit Bundesrecht gestatte vorläufig noch die innerkantonale Unanfechtbarkeit des Zwischenentscheids, so dass eine Ausnahme gemäss Art. 75 Abs. 2 lit. a BGG vorläge.
Welche Rechtsmittel gegen Zwischenentscheide zulässig sind, richtet sich allerdings nicht nach Art. 404 Abs. 1 ZPO, sondern nach Art. 405 Abs. 1 ZPO. Zwar gehen die Meinungen in der Lehre darüber auseinander (für die Unterstellung unter Art. 405 Abs. 1 ZPO DOMEJ, in: Oberhammer [Hrsg.], Kurzkommentar ZPO, 2010, N. 3 zu Art. 405 ZPO; dagegen FREI/WILLISEGGER, in: Basler Kommentar, Schweizerische Zivilprozessordnung, 2010, N. 7 f. zu Art. 405 ZPO; TAPPY, Le droit transitoire applicable lors de l'introduction de la nouvelle procédure civile unifiée, JdT 2010 III S. 36 ff.; differenzierend TREZZINI, in: Commentario al Codice di diritto processuale civile svizzero [CPC], 2011, S. 1565 f., der für die hier interessierenden Ausstandsentscheide die Rechtsmittel der ZPO für anwendbar hält, prozessleitende Verfügungen aufgrund ihrer Nähe zum altrechtlichen Hauptverfahren aber von Art. 405 Abs. 1 ZPO ausnehmen will). Der Wortlaut von Art. 405 Abs. 1 ZPO differenziert aber nicht nach der Art des Entscheides und beschränkt den Anwendungsbereich dieser Norm insbesondere nicht auf Endentscheide. Stattdessen spricht er allgemein von "Entscheid" (décision, decisione). Der Wortlaut ist insoweit eindeutig und unmissverständlich, so dass davon nur abgewichen werden kann, wenn triftige Gründe dafür vorliegen, dass er nicht den wahren Sinn der Norm wiedergibt (BGE 137 V 13 E. 5.1 S. 17 mit Hinweisen). Solche Gründe bestehen nicht. Die Gesetzgebungsgeschichte gebietet keine Abweichung vom Wortlaut (vgl. TREZZINI, a.a.O. S. 1565, der eine Meinungsäusserung der Bundesverwaltung anlässlich einer parlamentarischen Kommissionssitzung zitiert, wonach die Unterscheidung von Rechtsmitteln, die Art. 405 ZPO unterstehen und solchen, die dies nicht tun, zu unerwünschten Schwierigkeiten führen würde). Schliesslich sind auch keine unüberwindbaren Schwierigkeiten zu erwarten, wenn alle Entscheide den Rechtsmitteln gemäss Art. 405 Abs. 1 ZPO unterstellt werden und nicht nur Endentscheide, auch wenn das Verfahren gegebenenfalls gemäss Art. 404 Abs. 1 ZPO nach altem Recht seinen Fortgang nimmt.
2.4 Das Bundesrecht sieht somit im vorliegenden Fall keine Ausnahme vom Grundsatz vor, dass die Vorinstanz des Bundesgerichts als Rechtsmittelinstanz geurteilt haben muss. Die Beschwerdeführerin vertritt vor Bundesgericht den im kantonalen Verfahren noch eingenommenen Standpunkt nicht mehr, dass das Bezirksgericht das Ablehnungsgesuch erstinstanzlich hätte behandeln müssen. Sie hat durch ihre frühere Auffassung aber zu erkennen gegeben, dass ihr die Bundesrechtswidrigkeit des Vorgehens der kantonalen Behörden bewusst war. Auf ihr allfälliges Vertrauen in die fehlerhafte Rechtsmittelbelehrung des Obergerichts, welches in allgemeiner Weise auf Art. 72 ff. und Art. 113 ff. BGG verwiesen hat, kann sie sich deshalb nicht berufen. Auf die Beschwerde kann folglich weder eingetreten werden noch besteht Anlass, die Sache von Amtes wegen an die kantonalen Behörden zu überweisen.
3. Bei diesem Ausgang des Verfahrens wird die Beschwerdeführerin kostenpflichtig (Art. 66 Abs. 1 BGG). Obschon der Kanton Zürich den fehlerhaften Verfahrensablauf verursacht hat, besteht nach dem Gesagten (oben E. 2.4) kein Grund für eine andere Kostenregelung. Eine Ausscheidung der Kosten für das Verfahren um aufschiebende Wirkung bzw. die Zusprechung einer Parteientschädigung für den in diesem Zusammenhang betriebenen Aufwand rechtfertigt sich nicht.
Demnach erkennt das Bundesgericht:
1. Auf die Beschwerde wird nicht eingetreten.
2. Die Gerichtskosten von Fr. 2'000.-- werden der Beschwerdeführerin auferlegt.
3. Dieses Urteil wird den Verfahrensbeteiligten und dem Obergericht des Kantons Zürich, Verwaltungskommission, schriftlich mitgeteilt.
Lausanne, 8. August 2011
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Zingg