Sachverhalt:
A. Bezirksrichter Felix Ziltener (Beschwerdegegner) ist seit Ende Oktober 2006 als Einzelrichter im beschleunigten Verfahren mit dem am Bezirksgericht Zürich hängigen Verfahren FB060144 befasst. Der Prozess betrifft die Kollokation einer Forderung der Masse en faillite ancillaire de Sabena SA (Beschwerdeführerin) in der Nachlassliquidation der SAirGroup AG.
B. Am 20. Januar 2011 stellte die Beschwerdeführerin beim Bezirksgericht ein Gesuch um Ausstand des Beschwerdegegners. Am 24. Januar 2011 überwies der Beschwerdegegner das Ausstandsgesuch der Verwaltungskommission des Obergerichts des Kantons Zürich zur Behandlung.
Mit Beschluss vom 17. März 2011 wies die Verwaltungskommission das Ausstandsgesuch ab. Als Rechtsmittel gegen diesen Beschluss wurde die Beschwerde an das Bundesgericht genannt.
Am 5. Mai 2011 erhob die Beschwerdeführerin Beschwerde an das Bundesgericht. Mit Urteil vom 8. August 2011 trat das Bundesgericht auf die Beschwerde wegen Verletzung des Grundsatzes der double instance (Art. 75 BGG) nicht ein (Urteil 5A_320/2011, teilweise publiziert in: BGE 137 III 424).
C. Am 16. September 2011 gelangte die Beschwerdeführerin an das Bezirksgericht Zürich und verlangte, dass es das Ausstandsgesuch vom 20. Januar 2011 behandle. Mit Verfügung vom 21. Oktober 2011 trat das Bezirksgericht darauf nicht ein, da es zur Beurteilung des Gesuchs sachlich nicht zuständig sei.
Dagegen erhob die Beschwerdeführerin am 24. November 2011 Beschwerde an das Obergericht. Sie beantragte, die angefochtene Verfügung aufzuheben und die Sache an das Bezirksgericht zurückzuweisen. Das Bezirksgericht sei anzuweisen, auf das Ausstandsgesuch vom 20. Januar 2011 bzw. 16. September 2011 einzutreten und dieses materiell zu behandeln. Eventuell sei die vorliegende Eingabe als Rekurs gegen den Beschluss der Verwaltungskommission vom 17. März 2011 entgegenzunehmen und an die Rekurskommission weiterzuleiten. In diesem Eventualfall sei der Beschluss der Verwaltungskommission vom 17. März 2011 aufzuheben und der Beschwerdegegner anzuweisen, in den Ausstand zu treten.
Mit Beschluss und Urteil vom 7. Dezember 2011 wies die II. Zivilkammer des Obergerichts die Beschwerde ab. Im Beschluss wurde festgehalten, die Eingabe vom 24. November 2011 werde entsprechend dem Eventualantrag als Beschwerde gegen den Beschluss der Verwaltungskommission vom 17. März 2011 entgegengenommen und an die Rekurskommission weitergeleitet.
Mit Beschluss vom 5. Mai 2012 trat die Rekurskommission auf die Beschwerde nicht ein.
D. Am 11. Juni 2012 hat die Beschwerdeführerin gegen den Beschluss der Rekurskommission vom 5. Mai 2012 Beschwerde in Zivilsachen erhoben. Sie beantragt, die Nichtigkeit des Beschlusses der Rekurskommission vom 5. Mai 2012 und des Beschlusses der Verwaltungskommission vom 17. März 2011 festzustellen oder eventualiter den angefochtenen Beschluss aufzuheben. So oder anders sei die Sache entweder an das Bezirksgericht zurückzuweisen oder ihr (der Beschwerdeführerin) eine angemessene Frist anzusetzen, um das Ausstandsbegehren erneut dem Bezirksgericht oder einer anderen zu bezeichnenden Instanz zu unterbreiten. Allenfalls sei die Sache nach Aufhebung des angefochtenen Beschlusses an die Vorinstanz zurückzuweisen oder das Ausstandsgesuch gegen den Beschwerdegegner durch das Bundesgericht gutzuheissen.
Am 18. September 2012 hat die Beschwerdeführerin beantragt, ihrer Beschwerde aufschiebende Wirkung zu erteilen. Nachdem sich der Beschwerdegegner dem Gesuch widersetzt (Eingabe vom 25. September 2012), die Nachlassmasse der SAirGroup AG in Nachlassliquidation auf Stellungnahme verzichtet (Eingabe vom 27. September 2012) und das Obergericht keine Vernehmlassung eingereicht hat, ist der Beschwerde mit Präsidialverfügung vom 8. Oktober 2012 aufschiebende Wirkung zuerkannt worden.
Die Nachlassmasse der SAirGroup AG in Nachlassliquidation hat in der erwähnten Eingabe zugleich auf Stellungnahme in der Sache verzichtet. Das Bundesgericht hat in der Sache keine Vernehmlassungen eingeholt.
Erwägungen:
1. Angefochten ist binnen Frist (Art. 100 Abs. 1 i.V.m. Art. 45 Abs. 1 BGG) ein selbständig eröffneter Zwischenentscheid über den Ausstand einer Gerichtsperson (Art. 92 Abs. 1 BGG). Bei Zwischenentscheiden folgt der Rechtsweg demjenigen der Hauptsache (BGE 137 III 380 E. 1.1 S. 382). In der Hauptsache geht es um eine Schuldbetreibungs- und Konkurssache (Art. 72 Abs. 2 lit. a BGG) vermögensrechtlicher Natur, wobei der massgebliche Streitwert nach den vorinstanzlichen Angaben erreicht ist (Art. 74 Abs. 1 lit. b BGG). Die Rekurskommission des Obergerichts hat kantonal letztinstanzlich und auf Rechtsmittel hin entschieden (Art. 75 BGG). Art. 75 BGG schliesst nicht aus, dass das kantonale Rechtsmittel - wie vorliegend - von einer Einheit des oberen kantonalen Gerichts an eine andere Einheit dieses Gerichts führt (Urteil 4A_424/2012 vom 19. September 2012 E. 1.2). Die Beschwerde in Zivilsachen ist somit grundsätzlich zulässig.
2. 2.1 Die Verwaltungskommission des Obergerichts hat am 17. März 2011 als erste Instanz über die Ablehnung des Beschwerdegegners, der als Bezirksrichter mit dem Hauptverfahren befasst ist, entschieden. Gestützt hat sie sich dabei noch auf die kantonale ZPO und das frühere Gerichtsverfassungsgesetz (GVG). In der Rechtsmittelbelehrung wurde auf die Beschwerde an das Bundesgericht verwiesen. Das Bundesgericht ist im Urteil 5A_320/2011 vom 8. August 2011 (BGE 137 III 424) auf die gegen diesen Beschluss gerichtete Beschwerde nicht eingetreten, weil die Verwaltungskommission nicht als Rechtsmittelinstanz geurteilt hatte und damit die Vorgaben von Art. 75 BGG nicht erfüllt waren (E. 2 des Bundesgerichtsurteils).
2.2 Im nunmehr angefochtenen Beschluss hat die Rekurskommission erwogen, auf das Rechtsmittelverfahren gegen den Beschluss der Verwaltungskommission vom 17. März 2011 sei gestützt auf Art. 405 Abs. 1 ZPO neues Recht anwendbar, d.h. die schweizerische ZPO (SR 272) und das kantonale Gesetz vom 10. Mai 2010 über die Gerichts- und Behördenorganisation im Zivil- und Strafprozess (GOG; LS 211.1). Die Rekurskommission sei für die zweitinstanzliche Beurteilung von erstinstanzlichen Verwaltungskommissionsbeschlüssen über Ausstandsbegehren zuständig. Rechtsgrundlage seien Art. 4 Abs. 1 ZPO i.V.m. § 48 GOG i.V.m. § 19 Abs. 1 der Verordnung vom 3. November 2010 über die Organisation des Obergerichts (LS 212.51 [nachfolgend: Organisationsverordnung]). Zwar sehe § 19 der Organisationsverordnung einen Weiterzug von Entscheiden der Verwaltungskommission mit Rekurs vor. Gemäss Art. 50 Abs. 2 ZPO seien jedoch Entscheide über umstrittene Ausstandsgründe mit Beschwerde gemäss Art. 319 ff. ZPO anzufechten und diese bundesrechtliche Regel gehe dem kantonalen Recht vor. Der Entscheid über den Ausstand ergehe im summarischen Verfahren (Art. 49 Abs. 1 Satz 2 ZPO), womit die Beschwerdefrist zehn Tage betrage (Art. 321 Abs. 2 ZPO).
Für die Frage, ob die Beschwerdefrist eingehalten sei, müsse auf die Eingabe der Beschwerdeführerin vom 24. November 2011 an das Obergericht abgestellt werden, denn die II. Zivilkammer des Obergerichts habe diese Eingabe als Beschwerde gegen den Beschluss der Verwaltungskommission vom 17. März 2011 entgegengenommen. Den Beschluss der Verwaltungskommission habe die Beschwerdeführerin am 21. März 2011 erhalten, womit die Beschwerdefrist am 31. März 2011 abgelaufen und die Eingabe vom 24. November 2011 verspätet erfolgt sei. Die Eingabe wäre selbst dann verspätet gewesen, wenn man davon ausgehe, dass aufgrund der falschen Rechtsmittelbelehrung im Beschluss vom 17. März 2011 die Rechtsmittelfrist erst mit Kenntnis der Fehlerhaftigkeit der Belehrung begonnen habe, d.h. einen Tag nach Erhalt des Bundesgerichtsurteils am 7. September 2011. Die Beschwerdeführerin hätte bei der Rekurskommission um Wiederherstellung der Rechtsmittelfrist ersuchen können, nachdem sie erfahren habe, dass das Bundesgericht auf das Rechtsmittel nicht eingetreten sei. Dies habe sie jedoch nicht getan, obschon das Bezirksgericht in seiner Verfügung vom 21. Oktober 2011 sinngemäss auf dieses Vorgehen hingewiesen habe.
3. 3.1 Die Beschwerdeführerin hat in ihrer Eingabe vom 24. November 2011 an das Obergericht zwei Rechtsmittel gegen zwei verschiedene Entscheide gehäuft. In ihrem Hauptbegehren hat sie die Verfügung des Bezirksgerichts vom 21. Oktober 2011 angefochten, mit der das Bezirksgericht auf das Gesuch um Behandlung des Ausstandsbegehrens nicht eingetreten war. Im Eventualstandpunkt hat sie einen Rekurs gegen den Beschluss der Verwaltungskommission vom 17. März 2011 erhoben. Am 7. Dezember 2011 hat die II. Zivilkammer des Obergerichts einerseits ein Urteil gefällt, in dem sie die Beschwerde gegen die Verfügung des Bezirksgerichts vom 21. Oktober 2011 abgewiesen hat, und andererseits einen Beschluss getroffen, in dem sie den Rekurs als Beschwerde entgegengenommen und an die Rekurskommission weitergeleitet hat. Dieses Urteil und dieser Beschluss der II. Zivilkammer sind nicht Gegenstand des vorliegenden Verfahrens und sie sind auch anderweitig nicht vor Bundesgericht angefochten worden. Anfechtungsobjekt des vorliegenden Verfahrens ist ausschliesslich der Beschluss der Rekurskommission vom 5. Mai 2012. Zu prüfen ist somit einzig, ob die Rekurskommission zu Recht nicht auf das Rechtsmittel gegen den Beschluss der Verwaltungskommission eingetreten ist.
3.2 3.2.1 Die Beschwerdeführerin bezweifelt Zuständigkeit und Unabhängigkeit der Rekurskommission.
Im Einzelnen macht sie eine Verletzung des Legalitätsprinzips (Art. 5 Abs. 1 BV und Art. 2 Abs. 1 der Verfassung des Kantons Zürich vom 27. Februar 2005 [LS 101]), des Anspruchs auf ein durch Gesetz geschaffenes, zuständiges, unabhängiges und unparteiisches Gericht (Art. 30 Abs.1 BV, Art. 6 Ziff. 1 EMRK) sowie des Prinzips des Vorrangs des Bundesrechts (Art. 49 BV) geltend. Es fehle der Rekurskommission an einer genügenden gesetzlichen Grundlage, um als Rechtsmittelinstanz gegen Beschlüsse der Verwaltungskommission zu wirken. Zwischen Rekurs- und Verwaltungskommission bestehe zudem kein vertikales, sondern ein horizontales Verhältnis, da beide Teile des Obergerichts seien. Da Richter desselben Gerichts in der Rekurskommission sässen wie in der Verwaltungskommission, bestünden auch Zweifel an der institutionellen Unabhängigkeit und Unbefangenheit der Rekurskommission. Schliesslich seien einzelne, am Rekurskommissionsbeschluss beteiligte Gerichtspersonen befangen. Nicht nur die Rekurskommission sei zur Behandlung des Ausstandsbegehrens nicht zuständig gewesen, sondern auch die Verwaltungskommission nicht, so dass die Beschlüsse der beiden Kommissionen in dieser Sache nichtig seien. Das Ausstandsbegehren sei somit materiell noch gar nie beurteilt worden. Zuständig hiefür sei in vorgezogener Anwendung von Art. 50 Abs. 1 ZPO das Bezirksgericht.
3.2.2 Nach Art. 30 Abs. 1 BV - der unter diesem Gesichtspunkt die gleiche Tragweite wie Art. 6 Ziff. 1 EMRK aufweist - hat jede Person, deren Sache in einem gerichtlichen Verfahren beurteilt werden muss, Anspruch auf ein durch Gesetz geschaffenes, zuständiges, unabhängiges und unparteiisches Gericht. Die Verfassungsbestimmung verbietet Ausnahmegerichte und die Bestellung von ad hoc oder ad personam berufenen Richtern und verlangt damit zum Zwecke der Verhinderung jeglicher Manipulation eine durch Rechtssatz bestimmte Gerichts- und Verfahrensordnung (BGE 131 I 31 E. 2.1.2.1 S. 34; 129 V 335 E. 1.3.1 S. 338; 123 I 49 E. 2b S. 51). Die Bundesverfassung schreibt den Kantonen nicht eine bestimmte Gerichtsorganisation oder ein bestimmtes Verfahren vor (BGE 117 Ia 190 E. 6a S. 191), verlangt aber, dass das formelle Gesetz die Grundzüge der Zuständigkeiten, Kompetenzen und der Organisation des Gerichts generell-abstrakt normiert (Urteil 8C_525/2012 vom E. 2.2.1 vom 16. November 2012). Nur untergeordnete Fragen können an die Exekutive oder - wie vorliegend - an die Justizbehörde zur Regelung delegiert werden (BGE 134 I 125 E. 3.3 S. 133 mit Hinweisen; Urteil 2C_381/2010 vom 17. November 2011 E. 2.2, in: ZBl 2012 S. 268). Die Rüge der Verletzung des Legalitätsprinzips hat neben derjenigen der Verletzung von Art. 30 Abs. 1 BV keine eigenständige Bedeutung (vgl. zum Legalitätsprinzip Urteil 2C_741/2009 vom 26. April 2010 E. 3.1 mit Hinweis auf BGE 134 I 153 E. 4.4.2 und E. 4.3 S. 157 f.).
Gemäss Art. 4 Abs. 1 ZPO regelt grundsätzlich das kantonale Recht die sachliche und funktionelle Zuständigkeit der Gerichte. Es ist in erster Linie im Lichte des anwendbaren kantonalen Rechts zu untersuchen, ob eine gerichtliche Behörde ihre Zuständigkeit in gesetzeskonformer Weise angenommen hat. Da die Verletzung kantonalen Rechts vor Bundesgericht - von hier nicht interessierenden Ausnahmen abgesehen - nicht gerügt werden kann (Art. 95 BGG), untersucht das Bundesgericht die Anwendung kantonalen Rechts nur auf Willkür hin (Art. 9 BV). Hingegen untersucht es frei, ob die willkürfreie Anwendung des kantonalen Rechts vor den Garantien von Art. 30 Abs. 1 BV standhält (BGE 131 I 31 E. 2.1.2.1 S. 34 f. mit Hinweisen).
3.2.3
3.2.3.1
Die Rekurskommission hat sich zur Begründung ihrer Zuständigkeit auf § 48 GOG sowie auf § 19 Abs. 1 der Organisationsverordnung gestützt. Nach § 48 GOG ist das Obergericht Berufungs- und Beschwerdeinstanz gemäss ZPO. Nach § 19 Abs. 1 der Organisationsverordnung können die von der Verwaltungskommission im Rahmen ihrer Zuständigkeit gefassten erstinstanzlichen Beschlüsse mit Rekurs an die Rekurskommission weitergezogen werden. Die Rekurskommission hat erwogen, vorliegend handle es sich beim Rechtsmittel von der Verwaltungs- an die Rekurskommission nicht um einen Rekurs, sondern um eine Beschwerde, da Art. 50 Abs. 2 ZPO eine Beschwerde vorsehe und diese bundesrechtliche Regel dem kantonalen Recht vorgehe.
Die Beschwerdeführerin bestreitet nicht, dass das Obergericht gestützt auf Art. 50 Abs. 2 ZPO i.V.m. § 48 GOG über Beschwerden gegen Ausstandsentscheide zu urteilen hat und dass insoweit eine genügende gesetzliche Grundlage vorliegt. Hingegen bestreitet sie das Vorliegen einer genügenden gesetzlichen Grundlage für die Zuständigkeit der Rekurskommission, also derjenigen Untereinheit des Obergerichts, die vorliegend tätig geworden ist.
3.2.3.2 Die Rekurskommission wird als Untereinheit des Obergerichts im GOG nicht erwähnt (vgl. §§ 34 ff. GOG), doch räumt § 42 GOG der Plenarversammlung (des Obergerichts) die Kompetenz ein, eine Verordnung über die Organisation des Obergerichts zu erlassen (Abs. 1). Abs. 2 von § 42 GOG erlaubt, Geschäfte der Justizverwaltung ständigen Kommissionen, einzelnen Mitgliedern oder Angestellten zu übertragen. Unter anderem gestützt auf § 42 GOG hat das Obergericht die Organisationsverordnung erlassen, deren Normen im Übrigen entgegen der Ansicht der Beschwerdeführerin Rechtssatzqualität zukommt. Nach Auffassung der Beschwerdeführerin erlaubt die Delegationsnorm von § 42 GOG allerdings nicht, Rechtsprechungsaufgaben auf die Rekurskommission zu übertragen. Gemäss § 42 Abs. 2 GOG sei es der Plenarversammlung einzig gestattet, Geschäfte der Justizverwaltung an Kommissionen zu übertragen.
Um diesem Einwand zu begegnen, müssen die besonderen Umstände des vorliegenden Falles beachtet werden. Die Rekurskommission hat die Beschwerde gegen Beschlüsse der Verwaltungskommission ermöglicht, um übergeordnetem Bundesrecht (Art. 50 Abs. 2 ZPO und Art. 75 BGG) Genüge zu tun. Dass eine Untereinheit des Obergerichts Beschwerdeinstanz sein muss, ergibt sich sodann aus der formell-gesetzlichen Grundlage von § 48 GOG. Die Rekurskommission hat demnach § 19 Abs. 1 der Organisationsverordnung bundesrechtskonform ausgelegt bzw. das in dieser Beziehung unvollständige kantonale Gerichtsorganisationsrecht ergänzt. Wenn die Vorinstanz Mängel des kantonalen Rechts behebt, um übergeordnetes Recht zu erfüllen, so kann ihr dies unter dem Gesichtspunkt der gesetzlichen Grundlage ihres Handelns nicht zum Vorwurf gemacht werden. Dass im Übrigen gerade die Rekurskommission (und nicht eine andere Untereinheit des Obergerichts) sich als zuständig erachtet hat, ist nicht willkürlich: Gemäss § 19 Abs. 1 der Organisationsverordnung ist die Rekurskommission Rekursinstanz gegen erstinstanzliche Beschlüsse der Verwaltungskommission und diese hat sich in ihrem Beschluss vom 17. März 2011 gestützt auf § 18 lit. k Ziff. 1 der Organisationsverordnung für erstinstanzlich zuständig erachtet. Da die Rekurskommission ohnehin als Rechtsmittelinstanz gegen Entscheide der Verwaltungskommission eingesetzt ist, erscheint ihre Zuständigkeit auch im vorliegenden Fall nicht als unhaltbar. Die Beschwerdeführerin benennt denn auch keine andere Untereinheit des Obergerichts, die über eine bessere rechtssatzmässige Legitimation zur Überprüfung des Verwaltungskommissionsbeschlusses verfügen würde. Art. 50 Abs. 2 ZPO steht dieser Lösung nicht entgegen. Diese Norm sieht bloss vor, dass eine Beschwerde möglich sein muss, äussert sich aber nicht zur funktionellen Zuständigkeit. Ob sich Art. 50 Abs. 1 ZPO eine Aussage zur Zuständigkeit entnehmen liesse, braucht nicht beurteilt zu werden, denn im vorliegenden übergangsrechtlichen Fall war diese Norm nicht anwendbar (Art. 404 Abs. 1 ZPO). Die Beschwerdeführerin macht zwar in diesem Zusammenhang geltend, auch in übergangsrechtlichen Fällen müsse das Bezirksgericht erstinstanzlich über Ausstandsbegehren entscheiden und die Verwaltungskommission sei dazu nicht zuständig gewesen. Dem steht jedoch entgegen, dass ein Entscheid des Bezirksgerichts den bereits gefällten Beschluss der Verwaltungskommission nicht beseitigen könnte und es nach wie vor einer übergeordneten Instanz bedürfte, um dies zu tun. Allerdings macht die Beschwerdeführerin geltend, der Verwaltungskommissionsbeschluss sei nichtig und damit unbeachtlich. Sie legt aber nicht dar, wieso die Verwaltungskommission die von ihr zur Begründung ihrer Zuständigkeit herangezogenen Normen (§ 101 Abs. 1 GVG und § 18 Abs. 1 lit. k Ziff. 1 der Organisationsverordnung) geradezu willkürlich angewandt haben soll, obschon sie Entsprechendes detailliert darlegen müsste (Art. 106 Abs. 2 BGG; BGE 138 I 171 E. 1.4 S. 176 mit Hinweisen). Dazu genügt insbesondere ihr Hinweis auf § 32 der Organisationsverordnung nicht. Dieser Paragraph behandelt zwar die Zuständigkeit der Verwaltungskommission zur Beurteilung gewisser Ausstandsbegehren, doch ist damit noch nicht rechtsgenügend dargetan, dass diese Regelung abschliessend ist und sich die Zuständigkeit in anderen Fällen nicht auch aus den von der Verwaltungskommission tatsächlich angewandten Normen ergeben kann.
Schliesslich scheint es sich beim Rechtsmittelzug von der Verwaltungs- an die Rekurskommission nur um eine übergangsrechtliche Notlösung zu handeln. Für neurechtliche Verfahren sieht das Obergericht nämlich in seinem Kreisschreiben vom 6. Oktober 2010, Ziff. 9 lit. c, in Abweichung von § 127 lit. d GOG vor, dass Bezirksgerichte Ausstandsbegehren gegen Bezirksrichter zu beurteilen haben und der entsprechende Entscheid mit Beschwerde an das Obergericht weiterziehbar sei (vgl. Urteil 4A_424/2012 vom 19. September 2012 E. 2.5).
3.2.4
3.2.4.1 Entgegen der Ansicht der Beschwerdeführerin fehlt es der Rekurskommission auch nicht an der erforderlichen Unabhängigkeit und Unparteilichkeit.
In der organisatorischen Eingliederung der Rekurskommission in das Obergericht bzw. darin, dass sowohl Verwaltungs- wie Rekurskommission mit Oberrichtern und Obergerichtsschreibern besetzt sind, liegt keine Verletzung von Art. 30 Abs. 1 BV. Dass Richter den Entscheid eines Gremiums zu überprüfen haben, an dessen Fällung Personen mitgewirkt haben, mit denen sie zusammen in derselben Kollegialbehörde als Richter tätig sind, vermag für sich allein nicht zum Verlust der Unabhängigkeit zu führen; blosse Kollegialität reicht hiefür nicht (Urteile 2C_665/2010 vom 24. Mai 2011 E. 2.1; 2A.295/2003 vom 3. Juni 2004 E. 1.2). Es genügt, wenn beim Entscheid der Rekurskommission keine Person mitwirkt, die bereits beim Entscheid der Verwaltungskommission mitgewirkt hat (vgl. Urteil 2A.295/2003 vom 3. Juni 2004 E. 1.2). Dass letztgenannte Bedingung nicht eingehalten wäre, behauptet die Beschwerdeführerin zu Recht nicht.
3.2.4.2 Die Beschwerdeführerin erhebt allerdings anderweitige Einwände gegen vier Gerichtspersonen, die am angefochtenen Beschluss mitgewirkt haben. Zumindest zwei Personen (Oberrichter Rainer Klopfer und Gerichtsschreiberin Angela Leu-Zweifel) seien vorbefasst bzw. befangen gewesen; bezüglich dreier weiterer Oberrichter (Peter Helm, Georg Pfister, Peter Diggelmann) bestünden entsprechende Zweifel.
Die Beschwerdeführerin wirft Oberrichter Klopfer Vorbefassung vor, weil er sich in einem Parallelverfahren (i.S. der Beschwerdeführerin gegen die Nachlassmasse der SAirLines) mit einem Ablehnungsbegehren gegen den Beschwerdegegner befasst habe. Sie gibt aber selber zu, dass er dieses Begehren noch nicht materiell beurteilt habe, sondern einzig eine Präsidialverfügung (betreffend Sistierung) erlassen hat. Es ist nicht ersichtlich, inwieweit er deswegen im vorliegenden Verfahren nicht mehr in der Lage gewesen sein sollte, unbefangen und unvoreingenommen zu urteilen (vgl. auch Urteil 5P.202/2003 vom 11. August 2003 E. 2.2.3, in: SJ 2004 I S. 128). Dass die am Rekurskommissionsbeschluss beteiligte Gerichtsschreiberin Angela Leu-Zweifel normalerweise - nicht aber im konkreten Fall - Gerichtsschreiberin der Verwaltungskommission ist, führt ebenfalls noch nicht für sich allein zu ihrer Voreingenommenheit. Die Einwände gegen Oberrichter Pfister und Diggelmann gehen dahin, dass sie dereinst mit Parallelverfahren befasst sein könnten oder bereits waren und gegen Oberrichter Helm, dass er ab 1. Juli 2012 Mitglied der Verwaltungskommission sei. Es ist unklar, ob die Beschwerdeführerin davon ausgeht, dass diese Einwände zum Ausstand führen müssten, so dass darauf von vornherein nicht einzutreten ist.
Die Beschwerdeführerin wirft Oberrichter Klopfer Vorbefassung vor, weil er sich in einem Parallelverfahren (i.S. der Beschwerdeführerin gegen die Nachlassmasse der SAirLines) mit einem Ablehnungsbegehren gegen den Beschwerdegegner befasst habe. Sie gibt aber selber zu, dass er dieses Begehren noch nicht materiell beurteilt habe, sondern einzig eine Präsidialverfügung (betreffend Sistierung) erlassen hat. Es ist nicht ersichtlich, inwieweit er deswegen im vorliegenden Verfahren nicht mehr in der Lage gewesen sein sollte, unbefangen und unvoreingenommen zu urteilen (vgl. auch Urteil 5P.202/2003 vom 11. August 2003 E. 2.2.3, in: SJ 2004 I S. 128). Dass die am Rekurskommissionsbeschluss beteiligte Gerichtsschreiberin Angela Leu-Zweifel normalerweise - nicht aber im konkreten Fall - Gerichtsschreiberin der Verwaltungskommission ist, führt ebenfalls noch nicht für sich allein zu ihrer Voreingenommenheit. Die Einwände gegen Oberrichter Pfister und Diggelmann gehen dahin, dass sie dereinst mit Parallelverfahren befasst sein könnten oder bereits waren und gegen Oberrichter Helm, dass er ab 1. Juli 2012 Mitglied der Verwaltungskommission sei. Es ist unklar, ob die Beschwerdeführerin davon ausgeht, dass diese Einwände zum Ausstand führen müssten, so dass darauf von vornherein nicht einzutreten ist.
3.3 3.3.1 Die Beschwerdeführerin macht des Weiteren geltend, der Beschluss vom 5. Mai 2012 verstosse gegen das Verbot des überspitzten Formalismus und der formellen Rechtsverweigerung. Es sei nach Erhalt des bundesgerichtlichen Urteils nicht erkennbar gewesen, dass die Rekurskommission zuständig sein könnte. Erst in der Verfügung des Bezirksgerichts vom 21. Oktober 2011 sei erstmals die Rede davon gewesen, dass womöglich ein Rekurs an die Rekurskommission in Betracht falle. Es könne der Beschwerdeführerin nicht vorgeworfen werden, nicht bis zum 31. März 2011 an die Rekurskommission gelangt zu sein, und auch nicht, dies nicht unmittelbar nach Erhalt des bundesgerichtlichen Urteils getan zu haben. Vielmehr sei sie aus zureichenden Gründen an das Bezirksgericht gelangt und habe im Übrigen alle Verfahrensschritte immer unter Einhaltung von Zehntagesfristen vorgenommen. Zudem sei in ihrer Eingabe vom 24. November 2011 stillschweigend ein Antrag auf Wiederherstellung der Rechtsmittelfrist enthalten gewesen. Schliesslich habe die II. Zivilkammer die Eingabe vom 24. November 2011 vorbehaltlos als Beschwerde entgegengenommen und damit zum Ausdruck gebracht, dass sie rechtzeitig erfolgt sei.
3.3.2 Formelle Rechtsverweigerung und damit ein Verstoss gegen Art. 29 Abs. 1 BV liegt vor, wenn eine Behörde auf eine ihr frist- und formgerecht unterbreitete Sache nicht eintritt, obschon sie darüber befinden müsste. Überspitzter Formalismus als besondere Form der Rechtsverweigerung liegt vor, wenn für ein Verfahren rigorose Formvorschriften aufgestellt werden, ohne dass die Strenge sachlich gerechtfertigt wäre, wenn die Behörde formelle Vorschriften mit übertriebener Schärfe handhabt oder an Rechtsschriften überspannte Anforderungen stellt und damit dem Bürger den Rechtsweg in unzulässiger Weise versperrt (BGE 135 I 6 E. 2.1 S. 9 mit Hinweisen).
3.3.3 Der Entscheid der Rekurskommission verstösst weder gegen das Verbot der Rechtsverweigerung im Allgemeinen, noch gegen das Verbot des überspitzten Formalismus im Besonderen.
Die Beschwerdeführerin kann nichts zu ihren Gunsten daraus ableiten, dass sie sich nach Erhalt des bundesgerichtlichen Urteils BGE 137 III 424 an das Bezirksgericht gewandt hat. Selbst wenn man davon ausgeht, dass sie sich - der Rechtsmittelbelehrung des Verwaltungskommissionsbeschlusses folgend - zunächst in guten Treuen an das Bundesgericht gewandt haben sollte, statt kantonsintern nach weiteren Rechtsmitteln zu suchen, so war doch nach Erhalt des bundesgerichtlichen Nichteintretensentscheids klar, dass der Beschluss der Verwaltungskommission zunächst kantonsintern angefochten werden musste. Inwiefern ein Entscheid des Bezirksgerichts den Verwaltungskommissionsbeschluss hätte aufheben können, ist weder dargetan noch ersichtlich. Dass der Beschluss nichtig sei und deshalb unbeachtet bleiben könne, mag zum damaligen Zeitpunkt der Rechtsauffassung der Beschwerdeführerin entsprochen haben und auch weiterhin entsprechen, doch muss Nichtigkeit eines Entscheides ein Ausnahmefall bleiben (vgl. zur sog. Evidenztheorie BGE 137 I 273 E. 3.1 S. 275 f. mit Hinweisen; Urteil 6B_339/2012 vom 11. Oktober 2012 E. 1.2.1 mit Hinweis), so dass ein Rechtssuchender nicht ohne weiteres vom Vorliegen dieses Ausnahmefalles ausgehen darf. Insbesondere gab BGE 137 III 424 keinen Anlass zu einer solchen Vermutung (vgl. zur Nichtigkeit bereits oben E. 3.2.3.2). Trotzdem hat sich die Beschwerdeführerin nach Erhalt des bundesgerichtlichen Urteils am 7. September 2011 nicht an das Obergericht gewandt und sie hat zu diesem Zeitpunkt insbesondere kein Fristwiederherstellungsgesuch für ein allfälliges Rechtsmittel gestellt.
Selbst wenn man davon ausgeht, die Beschwerdeführerin sei zunächst aus zureichenden Gründen an das Bezirksgericht gelangt, ändert sich an der Beurteilung nichts. Das Bezirksgericht hat in seiner Nichteintretensverfügung vom 21. Oktober 2011 erwogen, die Beschwerdeführerin könne bei der sachlich zuständigen Behörde ein Begehren um Fristansetzung für die Erhebung eines kantonalen Rechtsmittels gegen den Beschluss der Verwaltungskommission stellen. Die Beschwerdeführerin behauptet selber nicht, danach in dieser Weise vorgegangen zu sein. Stattdessen hat sie am 24. November 2011 Beschwerde gegen die Verfügung vom 21. Oktober 2011 erhoben und eventualiter einen weiterzuleitenden Rekurs an die Rekurskommission gegen den Beschluss der Verwaltungskommission. Insbesondere hat sie kein Gesuch um Wiederherstellung der Frist für das Rechtsmittel gegen den Beschluss der Verwaltungskommission gestellt, sondern bloss das Rechtsmittel selber erhoben. Entgegen der Ansicht der Beschwerdeführerin ist es nicht geboten, in jede verspätete Rechtsmitteleingabe ein stillschweigendes Gesuch um Fristwiederherstellung hineinzulesen. Die Möglichkeit, dass ein Rechtsmittel gegen den Verwaltungskommissionsbeschluss als verspätet beurteilt werden könnte, lag auf der Hand, so dass eine Äusserung der Beschwerdeführerin für diesen Fall erwartet werden durfte, auch wenn sie selber davon ausgegangen sein sollte, dass ihre Eingabe nicht verspätet sei (vgl. Urteil 5D_54/2010 vom 29. April 2010 E. 4.3).
Schliesslich kann die Beschwerdeführerin nichts zu ihren Gunsten daraus ableiten, dass die II. Zivilkammer ihren Eventualrekurs als Beschwerde entgegengenommen und an die Rekurskommission weitergeleitet hat. Ein solcher Akt enthält grundsätzlich keine Äusserung dazu, dass die Eintretensvoraussetzungen des weitergeleiteten Rechtsmittels erfüllt sind.
3.4 Die Beschwerde ist folglich abzuweisen, soweit auf sie eingetreten werden kann.
4. Bei diesem Ausgang des Verfahrens trägt die Beschwerdeführerin die Gerichtskosten (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 5'000.-- werden der Beschwerdeführerin auferlegt.
3. Dieses Urteil wird den Verfahrensbeteiligten und dem Obergericht des Kantons Zürich, Rekurskommission, schriftlich mitgeteilt.
Lausanne, 17. Januar 2013
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Escher
Der Gerichtsschreiber: Zingg