Sachverhalt: A. Am 30. April 2013 entschied Bezirksrichter Felix Ziltener als Einzelrichter am Bezirksgericht Zürich über die Kollokation einer Forderung der Masse en faillite ancillaire de Sabena SA (Beschwerdeführerin) gegen die Nachlassmasse der SAirGroup AG in Nachlassliquidation. Mit Beschluss vom 23. Oktober 2014 hob das Obergericht des Kantons Zürich den Entscheid auf und wies die Sache zur Ergänzung des Verfahrens und zu neuer Entscheidung an das Bezirksgericht zurück. B. Am 6. November 2014 stellte die Beschwerdeführerin verschiedene Anträge beim Bezirksgericht Zürich. Mit Antrag 1 verlangte sie, "das vorliegende, [...] zurückgewiesene Verfahren sei nicht von Bezirksrichter Felix Ziltener weiter zu führen, sondern von einem anderen Bezirksrichter zu übernehmen." Die Beschwerdeführerin beantragte ausserdem, dass der Antrag 1 auf Ersetzung von Bezirksrichter Ziltener dem Präsidium des Bezirksgerichts Zürich zu unterbreiten sei, sofern das zuständige Einzelgericht des Bezirksgerichts nicht von sich aus bereit sei, einen anderen Einzelrichter einzusetzen. Am 28. Januar 2015 überwies Bezirksrichter Ziltener das Begehren samt gewissenhafter Erklärung, nicht befangen zu sein, an das Präsidium des Bezirksgerichts Zürich, das darauf am 3. Februar 2015 mangels Zuständigkeit nicht eintrat. Von einer Überweisung des Begehrens an die Verwaltungskommission des Obergerichts sah es ab. Am 17. Februar 2015 ersuchte die Beschwerdeführerin das Präsidium des Bezirksgerichts darum, Antrag 1 in ihrer Eingabe vom 6. November 2014 als Ausstandsbegehren gegen Bezirksrichter Ziltener an die Verwaltungskommission des Obergerichts weiterzuleiten. Das Bezirksgericht tat dies am 20. Februar 2015. C. Nachdem die Verwaltungskommission Stellungnahmen der Beteiligten eingeholt hatte, wies sie das Ausstandsbegehren mit Beschluss vom 21. November 2015 ab. D. Dagegen erhob die Beschwerdeführerin am 4. Dezember 2015 Beschwerde an die Rekurskommission des Obergerichts. Sie verlangte die Aufhebung des angefochtenen Beschlusses und die Gutheissung des Ablehnungsbegehrens. Bezirksrichter Ziltener sei anzuweisen, in den Ausstand zu treten und sich künftig jeglicher Amtshandlung zu enthalten. Zudem sei Bezirksrichter Ziltener bereits während der Dauer des vorliegenden Verfahrens anzuweisen, keine Amtshandlungen vorzunehmen. Mit Urteil vom 20. Januar 2016 wies die Rekurskommission die Beschwerde ab und mit damit verbundenem Beschluss schrieb es das Gesuch um Anweisung an Bezirksrichter Ziltener ab, während der Dauer des vorliegenden Verfahrens keine Amtshandlungen vorzunehmen. E. Am 24. Februar 2016 hat die Beschwerdeführerin Beschwerde in Zivilsachen an das Bundesgericht erhoben. Sie beantragt, das Urteil der Rekurskommission sei aufzuheben. Das Sachurteil, das Bezirksrichter Ziltener während hängigem Ausstandsverfahren am 19. Januar 2016 gefällt habe, sei aufzuheben. Gegebenenfalls sei das Kollokationsverfahren zur Fortsetzung an das Bezirksgericht Zürich zurückzuweisen. Das Bundesgericht hat die Akten beigezogen, aber keine Vernehmlassungen eingeholt.