Sachverhalt:
A.
Zwischen X._ (geb. 1960, britischer Staatsangehöriger) und dessen Ehefrau A._ (geb. 1967, brasilianische Staatsangehörige) ist seit 2008 ein Scheidungsverfahren vor dem Bezirksgericht Zürich hängig. Seit Juli 2009 ist Bezirksrichterin Y._ für den Fall zuständig.
B.
Am 17. Oktober 2012 verlangte X._, Y._ habe in den Ausstand zu treten. Diese überwies die Angelegenheit an die Verwaltungskommission des Obergerichts des Kantons Zürich, welches beide Seiten anhörte.
Mit Entscheid vom 7. Februar 2013 trat die Verwaltungskommission auf das Ablehnungsbegehren nicht ein.
C.
Den Nichteintretensentscheid focht X._ am 22. Februar 2013 bei der Rekurskommission des Obergerichts an und beantragte, dieser sei aufzuheben. Es sei unter Kosten- und Entschädigungsfolgen festzustellen, dass Bezirksrichterin Y._ als befangen erscheine und in den Ausstand zu treten habe.
Die Rekurskommission wies die Beschwerde gegen den Nichteintretensentscheid der Verwaltungskommission am 11. April 2013 ab, soweit sie darauf eintrat, und auferlegte die Kosten des Beschwerdeverfahrens X._.
D.
Gegen dieses Urteil gelangte X._ mit Beschwerde in Zivilsachen und subsidiärer Verfassungsbeschwerde (Postaufgabe am 15. Mai 2013) an das Bundesgericht. Er verlangt, der Entscheid vom 11. April 2013 sei aufzuheben und die Vorinstanz sei anzuweisen, Bezirksrichterin Y._ im Scheidungsprozess auszuschliessen. Sinngemäss verlangt er weiter, die Verfahrenskosten seien der Ehefrau aufzuerlegen und diese habe ihm eine Parteientschädigung zu bezahlen.
Das Bundesgericht hat die Akten, in der Sache selbst aber keine Vernehmlassungen eingeholt.
E.
Im Zusammenhang mit dem Scheidungsverfahren ist der Beschwerdeführer bereits mehrmals an das Bundesgericht gelangt (vorsorgliche Massnahmen, Rechtsöffnungsverfahren betreffend Unterhalt), wobei auf seine Beschwerden jeweils nicht eingetreten wurde (vgl. Urteile 5A_103/2011 vom 23. Mai 2011, 5A_49/2012 vom 19. Januar 2012, 5A_786/2011 vom 26. Januar 2012 und 5A_433/2012 vom 21. August 2012).

Erwägungen:
1.
1.1. Angefochten ist binnen Frist der selbständig eröffnete Zwischenentscheid über den Ausstand einer Gerichtsperson (Art. 92 Abs. 1, Art. 100 Abs. 1 BGG). Bei Zwischenentscheiden folgt der Rechtsweg demjenigen der Hauptsache (<ref-ruling> E. 1.1 S. 382). Hier hat das Verfahren in der Hauptsache die Scheidung der Ehe des Beschwerdeführers zum Gegenstand, d.h. eine Zivilsache im Sinne von <ref-law>, in welcher die Beschwerde in Zivilsachen ohne Streitwerterfordernis zulässig ist (Urteil 5A_311/2010 vom 3. Februar 2011 E. 1.1, nicht publ. in: <ref-ruling>). Die Rekurskommission des Obergerichts hat kantonal letztinstanzlich und auf Rechtsmittel hin entschieden (<ref-law>). Die Beschwerde in Zivilsachen steht daher gegen den angefochtenen Entscheid offen.
1.2. Nachdem die Beschwerde in Zivilsachen gegeben ist, bleibt für die ebenfalls erhobene subsidiäre Verfassungsbeschwerde kein Raum (<ref-law>).
2.
Im strittigen Entscheid vom 7. Februar 2013 trat die Verwaltungskommission des Obergerichts als erste Entscheidinstanz auf das Ablehnungsbegehren des Beschwerdeführers nicht ein, weil dieser die Beschwerdegegnerin nicht unverzüglich abgelehnt und er damit verspätet gehandelt habe. Die Vorinstanz hatte im Rechtsmittelverfahren damit lediglich zu prüfen, ob der erstinstanzliche Nichteintretensentscheid rechtens war. Im nun zu beurteilenden Entscheid vom 11. April 2013 befand die Vorinstanzin Abweisung der Beschwerde, dass auf das Ablehnungsgesuch des Beschwerdeführers wegen Verspätung nicht einzutreten gewesen sei (vgl. auch C.). Weiter führte die Vorinstanz aus, damit komme die Frage des Ausstandes in der Sache nicht zur Beurteilung. Zwar fügte sie dann einige Überlegungen an, weshalb sie überdies die Bezirksrichterin nicht für befangen halte. Formell bildete dies indes nicht Verfahrensgegenstand.
Entsprechend kann sich auch die Beschwerde an das Bundesgericht nicht auf eine materielle Beurteilung des Ablehnungsbegehrens beziehen, sondern einzig gegen das Nichteintreten richten. Massgebend ist die Frage der Verspätung resp. Rechtzeitigkeit des Begehrens.
3.
Die Beschwerdeschrift ist über weite Teile unstrukturiert und mischt verschiedene Beschwerdegründe (unrichtige oder willkürliche Rechtsanwendung, offensichtlich unrichtige Feststellung des Sachverhalts) durcheinander, ohne aufzuzeigen, welche konkrete Rechtsnorm falsch resp. willkürlich angewendet worden sein soll, oder welche spezifische Sachverhaltsfeststellung der Vorinstanz willkürlich wäre. Immerhin kann der Beschwerdeführer zumindest dem Sinn nach so verstanden werden, dass er eine Verletzung des verfassungsmässigen Rechts auf ein unabhängiges und unparteiisches Gericht rügen will, erlitten dadurch, dass die Vorinstanz willkürlich auf Verspätung seines Ausstandsgesuchs geschlossen habe.
Obwohl der angefochtene Entscheid in Anwendung der kantonalen Ausstandsbestimmungen erging, rügt der Beschwerdeführer aber keine willkürliche Anwendung des kantonalen Rechts, womit dies nicht zu prüfen ist (<ref-law>; vgl. Urteil 4A_672/2011 vom 31. Januar 2012 E. 1.4, nicht publ. in: <ref-ruling>).
3.1. Gemäss <ref-law> hat jede Person, deren Sache in einem gerichtlichen Verfahren beurteilt werden muss, Anspruch auf ein durch Gesetz geschaffenes, zuständiges, unabhängiges und unparteiisches Gericht. Wer indes einen Ablehnungsgrund gegen einen Richter nicht unverzüglich nach dessen Kenntnisnahme geltend macht, verwirkt den Anspruch auf seine spätere Anrufung (<ref-ruling> E. 2.2 S. 4; <ref-ruling> E. 3.4 S. 211).
3.2. Die Vorinstanz hielt fest, der Beschwerdeführer habe sein Ablehnungsbegehren vom 17. Oktober 2012 darauf gegründet, dass die Bezirksrichterin Mitglied und Kantonsratskandidatin der SP sei. Nach Ansicht des Beschwerdeführers zeige diese damit, dass sie es sich zur Aufgabe gemacht habe, den schwächsten Gliedern der Gesellschaft zu helfen. Weiter habe sie in einer Verfügung vom 15. Januar 2010 zum Ausdruck gebracht, dass sie die Aussagen der Ehefrau als glaubwürdiger erachte als seine und sie habe damit unausgesprochen die angeblich schwächere Partei (die Ehefrau) bevorzugt. Mit Verfügung vom 9. September 2011 habe die Bezirksrichterin der Ehefrau zudem bei der Abänderung der vorsorglichen Unterhaltsregelung einen Kursgewinn zugestanden und damit wiederum die Ehefrau bevorzugt. Darüber hinaus habe die Bezirksrichterin ihn genötigt, ein Schreiben zu unterzeichnen, welches der Ehefrau ein freies Reisen mit dem Kind ermögliche. Gemäss Feststellung der Vorinstanz ergänzte der Beschwerdeführer in einer späteren Stellungnahme seine rechtliche Argumentation, brachte aber keine zusätzlichen Tatsachen ein.
Die Vorinstanz erwog dazu, die Kantonsratswahlen hätten im Frühjahr 2011 stattgefunden. Der Beschwerdeführer argumentiere, dass er als fremdsprachiger und in der Schweiz nicht stimmberechtigter Ausländer erst im Jahr 2012 von dritter Seite auf das Engagement der Bezirksrichterin aufmerksam gemacht und durch ein neues Buch sensibilisiert worden sei. Die Vorinstanz befand aber, selbst wenn es auf eine solche Mitteilung Dritter ankäme, sei damit noch nicht erstellt, dass er das Gesuch unverzüglich eingereicht hätte. Ausserdem müsse er sich das Wissen seiner Zürcher Anwälte anrechnen lassen, denen bekannt sei, dass die Richter politischen Parteien angehörten. Darüber gebe es eine alte Kontroverse, worauf nicht erst ein neues Buch aufmerksam machen müsse. Sinngemäss hätten diese daher von der Kandidatur wissen und sofort reagieren müssen, wenn ein politisches Engagement der zuständigen Richterin als Problem angeschaut worden wäre. Die vom Beschwerdeführer ins Feld geführte Erklärung habe er am 25. August 2009 unterzeichnet. Die Gründe, welche der Beschwerdeführer vorbringe, datierten damit zusammengefasst zwischen einem und drei Jahren vor dem zu beurteilenden Ablehnungsgesuch, womit dieses in jedem Fall verspätet erfolgt sei.
3.3. Der Beschwerdeführer bringt vor, er habe sich nicht gegen die Parteizugehörigkeit der Richterin, sondern gegen ihre politische Aktivität gewendet. Von der Kantonsratskandidatur habe er erst später erfahren und hätte auch nicht früher davon wissen müssen. In der Regel würden sich Richter politischer Stellungnahmen in der Öffentlichkeit enthalten. Anwälte hätten damit keinen Anlass, im Internet zu forschen, ob sich ein Richter politisch engagiere. Der Rechtsvertreter wohne im Übrigen auch nicht im Wahlkreis Zürich. Daraus schliesst er, dass die Vorinstanz "Recht falsch angewendet und gleichzeitig eine falsche Sachverhaltsdarstellung gemacht" habe; überdies habe sie überspitzt formalistisch gehandelt, indem sie den Begriff "unverzüglich" sehr eng ausgelegt habe.
3.4. Was die Sachverhaltsfeststellungen der Vorinstanz angeht, bestreitet der Beschwerdeführer nicht, dass die vier Ereignisse, welche er gemäss Vorinstanz als Ablehnungsgrund angeführt hatte (E. 3.2: Erklärung vom 25. August 2009, Verfügungen vom 15. Januar 2010 und 9. September 2011, Kantonsratskandidatur im Frühjahr 2011), auf die Jahre 2009 bis 2011 zurückgehen. Angesichts der Einreichung des Ablehnungsbegehrens Ende 2012 handelte er in Bezug auf diese Sachverhalte isoliert betrachtet in jedem Fall nicht unverzüglich, sondern zu spät.
Auch im Übrigen sind seine Einwendungen (E. 3.3) unbehelflich. So bezeichnet er die vorinstanzliche Erwägung als willkürlich, dass er oder seine Anwälte von der Kandidatur der Bezirksrichterin hätten wissen müssen. Er habe erst durch Dritte davon erfahren und im Herbst 2012 habe er dann durch das Erscheinen des Buches Z._ der Autoren B._, C._ und D._ die notwendige Gewissheit erhalten, dass die Richterin als befangen gelten müsse.
Diesbezüglich ist ihm entgegenzuhalten, dass das Buch bereits im März 2012 erschienen ist, was als gerichtsnotorisch gelten darf. Überdies führt der Beschwerdeführer nicht aus, inwiefern ihn das Buch zu neuen Einsichten geführt und damit zur Einreichung des Ablehnungsbegehrens motiviert haben soll. Das Argument schliesslich, weder Anwalt noch Klient müssten im Internet nach den politischen Aktivitäten von Richtern forschen, geht bereits insofern an der Sache vorbei, als im vorliegenden Fall genau das geschehen ist. Die von ihm eingereichten Internetauszüge (Internetauftritt SP zu den Kantonsratswahlen 2011) weisen im Übrigen kein Ausdruckdatum auf; die Interneteinträge selbst datieren vom 5. Februar 2011. Wären diese Informationen effektiv erst im Herbst 2012 zu seiner Kenntnis gelangt, hätte er zu Beweiszwecken einen Ausdruck mit Datum vorlegen müssen.
Weiter bringt er im bundesgerichtlichen Verfahren ein, die Bezirksrichterin sei weiterhin politisch aktiv, sie habe noch im Jahr 2013 eine Asylkampagne unterzeichnet. Sowohl im Ausstandsbegehren vom 17. Oktober 2012 als auch in der kantonalen Beschwerde vom 22. Februar 2013 bezeichnete der Beschwerdeführer aber explizit die Kantonsratskandidatur als Ausstandsgrund; andere politische Aktivitäten nannte er nicht. Es geht nicht an, nun vor Bundesgericht Gründe nachzuschieben. Diese sind im Lichte von <ref-law> neu und unzulässig.
3.5. Unter den gegebenen Umständen ist keine Verletzung von <ref-law> ersichtlich, wenn die Vorinstanz befand, der Beschwerdeführer und seine Anwälte hätten (früher) über die erst im Oktober 2012 behaupteten Ablehnungsgründe informiert sein müssen.
4.
Soweit der Beschwerdeführer über die einzig zu behandelnde Frage der Rechtzeitigkeit seines Begehrens hinausgeht, ist auf seine Beschwerde nicht einzutreten (vgl. Urteil 5A_94/2013 vom 6. März 2013 E. 3.1.2 mit weiteren Hinweisen).
Ebenso wenig kann auf seine Rüge eingetreten werden, sein rechtliches Gehör sei verletzt worden, indem die Vorinstanz nicht auf seine Ausführungen zu diversen internationalen Regelungen eingegangen sei. Wie aus der Beschwerde erhellt, bezogen sich die betreffenden Ausführungen auf materielle Aspekte der Vereinbarkeit von richterlicher und politischer Tätigkeit. Nachdem die Vorinstanz mangels rechtzeitiger Geltendmachung das Ablehnungsbegehren in der Sache nicht zu beurteilen hatte (vgl. E. 2), brauchte sich die Vorinstanz hierzu nicht zu äussern. Damit ist der Rüge die Grundlage entzogen.
Vor diesem Hintergrund ist die Beschwerde abzuweisen, soweit überhaupt darauf eingetreten werden kann.
5.
Bei diesem Ausgang des Verfahrens hat der Beschwerdeführer für die Gerichtskosten aufzukommen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde in Zivilsachen wird abgewiesen, soweit darauf einzutreten ist.
2.
Auf die subsidiäre Verfassungsbeschwerde wird nicht eingetreten.
3.
Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
4.
Dieses Urteil wird dem Beschwerdeführer, dessen Ehefrau, dem Bezirksgericht Zürich, Frau Y._, dem Obergericht des Kantons Zürich, Rekurskommission, und der Staatsanwaltschaft Zürich-Limmat schriftlich mitgeteilt.
Lausanne, 7. Oktober 2013
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: von Werdt
Die Gerichtsschreiberin: Friedli-Bruggmann