Erwägungen:
1.
Mit Urteil vom 3. Februar 2021 erteilte das Bezirksgericht Zürich der Beschwerdegegnerin gegenüber dem Beschwerdeführer in der Betreibung Nr. xxx des Betreibungsamtes Zürich 11 - gestützt auf das rechtskräftige Urteil des Arbeitsgerichts Zürich vom 25. November 2019 für eine ausstehende Parteientschädigung - definitive Rechtsöffnung für Fr. 14'000.-- nebst Zins.
Dagegen erhob der Beschwerdeführer am 16. Februar 2021 per E-Mail (ohne gültige elektronische Signatur) Beschwerde. Mit Urteil vom 25. Februar 2021 wies das Obergericht des Kantons Zürich die Beschwerde ab.
Dagegen hat der Beschwerdeführer am 25. März 2021 Beschwerde an das Bundesgericht erhoben. Das Bundesgericht hat die Akten beigezogen.
2.
Aufgrund des unter Fr. 30'000.-- liegenden Streitwerts (Art. 74 Abs. 1 lit. b BGG) und mangels Vorliegens einer Rechtsfrage von grundsätzlicher Bedeutung (Art. 74 Abs. 2 lit. a BGG) ist die Eingabe als subsidiäre Verfassungsbeschwerde entgegenzunehmen (Art. 113 ff. BGG). Mit ihr kann einzig die Verletzung verfassungsmässiger Rechte gerügt werden (Art. 116 BGG). Verfassungsrügen müssen gemäss dem strengen Rügeprinzip von Art. 117 i.V.m. Art. 106 Abs. 2 BGG in der Beschwerde präzise vorgebracht und begründet werden. Dies bedeutet, dass anhand der Erwägungen des angefochtenen Entscheids klar und detailliert darzulegen ist, inwiefern verfassungsmässige Rechte verletzt worden sein sollen (BGE 133 II 396 E. 3.1 S. 399; 142 III 364 E. 2.4 S. 368).
3.
Vor Obergericht hat sich der Beschwerdeführer auf eine Widerklage und auf Prozessbetrug berufen. Das Obergericht hat dazu erwogen, im Rechtsöffnungsverfahren dürfe weder das zu vollstreckende Urteil noch das Verfahren, das zu diesem Urteil geführt habe, überprüft werden. Die Überprüfung des zu vollstreckenden Urteils hätte in einem Rechtsmittelverfahren erfolgen müssen, was auch erfolgt sei. Soweit der Beschwerdeführer geltend mache, er habe eine Widerklage bzw. Gegenklage eingereicht, sei eine solche für das Rechtsöffnungsverfahren solange nicht relevant, als nicht ein neuer vollstreckbarer gerichtlicher Entscheid vorliege, mit dem das Urteil des Arbeitsgerichts ganz oder teilweise aufgehoben werde oder mit dem dem Beschwerdeführer eine Gegenforderung zugesprochen werde, die er dann verrechnen könne. Der Beschwerdeführer mache nicht geltend, im vorinstanzlichen Verfahren einen solchen Entscheid vorgelegt zu haben. Eine eigentliche Widerklage sei im Rechtsöffnungsverfahren unzulässig.
Sodann hat sich der Beschwerdeführer auf seinen Anspruch auf ein faires Verfahren berufen und geltend gemacht, in zivilisierten Ländern gebe es immer eine Anhörung, da das Gericht Fragen stellen müsse, um zu überprüfen, ob es die Angelegenheit verstehe. In diesem Prozess habe das Gericht keine einzige Frage gestellt. Das Obergericht hat dazu festgestellt, dass der Beschwerdeführer im bezirksgerichtlichen Verfahren geltend gemacht habe, eine persönliche Anhörung sei nicht möglich und das Verfahren solle schriftlich oder per Telefonanhörung durchgeführt werden. Sodann erkläre der Beschwerdeführer nicht, was das Bezirksgericht überhaupt hätte fragen sollen. Ein Verständnis des ursprünglichen arbeitsgerichtlichen Verfahrens sei schon deshalb nicht erforderlich gewesen, weil jenes Verfahren nicht habe geprüft werden dürfen.
4.
4.1. Der Beschwerdeführer hält das Obergericht für befangen, da es ihm zwar vorgehalten habe, die Beschwerde per E-Mail eingereicht zu haben, jedoch nicht auf die Gründe eingegangen sei, weshalb er die Beschwerde auf diesem Wege eingereicht habe, und weil es sich ausserdem geweigert habe, die Gegenforderung zu registrieren.
Das Obergericht hat den Beschwerdeführer im Urteil darauf hingewiesen, dass die Beschwerde nicht mit gewöhnlichem E-Mail erhoben werden kann. Es hat sie dennoch inhaltlich behandelt. Der Beschwerdeführer hat insofern keinen Nachteil erlitten und es ist nicht ersichtlich, weshalb er in der Nichterwähnung der Gründe, die ihn angeblich zur Wahl dieses Übermittlungswegs bewogen haben, einen Befangenheitsgrund sieht.
Was die Weigerung des Obergerichts angeht, die Gegenforderung anzunehmen, so liegt darin kein Befangenheitsgrund. Selbst wenn das Obergericht diesbezüglich das Recht falsch angewendet hätte, so wäre kein Ausstandsgrund zu erkennen. Richterliche Verfahrensfehler und Fehlentscheide sind nämlich mit den dafür vorgesehenen Rechtsmitteln zu rügen. Sie sind grundsätzlich nicht geeignet, den objektiven Anschein von Befangenheit im Sinne von Art. 30 Abs. 1 BV zu erwecken. Das kann nur ganz ausnahmsweise der Fall sein, wenn besonders krasse oder wiederholte Irrtümer vorliegen, die als schwere Verletzung der Richterpflichten bewertet werden müssen, und sich in den Rechtsfehlern eine Haltung manifestiert, die objektiv auf fehlende Distanz und Neutralität schliessen lässt (Urteil 4A_320/2020 vom 14. September 2020 E. 3.2 mit Hinweisen).
4.2. Der Beschwerdeführer kritisiert nach wie vor das zu vollstreckende Urteil und er wirft der Beschwerdegegnerin Prozessbetrug vor. Er setzt sich jedoch nicht mit der obergerichtlichen Erwägung auseinander, dass der zu vollstreckende Entscheid im Rechtsöffnungsverfahren nicht überprüft werden kann. Bei seinen Ausführungen zum angeblichen Prozessbetrug handelt es sich um Behauptungen, die im angefochtenen Urteil keine Grundlage finden und deshalb unbeachtlich sind (Art. 118 Abs. 1 BGG). Ebenso wenig geht der Beschwerdeführer darauf ein, dass im Rechtsöffnungsverfahren keine Widerklage bzw. "Gegenklage" möglich ist. Er verkennt offenbar den Gehalt von Art. 14 und Art. 224 ZPO. Weshalb schliesslich das Rechtsöffnungsverfahren unter verfassungsrechtlichen Gesichtspunkten gestoppt werden müsste, bis eine allfällige Gegenklage beurteilt worden sein sollte, legt der Beschwerdeführer nicht dar.
4.3. Der Beschwerdeführer beharrt schliesslich auf einer mündlichen Anhörung. Soweit er geltend macht, er habe eine solche gefordert, übergeht er die obergerichtliche Erwägung, dass er genau dies vor Bezirksgericht nicht getan hat. Der Beschwerdeführer scheint davon auszugehen, das Gericht hätte ihn nach den Umständen des Prozessbetrugs befragen müssen. Er geht jedoch auch im vorliegenden Zusammenhang nicht darauf ein, dass dies nicht Verfahrensthema des Rechtsöffnungsverfahrens ist. Es genügt den Rügeanforderungen nicht, wenn der Beschwerdeführer die diesbezüglichen Erwägungen des Obergerichts für einen Scherz hält und ihm vorwirft, die Natur der Beschwerde nicht verstanden zu haben. Soweit er sich ausserdem auf Art. 6 Ziff. 1 EMRK beruft, geht er fehl. Art. 6 Ziff. 1 EMRK räumt im Verfahren auf definitive Rechtsöffnung grundsätzlich keinen Anspruch auf mündliche Verhandlung ein (BGE 141 I 97 E. 5). Schliesslich begründet er seinen behaupteten Anspruch auf mündliche Anhörung (mit Übersetzung) mit seinen begrenzten Kenntnissen der deutschen Sprache. Das Vorbringen ist - soweit ersichtlich - neu und deshalb unzulässig (Art. 99 Abs. 1 BGG). Im Übrigen lässt die Beschwerdeschrift erkennen, dass er genügend Deutsch versteht, um das Verfahren schriftlich und ohne Dolmetscher zu führen.
4.4. Die Verfassungsbeschwerde ist demnach abzuweisen, soweit auf sie eingetreten werden kann.
5.
Bei diesem Ausgang des Verfahrens trägt der Beschwerdeführer die Gerichtskosten (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1.
Die Verfassungsbeschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 2'500.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, I. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 7. Juni 2021
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Escher
Der Gerichtsschreiber: Zingg