Sachverhalt:
A.
A._ (Kläger, Beschwerdeführer) mietete von der B._ AG (Beklagte, Beschwerdegegnerin) eine Wohnung in U._. Unter Verwendung des amtlich genehmigten Formulars kündigte die Beklagte das Mietverhältnis am 4. Februar 2019 per 30. September 2019. Die Beklagte begründete die Kündigung mit Eigenbedarf.
B.
Der Kläger war mit der Kündigung nicht einverstanden und focht diese bei der Schlichtungsbehörde und hernach mit Klage vom 12. Juli 2019 am Mietgericht Zürich an. Er beantragte die Aufhebung der Kündigung, eventualiter die Erstreckung des Mietverhältnisses um 18, subeventualiter um neun Monate.
Mit Eingabe vom 4. September 2019 reichte die Beklagte dem Mietgericht eine zwischen den Parteien abgeschlossene Vereinbarung vom 30./31. August 2019 ein und ersuchte um Abschreibung des Verfahrens. Das Mietgericht schrieb daraufhin das Verfahren mit Beschluss vom 12. September 2019 als durch Vergleich erledigt ab, verpflichtete den Kläger, das Mietobjekt bis zum 31. März 2020 zu räumen und traf eine Vollstreckungsanordnung. Die Gerichtsgebühr wurde auf Fr. 3'250.-- festgesetzt (Dispositivziffer 4) und den Parteien je zur Hälfte auferlegt. Vom gegenseitigen Verzicht der Parteien auf Parteientschädigung wurde Vormerk genommen.
Mit Eingabe vom 11. Oktober 2019 erhob der Kläger gegen den Beschluss des Mietgerichts Beschwerde an das Obergericht. Er beanstandete die Höhe der Gerichtskosten. Das Obergericht hiess mit Urteil vom 10. Februar 2020 die Beschwerde teilweise gut, hob die Dispositivziffer 4 des Beschlusses des Mietgerichts vom 12. September 2019 auf und setzte die Gerichtsgebühr auf Fr. 2'400.-- fest. Im Übrigen wies das Obergericht die Beschwerde ab, soweit es darauf eintrat.
C.
Dagegen erhob der Beschwerdeführer Beschwerde an das Bundesgericht. Er beantragte, die Gerichtsgebühr von Fr. 2'400.-- sei aufzuheben und auf Fr. 933.-- festzusetzen, eventualiter auf Fr. 1'400.--.
Auf das Einholen von Vernehmlassungen wurde verzichtet.

Erwägungen:
1.
1.1. Das Bundesgericht prüft von Amtes wegen und mit freier Kognition, ob ein Rechtsmittel zulässig ist (<ref-law>; <ref-ruling> E. 2.1 mit Hinweisen).
1.2. Da der angefochtene Entscheid ein Endentscheid (<ref-law>) ist, bestimmt sich der Streitwert nach den Begehren, die vor der Vorinstanz streitig geblieben waren (<ref-law>). In Fällen, in denen eine Beschwerde an das Bundesgericht einzig die Kosten des kantonalen Verfahrens zum Gegenstand hat und es schon im vorinstanzlichen Verfahren allein um die Kosten ging, bestimmt sich der Streitwert nach dem Betrag, in dem diese vor der Vorinstanz strittig waren (<ref-ruling> E. 1 S. 47; <ref-ruling> E. 1.2.2; Urteile 4D_65/2019 vom 19. Dezember 2019 E. 2.1; 4A_345/2018 vom 5. November 2018 E. 1.2.1).
Vorliegend war vor der Vorinstanz die Hauptsache nicht mehr umstritten. Der Beschwerdeführer machte vor der Vorinstanz bloss geltend, die Erstinstanz habe den Streitwert falsch bemessen und in der Folge die Gerichtskosten zu hoch festgesetzt. Vor der Vorinstanz war somit einzig über den hälftigen Anteil der Gerichtskosten von Fr. 3'250.- zu entscheiden, der dem Beschwerdeführer durch die Erstinstanz auferlegt wurde. Der Streitwert erreicht damit den in mietrechtlichen Fällen geltenden Mindestbetrag von Fr. 15'000.-- gemäss <ref-law> nicht.
1.3. Erreicht der Streitwert den massgebenden Betrag wie in casu nicht, ist die Beschwerde in Zivilsachen dennoch zulässig, wenn sich eine Rechtsfrage von grundsätzlicher Bedeutung stellt (<ref-law>), was die beschwerdeführende Partei aufzuzeigen hat (<ref-law>; <ref-ruling> E. 2.6; <ref-ruling> E. 2.2.2.1, 645 E. 2.4).
Der Beschwerdeführer behauptet nicht, dass sich eine Rechtsfrage von grundsätzlicher Bedeutung stellt und es ist auch nicht ersichtlich, inwiefern sich eine solche stellen könnte. Unter diesen Umständen ist die Beschwerde in Zivilsachen nicht zulässig, sondern es steht nur die subsidiäre Verfassungsbeschwerde im Sinne der Art. 113-119 BGG offen.
2.
2.1. Mit der subsidiären Verfassungsbeschwerde kann die Verletzung von verfassungsmässigen Rechten gerügt werden (<ref-law>). Diesbezüglich gilt eine qualifizierte Rügepflicht. Das Bundesgericht prüft die Verletzung von Grundrechten nicht von Amtes wegen, sondern nur insofern, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (Art. 117 in Verbindung mit <ref-law>). Dies bedeutet, dass klar und detailliert anhand der Erwägungen des angefochtenen Entscheids darzulegen ist, inwiefern verfassungsmässige Rechte verletzt worden sein sollen (<ref-ruling> E. 1.2; <ref-ruling> E. 3.2; je mit weiteren Hinweisen).
Macht die beschwerdeführende Partei eine Verletzung des Willkürverbots von <ref-law> geltend, genügt es nicht, wenn sie einfach behauptet, der angefochtene Entscheid sei willkürlich. Sie hat vielmehr im Einzelnen aufzuzeigen, inwiefern dieser offensichtlich unhaltbar ist (<ref-ruling> E. 1.3 S. 60; <ref-ruling> E. 3 S. 352). Dass die vom Sachgericht gezogenen Schlüsse nicht mit der eigenen Darstellung der beschwerdeführenden Partei übereinstimmen, belegt keine Willkür (<ref-ruling> E. 2.3 S. 266 mit Hinweisen). Erforderlich ist zudem, dass der Entscheid nicht nur in der Begründung, sondern auch im Ergebnis willkürlich ist (<ref-ruling> E. 2.1 S. 19 mit Hinweisen).
2.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Dazu gehören sowohl die Feststellungen über den streitgegenständlichen Lebenssachverhalt als auch jene über den Ablauf des vor- und erstinstanzlichen Verfahrens, also die Feststellungen über den Prozesssachverhalt (<ref-ruling> E. 1.3.1 mit Hinweisen). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie unter Verletzung eines verfassungsmässigen Rechts zustande kam (Art. 118 Abs. 2 und <ref-law>), was die beschwerdeführende Partei mit einer genügenden Begründung geltend zu machen hat (<ref-ruling> E. 2.2; <ref-ruling> E. 3.2 S. 445 mit Hinweis).
Soweit die beschwerdeführende Partei den Sachverhalt ergänzen will, hat sie zudem mit präzisen Aktenhinweisen darzulegen, dass sie entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (<ref-ruling> E. 2 S. 90). Genügt die Kritik diesen Anforderungen nicht, können Vorbringen mit Bezug auf einen Sachverhalt, der vom angefochtenen Entscheid abweicht, nicht berücksichtigt werden (<ref-ruling> E. 1.3.1 S. 18).
3.
3.1. Der Beschwerdeführer schildert die bisherigen Gerichtsverfahren aus seiner Sicht und stützt sich dabei auf den Inhalt der verschiedenen gerichtlichen Entscheide sowie seine jeweiligen Eingaben. Er beruft sich sodann auf den Inhalt des Kündigungsschreibens der Beschwerdegegnerin. Er geht dabei über die Feststellungen der Vorinstanz hinaus, ohne eine rechtsgenügliche Sachverhaltsrüge nach den genannten Grundsätzen zu erheben (Erwägung 2.2). Damit ist er im Folgenden nicht zu hören.
3.2. Der Beschwerdeführer rügt die Verletzung von <ref-law>, <ref-law> und der kantonalen Gebührenverordnung. Darauf ist nicht einzutreten, da es sich dabei nicht um verfassungsmässige Rechte handelt.
3.3. Der Beschwerdeführer beanstandet die vorinstanzliche Festsetzung des für die Bemessung der erstinstanzlichen Gerichtskosten massgebenden Streitwertes, als "nicht sachlich begründet". Er zeigt damit nicht rechtsgenüglich auf, inwiefern durch den Entscheid der Vorinstanz ein verfassungsmässiges Recht verletzt worden wäre, insbesondere macht er nicht hinreichend geltend, dass die Feststellung des Streitwertes willkürlich, also offensichtlich unrichtig wäre (Erwägung 2.1).
Gleiches gilt, wenn der Beschwerdeführer ausführt, dass in der vorliegenden Situation in Anlehnung an die Regelung im aufgehobenen zürcherischen Gerichtsverfassungsgesetz von einem "unschätzbaren Streitwert" auszugehen sei. Auch dabei legt er nicht rechtsgenüglich dar, inwiefern die Vorinstanz bei der Bestimmung des erstinstanzlichen Streitwertes ein verfassungsmässiges Recht verletzt hätte.
3.4. Der Beschwerdeführer wendet sich gegen den Beschluss des Mietgerichts vom 18. Juli 2019, mit dem ihm Frist zur Leistung eines Gerichtskostenvorschusses angesetzt wurde. Darauf ist ebenfalls nicht einzutreten, da dieser Beschluss nicht Gegenstand des angefochtenen Entscheids ist.
Aus dem gleichen Grund gehen auch die Rügen des Beschwerdeführers gegen den Beschluss des Obergerichts vom 7. Oktober 2019 fehl, mit dem das Obergericht das Beschwerdeverfahren gegen den Beschluss des Mietgerichts vom 18. Juli 2019 abschrieb.
3.5. Der Beschwerdeführer moniert, die "verfassungsrechtlichen Verfahrensgarantien (gleiche und gerechte Behandlung, Anspruch auf rechtliches Gehör, Rechtsweggarantie, etc.) " seien "umgangen" worden. Soweit er sich diesbezüglich erneut auf den vom Mietgericht verlangten Kostenvorschuss bezieht, kann auf das gerade Gesagte verwiesen werden (Erwägung 3.4). Im Übrigen zeigt er mit seinen pauschalen Behauptungen nicht rechtsgenüglich auf, inwiefern die genannten verfassungsmässigen Rechte verletzt wären (Erwägung 2.1). Auch darauf ist nicht einzutreten.
3.6. Der Beschwerdeführer beanstandet den erstinstanzlichen Entscheid des Mietgerichts Zürich vom 12. September 2019. Darauf ist ebenfalls nicht einzutreten, da es sich nicht um einen letztinstanzlichen Entscheid handelt (Art. 75 Abs. 1, Art. 114 BGG).
3.7. Der Beschwerdeführer trägt schliesslich vor, er habe vor der Vorinstanz vorgebracht, bei der Bemessung des erstinstanzlichen Streitwertes sei zu beachten, dass die Beschwerdegegnerin den Mietvertrag wegen dringendem Eigenbedarf erneut kündigen könne. Damit habe sich die Vorinstanz "nicht ausreichend auseinandergesetzt". Die Vorinstanz hätte zumindest mit einigen "nachvollziehbaren Argumenten positiv begründen sollen", warum die Streitwertbemessung im vorliegenden speziellen Fall gleich wie alle übrigen anfechtbaren Kündigungen vorgenommen werden könne. Die Vorinstanz habe seinen Anspruch auf rechtliches Gehör verletzt, als sie die konkreten Umstände "gar nicht oder wenig beachtet" habe.
Soweit der Beschwerdeführer der Vorinstanz vorwirft, die Begründungspflicht als Ausfluss seines Anspruchs auf rechtliches Gehör sei verletzt, sind seine Vorwürfe unbegründet. Um den Vorgaben von <ref-law> zu genügen, muss die Begründung so abgefasst sein, dass sich die betroffene Person über die Tragweite des angefochtenen Entscheids Rechenschaft geben und ihn in voller Kenntnis der Sache an die höhere Instanz weiterziehen kann (<ref-ruling> E. 6.1 S. 326 mit Hinweisen). Das ist hier entgegen der Auffassung des Beschwerdeführers zweifellos der Fall, denn die Vorinstanz legt in Erwägung 3.4.1 Seite 9 des angefochtenen Entscheids klar dar, warum eine spätere, erneute Kündigung zufolge Eigenbedarf für die Berechnung des Streitwertes ausser Acht zu lassen sei. Diese Begründung erlaubt es dem Beschwerdeführer ohne Weiteres, den Entscheid der Vorinstanz an das Bundesgericht weiterzuziehen. <ref-law> ist nicht verletzt.
3.8. Dass die Vorinstanz bei der Bestimmung des Streitwertes andere verfassungsmässige Rechte verletzt hätte, zeigt der Beschwerdeführer nicht rechtsgenüglich auf (Erwägung 2.1), und ist im Übrigen auch nicht ersichtlich. Die Beschwerde ist daher abzuweisen, soweit auf sie überhaupt eingetreten werden kann.
4.
Bei diesem Ausgang des Verfahrens sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (<ref-law>). Die Beschwerdegegnerin hat keinen Anspruch auf eine Parteientschädigung, da ihr aus dem bundesgerichtlichen Verfahren kein Aufwand erwachsen ist (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, II. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 12. Mai 2020
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Der Gerichtsschreiber: Brugger