Sachverhalt:
A.
A._ (Beschwerdeführer) ist Alleinaktionär der B._ AG in Liquidation. Wegen schwerer Verletzung geldwäschereirechtlicher Pflichten verfügte die Eidgenössische Finanzmarktaufsicht FINMA am 17. Oktober 2014 unter anderem die Auflösung und den Eintritt in Liquidation der (damaligen) B._ AG und setzte die C._ AG als Liquidatorin ein. Den bisherigen Organen der Gesellschaft wurde die Vertretungsbefugnis entzogen. Mit Urteil vom 25. Februar 2015 eröffnete das Bezirksgericht Meilen über die bereits aufgelöste Gesellschaft den Konkurs, stellte das Konkursverfahren jedoch am 24. Juni 2015 mangels Aktiven ein. Am 9. Januar 2017 wurde die B._ AG in Liquidation von Amtes wegen aus dem Handelsregister gelöscht.
Mit Urteil des Bezirksgerichts Meilen vom 21. April 2020 wurde die Wiedereintragung der Gesellschaft angeordnet. Am 29. Januar 2021 meldete die C._ AG ihr Ausscheiden als Liquidatorin beim Handelsregister an. Diese Mutation wurde am 2. Februar 2021 im Handelsregister eingetragen. Am 25. März 2021 wurde der Beschwerdeführer gestützt auf einen Beschluss der Generalversammlung der B._ AG in Liquidation als Liquidator der Gesellschaft im Handelsregister eingetragen.
Mit Schreiben vom 16. April 2021 forderte die FINMA das Handelsregisteramt des Kantons Zürich (Beschwerdegegner) auf, im Einklang mit der Verfügung vom 17. Oktober 2014 den ordnungsgemässen Zustand herzustellen und die C._ AG als Liquidatorin einzutragen. Mit Verfügung vom 23. April 2021 kam das Handelsregisteramt dieser Aufforderung nach und löschte gleichzeitig den Eintrag des Beschwerdeführers als Liquidator.
B.
Dagegen gelangte der Beschwerdeführer an das Verwaltungsgericht des Kantons Zürich. Er verlangte im Wesentlichen die Löschung der zurzeit im Handelsregister eingetragenen Liquidatorin C._ AG und seine Eintragung als alleiniger Liquidator.
Mit Urteil vom 3. Februar 2022 wies das Verwaltungsgericht die Beschwerde ab, soweit es darauf eintrat.
C.
Gegen den Entscheid des Verwaltungsgerichts erhob der Beschwerdeführer mit Eingabe vom 3. März 2022 Beschwerde in Zivilsachen an das Bundesgericht. Er beantragte die Löschung der zurzeit im Handelsregister eingetragenen Liquidatorin C._ AG und die Eintragung des Beschwerdeführers als alleiniger Liquidator. Eventualiter sei die Sache an die Vorinstanz zur Neubeurteilung zurückzuweisen.
Auf das Einholen von Vernehmlassungen zur Beschwerde wurde verzichtet.

Erwägungen:
1.
Der Beschwerde in Zivilsachen unterliegen öffentlich-rechtliche Entscheide, die in unmittelbarem Zusammenhang mit Zivilrecht stehen, insbesondere Entscheide über die Führung des Handelsregisters (Art. 72 Abs. 2 lit. b Ziff. 2 BGG; Urteil 4A_371/2021 vom 9. August 2021 E. 1 mit weiteren Hinweisen).
Die Beschwerde in Zivilsachen ist jedoch grundsätzlich nur dann zulässig, wenn der Streitwert mindestens Fr. 30'000.-- beträgt. Im angefochtenen Urteil findet sich einzig die Feststellung, dass "von einem Fr. 20'000.-- übersteigenden Streitwert auszugehen" sei. Entgegen den gesetzlichen Vorschriften (<ref-law>) finden sich im Entscheid aber keine Angaben zum konkreten Streitwert. Ob die Streitwertgrenze vorliegend erreicht wäre, wie dies der Beschwerdeführer mit "Blick auf die wirtschaftlichen Auswirkungen der genannten Eintragung" geltend macht, kann offen bleiben: Selbst wenn die Eingabe als Beschwerde in Zivilsachen entgegen genommen wird, ist sie - wie nachfolgend gezeigt wird - abzuweisen, soweit darauf überhaupt eingetreten werden kann.
2.
2.1. Mit Beschwerde in Zivilsachen können Rechtsverletzungen nach Art. 95 und 96 BGG gerügt werden. Die Beschwerde ist hinreichend zu begründen, andernfalls wird darauf nicht eingetreten (<ref-ruling> E. 2.1). In der Beschwerdeschrift ist in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt (<ref-law>). Unerlässlich ist, dass die Beschwerde auf die Begründung des angefochtenen Entscheids eingeht und im Einzelnen aufzeigt, worin eine Verletzung von Bundesrecht liegt. Die beschwerdeführende Partei soll in der Beschwerdeschrift nicht bloss die Rechtsstandpunkte, die sie im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit ihrer Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (<ref-ruling> E. 2 S. 89, 115 E. 2 S. 116).
2.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Dazu gehören sowohl die Feststellungen über den streitgegenständlichen Lebenssachverhalt als auch jene über den Ablauf des vor- und erstinstanzlichen Verfahrens, also die Feststellungen über den Prozesssachverhalt (<ref-ruling> E. 1.3.1 mit Hinweisen). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 2 S. 117; <ref-ruling> E. 1.5). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein können (<ref-law>).
Für eine Kritik am festgestellten Sachverhalt gilt das strenge Rügeprinzip von <ref-law> (<ref-ruling> E. 2.3 mit Hinweisen). Die Partei, welche die Sachverhaltsfeststellung der Vorinstanz anfechten will, muss klar und substanziiert aufzeigen, inwiefern diese Voraussetzungen erfüllt sein sollen (<ref-ruling> E. 1.3.1 mit Hinweisen). Wenn sie den Sachverhalt ergänzen will, hat sie zudem mit präzisen Aktenhinweisen darzulegen, dass sie entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (<ref-ruling> E. 2). Genügt die Kritik diesen Anforderungen nicht, können Vorbringen mit Bezug auf einen Sachverhalt, der vom angefochtenen Entscheid abweicht, nicht berücksichtigt werden (<ref-ruling> E. 1.3.1).
3.
3.1. Der Beschwerdeführer schildert unter dem Titel "Sachverhalt" seine eigene Sicht der Dinge und geht dabei frei über den vorinstanzlich festgestellten Sachverhalt hinaus, ohne eine hinreichende Sachverhaltsrüge nach den oben genannten Anforderungen zu erheben (Erwägung 2.2). Darauf kann er sich im Folgenden nicht stützen.
3.2. Der Beschwerdeführer macht eine Verletzung seines Anspruchs auf rechtliches Gehör geltend, da ihm die Vorinstanz keine Gelegenheit gegeben habe, in das Schreiben der FINMA vom 16. April 2021 an das Handelsregisteramt (act. 7/5 im vorinstanzlichen Verfahren) Einsicht zu nehmen. Da ihm das Schreiben vorenthalten worden sei, sei die angefochtene Handelsregistermutation nicht nur anfechtbar, sondern nichtig. Sodann liege eine überraschende Rechtsanwendung vor.
Diese Rügen gehen fehl. Im genannten Schreiben forderte die FINMA das Handelsregisteramt auf, den ordnungsgemässen Zustand wiederherzustellen und die C._ AG als Liquidatorin einzutragen. Dem kam das Handelsregisteramt mit Verfügung vom 23. April 2021 nach. Dagegen erhob der Beschwerdeführer mit Eingabe vom 26. Mai 2021 Beschwerde an die Vorinstanz. Das Handelsregisteramt reichte in der Folge eine Beschwerdeantwort (act. 6) samt Beilagen (act. 7) ein, wogegen der Beschwerdeführer mit Eingabe vom 12. Juli 2021 Stellung bezog (act. 8). Im Rahmen des vorinstanzlichen Verfahrens hätte der Beschwerdeführer somit ohne Weiteres ein Gesuch um Akteneinsicht stellen und Einsicht in die vom Handelsregisteramt eingereichten Beilagen (act. 7) samt Schreiben der FINMA (act. 7/5) nehmen können. Dass er solches gemacht hätte, und ihm die Vorinstanz die Einsicht zu Unrecht verweigert hätte, ist weder dargetan noch ersichtlich. Eine Verletzung des Anspruchs auf rechtliches Gehör ist damit nicht dargetan.
Inwiefern eine überraschende Rechtsanwendung vorliegen würde oder die Handelsregistermutation nichtig wäre, legt der Beschwerdeführer mit seinen Ausführungen nicht hinreichend dar (Erwägung 2.1).
3.3. Bereits vor der Vorinstanz machte der Beschwerdeführer geltend, dass bei der von ihm beanstandeten Mutation im Handelsregister das sog. Belegprinzip verletzt worden sei. Die Vorinstanz ging auf diesen Standpunkt ein und kam zusammengefasst zum Ergebnis, dass bereits eine rechtskräftige Verfügung der FINMA vorliege, die als Beleg diene und beim Handelsregisteramt hinterlegt sei. Das Belegprinzip sei nicht verletzt.
Dagegen wiederholt der Beschwerdeführer zwar, dass das Belegprinzip verletzt sei, die Vorinstanz gegen <ref-law>, gegen das Prinzip des "Beanstandungsgrundsatzes für Formelles und Materielles" und gegen eine Vielzahl von Bestimmungen der Handelsregisterverordnung verstossen habe. Er setzt sich aber nicht hinreichend mit den Erwägungen der Vorinstanz auseinander, noch zeigt er nachvollziehbar auf, inwiefern die Vorinstanz diesbezüglich Bundesrecht verletzt haben soll (Erwägung 2.1).
3.4. Der Beschwerdeführer stellt sich auf den Standpunkt, dass sich die FINMA und die von ihr eingesetzte Liquidatorin C._ AG widersprüchlich verhalten haben. Auch die Vorinstanz räume ein, dass "augenscheinlich ein widersprüchliches Verhalten" der FINMA und der C._ AG vorliege.
Mit diesen pauschalen Behauptungen erhebt der Beschwerdeführer keine hinreichende Rüge (Erwägung 2.1). Im Übrigen stellte die Vorinstanz nicht fest, dass sich die FINMA und die C._ AG widersprüchlich verhalten hätten, sondern erwog im Gegenteil, dass entgegen der Auffassung des Beschwerdeführers kein grob widersprüchliches Verhalten der FINMA und der C._ AG vorliege und die entsprechende Rüge des Beschwerdeführers fehl gehe.
4.
Nach dem Ausgeführten ist die Beschwerde abzuweisen, soweit darauf überhaupt eingetreten werden kann.
Bei diesem Ausgang des Verfahrens wird der Beschwerdeführer kostenpflichtig (<ref-law>). Dem Beschwerdegegner ist keine Parteientschädigung zuzusprechen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien und dem Verwaltungsgericht des Kantons Zürich, 4. Kammer, schriftlich mitgeteilt.
Lausanne, 29. März 2022
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Brugger