Sachverhalt:
A.
In einer von der Staatsanwaltschaft I des Kantons Zürich geführten Strafuntersuchung fand am 19. Dezember 2019 eine Konfrontationseinvernahme der beiden Beschuldigten statt. In deren Verlauf drohte der untersuchungsführende Staatsanwalt A. Kaegi, dem Verteidiger einer der beiden Beschuldigten, Rechtsanwalt A._, die Disziplinierung mit einer Ordnungsbusse (<ref-law>) an. Gleichentags stellte Rechtsanwalt A._ namens seiner Mandantin schriftlich ein Ausstandsgesuch gegen Staatsanwalt Kaegi.
Mit Eingabe vom 20. Dezember 2019 teilte Rechtsanwalt Gubler der Staatsanwaltschaft mit, betreffend die angedrohte Disziplinierung die Interessen des Beschwerdeführers, Rechtsanwalt A._, zu vertreten. Er ersuchte um Einräumung einer Frist von 20 Tagen zur Stellungnahme. Da sein Gesuch unbeantwortet geblieben sei, reichte er der Staatsanwaltschaft am 7. Januar 2020 eine Stellungnahme ein. Am 21. Januar 2020 bat er die Staatsanwaltschaft um eine Stellungnahme zu seiner Eingabe vom 7. Januar 2020 innert zehn Tagen. Am 28. Januar 2020 teilte Staatsanwalt Kaegi dem Beschwerdeführer mit, dass das Verfahren betreffend Disziplinarmassnahmen/Ordnungsbusse gegen ihn einstweilen sistiert werde, bis ein Entscheid des Obergerichts des Kantons Zürich über das Ausstandsgesuch vorliege. Mit Beschluss der Kammer vom 27. März 2020 hiess dieses das betreffende Ausstandsgesuch gegen Staatsanwalt Kaegi gut. Mit Schreiben vom 4. Mai 2020 teilte Staatsanwalt Wyss dem Beschwerdeführer mit, er habe die Strafuntersuchung von Staatsanwalt Kaegi übernommen und sehe hinsichtlich der angedrohten Disziplinarmassnahmen keine weiteren Schritte vor.
Am 5. Mai 2020 liess Rechtsanwalt Gubler der Staatsanwaltschaft eine Honorarrechnung über insgesamt 3'432.20 Franken für seine anwaltlichen Bemühungen zukommen. Mit Schreiben vom 12. Mai 2020 lehnte die Staatsanwaltschaft die Entschädigung der geltend gemachten Aufwendungen ab.
B.
Dagegen gelangte Rechtsanwalt A._ am 25. Mai 2020 ans Obergericht, das die Beschwerde mit Verfügung vom 5. Februar 2021 abwies.
C.
Mit Eingabe vom 11. März 2021 erhebt der Beschwerdeführer gegen diese Verfügung des Obergerichts Beschwerde in Strafsachen beim Bundesgericht. Er beantragt, die Verfügung vom 5. Februar 2021 aufzuheben und festzustellen, dass das rechtliche Gehör des Beschwerdeführers verletzt wurde. Weiter sei dem Beschwerdeführer eine Entschädigung von CHF 3'432.20 zuzusprechen. Allenfalls sei die Angelegenheit zur Festsetzung der Entschädigung an die Vorinstanz zurückzuweisen.
Die Staatsanwaltschaft I des Kantons Zürich beantragt, die Beschwerde abzuweisen. Das Obergericht verzichtet auf Stellungnahme.

Erwägungen:
1.
1.1. Die Ordnungsbusse wurde dem Beschwerdeführer gestützt auf <ref-law> in einem Strafverfahren angedroht. Gegen den angefochtenen Entscheid ist damit gemäss <ref-law> die Beschwerde in Strafsachen grundsätzlich gegeben.
Ein kantonales Rechtsmittel steht nicht zur Verfügung. Die Beschwerde ist gemäss <ref-law> zulässig.
Der Beschwerdeführer hat am Verfahren vor der Vorinstanz teilgenommen und ein rechtlich geschütztes Interesse an der Aufhebung des angefochtenen Entscheids. Er ist deshalb nach <ref-law> zur Beschwerde befugt.
1.2. Mit dem angefochtenen Beschluss wird das Strafverfahren, in welchem die ihm zugrundeliegenden streitigen Akte ergangen sind, nicht abgeschlossen. Es handelt sich mithin entgegen der Ansicht des Beschwerdeführers um einen Zwischenentscheid (vgl. die Urteile des Bundesgerichts 1B_99/2021 vom 8. März 2021 E. 2 mit Hinweis; 1B_321/2015 vom 8. Juni 2016 E. 1.4; 1B_196/2010 vom 18. November 2010 E. 1). Gegen einen solchen ist die Beschwerde zulässig, wenn er einen nicht wieder gutzumachenden Nachteil rechtlicher Natur (<ref-ruling> E. 3.6 S. 326 f.; <ref-ruling> E. 4) bewirken könnte (<ref-law>) oder wenn die Gutheissung der Beschwerde sofort einen Endentscheid herbeiführen und damit einen bedeutenden Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren ersparen würde (<ref-law>). Die zweite Voraussetzung fällt vorliegend ausser Betracht. Die Beschwerdevoraussetzungen nach <ref-law> sollen das Bundesgericht entlasten; dieses soll sich wenn möglich nur einmal mit einer Sache befassen (<ref-ruling> E. 1.3.2 S. 34). Der Beschwerdeführer kann mit dem Endentscheid auch den vorinstanzlichen Zwischenentscheid anfechten. Das Bundesgericht sieht in Fällen, in denen es um Entschädigung geht, vom Erfordernis nach <ref-law> ab, wonach der Zwischenentscheid mit Beschwerde gegen den Endentscheid nur anfechtbar ist, soweit er sich auf dessen Inhalt auswirken kann (Urteile des Bundesgerichts 1B_592/2019 vom 16. Januar 2020 E. 2.2.2; 2C_759/2008 vom 6. März 2009 E. 2.4 ff. mit Hinweisen).
Nach ständiger Praxis hat der Beschwerdeführer im Einzelnen darzulegen, inwiefern die Beschwerdevoraussetzungen nach <ref-law> erfüllt sind, ansonsten auf die Beschwerde mangels hinreichender Begründung nicht einzutreten ist (<ref-ruling> E. 2.3 S. 287; 289 E. 1.3 S. 292). Der Beschwerdeführer äussert sich nicht zu den Beschwerdevoraussetzungen nach <ref-law>. Diese sind auch nicht offensichtlich gegeben.
1.3. Auf die Beschwerde ist nicht einzutreten.
2.
Auf eine Kostenauflage ist zu verzichten (vgl. <ref-law>).

Demnach erkennt das Bundesgericht:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Es werden keine Kosten erhoben.
3.
Dieses Urteil wird dem Beschwerdeführer, der Staatsanwaltschaft I des Kantons Zürich und dem Obergericht des Kantons Zürich, III. Strafkammer, schriftlich mitgeteilt.
Lausanne, 22. Dezember 2021
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Chaix
Der Gerichtsschreiber: Bisaz