Erwägungen:
1.
1.1. A._ war an zahlreichen Verfahren vor Zürcher Gerichten und Behörden der Strafverfolgung beteiligt, in denen ihm Kosten auferlegt wurden. Am 23. Juli 2020 liess er der Zentralen Inkassostelle der Gerichte des Kantons Zürich (nachfolgend: die Inkassostelle) eine "Aufforderung zu Kompletterlass CHF 30'719.20" zukommen. Die Inkassostelle unterbreitete dieses Erlassgesuch der dafür zuständigen Verwaltungskommission des Obergerichts des Kantons Zürich (nachfolgend: die Verwaltungskommission des Obergerichts); zudem wies sie darauf hin, dass in der Zwischenzeit fünf weitere Positionen über insgesamt Fr. 4'101.-- hinzugekommen seien.
1.2. Die Verwaltungskommission des Obergerichts wies das Gesuch A._ um Kostenerlass mit Entscheid vom 19. Februar 2021 ab, soweit sie darauf eintrat. Der Entscheid der Verwaltungskommission des Obergerichts wurde A._ am 5. März 2021 zugestellt.
1.3. Gegen den Entscheid der Verwaltungskommission des Obergerichts gelangte A._ mit elektronischer Eingabe vom 20. April 2021 an die Rekurskommission des Obergerichts des Kantons Zürich (nachfolgend: die Rekurskommission des Obergerichts). Mit Beschluss vom 14. Mai 2021 wies die Rekurskommission des Obergerichts ein mit dem Rechtsmittel eingereichtes Fristwiederherstellungsgesuch ab und erliess wegen verspäteter Rechtsmittelerhebung einen Nichteintretensentscheid.
Die Rekurskommission des Obergerichts erwog, die Gerichtsferien des Zivilprozesses würden im Verwaltungsverfahren nicht gelten; allerdings seien Verwaltungs- und Rekurskommission Organe des Obergerichts, weshalb es sich nach Treu und Glauben aufdränge, in der Rechtsmittelbelehrung auf den Nicht-Stillstand hinzuweisen. Dies sei im vorliegenden Fall nicht geschehen, weshalb sich die Rechtsmittelfrist um die Oster-Gerichtsferien verlängert habe. Die Rekursfrist sei damit am Montag, 19. April 2021 abgelaufen. Der 19. April 2021 sei der Tag des Zürcher Sechseläutens gewesen. Das Sechseläuten sei kein kantonaler Feier- oder öffentlicher Ruhetag, und zwar auch nicht in der Stadt Zürich. Der Rekurs sei demnach verspätet erfolgt (E. 2.1). Gründe für eine Wiederherstellung der Frist seien nicht ersichtlich (E. 2.2). Sodann wies die Rekurskommission des Obergerichts in einer Eventualerwägung darauf hin, dass dem Rechtsmittel A._ auch in der Sache kein Erfolg beschieden gewesen wäre (E. 3). Ein Gesuch A._ um Gewährung der unentgeltlichen Rechtspflege und Verbeiständung wies die Rekurskommission des Obergerichts zufolge Aussichtslosigkeit ab (E. 4).
2.
Mit Eingabe vom 24. Juni 2021 erhebt A._ Beschwerde an das Bundesgericht und beantragt - wohl für das Verfahren vor der Rekurskommission des Obergerichts - die unentgeltliche Rechtspflege und die Beiordnung eines unentgeltlichen Rechtsbeistands. Er habe als Laie keinerlei Chancen gehabt, seine Rechte ohne Rechtsanwalt durchsetzen zu können. Aussichtslosigkeit könne nicht gegeben sein, solange nicht ein gelehrter Rechtsanwalt eine Eingabe für ihn an das Bundesgericht habe einreichen können.
3.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist unzulässig gegen Entscheide über die Stundung oder den Erlass von Abgaben (Art. 83 lit. m Teilsatz 1 BGG), wozu auch der Erlass von Verfahrenskosten gehört (vgl. Urteil 2D_2/2018 vom 2. August 2018 E. 2.1). Die Eingabe des Beschwerdeführers ist deshalb als subsidiäre Verfassungsbeschwerde entgegenzunehmen.
4.
Mit der subsidiären Verfassungsbeschwerde kann ausschliesslich die Verletzung verfassungsmässiger Individualrechte gerügt werden (Art. 116 BGG). Dazu gehört unter anderem Art. 29 Abs. 3 BV, der unter bestimmten Voraussetzungen (vgl. dazu statt vieler Urteil 2C_367/2020 vom 7. Oktober 2020 E. 3.1) einen verfassungsrechtlichen Anspruch auf unentgeltliche Rechtspflege und amtliche Verbeiständung statuiert. Eine Verletzung dieser Bestimmung muss allerdings substanziiert gerügt werden (Art. 117 in Verbindung mit Art. 106 Abs. 2 BGG). Eine solche Rüge enthält die Eingabe des Beschwerdeführers (selbst unter Berücksichtigung des Umstands, dass er keinen professionellen Rechtsvertreter mandatiert hat) nicht. Der Beschwerdeführer legt nicht dar, dass die Vorinstanz auf seine Eingabe hätte eintreten müssen bzw. sein (sinngemäss gestelltes) Fristwiederherstellungsgesuch hätte gutheissen müssen; insofern ist zum vornherein nicht ersichtlich, dass seiner Eingabe vom 20. April 2021 die unter dem Gesichtspunkt von Art. 29 Abs. 3 BV erforderlichen Erfolgsaussichten zugekommen wären. Aber auch in der Sache selbst enthält die Eingabe des Beschwerdeführers an das Bundesgericht keine Ausführungen, die darauf schliessen liessen, dass sein Rechtsmittel an die Rekurskommission des Obergerichts die erforderlichen Erfolgsaussichten gehabt hätte.
Damit fehlt es der vorliegenden Beschwerde an einer hinreichenden Begründung. Darauf ist im vereinfachten Verfahren nicht einzutreten (Art. 108 Abs. 1 lit. b BGG).
5.
Angesichts der Umstände rechtfertigt es sich, auf die Erhebung von Gerichtskosten zu verzichten (Art. 66 Abs. 1 BGG). Soweit der Beschwerdeführer mit seinem unklaren Rechtsbegehren (auch) für das bundesgerichtliche Verfahren um unentgeltliche Rechtspflege ersucht haben sollte, würde dieses Begehren damit gegenstandslos. Einem allfälligen Begehren, ihm einen unentgeltlichen Rechtsbeistand beizugeben, könnte wegen der Aussichtslosigkeit der Beschwerde nicht entsprochen werden (Art. 64 Abs. 1 und 2 BGG e contrario).
Demnach erkennt der Präsident:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Es werden keine Kosten erhoben.
3.
Dieses Urteil wird den Verfahrensbeteiligten und dem Obergericht des Kantons Zürich, Rekurskommission, schriftlich mitgeteilt.
Lausanne, 12. Juli 2021
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Der Gerichtsschreiber: Brunner