Erwägungen:
1.
1.1. A._ schuldet der Zürcher Justiz Fr. 70'768.95 aus über 60 Verfahren aus den Jahren 2006 bis 2020. Am 11. September 2020 wandte er sich an die Zentrale Inkassostelle der Gerichte und ersuchte um Erlass aller offenen Forderungen. Mit Verfügung vom 17. Dezember 2020 lehnte der Präsident des Obergerichts des Kantons Zürich das Erlassgesuch (vorläufig) ab. Die daraufhin angerufene Verwaltungskommission wies das Gesuch am 1. März 2021 ab, soweit sie darauf eintrat. Den dagegen erhobenen Rekurs wies die Rekurskommission des Obergerichts mit Urteil vom 26. April 2021 ab.
1.2. Mit Beschwerde vom 25. Mai 2021 wendet sich A._ an das Bundesgericht und beanstandet im Wesentlichen den verweigerten Kostenerlass sowie die kantonalen Verfahrenskosten. Zudem ersucht er um unentgeltliche Rechtspflege und Verbeiständung. Das Bundesgericht hat keine Instruktionsmassnahmen verfügt.
2.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist unzulässig gegen Entscheide über die Stundung oder den Erlass von Abgaben (Art. 83 lit. m Teilsatz 1 BGG), wozu auch der Erlass von Verfahrenskosten gehört (vgl. Urteil 2D_2/2018 vom 2. August 2018 E. 2.1). Die Eingabe des Beschwerdeführers ist deshalb als subsidiäre Verfassungsbeschwerde entgegenzunehmen.
3.
3.1. Mit der subsidiären Verfassungsbeschwerde kann ausschliesslich die Verletzung verfassungsmässiger Individualrechte gerügt werden (Art. 116 BGG), wobei eine qualifizierte Rüge- und Begründungsobliegenheit besteht (Art. 117 in Verbindung mit Art. 106 Abs. 2 BGG).
3.2. Es ist unklar, in welchen Rechtsgebieten die über 60 Entscheide ergangen sind, die zu den noch offenen Kosten von über Fr. 70'000.-- geführt haben. Gemäss den Ausführungen des Beschwerdeführers sind Zivil-, Straf- und Verwaltungsverfahren betroffen und er beruft sich demgemäss für den Erlass auf Art. 112 Abs. 1 ZPO, Art. 425 StPO und kantonales Recht. Er behauptet aber weder substanziiert noch ist ersichtlich, dass er einen Rechtsanspruch auf Erlass der Verfahrenskosten besitzt (vgl. Urteil 2D_2/2018 vom 2. August 2018 E. 2.2 [Kanton Zürich]; siehe auch die "Kann"-Formulierungen in Art. 112 Abs. 1 ZPO bzw. Art. 425 StPO). Demgemäss kann der Beschwerdeführer alleine durch eine willkürliche Auslegung und/oder Anwendung von kantonalem Recht oder Bundesgesetzesrecht in keinen rechtlich geschützten Interessen betroffen sein (Art. 115 lit. b BGG; Urteile 2D_2/2018 vom 2. August 2018 E. 2.2; 2D_13/2018 vom 20. Februar 2018 E. 2.2). Fehlt ein rechtlich geschütztes Sachinteresse, kann der Beschwerdeführer mit der Verfassungsbeschwerde immerhin diejenigen Rechte als verletzt rügen, deren Missachtung auf eine formelle Rechtsverweigerung hinausläuft. Das erforderliche rechtlich geschützte Verfahrensinteresse ergibt sich diesfalls aus der Berechtigung der Partei, am Verfahren teilzunehmen und ihre Parteirechte auszuüben ("Star-Praxis"; BGE 141 IV 1 E. 1.1).
3.3. Der Beschwerdeführer bringt keine Verfassungsverletzungen vor, die im Zusammenhang mit der "Star-Praxis" zu hören wären. Seine Begründung geht vielmehr dahin, dass er dauerhaft mittellos sei und sich in einer Notlage befinde bzw. dass die kantonalen Verfahrenskosten nicht sozialverträglich und unangemessen hoch seien. Zwar rügt er in diesem Zusammenhang neben dem Willkürverbot auch die Verletzung von diversen Verfassungs- und Konventionsbestimmungen (Art. 5, 8, 29 ff., 35 BV sowie Art. 6, 13 und 14 EMRK), doch führt er nicht näher aus, inwieweit diese Bestimmungen verletzt worden sein sollen. Namentlich ist weder eine Verletzung des Rechts auf eine wirksame Beschwerde ersichtlich, nachdem sich mehrere kantonale Instanzen materiell mit dem Erlassgesuch befasst haben, noch kann dem Obergericht die Unabhängigkeit und Unparteilichkeit nach Art. 30 Abs. 1 BV abgesprochen werden, nur weil es (auch) über den Erlass von Ge-richtskosten aus eigenen Verfahren befunden hat.
3.4. Zusammenfassend mangelt es der Beschwerde an einer hinreichenden Begründung, soweit sie überhaupt zulässig ist. Darauf ist im vereinfachten Verfahren durch den Einzelrichter nicht einzutreten (Art. 108 Abs. 1 lit. a und b BGG).
4.
Es rechtfertigt sich, auf die Erhebung von Gerichtskosten zu verzichten (Art. 66 Abs. 1 BGG). Damit wird das Gesuch um unentgeltliche Rechtspflege gegenstandslos. Dem Antrag des Beschwerdeführers, ihm bei einer ungenügenden Beschwerdeeingabe einen unentgeltlichen Rechtsbeistand beizugeben, kann wegen der Aussichtslosigkeit der Beschwerde nicht entsprochen werden (Art. 64 Abs. 1 und 2 BGG e contrario).
Demnach erkennt der Präsident:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Das Gesuch um Beigabe eines unentgeltlichen Rechtsbeistands wird abgewiesen.
3.
Es werden keine Kosten erhoben.
4.
Dieses Urteil wird den Verfahrensbeteiligten und dem Obergericht des Kantons Zürich, Rekurskommission, schriftlich mitgeteilt.
Lausanne, 16. Juni 2021
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Der Gerichtsschreiber: Businger