Erwägungen:
1.
Mit Verfügung vom 15. Juni 2021 wies das Obergericht des Kantons Solothurn ein Gesuch des Beschwerdeführers um Erlass der ihm in einem Rechtsöffnungsverfahren auferlegten Gerichtskosten von Fr. 450.-- (Urteil vom 20. Juli 2016) ab.
Gegen diese Verfügung hat der Beschwerdeführer am 7. Juli 2021 Beschwerde an das Bundesgericht erhoben. Am 24. Juli, 10. August, 24. August und 1. September 2021 hat er weitere Eingaben eingereicht. Das Bundesgericht hat die Akten beigezogen.
2.
Aufgrund des unter Fr. 30'000.-- liegenden Streitwerts (<ref-law>) und mangels Vorliegens einer Rechtsfrage von grundsätzlicher Bedeutung (<ref-law>) ist die Eingabe als subsidiäre Verfassungsbeschwerde entgegenzunehmen (<ref-law>). Mit ihr kann einzig die Verletzung verfassungsmässiger Rechte gerügt werden (<ref-law>). Verfassungsrügen müssen gemäss dem strengen Rügeprinzip von Art. 117 i.V.m. <ref-law> in der Beschwerde präzise vorgebracht und begründet werden. Dies bedeutet, dass anhand der Erwägungen des angefochtenen Entscheids klar und detailliert darzulegen ist, inwiefern verfassungsmässige Rechte verletzt worden sein sollen (<ref-ruling> E. 3.1 S. 399; <ref-ruling> E. 2.4 S. 368). Die Begründung muss in der Beschwerde selber enthalten sein und es genügt nicht, auf andere Rechtsschriften oder die Akten zu verweisen (<ref-ruling> E. 1.2.3 S. 286; <ref-ruling> E. 3.2 S. 258; <ref-ruling> E. 3.1 S. 400). Soweit der Beschwerdeführer auf Briefe an das Obergericht verweist, ist darauf nicht einzugehen.
3.
Das Obergericht hat das Erlassgesuch abgewiesen, da es im Urteil vom 20. Juli 2016 das vom Beschwerdeführer gestellte Gesuch um unentgeltliche Rechtspflege wegen Aussichtslosigkeit der Beschwerde abgewiesen habe. Ein nachträglicher Erlass oder eine Stundung der Verfahrenskosten sei ausgeschlossen, wenn die unentgeltliche Rechtspflege wegen Aussichtslosigkeit verweigert worden sei.
4.
Der Beschwerdeführer geht auf diese Erwägungen nicht ein und er legt nicht dar, inwiefern diese gegen verfassungsmässige Rechte verstossen sollen. Insbesondere genügt es den strengen Rügeanforderungen nicht, in abstrakter Weise von Willkür oder Befangenheiten zu sprechen. Im Wesentlichen wirft er dem Obergericht vor, es weigere sich, ihm eine Begründung des Entscheides zu senden. Wie sich insbesondere aus seiner nachträglichen Eingabe vom 28. Juni 2021 (Postaufgabe 29. Juni 2021) an das Obergericht ergibt, hat er den angefochtenen Entscheid jedoch sehr wohl vollständig, d.h. inklusive Begründung, erhalten.
Die Beschwerde enthält damit offensichtlich keine hinreichende Begründung. Auf sie ist im vereinfachten Verfahren durch das präsidierende Mitglied der Abteilung nicht einzutreten (Art. 117 i.V.m. <ref-law>).
5.
Bei diesem Ausgang des Verfahrens trägt der Beschwerdeführer die Gerichtskosten (<ref-law>).

Demnach erkennt das präsidierende Mitglied:
1.
Auf die Verfassungsbeschwerde wird nicht eingetreten.
2.
Die Gerichtskosten von Fr. 300.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien schriftlich mitgeteilt.
Lausanne, 2. September 2021
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Escher
Der Gerichtsschreiber: Zingg