Erwägungen:
1. Das Finanzdepartement des Kantons Solothurn hat die Gesuche abgewiesen, mit denen X._ für verschiedene Verfahren den Erlass von Gerichtskosten im Gesamtbetrag von 2'835 Franken verlangte (Entscheid vom 27. Mai 2008), was das Verwaltungsgericht des Kantons Solothurn auf Beschwerde hin schützte (Urteil vom 24. Juni 2008).
2. 2.1 Am 17. Juli 2008 hat X._ beim Bundesgericht - der dahingehenden Rechtsmittelbelehrung folgend - Beschwerde in öffentlich-rechtlichen Angelegenheiten eingereicht. Dieses Rechtsmittel steht gegen Entscheide über Steuern und Abgaben zur Verfügung (<ref-law>), ausser es liegt ein Fall der Ausnahmebestimmung von <ref-law> vor: Gemäss dieser ist die Beschwerde gegen "Entscheide über die Stundung oder den Erlass von Abgaben" ausgeschlossen. Da es vorliegend um den Erlass von Gerichtsgebühren - mithin Abgaben - geht, unterliegt der angefochtene Verwaltungsgerichtsentscheid nicht der Beschwerde in öffentlich-rechtlichen Angelegenheiten.
2.2 Die Eingabe des Beschwerdeführers kann auch nicht als subsidiäre Verfassungsbeschwerde entgegen genommen werden: Dieses Rechtsmittel steht an sich dann zur Verfügung, wenn gegen Entscheide letzter kantonaler Instanzen keine ordentliche Beschwerde ans Bundesgericht (vgl. Art. 72-89 BGG) zulässig ist. Die Legitimation zur subsidiären Verfassungsbeschwerde setzt allerdings ein rechtlich geschütztes Interesse des Beschwerdeführers an der Aufhebung oder Änderung des angefochtenen Entscheids voraus (<ref-law>). Nachdem mit diesem Rechtsmittel einzig die Verletzung verfassungsmässiger Rechte geltend gemacht werden kann (vgl. <ref-law>), kommt zur Anfechtung eines Erlassentscheids regelmässig nur die Anrufung des Willkürverbots in Frage (<ref-law>; vgl. <ref-ruling> E. 5a S. 70). Dieses verschafft für sich allein kein rechtlich geschütztes Interesse im Sinne von <ref-law>. Zur Willkürrüge ist deshalb bloss derjenige legitimiert, der sich auf eine gesetzliche Norm berufen kann, die ihm im Bereich seiner betroffenen und angeblich verletzten Interessen einen Rechtsanspruch einräumt (<ref-ruling>).
Ein entsprechender Rechtsanspruch auf Erlass der Gerichtsgebühren besteht vorliegend nicht: Gemäss § 14 Abs. 1 des einschlägigen Solothurner Gebührentarifs (GebT; BGS 615.11) "können die geschuldeten Beträge ganz oder teilweise erlassen werden", wenn "der Steuerpflichtige durch besondere Verhältnisse wie Naturereignisse, Todesfall, Unglück, Krankheit, Arbeitslosigkeit, geschäftliche Rückschläge [...] in seiner Zahlungsfähigkeit stark beeinträchtigt" ist oder die "Bezahlung einer Gebühr, eines Zinses oder des Auslagenersatzes zur grossen Härte würde". Zwar scheint das Verwaltungsgericht im angefochtenen Entscheid gestützt auf diese Bestimmung davon auszugehen, dass ein Anspruch auf Erlass der Gebühren bestehe, wenn die gesetzlichen Voraussetzungen erfüllt seien. Das ändert jedoch nichts daran, dass sich aus § 14 GebT ebenso wenig wie aus der Regelung über den Steuererlass (vgl. § 182 Abs. 1 StG/SO sowie die zugehörige Steuerverordnung Nr. 11 vom 13. Mai 1986 über Zahlungserleichterungen, Erlass und Abschreibungen; Urteil 2D_133/2007 vom 26. Februar 2008 i.S. F.), welcher die vorliegende Bestimmung wörtlich nachgebildet ist, genau ergibt, unter welchen Voraussetzungen dem Betroffenen der beantragte Vorteil zu gewähren ist (vgl. <ref-ruling> E. 2c S. 94 f.). Die Behörde, welche über das Erlassgesuch entscheidet, hat vielmehr eine Interessenabwägung vorzunehmen, welche im Rahmen der geschilderten gesetzlichen Erlassgründe so oder anders ausfallen kann. Mit der gewählten "Kann"-Formulierung räumt das anwendbare kantonale Recht dem Beschwerdeführer gerade keinen eigentlichen Rechtsanspruch auf einen Gebührenerlass ein, sondern gewährt den zuständigen Behörden beim Entscheid über sein entsprechendes Gesuch bewusst einen weiten Spielraum (vgl. <ref-ruling> E. 1 S. 374 f.; Urteil 2D_133/2007 vom 26. Februar 2008 i.S. F.).
3. 3.1 Nach dem Gesagten unterliegt der angefochtene Entscheid weder der Beschwerde in öffentlich-rechtlichen Angelegenheiten noch der subsidiären Verfassungsbeschwerde. Die Eingabe des Beschwerdeführers ist damit offensichtlich unzulässig, weshalb auf sie ist im vereinfachten Verfahren nach <ref-law> nicht einzutreten ist, ohne dass Akten oder Vernehmlassungen einzuholen wären.
3.2 Bei diesem Ausgang des Verfahrens wird der Beschwerdeführer kostenpflichtig (vgl. <ref-law>). Er wurde vorliegend jedoch durch die falsche Rechtsmittelbelehrung des angefochtenen Entscheids zur Einreichung des unzulässigen Rechtsmittels verleitet, weshalb ausnahmsweise von der Erhebung von Gerichtskosten abzusehen ist. Parteientschädigung ist keine auszurichten (vgl. <ref-law>).

Demnach erkennt das präsidierende Mitglied:
1. Auf die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird nicht eingetreten.
2. Es werden keine Kosten erhoben.
3. Dieses Urteil wird dem Beschwerdeführer sowie dem Finanzdepartement und dem Verwaltungsgericht des Kantons Solothurn schriftlich mitgeteilt.
Lausanne, 25. Juli 2008
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Der Gerichtsschreiber:
Hungerbühler Häberli