Erwägungen:
1. Das Departement für Justiz und Sicherheit des Kantons Thurgau trat am 31. Oktober 2007 auf eine Beschwerde von X._ nicht ein und auferlegte ihm eine Verfahrensgebühr von Fr. 300.--. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Thurgau am 19. Dezember 2007 ab, wobei es ebenfalls eine Verfahrensgebühr von Fr. 300.-- festlegte. In der Folge ersuchte X._ um Erlass der vorerwähnten Verfahrensgebühren. Das Departement für Finanzen und Soziales des Kantons Thurgau wies das Erlassgesuch am 18. Februar 2008 ab, wobei es keine Kosten erhob; die gegen diesen Entscheid erhobene Beschwerde wies das Verwaltungsgericht des Kantons Thurgau unter Verzicht auf die Erhebung einer Verfahrensgebühr am 30. April 2008 ab.
Mit Schreiben vom 6. Juni (Postaufgabe 7. Juni) 2008 beschwert sich X._ beim Bundesgericht über den Entscheid des Verwaltungsgerichts. Die Eingabe kann einzig als subsidiäre Verfassungsbeschwerde betrachtet werden, da die Beschwerde in öffentlich-rechtlichen Angelegenheiten in diesem die Stundung oder den Erlass einer Gebühr betreffenden Rechtsstreit unzulässig ist (vgl. <ref-law>). Es ist weder ein Schriftenwechsel noch sind andere Instruktionsmassnahmen angeordnet worden.
2. Mit der subsidiären Verfassungsbeschwerde kann gemäss <ref-law> bloss die Verletzung von verfassungsmässigen Rechten gerügt werden. Dabei ist in der Beschwerdeschrift darzulegen, welche verfassungsmässigen Rechte und inwiefern sie durch den angefochtenen Entscheid verletzt worden sein sollen (Art. 42 Abs. 2 in Verbindung mit <ref-law>).
Das Verwaltungsgericht stützt seinen Entscheid auf § 7 der Verordnungen des Thurgauer Grossen Rates vom 16. Dezember 1992 über die Gebühren der kantonalen Verwaltungsbehörden sowie auf § 5 der grossrätlichen Verordnung vom 13. Mai 1992 über die Gebühren der Strafuntersuchungs- und Gerichtsgebühren. Nach beiden Bestimmungen kann das Departement für Finanzen und Soziales rechtskräftig festgesetzte Gebühren erlassen oder stunden, wenn ihre Bezahlung für den Schuldner unmöglich ist oder eine grosse Härte bedeuten würde. Das Verwaltungsgericht legt diese Bestimmungen so aus, dass ein Erlass von Gebühren unter anderem nur unter der Voraussetzung zu gewähren sei, dass der Schuldner nach dem Erlass schuldenfrei dastehe. Auf diese Interpretation des kantonalen Rechts geht der Beschwerdeführer mit keinem Wort ein; insbesondere nennt er kein verfassungsmässiges Recht, das durch diese Regelanwendung verletzt worden sein könnte.
Die Beschwerde enthält mithin offensichtlich keine hinreichende Begründung, und es ist darauf im vereinfachten Verfahren nicht einzutreten (vgl. <ref-law>).
Diesem Verfahrensausgang entsprechend sind die Gerichtskosten (<ref-law>) dem Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt der Präsident:
1. Auf die Beschwerde wird nicht eingetreten.
2. Die Gerichtskosten von Fr. 200.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer sowie dem Departement für Finanzen und Soziales und dem Verwaltungsgericht des Kantons Thurgau schriftlich mitgeteilt.
Lausanne, 11. Juni 2008
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Merkli Feller