Mahngebühren, hat sich ergeben: A.- Mit einer "1. Mahnung" vom 15. Mai 2000 wurde Z._ vom Steuerregisterführer der Einwohnergemeinde A._ aufgefordert, innert acht Tagen die "Steuererklärung mit Beilagen per 2000" einzureichen. Gleichzeitig teilte der Registerführer mit, für diese Mahnung sei eine Gebühr von Fr. 50.-- geschuldet, welche separat in Rechnung gestellt werde. Eine zweite Mahnung, wofür die Gemeinde wiederum die Erhebung einer Gebühr von Fr. 50.-- in Aussicht stellte, wurde am 13. Juni 2000 versandt. Nachdem die Steuererklärung inzwischen eingegangen war, stellte die Einwohnergemeindeverwaltung A._ am 27. Juli 2000 Rechnung (betreffend die beiden Mahnungen) im Gesamtbetrag von Fr. 100.--. Eine Einsprache gegen die beschwerdefähige Verfügung, die Z._ in der Folge verlangt hatte, wies die Gemeinderatskommission der Einwohnergemeinde A._ am 6. November 2000 ab. Gegen den Einsprache-Entscheid erhob Z._ Beschwerde an den Regierungsrat des Kantons Solothurn. Er machte geltend, bei den Mahngebühren handle es sich eigentlich um Bussen, für deren Erhebung eine gesetzliche Grundlage fehle. Selbst wenn man diese Bussen als Kanzleigebühren bezeichnen wolle, wäre das Kostendeckungs- und das Äquivalenzprinzip verletzt. Am 19. Februar 2001 wies der Regierungsrat des Kantons Solothurn die Beschwerde ab und auferlegte Z._ Verfahrenskosten von Fr. 600.--. Auf eine gegen diesen Entscheid gerichtete Beschwerde trat das Verwaltungsgericht des Kantons Solothurn am 15. März 2001 nicht ein. B.- Mit Eingabe vom 29. März 2001 führt Z._ staatsrechtliche Beschwerde beim Bundesgericht. Er verlangt, der regierungsrätliche Beschwerdeentscheid vom 19. Februar 2001 sei aufzuheben. Die Einwohnergemeinde A._ beantragt, die Beschwerde abzuweisen, soweit darauf einzutreten sei. Das Finanzdepartement schliesst namens des Regierungsrates auf Abweisung der Beschwerde. Das vom Bundesgericht (auf Grund eines Kanzleiversehens) ebenfalls zur Vernehmlassung eingeladene Verwaltungsgericht des Kantons Solothurn beantragt, die Beschwerde abzuweisen, soweit darauf eingetreten werden könne.