Mahngebühren, hat sich ergeben:
A.- Mit einer "1. Mahnung" vom 15. Mai 2000 wurde Z._ vom Steuerregisterführer der Einwohnergemeinde A._ aufgefordert, innert acht Tagen die "Steuererklärung mit Beilagen per 2000" einzureichen. Gleichzeitig teilte der Registerführer mit, für diese Mahnung sei eine Gebühr von Fr. 50.-- geschuldet, welche separat in Rechnung gestellt werde. Eine zweite Mahnung, wofür die Gemeinde wiederum die Erhebung einer Gebühr von Fr. 50.-- in Aussicht stellte, wurde am 13. Juni 2000 versandt. Nachdem die Steuererklärung inzwischen eingegangen war, stellte die Einwohnergemeindeverwaltung A._ am 27. Juli 2000 Rechnung (betreffend die beiden Mahnungen) im Gesamtbetrag von Fr. 100.--. Eine Einsprache gegen die beschwerdefähige Verfügung, die Z._ in der Folge verlangt hatte, wies die Gemeinderatskommission der Einwohnergemeinde A._ am 6. November 2000 ab.
Gegen den Einsprache-Entscheid erhob Z._ Beschwerde an den Regierungsrat des Kantons Solothurn. Er machte geltend, bei den Mahngebühren handle es sich eigentlich um Bussen, für deren Erhebung eine gesetzliche Grundlage fehle. Selbst wenn man diese Bussen als Kanzleigebühren bezeichnen wolle, wäre das Kostendeckungs- und das Äquivalenzprinzip verletzt.
Am 19. Februar 2001 wies der Regierungsrat des Kantons Solothurn die Beschwerde ab und auferlegte Z._ Verfahrenskosten von Fr. 600.--.
Auf eine gegen diesen Entscheid gerichtete Beschwerde trat das Verwaltungsgericht des Kantons Solothurn am 15. März 2001 nicht ein.
B.- Mit Eingabe vom 29. März 2001 führt Z._ staatsrechtliche Beschwerde beim Bundesgericht. Er verlangt, der regierungsrätliche Beschwerdeentscheid vom 19. Februar 2001 sei aufzuheben.
Die Einwohnergemeinde A._ beantragt, die Beschwerde abzuweisen, soweit darauf einzutreten sei. Das Finanzdepartement schliesst namens des Regierungsrates auf Abweisung der Beschwerde. Das vom Bundesgericht (auf Grund eines Kanzleiversehens) ebenfalls zur Vernehmlassung eingeladene Verwaltungsgericht des Kantons Solothurn beantragt, die Beschwerde abzuweisen, soweit darauf eingetreten werden könne.

Das Bundesgericht zieht in Erwägung:
1.- a) Angefochten ist vorliegend lediglich der Entscheid des Regierungsrates vom 19. Februar 2001 (zugestellt am 27. Februar 2001), nicht auch der Nichteintretensentscheid des Verwaltungsgerichts vom 15. März 2001, den das Gericht gestützt auf § 49 lit. a des solothurnischen Gesetzes vom 13. März 1977 über die Gerichtsorganisation gefällt hatte. Danach ist die kantonale Verwaltungsgerichtsbeschwerde in einer Streitsache wie der vorliegenden unzulässig.
Beim regierungsrätlichen Entscheid vom 19. Februar 2001 handelt es sich somit um einen kantonal letztinstanzlichen Endentscheid, gegen den, da kein anderes eidgenössisches Rechtsmittel zur Verfügung steht, die staatsrechtliche Beschwerde zulässig ist (Art. 84 Abs. 2, Art. 86 Abs. 1 und Art. 87 OG). Der Beschwerdeführer ist hierzu legitimiert (Art. 88 OG).
b) Auf die staatsrechtliche Beschwerde ist nur soweit einzutreten, als sie den Begründungsanforderungen gemäss Art. 90 Abs. 1 lit. b OG genügt. Danach muss die Beschwerdeschrift die wesentlichen Tatsachen und eine kurz gefasste Darlegung darüber enthalten, welche verfassungsmässigen Rechte bzw. welche Rechtssätze inwiefern durch den angefochtenen Entscheid verletzt worden sind. Das Bundesgericht untersucht nicht von Amtes wegen, ob ein kantonaler Hoheitsakt verfassungswidrig ist, sondern prüft nur rechtsgenügend vorgebrachte, klar erhobene und, soweit möglich, belegte Rügen (<ref-ruling> E. 2 S. 3/4; <ref-ruling> E. 1d S. 201; <ref-ruling> E. 1h S. 352). Der Beschwerdeführer hat sich mit der Begründung im angefochtenen Entscheid auseinander zu setzen und zu erklären, welches geschriebene oder ungeschriebene verfassungsmässige Individualrecht verletzt worden sein soll. Auf bloss allgemein gehaltene, rein appellatorische Kritik tritt das Bundesgericht nicht ein (<ref-ruling> E. b; <ref-ruling> E. 1b S. 495).
2.- Mit der staatsrechtlichen Beschwerde wird gerügt, für die in Rechnung gestellten Mahngebühr bestehe keine genügende gesetzliche Grundlage und ihre Erhebung verstosse gegen das Kostendeckungs- und das Äquivalenzprinzip.
a) Gemäss § 52 Abs. 3 der Vollzugsverordnung vom 28. Januar 1986 (Fassung vom 19. Oktober 1998) zum Gesetz über die Staats- und Gemeindesteuern (VV StG) werden solothurnische Steuerpflichtige, welche die ordnungsgemässe Steuererklärung nicht eingereicht haben, gemahnt. Je Mahnung wird eine Gebühr von Fr. 50.-- erhoben. Bleiben die Mahnungen erfolglos, werden die Steuerpflichtigen gemäss den §§ 188 und 195 des Gesetzes vom 1. Dezember 1985 über die Staats- und Gemeindesteuern (StG) gebüsst (§ 52 Abs. 5 VV StG).
b) Bei der streitigen Mahngebühr handelt es sich nach Betrag und Zweck der Abgabe um eine so genannte Kanzleigebühr, das heisst um eine Abgabe für einfache Tätigkeiten der Verwaltung, die ohne besonderen Prüfungs- und Kontrollaufwand erbracht werden und sich in ihrer Höhe in bescheidenem Rahmen halten (<ref-ruling> E. 2a S. 44; <ref-ruling> E. 2c S. 32; Ulrich Häfelin/Georg Müller, Grundriss des Allgemeinen Verwaltungsrechts, 3. Auflage, Zürich 1998, Rz. 2100 S. 537). Kanzleigebühren sind wegen ihrer meist geringen Höhe vom Erfordernis der gesetzlichen Grundlage weitgehend ausgenommen (<ref-ruling> E. 2a/bb S. 183). Sie bedürfen von Bundesrechts wegen keiner Grundlage in einem formellen Gesetz (d.h. in einem üblicherweise dem Referendum unterstellten Erlass); auch eine Verordnung kann als Rechtsgrundlage genügen (BGE <ref-ruling> E. 2 S. 31 ff.). Eine solche findet sich vorliegend in § 52 VV StG (vgl. E. 2a), weshalb die Rüge, es fehle der streitigen Mahngebühr an einer genügenden gesetzlichen Grundlage, unbehelflich ist.
Dass das kantonale Verfassungsrecht an die Rechtsgrundlage solcher Gebühren höhere Anforderungen stelle oder dass die fragliche Verordnungsvorschrift einschlägige Gesetzesvorschriften willkürlich verletze, wird nicht geltend gemacht (Art. 90 Abs. 1 lit. b OG, E. 1 b).
c) Streitig ist sodann, ob die Abgabe vor dem Kostendeckungs- und dem Äquivalenzprinzip standhält, welches auch für Kanzleigebühren gilt (<ref-ruling> E. 2a S. 44).
Danach soll der Ertrag der Gebühren die gesamten Kosten des betreffenden Verwaltungszweiges nicht oder nur geringfügig übersteigen (Kostendeckungsprinzip, <ref-ruling> E. 3a/aa S. 188) und darf die Gebühr nicht in einem offensichtlichen Missverhältnis zum objektiven Wert der Leistung stehen (Äquivalenzprinzip, <ref-ruling> E. 3a/bb S. 188).
Der Regierungsrat betrachtet die angefochtene Mahngebühr als nicht kostendeckend. Der abzugeltende Verwaltungsaufwand umfasse die Feststellung des Nichteingangs der Steuererklärung, die Überwachung der Verspätung, das Ausstellen der Mahnung, den Versand, die Geschäftskontrolle sowie die Überwachung der Mahngebühr. Auch wenn, wie der Beschwerdeführer geltend macht, viele Kantone für die erste Mahnung wegen Nichteinreichung der Steuererklärung keine Gebühr erheben und zum Teil selbst eine zweite Mahnung kostenfrei vornehmen, sind diese administrativen Vorgänge doch mit einem entsprechenden Zeitaufwand verbunden, für welchen die vorliegend erhobene Gebühr von Fr. 50.-- (pro Mahnung) nicht übersetzt erscheint, und zwar weder unter dem Gesichtswinkel des Kostendeckungsprinzips noch aus jenem des Äquivalenzprinzips.
3.- Der Beschwerdeführer rügt die Verletzung des Rechtsgleichheitsgebotes, weil gemäss § 52 Abs. 2 VV StG für eine vergleichbare Handlung (Bestätigung einer nachgesuchten Fristerstreckung) bloss eine Gebühr von Fr. 30.-- erhoben werde. Sodann beanstandet er unter Hinweis auf Art. 6 Ziff. 1 EMRK, dass er keine Möglichkeit habe, seine Sache im Kanton von einem unabhängigen Gericht klären zu lassen.
a) <ref-law> verlangt, dass Gleiches nach Massgabe seiner Gleichheit gleich und Ungleiches nach Massgabe seiner Ungleichheit ungleich zu behandeln ist. Die Rechtsgleichheit ist verletzt, wenn zwei Sachverhalte, die miteinander verglichen werden können, ohne sachlichen Grund unterschiedlich behandelt werden (<ref-ruling> E. 2a S.
168; <ref-ruling> E. 3a S. 11).
Art. 6 Ziff. 1 EMRK gibt jedermann Anspruch darauf, dass seine Sache in billiger Weise öffentlich und innerhalb einer angemessenen Frist gehört wird, und zwar von einem unabhängigen und unparteiischen, auf Gesetz beruhenden Gericht, das entweder über seine zivilrechtlichen Ansprüche und Verpflichtungen oder über die Stichhaltigkeit der gegen ihn erhobenen Anklage zu entscheiden hat.
b) Dass für die Behandlung eines Fristerstreckungsgesuches gemäss § 52 Abs. 2 VV StG die Gebühr lediglich Fr. 30.-- beträgt (im Gegensatz zur Mahnung gemäss § 52 Abs. 3 VV StG, für die wie erwähnt Fr. 50.-- in Rechnung gestellt wird, vgl. E. 2a), lässt sich mit dem angerufenen Rechtsgleichheitsgebot vereinbaren; es erscheint nicht verfassungswidrig, den Steuerpflichtigen, der selber korrekt ein Fristerstreckungsgesuch stellt, mit Bezug auf die zu erhebende Gebühr etwas besser zu behandeln als jenen, der wegen eigenmächtiger Fristüberschreitung gemahnt werden muss.
In einer solchen Mahnung liegt auch keine pönale Sanktion. Dass der Regierungsrat über die von der Gemeinde erhobene Gebühr nach der kantonalen Zuständigkeitsordnung abschliessend entscheidet und ein Weiterzug an das kantonale Verwaltungsgericht nicht möglich ist (vgl. E. 1a), verstösst deshalb entgegen der Auffassung des Beschwerdeführers nicht gegen Art. 6 EMRK; es geht bei der streitigen Gebühr weder um ein Zivilrecht noch um eine strafrechtliche Anklage. Im Übrigen hätte der Beschwerdeführer zur Geltendmachung einer solchen Rüge den Nichteintretensentscheid des Verwaltungsgerichts anfechten müssen.
4.- Der Beschwerdeführer beanstandet die vom Regierungsrat erhobene Spruchgebühr von Fr. 600.--, deren Höhe im angefochtenen Entscheid in keiner Weise substantiiert werde.
a) Aus dem in <ref-law> verankerten Anspruch auf rechtliches Gehör ergibt sich für die Behörden die Pflicht, ihren Entscheid zu begründen. Es müssen wenigstens kurz die wesentlichen Überlegungen dargelegt werden, von denen sich die Behörde hat leiten lassen, so dass der Betroffene den Entscheid in voller Kenntnis der Sache anfechten kann. Dabei muss sich die Behörde nicht mit allen tatsächlichen Behauptungen und rechtlichen Einwänden auseinander setzen. Sie kann sich vielmehr auf die für ihren Entscheid erheblichen Gesichtspunkte beschränken (<ref-ruling> E. 2a S. 149; <ref-ruling> E. 2c S. 14; <ref-ruling> E. 2c S. 57, je mit Hinweisen). Die Erhebung einer Spruchgebühr bedarf dort keiner näheren Begründung, wo sich dies nach dem Ausgang des Verfahrens und den anwendbaren Bestimmungen ohne weiteres versteht, und auch die Höhe der Gebühr braucht in der Regel, bzw. solange sie sich im Rahmen des Üblichen hält, nicht speziell begründet zu werden.
b) Gemäss § 17 des Gebührentarifs vom 24. Oktober 1979 (erlassen vom Kantonsrat) beträgt die Spruchgebühr für verwaltungsrechtliche Entscheide und Beschwerdeentscheide des Regierungsrates, sofern keine spezielle Gebühr vorgesehen ist, zwischen Fr. 100.-- und Fr. 5'000.--. Vorliegend hat der Regierungsrat einerseits auf diesen gesetzlichen Gebührenrahmen und andererseits auf die gemäss § 3 Abs. 1 des Gebührentarifs im Einzelfall massgebenden Bemessungskriterien ausdrücklich hingewiesen. Von einer Verletzung der Begründungspflicht kann nicht die Rede sein, und die festgesetzte Gebühr von Fr. 600.--, die sich an den unteren Rahmen des anwendbaren Tarifs für Justizgeschäfte hält, kann auch nicht als willkürlich bezeichnet werden. Dass sie ein Vielfaches der streitigen Mahngebühr ausmacht, steht dem nicht entgegen.
5.- Schliesslich rügt der Beschwerdeführer im Sinne eines "obiter dictum" (Ziff. 13 der Beschwerdeschrift), dass aus dem angefochtenen Regierungsratsentscheid nicht hervorgehe, "ob die Sache im Gremium beraten und entschieden und ob die Entscheidung einstimmig getroffen wurde". Ebenso sei der Protokollauszug des Regierungsrates, entgegen der Vorschrift von § 18 Abs. 2 der Verordnung vom 10. September 1969 über die Organisation und Geschäftsführung des Regierungsrates und seiner Departemente (Geschäftsreglement des Regierungsrates), nur vom Staatsschreiber und nicht auch vom Landammann unterzeichnet worden. Dass und inwiefern hierin eine Verfassungsverletzung liegen soll, wird vom Beschwerdeführer indessen nicht begründet, weshalb das Bundesgericht den aufgeworfenen Fragen nicht weiter nachzugehen hat (Art. 90 Abs. 1 lit. b OG, E. 1b).
6.- Nach dem Gesagten ist die staatsrechtliche Beschwerde als unbegründet abzuweisen, soweit darauf eingetreten werden kann.
Entsprechend diesem Verfahrensausgang hat der Beschwerdeführer die bundesgerichtlichen Kosten zu tragen (Art. 156 Abs. 1 in Verbindung mit Art. 153 und 153a OG).
Eine Parteientschädigung ist nicht geschuldet (Art. 159 Abs. 2 OG analog).

Demnach erkennt das Bundesgericht:
1.- Die staatsrechtliche Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.- Die Gerichtsgebühr von Fr. 1'000.-- wird dem Beschwerdeführer auferlegt.
3.- Dieses Urteil wird dem Beschwerdeführer, der Einwohnergemeinde A._, dem Regierungsrat sowie dem Verwaltungsgericht des Kantons Solothurn schriftlich mitgeteilt.
_
Lausanne, 10. Juli 2001
Im Namen der II. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: