Rückerstattung einer kantonalen Finanzhilfe, hat sich ergeben:
A.- O.M._, geboren am .. .... 1920, erwarb im Jahre 1985 aus dem Nachlass ihres am 30. November 1982 verstorbenen Bruders A.M._ die Liegenschaft X._-Gbbl. Nr. xxx mit dem darauf stehenden Wohnhaus.
A.M._ hatte am 26. Februar 1979 bei der kantonalen Zentralstelle für Wohnungsbau in St. Gallen ein Gesuch um einen Beitrag an die Renovation dieses Wohnhauses gestellt. Das Gesuch war am 16. Juli 1981 bewilligt worden.
Am 24. August 1983 leistete die Zentralstelle gestützt auf das Bundesgesetz vom 20. März 1970 über die Verbesserung der Wohnverhältnisse in Berggebieten (VWBG, SR 844) sowie gestützt auf das entsprechende kantonale Einführungsgesetz vom 28. November 1982 (EG zum VWBG) eine Finanzhilfe von Fr. 30'000.--. Im Einzelnen entfielen auf Bundessubventionen Fr. 13'800.--, Fr. 12'150.-- auf Subventionen des Kantons und Fr. 4'050.-- auf solche der Gemeinde.
B.- Mit Verfügung vom 6. März 2000 wurde O.M._ von der Wohnbauförderung des Kantons St. Gallen verpflichtet, die Finanzhilfen des Bundes und des Kantons (insgesamt Fr. 25'950.--) zurückzuerstatten. Die verfügende Behörde stützte sich dabei auf Art. 13 Abs. 2 VWBG, wonach eine volle oder teilweise Rückerstattung der Beiträge u.a.
auch verlangt werden kann, wenn sich die finanziellen Verhältnisse der durch die Finanzhilfe Begünstigten grundlegend und voraussichtlich dauernd verbessert haben. Dies treffe im Falle von O.M._ zu, führte die Wohnbauförderung zur Begründung ihrer Verfügung aus.
O.M._ gelangte in der Folge an das Baudepartement des Kantons St. Gallen. Dieses trat am 31. Mai 2000 auf den erhobenen Rekurs aus formellen Gründen nicht ein. Eine gegen den Departementsentscheid erhobene Beschwerde hiess das Verwaltungsgericht des Kantons St. Gallen am 24. August 2000 hingegen gut. Es hob den Departementsentscheid und die Verfügung der kantonalen Wohnbauförderung auf, im Wesentlichen mit der Begründung, die Vorinstanzen hätten die Frage der Verjährung nicht geprüft und es sei auch keine Interessenabwägung vorgenommen worden.
C.- Am 12. Oktober 2000 erliess die kantonale Wohnbauförderung eine neue Verfügung. Sie verpflichtete O.M._, "die am 24. August 1983 ausbezahlte Finanzhilfe des Kantons St. Gallen im Betrage von Fr. 12'150.-- zurückzubezahlen", und auferlegte ihr eine Gebühr von Fr. 300.--.
Einen gegen diese Verfügung gerichteten Rekurs wies das Baudepartement am 12. Januar 2001 ab. O.M._ beschwerte sich daraufhin wiederum mit Erfolg beim Verwaltungsgericht:
Mit Entscheid vom 11. April 2001 hob dieses den Departementsentscheid vom 12. Januar 2001 und die Verfügung der kantonalen Wohnbauförderung vom 12. Oktober 2000 auf. Das Verwaltungsgericht kam zum Schluss, der Rückforderungsanspruch des Staates sei verjährt.
D.- Mit Eingabe vom 21. Mai 2001 führt der Kanton St. Gallen, vertreten durch das Baudepartement, "Verwaltungsgerichtsbeschwerde und staatsrechtliche Beschwerde" beim Bundesgericht mit dem Antrag, den Entscheid des Verwaltungsgerichts vom 11. April 2001 aufzuheben.
O.M._ hat sich nicht vernehmen lassen. Das Verwaltungsgericht des Kantons St. Gallen beantragt, es sei weder auf die Verwaltungsgerichtsbeschwerde noch auf die staatsrechtliche Beschwerde einzutreten.

Das Bundesgericht zieht in Erwägung:
1.- Das Bundesgericht prüft die Zulässigkeit der bei ihm eingereichten Beschwerden von Amtes wegen und mit freier Kognition (<ref-ruling> E. 1 S. 13, mit Hinweis). Entsprechend der Subsidiarität der staatsrechtlichen Beschwerde ist als erstes zu beurteilen, ob die Verwaltungsgerichtsbeschwerde offen steht.
a) Gemäss Art. 97 OG in Verbindung mit Art. 5 VwVG ist die Verwaltungsgerichtsbeschwerde zulässig gegen Verfügungen, die sich auf öffentliches Recht des Bundes stützen oder hätten stützen sollen, sofern diese von den in Art. 98 OG genannten Vorinstanzen erlassen worden sind und keiner der in Art. 99 - 102 OG oder in der Spezialgesetzgebung vorgesehenen Ausschlussgründe gegeben ist (<ref-ruling> E. 2 S. 233). Gleiches gilt auch für gemischtrechtliche Verfügungen, die sowohl auf kantonalem als auch auf Bundesrecht beruhen, falls und soweit eine Verletzung von unmittelbar anwendbarem Bundesrecht in Frage steht. Weiter sind im Verfahren der Verwaltungsgerichtsbeschwerde Anordnungen zu überprüfen, die sich entweder auf unselbständiges kantonales Ausführungsrecht zum Bundesrecht oder auf übriges kantonales Recht stützen, welches einen hinreichend engen Sachzusammenhang mit einer im Rahmen der Verwaltungsgerichtsbeschwerde zu beurteilenden Frage des Bundesverwaltungsrechts aufweist.
Soweit dem angefochtenen Entscheid selbständiges kantonales Recht ohne den genannten Sachzusammenhang zum Bundesrecht zugrunde liegt, steht einzig die staatsrechtliche Beschwerde zur Verfügung (<ref-ruling> E. 1a/aa S. 361; <ref-ruling> E. 2a S. 243; <ref-ruling> E. 1b S. 75; <ref-ruling> E. 2a S. 29, je mit Hinweisen).
b) aa) Die im Bundesgesetz vom 20. März 1970 über die Verbesserung der Wohnverhältnisse in Berggebieten (VWBG, SR 844) vorgesehenen Finanzhilfen des Bundes setzen voraus, dass auch der betreffende Kanton eine eigene Leistung gewährt (Art. 7 Abs. 1 VWBG). Deren minimale Höhe wird in Art. 8 VWBG umschrieben, wobei Leistungen von Gemeinden oder anderen öffentlichrechtlichen Korporationen in einem bestimmten Rahmen an die Kantonsleistung angerechnet werden (Art. 9 VWBG). Die Leistungen des Kantons können nicht nur in bar, sondern auch in anderer Form erbracht werden (Art. 10 VWBG); im Übrigen richten sie sich im Rahmen der Vorgaben des Bundesgesetzes nach kantonalem Recht (Art. 7 Abs. 2 VWBG).
bb) Die Bestimmungen des Gesetzes über die Rückerstattungspflicht (Art. 13 VWBG) sowie über die Verjährung der Rückerstattungsansprüche (Art. 14 VWBG) gelten für die Finanzhilfen des Bundes. Vorliegend geht es ausschliesslich um die Rückerstattung des vom Kanton St. Gallen geleisteten Beitrags. Diese Frage fällt, mangels einer diesbezüglichen Vorschrift des Bundesgesetzes, in die Regelungskompetenz des Kantons. Der Kanton ist bei der Normierung der Rückerstattungsvoraussetzungen zwar allenfalls insoweit gebunden, als er nach Sinn und Zweck des Bundesgesetzes für seine eigenen (Pflicht-)Leistungen keine weitergehende Rückerstattungspflicht statuieren darf, als sie in Art. 13 VWBG für die Finanzhilfen des Bundes vorgesehen ist. Das Bundesrecht verlangt aber nicht, dass die Kantone für ihre Beiträge eine Rückerstattungspflicht überhaupt vorsehen, und es verbietet auch nicht, die Rückerstattungspflicht für kantonale Beiträge (zugunsten des Empfängers) restriktiver zu formulieren als für die Finanzhilfen des Bundes.
cc) Nach Art. 3 des st. gallischen Einführungsgesetzes vom 28. November 1982 zum VWBG werden die "Vorschriften des Bundes" für die Staats- und Gemeindebeiträge "sachgemäss angewendet". Die in Art. 13 und 14 VWBG enthaltenen Bestimmungen gelten damit auch für die Rückerstattung der kantonalen Leistungen. Doch sind diese Normen in diesem Falle nicht als Bundesverwaltungsrecht, sondern als kantonales Recht anwendbar. Als Bundesrecht entfalten die in Art. 13 f. VWBG enthaltenen Bestimmungen nur insoweit Wirkungen, als der Kanton hier nicht zuungunsten des Subventionsempfängers strenger legiferieren darf (vorne E. 1b/bb).
c) Der beschwerdeführende Kanton wirft seinem Verwaltungsgericht vor, es habe das Vorliegen der Voraussetzungen für die Rückforderung des Kantonsbeitrages zu Unrecht verneint. Darin kann nach dem Gesagten zum Vornherein kein Verstoss gegen Normen des einschlägigen Bundesverwaltungsrechtes liegen. Steht aber einzig die richtige Handhabung von (selbständigem oder unselbständigem) kantonalem Recht in Frage, ohne dass zugleich eine mögliche Verletzung von unmittelbar anwendbarem Bundesverwaltungsrecht zu beurteilen ist, fällt die Verwaltungsgerichtsbeschwerde als Rechtsmittel ausser Betracht (vgl. E. 1a).
2.- Gegen den angefochtenen Entscheid steht somit einzig das Rechtsmittel der staatsrechtlichen Beschwerde zur Verfügung (Art. 84 Abs. 2, Art. 86 Abs. 1 OG), welches der Kanton St. Gallen subsidiär erhoben hat.
a) Die staatsrechtliche Beschwerde ist ein Rechtsmittel zum Schutze der Träger verfassungsmässiger Rechte gegen Übergriffe der Staatsgewalt. Solche Rechte stehen grundsätzlich nur Privaten zu, nicht dagegen dem Gemeinwesen als Inhaber hoheitlicher Gewalt. Öffentlichrechtliche Körperschaften sind zur staatsrechtlichen Beschwerde legitimiert, wenn sie nicht hoheitlich auftreten, sondern durch einen staatlichen Akt wie eine Privatperson betroffen werden.
Gemeinden und andere öffentlichrechtliche Körperschaften können sich zudem mit staatsrechtlicher Beschwerde gegen eine Verletzung ihrer durch das kantonale Recht gewährleisteten Autonomie oder Bestandesgarantie zur Wehr setzen (<ref-ruling> E. 1b S. 175; <ref-ruling> E. 2a S. 219 f.; <ref-ruling> E. 1a S. 96 f., je mit Hinweisen).
b) Der Kanton St. Gallen wird durch den angefochtenen Entscheid nicht wie ein Privater, sondern offensichtlich in seiner Stellung als Träger öffentlicher Aufgaben betroffen.
Zur Ergreifung der staatsrechtlichen Beschwerde fehlt es ihm daher - zumal auch keine Verletzung seiner Autonomie oder Bestandesgarantie in Frage steht - an der nach Art. 88 OG erforderlichen Legitimation. Dies gilt auch insoweit, als eine Verletzung des rechtlichen Gehörs gerügt wird (BGE <ref-ruling> E. 2 S. 100; <ref-ruling> E. 4a S. 223).
3.- Soweit der Kanton St. Gallen seine Eingabe vom 21. Mai 2001 als Verwaltungsgerichtsbeschwerde eingereicht hat, ist darauf mangels Zulässigkeit des Rechtsmittels nicht einzutreten (E. 1c). Soweit mit der fraglichen Eingabe staatsrechtliche Beschwerde geführt wird, kann darauf mangels Legitimation des Kantons ebenfalls nicht eingetreten werden (E. 2).
Bei diesem Ausgang des Verfahrens sind die Gerichtskosten dem beschwerdeführenden Kanton aufzuerlegen, um dessen Vermögensinteressen es vorliegend geht (Art. 156 Abs. 1 und 2, Art. 153 und 153a OG). Die Beschwerdegegnerin, die nicht anwaltlich vertreten war und die sich im vorliegenden Verfahren auch nicht hat vernehmen lassen, hat keinen Anspruch auf Parteikostenersatz (vgl. Art. 159 Abs. 2 OG).

Demnach erkennt das Bundesgericht:
1.- Auf die Beschwerde wird nicht eingetreten.
2.- Die Gerichtsgebühr von Fr. 2'000.-- wird dem Kanton St. Gallen auferlegt.
3.- Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons St. Gallen sowie dem Eidgenössischen Volkswirtschaftsdepartement schriftlich mitgeteilt.
_
Lausanne, 14. November 2001
Im Namen der II. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: