Gewässernutzung, hat sich ergeben:
A.- Mit Beschluss Nr. 340 vom 16. Februar 1866 erteilte der Regierungsrat (heute: Regierung) des Kantons St. Gallen dem Oberverwaltungsrat von X._ eine Wasserrechtskonzession am B._-Bach und C._-Bach bei Y._ (Wasserrecht Nr. III/17). In Ziff. 4 der Urkunde behält sich der Staat vor, "in beliebiger Zeit vom Konzessionär oder seinen Rechtsnachfolgern ein für allemal oder periodisch eine Konzessionsgebühr zu erheben, im letzteren Falle rückwirkend bis zum Tage der Konzessionserteilung".
Nach Ziff. 5 erlischt die Konzession, "falls während einem vollen Jahre von der Erteilung an gerechnet, kein Gebrauch davon gemacht wird". Eine Bestimmung über die Konzessionsdauer fehlt. In der Folge wurde dieses Wasserrecht von der Ortsgemeinde X._ auf die Weberei Y._ AG übertragen.
1941 wurde die aus dem Jahr 1867 stammende Turbine durch eine neue mit höherer Leistungskraft ersetzt. Nach dem damals massgeblichen kantonalen Recht bedurften Umbau-ten und Erweiterungen von Wasserwerksanlagen der Genehmi-gung des Regierungsrats. Sofern durch dieselben ein Einfluss auf den Wasserstand, den Wasserlauf oder die Abflussverhältnisse ausgeübt oder die Fortleitung einer Wasserkraft beabsichtigt wurde, war eine besondere Konzession einzuholen.
Am 22. Oktober 1946 teilte das "Wasserrechtswesen des Kantons St. Gallen" der Weberei Y._ AG mit, die Konzession sei abgelaufen; für eine Erneuerung sei die Einreichung eines Gesuchs erforderlich. Sofern die Turbine ausgewechselt worden sei, müsse ein Plan mit Angaben über die Leistungsfähigkeit eingereicht werden. Die Weberei Y._ AG ersuchte am 23. Oktober 1946 um Erneuerung der Konzession; am 26. November 1946 machte sie die Behörde ("Wasserrechtswesen des Kantons St. Gallen") darauf aufmerksam, das Recht zur Nutzung der Anlage sei zeitlich unbeschränkt erteilt worden. Soweit ersichtlich, sind diese Schreiben unbeantwortet geblieben, und es ist weder eine Bewilligung noch eine Konzession erteilt worden.
Im Jahr 1975 stellte die Weberei Y._ AG ihren Betrieb ein. Ein Jahr später nahm die D._ AG (später umbenannt in E._ AG, seit 1980 A._ AG,) die Produktion von Kunststoffschäumen und Styropor auf.
Das 1977 von den kantonalen Behörden eingeleitete Zustimmungsverfahren zur Übertragung der Verleihung wurde mit der Begründung abgebrochen, dass lediglich eine Aktienübertragung und eine Änderung des Geschäftszwecks stattgefunden habe; die Rechtspersönlichkeit der Y._ AG bleibe bestehen.
Am 9. April 1991 räumte der Regierungsrat des Kantons St. Gallen der Dorfkorporation F._ das Recht zur Nutzung der G._-Quelle in Z._ für die Trink-, Brauch- und Löschwasserversorgung ein. Auf eine Einsprache der A._ AG trat der Regierungsrat nicht ein (vgl. <ref-ruling>), führte bei dieser Gelegenheit aber aus, es stelle sich die Frage, ob die Wasserrechtsverleihung aus dem Jahr 1866 nicht doch ein Ende habe oder bereits verfallen sei; ein Zurückkommen auf diese Frage behielt sich der Regierungsrat ausdrücklich vor (S. 7 und 8 des Einspracheentscheids).
Bei einer nach einem Ölunfall durchgeführten Kontrolle der A._ AG im Jahr 1992 wurde festgestellt, dass das Wasser der Kraftanlage nicht nur energetisch, sondern auch anderweitig genutzt wird. Die Druckleitung speist eine Hydrantenleitung und eine Brauchwasserleitung. Das Brauchwasser wird vorwiegend zur Dampferzeugung für die Styroporherstellung benötigt. Im B._-Bach sind sodann immer wieder erhebliche Schäden am Fischbestand aufgetreten, was von den Behörden darauf zurückgeführt wird, dass die A._ AG dem Gewässer in Niederwasserzeiten kein Restwasser belässt und beim Ausschwemmen, Ablassen und Wiederauffüllen des Stauweihers unsachgemäss vorgeht.
B.- Am 14. Oktober 1997 gab das Amt für Umweltschutz des Kantons St. Gallen der A._ AG Gelegenheit, zu einem Entscheid-Entwurf Stellung zu nehmen, der vorsah, die Konzession aufzuheben. Der Gemeinderat X._ seinerseits beantragte am 29./30. Dezember 1997, die Wasserrechtsverleihung zu befristen und Restwassermengen vorzuschreiben, dies unter Hinweis darauf, dass die Trockenlegung des Bachs und verendete Fische immer wieder die Gemüter erhitzten. Die A._ AG beantragte am 6. Februar 1998, das eingeleitete Verfahren aufzuheben.
Am 30. Juni 1998 erliess das Baudepartement des Kantons St. Gallen nachstehende Verfügung:
1. Die Wasserrechtsverleihung vom 16. Februar 1866
(RRB Nr. 340; Wasserrechtsverzeichnis Nr. III/17) wird
befristet. Der A._ AG, wird eine Übergangsfrist
von fünf Jahren eingeräumt, in welcher sie den Betrieb
der Wasserkraftanlage nach den Bestimmungen der altrechtlichen
Konzession weiterführen darf. Mit Ende des
Jahres 2003 erlischt die Verleihung unwiderruflich.
2. Betreffend den Wasserbezug aus dem B._Bach
für die Dampferzeugung und die anderweitige Verwendung


für Industriezwecke wird folgendes verfügt:
a)Der Wasserbezug ist zu messen. Die monatlichen
Ablesungen sind zu protokollieren und jährlich
dem Amt für Umweltschutz (AFU) zuzustellen.
b)Der Wasserzins für das tatsächlich während eines
Jahres bezogene Wasser beträgt Fr. 0.08 je Kubikmeter,
wenigstens aber Fr. 800.-- je Jahr. Er
wird rückwirkend ab 1. Januar 1993 erhoben.
3. Beabsichtigt die A._ AG, die Gewässernutzung
am B._- und C._-Bach aufrechtzuerhalten,
so hat sie bis zum 31. Dezember 2001 ein
Verleihungsgesuch, welches nebst der Kraftnutzung für
die Zeit ab dem 1. Januar 2004 auch die Brauchwasserbezüge
beinhaltet, bei der zuständigen Stelle des
Staates einzureichen.
Zur Begründung wurde im Wesentlichen ausgeführt, das mit der Konzession verliehene Wasserrecht könne nachträglich befristet und somit auf den 31. Dezember 2003 einseitig aufgehoben werden; des Weiteren seien die Wasserbezüge zur Dampferzeugung nicht Bestandteil der Konzession.
Die A._ AG erhob gegen diese Verfügung am 14. Juli 1998 Rekurs bei der Regierung des Kantons St. Gallen.
Nach Durchführung des Instruktionsverfahrens überwies das Justiz- und Polizeidepartement des Kantons St. Gallen am 15. Dezember 1999 die Akten zuständigkeitshalber dem kantonalen Verwaltungsgericht.
C.- Mit Entscheid vom 16. März 2000 hat das Verwaltungsgericht des Kantons St. Gallen erkannt:
1./Die Beschwerde wird im Sinne der Erwägungen teilweise
gutgeheissen, soweit darauf eingetreten werden
kann.
Die angefochtene Verfügung wird aufgehoben, soweit
festgestellt wird, die Konzession beziehe sich nicht
auf Wasserentnahmen.
Auf die Beschwerde gegen Ziff. 2 der angefochtenen
Verfügung wird nicht eingetreten, sondern zum Entscheid
an die Regierung überwiesen.
Im übrigen wird die Beschwerde abgewiesen.
2./Für das Beschwerdeverfahren und das erstinstanzliche
Verfahren werden keine amtlichen Kosten erhoben.
Der Kostenvorschuss in der Höhe von Fr. 2'000.-- wird
der Beschwerdeführerin zurückerstattet.
3./Ausseramtliche Entschädigungen werden nicht zugesprochen.
Zur Begründung wurde namentlich Folgendes ausgeführt:
Das Verwaltungsgericht sei als zuständige kantonale Gerichtsbehörde in erster Instanz zur Beurteilung des Streites zuständig, dies soweit sich die Frage stelle, ob die Konzession befristet werden könne und ob sie auch den Brauchwasserbezug erfasse. Die Konzession habe befristet werden können, da deren Dauer bei der Erteilung nicht geregelt worden sei und eine unbefristete Konzession dem Prinzip der Unveräusserlichkeit der öffentlichen Gewalt widersprechen würde. Es gebe kein wohlerworbenes Recht auf zeitlich unlimitierte Sondernutzung eines öffentlichen Gewässers. Der Brauchwasserbezug sei von der Konzession miterfasst; diese stehe aber der Erhebung von Zinsen nicht entgegen. Für die Bemessung des Wasserbezugs und den hiefür geschuldeten Wasserzins sei die Streitsache der auf Rekurs hin zuständigen Regierung zu überweisen.
D.- Die A._ AG hat am 8. Mai 2000 fristgerecht Verwaltungsgerichtsbeschwerde und staatsrechtliche Beschwerde an das Bundesgericht erhoben.
Mit der Verwaltungsgerichtsbeschwerde wird beantragt, die Ziff. 1 Abs. 3 und 4 und die Ziff. 3 des Dispositivs des Entscheides des Verwaltungsgerichts vom 16. März 2000 aufzuheben und festzustellen, dass die der Beschwerdeführerin erteilte Konzession vom 16. Februar 1866 eine unbefristete altrechtliche Konzession sei, die der Beschwerdeführerin ein wohlerworbenes Recht auf Nutzung des B._-Baches im verliehenen Umfang einräume.
In der staatsrechtlichen Beschwerde wird ebenfalls die Aufhebung der Ziff. 1 Abs. 3 und 4 und der Ziff. 3 des Dispositivs des angefochtenen Entscheids und im Übrigen die Rückweisung der Sache an das Verwaltungsgericht beantragt.
Das Justiz- und Polizeidepartement (für die Regierung) des Kantons St. Gallen und die Politische Gemeinde Wartau beantragen, auf die Verwaltungsgerichtsbeschwerde nicht einzutreten, eventuell sie abzuweisen, und die staatsrechtliche Beschwerde abzuweisen, soweit darauf einzutreten sei. Das Verwaltungsgericht des Kantons St. Gallen stellt Antrag auf Abweisung der Verwaltungsgerichtsbeschwerde und der staatsrechtlichen Beschwerde, soweit auf diese Rechtsmittel einzutreten sei. Das Eidgenössische Departement für Umwelt, Verkehr, Energie und Kommunikation schliesst sich ohne ausführliche Stellungnahme den rechtlichen Folgerungen im Entscheid des Verwaltungsgerichts an.
E.- Fehlt im Oroginal
F.- Der Präsident der II. öffentlichrechtlichen Abteilung hat am 11. Mai 2000 ein Gesuch der Beschwerdeführerin um Sistierung der staatsrechtlichen Beschwerde bis zum Entscheid über die Verwaltungsgerichtsbeschwerde abgewiesen, ebenso am 5. Juni 2000 ein Gesuch um Gewährung der aufschiebenden Wirkung, dies unter Hinweis darauf, dass die Befristung der Konzession erst auf den 1. Januar 2004 rechtswirksam werde.
Das Bundesgericht zieht in Erwägung:
1.-Die Beschwerdeführerin ficht ein und denselben Entscheid des Verwaltungsgerichts sowohl mit Verwaltungsgerichtsbeschwerde als auch mit staatsrechtlicher Beschwerde an. Unter den gegebenen Umständen, insbesondere auch im Hinblick auf die Abgrenzung der beiden Rechtsmittel voneinander, sind die beiden Verfahren zu vereinigen (vgl. Art. 24 BZP in Verbindung mit Art. 40 OG).
2.- a) Die Verwaltungsgerichtsbeschwerde ist gemäss Art. 97 ff. OG zulässig gegen Verfügungen im Sinne von Art. 5 VwVG, die von einer der in Art. 98 OG genannten Vorinstanzen ausgehen, sofern kein Ausschliessungsgrund gemäss Art. 99 - 102 OG oder gemäss Spezialgesetzgebung gegeben ist. Eine Verfügung im Sinne von Art. 5 VwVG liegt vor, wenn sich der Entscheid auf Bundesrecht stützt oder richtigerweise hätte stützen sollen. Dasselbe gilt, wenn er sich auf eine kantonale Ausführungsvorschrift zu Bundesrecht stützt, dieser kantonalen Norm aber keine selbständige Bedeutung zukommt, oder wenn die auf kantonalem Recht beruhenden Anordnungen einen hinreichend engen Sachzusammenhang mit einer Frage des Bundesverwaltungsrechts aufweisen (<ref-ruling> E. 1a S. 173, mit Hinweisen). Diese Voraussetzungen sind hier erfüllt (vgl. nachfolgend E. 2c).
b) Art. 71 Abs. 1 des Bundesgesetzes vom 22. Dezember 1916 über die Nutzbarmachung der Wasserkräfte (Wasserrechtsgesetz, WRG; SR 721. 80) bestimmt, dass Streitigkeiten zwischen dem Konzessionär und der Verleihungsbehörde über die Rechte und Pflichten aus dem Verleihungsverhältnis in erster Instanz von der zuständigen kantonalen Gerichtsbehörde, in zweiter Instanz vom Bundesgericht entschieden werden.
Seit Einführung der Verwaltungsgerichtsbarkeit im Bund wird diese Bestimmung als Verweisung auf die Verwaltungsgerichtsbeschwerde aufgefasst (<ref-ruling> E. 1b, S. 173 f.; <ref-ruling> E. 2a S. 184; 78 I 375 E. I/1 S. 380 ff.; 77 I 164 E. 1 S. 170 f.; s. schon BGE 48 I 197 E. 5 S. 211; 65 I 290 E. 1 S. 297), unbesehen des Umstands, dass das Bundesgericht nach der früheren Fassung des Gesetzes noch "als Staatsgerichtshof" tätig wurde. Die Regelung erfasst alle Anstände, die sich aus den durch die Verleihung geschaffenen, das Wassernutzungsrecht beschlagenden Beziehungen zwischen dem Konzessionär und der Verleihungsbehörde ergeben (<ref-ruling> E. 1b S. 174; Urteil vom 27. April 1995 i.S. Bielersee Kraftwerke AG, in Pra 85/1996 Nr. 43 S. 118, dort nicht publizierte E. 2b/bb). Übergangsrechtlich gelten die Bestimmungen über die Entscheidung von Streitigkeiten auch für altrechtliche Konzessionen, die noch erteilt worden sind, bevor eine entsprechende Verfassungsgrundlage auf Bundesebene (1908) geschaffen und das eidgenössische Wasserrechtsgesetz erlassen (1916) wurde (Art. 74 Abs. 2 WRG).
c) Liegt eine Streitigkeit zwischen Konzessionär und Verleihungsbehörde vor und steht insofern die Verwaltungsgerichtsbeschwerde offen, beschränkt sich die Überprüfungsbefugnis des Bundesgerichts nicht auf die Beachtung des Bundesrechts, sondern erstreckt sich auch auf die Anwendung des kantonalen Rechts (BGE <ref-ruling> E. 2 S. 184; 79 I 278 E. 1 S. 283 f., mit Hinweisen). Der in dieser Hinsicht erforderliche hinreichend enge Sachzusammenhang (E. 2a) ist bei Streitigkeiten über das Wasserrechts-Verleihungsverhältnis regelmässig gegeben, sind doch die entsprechenden Rechte und Pflichten teils durch Bundesrecht, teils durch kantonales Recht beherrscht, wobei beide Rechte in enger "Verknüpfung" stehen, "die es schwer machen würde, die beiden Gebiete auseinanderzuhalten" (vgl. BGE 48 I 197 E. 5 S. 211). Die Anwendung kantonalen Rechts ist allerdings nur darauf zu überprüfen, ob sie gegen Bundesrecht (einschliesslich Bundesverfassungsrecht) verstösst (Art. 104 lit. a OG; vgl. <ref-ruling> E. 1b S. 174). Soweit die von der Beschwerdeführerin erhobenen Rügen im Rahmen der Verwaltungsgerichtsbeschwerde geprüft werden können, bleibt für die subsidiäre staatsrechtliche Beschwerde (Art. 84 Abs. 2 OG) insoweit kein Raum.
3.- Das Verwaltungsgericht ist zu Recht davon ausgegangen, dass es über den vorliegenden Streit, wenngleich das Baudepartement zunächst eine Verfügung erlassen hat, gestützt auf Art. 71 Abs. 1 WRG als zuständige kantonale Gerichtsbehörde in erster Instanz zu entscheiden hatte. Allerdings hat das Verwaltungsgericht bezüglich des Brauchwassers und des vom Baudepartement hiefür beanspruchten Zinses nur entschieden, dass die Beschwerdeführerin aufgrund der Konzession befugt sei, Wasser zu diesem Zweck aus dem Mühlbach zu beziehen, wobei die Konzession der Erhebung eines Wasserzinses nicht entgegenstehe. Das Verwaltungsgericht erachtete sich aber für nicht zuständig, den Wasserzins festzulegen.
Dieser richte sich nicht nach der Konzession, sondern nach den gesetzlichen Vorgaben von Art. 34 ff. des Gesetzes des Kantons St. Gallen vom 5. Dezember 1960 über die Gewässernutzung (GNG). Zuständige Stelle sei nach dem kantonalen Recht das Amt für Umweltschutz, dessen Entscheid an die Regierung weitergezogen werden könne.
Art. 71 Abs. 1 WRG erfasst nicht nur Meinungsverschiedenheiten über die Auslegung der Konzession selber, sondern alle Anstände, die sich aus den durch die Verleihung geschaffenen, das Wassernutzungsrecht beschlagenden Beziehungen zwischen dem Konzessionär und der Verleihungsbehörde ergeben. Dass sich die Höhe des Wasserzinses erst aus dem kantonalen Gesetz und dessen Anwendung ergibt, hindert die Anwendung der bundesrechtlichen Zuständigkeitsregelung nicht, denn das Verleihungsverhältnis wird nicht allein durch die Bestimmungen der Konzession selber bestimmt, sondern auch durch die darauf bezüglichen Normen des Bundesrechts und des kantonalen Rechts (BGE 49 I 555 E. II/1 S. 574; s. auch vorne E. 2b, mit Hinweisen). Allerdings handelt es sich hinsichtlich der Nutzung des Brauchwassers nicht um eine Streitigkeit, die durch das Wasserrechtsge-setz des Bundes, das sich auf die Nutzung der Wasserkraft bezieht, beherrscht wird. Die Zuständigkeitsregelung von Art. 71 Abs. 1 WRG ist deshalb auf die Festlegung des Wasserzinses für das Brauchwasser gar nicht anwendbar und die Verwaltungsgerichtsbeschwerde in diesem Punkt unzulässig.
In der staatsrechtlichen Beschwerde fehlt aber eine substanziierte Rüge, mit der anhand des kantonalen Verfahrensrechts die Verfassungswidrigkeit des Entschei-des, die Festlegung des Wasserzinses für das Brauchwasser der Regierung zu überlassen, dargetan würde (vgl. Art. 90 Abs. 1 lit. b OG; <ref-ruling> E. 2a S. 3 f.). Auf die staatsrechtliche Beschwerde ist daher auch in diesem Punkt, in welchem sie zulässig wäre, nicht einzutreten.
4.- a) Die zur Beurteilung stehende Wasserrechtskonzession ist vom Regierungsrat des Kantons St. Gallen am 16. Februar 1866 erteilt worden, auf welche Dauer lässt sich der Konzession nicht entnehmen. Jedenfalls seit 1860 nahm der Kanton St. Gallen die Gewässerhoheit wahr und erteilte Konzessionen zur Sondernutzung der Gewässer. Das Gesetz über die Benützung von Gewässern (GBG) ist aber erst am 23. November 1893/1. Januar 1894 erlassen worden. Es sah eine Konzessionsfrist von 50 Jahren vor (Art. 11 Abs. 1 GBG), gewährleistete jedoch die bis anhin geübten Wasserbezugsrechte in ihrem bisherigen Bestand (Art. 1 Abs. 3 GBG). Das Gesetz vom 5. Dezember 1960 über die Gewässernutzung (GNG), welches das Gesetz über die Benützung von Gewässern ablöste, begrenzt die Verleihungsdauer auf höchstens 80 Jahre für Wasserkraftnutzungen und auf höchstens 50 Jahre für andere Nutzungen (Art. 22 GNG). In Art. 12 sieht es vor, dass die Verleihung von Wassernutzungsrechten dem Beliehenen ein wohlerworbenes Recht auf die Nutzung des Gewässers verschafft. Das Gesetz findet auf die bestehenden Wassernutzungen Anwendung, allerdings unter Vorbehalt der wohlerworbenen Rechte. Das eidgenössische Wasserrechtsgesetz von 1916 seinerseits, welches die Aufnahme der Konzessionsdauer in die Konzes-sion vorschreibt (Art. 54 lit. e WRG) und eine gesetzliche Höchstdauer von 80 Jahren festlegt (Art. 58 WRG), sieht vor, dass die Konzession dem Konzessionär nach Massgabe des Verleihungsaktes ein wohlerworbenes Recht auf die Benützung des Gewässers verschafft (Art. 43 Abs. 1 WRG), was, wie das Bundesgericht festgehalten hat, nur zum Ausdruck bringt, was schon vorher gegolten hat und folglich auch auf Konzessionen anwendbar ist, die vor Inkrafttreten dieses Gesetzes erteilt worden sind (BGE 49 I 555, E. II/3 S. 584).
b) Die der Beschwerdeführerin 1866 erteilte Konzession lässt die Dauer unerwähnt. Peter Liver hat in einer Abhandlung (Die Entwicklung des Wasserrechts in der Schweiz seit hundert Jahren [ZSR 71/1952 S. 305 ff.]; nachfolgend:
Wasserrecht), ausgeführt, die kantonalen Gesetze, die vor 1890 erlassen worden seien, hätten eine zeitliche Beschränkung der Konzessionsdauer nicht gekannt, ausgenommen der Kanton Neuenburg. Er folgert daraus, die Wasserrechte hätten auf unbeschränkte Zeit erteilt werden können (a.a.O., S. 311). Diese Auffassung scheint auch mit derjenigen des Regierungsrats des Kantons St. Gallen übereinzustimmen, wie er sie in einer Botschaft vom 12. November 1864 zu einem, vom Grossen Rat allerdings verworfenen, Gesetzesvorschlag über die "Ertheilung von Wasserrechten" zum Ausdruck brachte:
"Dass eine Wasserrechts-Conzession, solange die damit in Verbindung gesetzten Etablissements benützt und beworben werden, unwiderruflich sei, ist selbstverständlich. Niemand würde sich sonst zur Anlage kleinerer oder grösserer Gewerke herbeilassen, denen jede Rechtssicherheit und Gewissheit ihres Bestandes abgehen würden. " Das Bundesgericht seinerseits hat in einem Urteil aus dem Jahre 1905 die Konzession zur Ausbeutung der Wasserkraft als "dingliches Privatrecht" bezeichnet, dem zufolge seiner dinglichen Natur eine zeit-liche Beschränkung nicht wesentlich sei (BGE 31 II 828 E. 3 S. 859).
Diese Meinung scheint, wie dem zitierten bundesgerichtlichen Urteil aus dem Jahre 1905 entnommen werden kann, ein privatrechtliches und "dingliches" Verständnis der mit der Konzession erteilten Rechte zum Ausgangspunkt zu haben.
Eine Rolle gespielt haben wird dabei auch die Vorstellung der "ehehaften" Wasserrechte, wiewohl es sich bei konzedierten Wasserrechten der vorliegenden Art - unbestrittenermassen - nicht um solche handelt. Ehehafte Rechte sind ausschliesslich private Rechte, die ihren Ursprung in einer Rechtsordnung haben, die nicht mehr besteht, und welche nach neuem Recht nicht mehr begründet werden können, aber auch unter der neuen Rechtsordnung weiterbestehen dürfen; sie erlangten ursprünglich Bedeutung insbesondere im Zusammenhang mit der Wassernutzung (zum Begriff s. Peter Liver, Die ehehaften Wasserrechte in der Schweiz, in: Beiträge zum Recht der Wasserwirtschaft und zum Energierecht, Festschrift für Paul Gieseke, S. 225 f.). Bis gegen Ende des 19. und noch anfangs des 20. Jahrhunderts galt das verliehene Wasserrecht als privates Recht, gleichgültig, ob es aufgrund des Eigentums oder der Gewässerhoheit eingeräumt worden war; erst in jener Zeit setzte sich das öffentlichrechtliche Verständnis durch (Liver, Wasserrecht, S. 333 ff.). Die zivilrechtliche, ja dingliche Betrachtungsweise mag dazu beigetragen haben, dass das öffentliche Interesse zu wenig Berücksichtigung fand, welches einer definitiven Entäusserung der Gewässerhoheit durch Erteilung einer Sondernutzungskonzession entgegensteht.
c) Nach heutiger Rechtsanschauung kann das Gemeinwesen Sondernutzungsrechte nicht auf unbefristete Dauer erteilen (Pierre Moor, Droit administratif, Bd. III, Bern 1992, S. 136, 308; André Grisel, Traité de droit administratif, Bd. 1, Neuenburg 1984, S. 293; Tomas Poledna, Staatliche Bewilligungen und Konzessionen, Bern 1994, S. 242, 250). Die öffentlichen Gewässer sind öffentliche Sachen im Gemeingebrauch. Dieser Zweckbestimmung werden sie durch ein Sondernutzungsrecht an einem bestimmten Wasserlauf entfremdet (Vinzens Augustin, Das Ende der Wasserrechtskonzessionen, Freiburg 1983, S. 29). Das Gemeinwesen muss deshalb von Zeit zu Zeit Gelegenheit erhalten, sich darüber zu vergewissern, ob die Sondernutzung mit dem öffentlichen Interesse noch in Einklang steht. Wäre das durch Konzession dem Privaten eingeräumte Recht ein ewiges, liefe dies darauf hinaus, dass das Gemeinwesen sich seiner Rechte und seiner Hoheit entäusserte, was nicht zulässig ist (Grundsatz der Unveräusserlichkeit der öffentlichen Gewalt, s. Augustin, a.a.O., S. 29, 34; Moor, a.a.O., S. 308, Poledna, a.a.O., S. 242, 250).
Das Verwaltungsgericht des Kantons Graubünden hat daraus gefolgert, dass eine auf unbefristete Zeit begründete Wassernutzungskonzession nachträglich befristet und vom Verleiher nach Ablauf einer angemessenen Konzessionsdauer einseitig und entschädigungslos aufgehoben werden kann (Pra-xis des Verwaltungsgerichts des Kantons Graubünden, 1986, Nr. 37). Das Bundesgericht seinerseits hat in einem Urteil, in welchem es die Konzessionsdauer einer altrechtlichen Konzession als Vorfrage zu beurteilen hatte, diese Dauer durch richterliche Lückenfüllung bestimmt (<ref-ruling> E. 10 S. 402). Dass die Konzession auf ewig erteilt sein könnte, hat es gar nicht in Betracht gezogen (S. 403). Auch in der Literatur wird angenommen, dass altrechtliche Konzessionen, welche unbefristet erteilt wurden, nachträglich zeitlich beschränkt werden können (Augustin, a.a.O., S. 34; Poledna, a.a.O., S. 250; René A. Rhinow/Beat Krähenmann, Schweizerische Verwaltungsrechtsprechung, Ergänzungsband, Basel 1990, Nr. 122, B IV, S. 367).
d) Die Beschwerdeführerin ist nun aber der Auffassung, dass die Wasserrechtsverleihung gerade auch hinsichtlich der Konzessionsdauer ein wohlerworbenes Recht verschafft habe; da die Konzession auf der Grundlage des im letzten Jahrhundert herrschenden Verständnisses des Wesens der Wasserrechtskonzession erteilt worden sei, könne es auf die heutige Rechtsauffassung nicht ankommen.
5.- a) Im Zusammenhang mit Konzessionen gelten nach der Rechtsprechung als wohlerworben jene Rechte, die aufgrund freier Vereinbarung der Parteien entstanden und als wesentlicher Bestandteil der erteilten Konzession zu betrachten sind, weil der Bewerber sich ohne sie über die Annahme der Verleihung gar nicht hätte schlüssig werden können (<ref-ruling> E. 3a S. 144 f.; Urteil des Bundesgerichts vom 10. April 1985, in: ZBl 86/1985 S. 498, E. 2b S. 500, mit Hinweisen). In die Substanz von auf diese Weise begründeten Rechten darf gestützt auf spätere Gesetze regelmässig nicht, jedenfalls nicht ohne Entschädigung, eingegriffen werden (<ref-ruling> E. 5a S. 268; <ref-ruling> E. 3a S. 145).
Ob eine Rechtsposition als wohlerworbenes Recht zu qualifizieren ist, lässt sich nicht allein aufgrund ihrer Entstehung und unabhängig von der aktuellen Rechtslage beurteilen (Kathrin Klett, Verfassungsrechtlicher Schutz "wohlerworbener Rechte" bei Rechtsänderungen, Bern 1984, S. 224 ff., 233). Die Anerkennung eines wohlerworbenen Rechts ist vielmehr das (typisierte) Ergebnis einer Interessenabwägung, welches den aufgrund einer früheren Rechtsordnung eingeräumten Rechten den Vorrang vor der Durchsetzung der mit einer Rechtsänderung verfolgten öffentlichen Interessen einräumt, wobei das konkret fassbare Rechtssicherheitsinteresse des Rechtsinhabers nach den aktuellen Verhältnissen zu gewichten ist (Klett, a.a.O., S. 233 ff.).
Im Falle der Konzession wird ein Rechtsverhältnis mit gegenseitigen Rechten und Pflichten der Verleihungsbehörde und des Konzessionärs begründet, einem durch Vertrag begründeten Rechtsverhältnis vergleichbar. Die konzessionierte Unternehmung erstellt auf Grund der Konzession ein Werk mit regelmässig beträchtlichen Investitionen, deren Rentabilität sich nicht kalkulieren lässt, wenn nicht Sicherheit über die finanziellen Lasten aus der Konzession und über die Konzessionsdauer besteht. Daraus ergibt sich, dass das Gemeinwesen nicht einseitig von der Konzession abgehen und das Leistungsverhältnis zu seinen Gunsten verändern kann (<ref-ruling> E. 4b S. 180 f., mit Hinweisen). Namentlich kann es grundsätzlich die Dauer der Konzession nicht kürzen, weil die Rentabilität des von der konzessionierten Unternehmung zu erstellenden Werkes davon wesentlich abhängt; (nur) insofern gehört die - vereinbarte - Dauer der Konzession zur Substanz des wohlerworbenen Rechts (BGE 49 I 555 E. II/3 S. 584 f.).
b) Die von der Beschwerdeführerin beanspruchte zeitlich unbegrenzte Nutzung eines Wasserrechts lässt sich nun allerdings grundsätzlich nicht damit begründen, dass sie Grundlage für die Kalkulierung der Rentabilität der Investitionen bilden würde. Beim Erlass des eidgenössischen Wasserrechtsgesetzes ging das Parlament davon aus, dass eine Konzessionsdauer von 80 Jahren selbst für ganz grosse Unternehmungen mit kostspieligen Anlagen für eine zweckmässige Amortisation ausreichen (Karl Geiser/J. J. Abbühl/Fritz Bühlmann, Einführung und Kommentar zum Bundesgesetz über die Nutzbarmachung der Wasserkräfte, Zürich 1921, S. 194; Augustin, a.a.O., S. 30). "Durant 80 années, si l'entreprise n'a pas pu amortir ses installations et son capital, elle ne les amortira jamais" (Sten. Bull. 1915 N 291, Nationalrat Maillefer).
Die Regierung des Kantons St. Gallen hat zwar in der Zeit, in welcher die vorliegende Konzession begründet wurde, dem Grossen Rat eine Gesetzesvorlage zugeleitet, in welcher sie die Auffassung vertrat, Wassernutzungskonzessionen sollten Bestand haben, solange das damit in Verbindung stehende Werk genutzt werde (vorne E. 4b). Gesetz ist die Vorlage jedoch nicht geworden, weshalb aus dieser Meinungsäusserung nicht allzu weit reichende Schlüsse gezogen werden dürfen.
Für eine zeitlich unbeschränkte Konzessionsdauer kann jedenfalls nicht ins Feld geführt werden, dass sie die notwendige Basis für das Konzessionsverhältnis bilden würde und zu dessen Substanz zu zählen wäre.
Vielmehr widerspricht es in höchstem Masse dem öffentlichen Interesse, Sondernutzungskonzessionen auf Dauer (recte: auf unbeschränkte Dauer) zu erteilen und das öffentliche Gewässer auf ewige Zeiten seinem Zweck zu entfremden.
Das liefe darauf hinaus, dass sich das Gemeinwesen der Gewässerhoheit, die es im 19. Jahrhundert gerade erst in Anspruch genommen hat, durch Verleihung sukzessive wieder entäussert hätte. Nun ist für die Anerkennung eines wohlerworbenen Rechts - auch im Zusammenhang mit Konzessionen - massgeblich, dass die Konzessionserteilung vertragsähnlicher Natur ist: Innerhalb einer Konzession sind gerade diejenigen Rechte als wohlerworben einzustufen, welche nicht durch einen Rechtssatz, sondern aufgrund freier Vereinbarung der Parteien entstanden sind (BGE 113 I a 357 E. 6a/cc S. 361, mit Hinweis). Insofern fliessen zivilrechtliche Überlegungen ein. Darum kann nicht unberücksichtigt bleiben, dass es heute auch zivilrechtlich ausgeschlossen ist, obligatorische Verträge auf "ewige" Zeiten abzuschliessen und aufrechtzuerhalten (<ref-ruling> E. 2a S. 161; <ref-ruling> E. 4 S. 210 f.; <ref-ruling> E. 7 S. 300, je mit Hinweisen); unzulässig ist dies selbst dann, wenn sie noch unter der Herrschaft des alten kantonalen Rechts abgeschlossen worden sind, was unter Hinweis auf Art. 2 SchlT ZGB damit begründet wird, dass es sich um einen Grundsatz handelt, der um der öffentlichen Ordnung und Sittlichkeit Willen Geltung hat (<ref-ruling> E. 3 S. 395).
Art. 2 SchlT ZGB aber wird auch im öffentlichen Recht für massgeblich erachtet (<ref-ruling> E. 1c S. 43, mit Hinweisen).
Die einheitliche Wertung in der gesamten Rechtsordnung macht deutlich, dass es ein wohlerworbenes Recht auf dauerhafte Sondernutzung nicht geben kann. Dies wäre mit dem erwähnten Grundsatz der Unveräusserlichkeit öffentlicher Gewalt (vorne E. 4c) und insofern mit der öffentlichen Ordnung nicht mehr vereinbar, unabhängig davon, dass die altrechtlichen Konzessionen in gewissem Sinne als Gebilde (auch) "dinglicher" Natur verstanden wurden.
Die Beschwerdeführerin vermag dies mit ihrer Berufung auf Art. 2 und 27 ZGB bzw. mit dem Hinweis auf die bundesgerichtliche Rechtsprechung dazu (<ref-ruling>; <ref-ruling>) nicht zu entkräften. Wohl lässt das Bundesgericht ein Eingreifen in vertragliche Vereinbarungen nur mit etwelcher Zurückhaltung zu, wobei sich diese Haltung wohl noch in besonderem Masse rechtfertigen mag, wenn Vertragspartner ein Gemeinwesen ist (vgl. <ref-ruling> E. 7 S. 399 f.).
Auch der von der Beschwerdeführerin zitierten Rechtsprechung liegt aber der Gedanke zugrunde, dass jedenfalls eine Bindung ohne jegliche zeitliche Begrenzung unzulässig ist. Das Gemeinwesen kann die ihm zustehende Hoheit über die Gewässer im Rahmen einer Konzession nicht für alle Zeiten aufgeben.
Nennt die Konzessionsurkunde keine zeitliche Beschränkung, ist die Dauer der Konzession zu beschränken und durch richterliche Lückenfüllung zu bestimmen (vgl. <ref-ruling> E. 10 S. 402; Augustin, a.a.O, S. 34 f.).
c) Es ist dem Verwaltungsgericht folglich darin beizupflichten, dass die der Beschwerdeführerin erteilte Konzession, deren Dauer nicht bestimmt ist, nachträglich befristet werden durfte, ohne dass dadurch ein wohlerworbenes Recht bzw. das Willkürverbot oder das Gebot der Wahrung von Treu und Glauben verletzt worden wäre. Insbesondere darf Ziff. 5 der Konzessionsurkunde in Berücksichtigung der vorstehenden Ausführungen nicht so verstanden werden, dass die Konzession auch nach Jahrzehnten bzw. gar Jahrhunderten einzig dann erlischt, wenn während eines Jahres kein Gebrauch davon gemacht wird. Zu berücksichtigen ist auch, dass die Beschwerdeführerin die Möglichkeit hat, ein Gesuch um erneute Verleihung des Wassernutzungsrechts zu stellen, worüber in einem förmlichen Verfahren und unter Berücksichtigung sämtlicher Interessen, nebst des öffentlichen Interesses an befriedigender und umweltgerechter Wassernutzung auch des privaten Interesses der Beschwerdeführerin, befunden wird.
6.- Was die konkrete Befristung betrifft, so hat das Verwaltungsgericht die massgebenden Gesichtspunkte zutreffend gewürdigt. Nach einer Konzessionsdauer von 134 Jahren stellte sich insbesondere die Frage der Amortisation der Anlagen nicht mehr (s. zur Massgeblichkeit insbesondere dieses Kriteriums vorne E. 5a letzter Absatz und E. 5b erster Absatz, ferner BGE <ref-ruling>), und der Kanton St. Gallen konnte unter Gewährung einer angemessenen Übergangsfrist (fünfeinhalb Jahre ab dem Zeitpunkt der erstinstanzlichen Verfügung vom 30. Juni 1998 bis zum 31. Dezember 2003) die Konzession auflösen.
Sodann ist das Rechtsgleichheitsgebot entgegen der Meinung der Beschwerdeführerin nicht verletzt. Der Kanton St. Gallen durfte die Konzession der Beschwerdeführerin nicht nur dann befristen, wenn er gleichzeitig sämtliche weiteren Wasserkonzessionen aus der damaligen Zeit, die keine Befristung aufweisen, ebenfalls befristet hätte. Es darf sehr wohl den Umständen jedes einzelnen Falles Rechnung getragen werden. Aufgrund der erheblichen Belastung des Mühlbachs lag es für die Behörden des Kantons St. Gallen nahe, zunächst die vorliegende Konzession einer Klärung zuzuführen.
7.-Den Beschwerden ist insofern kein Erfolg beschieden, als damit die Aufhebung der Ziff. 1 Abs. 3 und 4 des Dispositivs des angefochtenen Entscheids beantragt wird.
Damit fehlt aber dem Begehren um Aufhebung von Ziff. 3 des Dispositivs, welches die Beschwerdeführerin einzig für den Fall der Gutheissung der Beschwerden im Hauptpunkt stellt, die Grundlage.
8.- Die Verwaltungsgerichtsbeschwerde ist somit abzuweisen, während auf die staatsrechtliche Beschwerde nicht einzutreten ist.
Die bundesgerichtlichen Kosten sind ausgangsgemäss der Beschwerdeführerin aufzuerlegen (Art. 156 Abs. 1 OG).
Eine Parteientschädigung ist nicht zuzusprechen, und zwar weder dem Kanton (vgl. Art. 159 Abs. 2 OG) noch der Gemeinde Wartau, die sich als interessierte Beteiligte im Sinne von Art. 93 Abs. 1 und 110 Abs. 1 OG hat vernehmen lassen, ohne dass dafür der Beizug eines Anwalts notwendig war.
Demnach erkennt das Bundesgericht:
1.- Die Verfahren 2P.103/2000 und 2A.218/2000 werden vereinigt.
2.-Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
3.- Auf die staatsrechtliche Beschwerde wird nicht eingetreten.
4.- Die Gerichtsgebühr von insgesamt Fr. 10'000.-- wird der Beschwerdeführerin auferlegt.
5.- Es wird keine Parteientschädigung zugesprochen.
6.- Dieses Urteil wird der Beschwerdeführerin, der Regierung und dem Verwaltungsgericht des Kantons St. Gallen, der Politischen Gemeinde X._ sowie dem Eidgenössischen Departement für Umwelt, Verkehr, Energie und Kommunikation schriftlich mitgeteilt.
_
Lausanne, 30. Oktober 2000
Im Namen der II. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: