Gastwirtschaftsbetrieb im Freien, hat sich ergeben:
A.- Die A._ AG ist Eigentümerin der 1'088 m2 grossen Parzelle Nr. 127 in Staad, politische Gemeinde Thal.
Auf diesem Grundstück, das nördlich an den Bodensee und südlich an die Hauptstrasse (Staatsstrasse) angrenzt, betreibt B._, Verwaltungsratspräsident der A._ AG, das Pub-Restaurant "Y._". Zwischen dem Restaurantgebäude und dem Bodensee liegt eine Gartenterrasse mit 150 Sitzplätzen.
Im Westen grenzt die Parzelle Nr. 127 an die 585 m2 grosse Parzelle Nr. 129 von X._. Auf ihr steht ein Mehrfamilienhaus mit drei Geschossen und ausgebautem Dachgeschoss im südlichen, unmittelbar an die Hauptstrasse angrenzenden Teil sowie mit zwei Geschossen und Flachdach im nördlichen Teil. Die Gartenwirtschaft des Y._ ist gegen die angrenzende Parzelle Nr. 129 von X._ durch eine rund 8 m vor der Grenze stehenden Abschrankung mit einem Durchgang im Uferbereich abgetrennt.
Östlich der Parzelle Nr. 127 schliesst die Parzelle Nr. 124 mit dem Hotel "H._" an, das ebenfalls über eine an den Bodensee anstossende Gartenterrasse verfügt.
Auf der gegenüberliegenden Seite der Hauptstrasse befindet sich ein Parkplatz: ca. 30 Parkplätze gehören zum Pub-Restaurant Y._ und ca. 60 zum Hotel H._.
Südlich des Parkplatzes führt die Bahnlinie der SBB vorbei.
B.-Anfang der achtziger Jahre wurde das frühere Restaurant "R._" auf dem Grundstück Nr. 127 in ein Pub umgewandelt, das sich zu einem beliebten Treffpunkt junger Leute entwickelte. Seit 1989 beschwerten sich Anwohner über unzumutbare Lärmbelästigungen durch die Gäste des Pubs Y._, insbesondere von der Gartenwirtschaft.
Mit Beschluss vom 25. Juli 1991 verfügte der Gemeinderat Thal gestützt auf den damals geltenden Art. 40 Abs. 3 des St. Galler Gastwirtschaftsgesetzes vom 1. Dezember 1983 (GWG), dass sich spätestens ab 22.00 Uhr keine Gäste mehr in der Gartenwirtschaft aufhalten dürften. Diese Verfügung widerrief der Gemeinderat am 2. Juni 1992, nach- dem die Grundeigentümerin und der damalige Patentinhaber an die Regierung rekurriert hatten, und erliess gestützt auf Art. 11 Abs. 2, Art. 12 Abs. 2 und Art. 15 des Bundesgesetzes über den Umweltschutz vom 7. Oktober 1983 (USG; SR 814. 01) folgenden Beschluss:
1. Massnahmen
A. Der Parkplatz vor dem Restauranteingang für
Motorfahrräder und Motorräder muss auf die gegenüberliegende
(südliche) Strassenseite verlegt werden.
B. Vor dem Restauranteingang und auf dem Parkplatz
sind Tafeln aufzustellen, die die Gäste zu einem
vernünftigen und rücksichtsvollen Verhalten anhalten
sollen.
C. Auf den Tischen im Gartenrestaurant und im
Restaurant sind ebenfalls Mitteilungen anzubringen,
die die Gäste zu einem massvollen Verhalten anhalten
sollen.
D. Bei schönem Wetter und offensichtlich zu erwartendem
Publikumsandrang ist vor dem Restauranteingang
ein "geeigneter" Securitas-Wächter zu postieren,
der in der Lage ist einzugreifen und sich
durchzusetzen, wenn es die Situation erfordert.
E. Herr W._ stellt eine Patrouille zusammen,
die jeweils am Morgen zwischen 05.00 und
07.00 Uhr auf einem Rundgang (Pub-Restaurant Y._ - Obstverwertung - Spezialbeton - Liegenschaft X._ - Parkplatz) allfällige
Reinigungsarbeiten vornimmt.
F. Ab 21.30 Uhr (ganze Woche) wird die Musik in
der Gartenwirtschaft eingestellt.
2. Einschränkungen
Der Betrieb der Gartenwirtschaft wird zeitlich
eingeschränkt. Der Wirt des Y._ wird angewiesen,
dafür zu sorgen, dass sich:
- Sonntag bis Donnerstag ab 23.00 Uhr
- Freitag und Samstag ab 23.30 Uhr
keine Gäste mehr in der Gartenwirtschaft aufhalten.
[...]
Eine weitergehende zeitliche Beschränkung des Gartenwirtschaftsbetriebs hielt die Gemeinde angesichts der Tatsache, dass die grössten Umsätze in den Sommermonaten erzielt werden und die Hauptfrequenzzeit des Restaurants zwischen 21.00 Uhr und 24.00 Uhr liege, für wirtschaftlich nicht tragbar.
C.-Den hiergegen gerichteten Rekurs von X._ wies die Regierung des Kantons St. Gallen am 7. März 1995 ab. Sie hielt weitergehende Beschränkungen weder unter dem Gesichtspunkt der wirtschaftlichen Tragbarkeit für zumutbar noch im Hinblick auf die Einhaltung der Immissionsgrenzwerte für erforderlich. Die Regierung nahm an, in Gartenwirtschaften könne aufgrund der Witterung durchschnittlich nur an etwa 20 Abenden im Jahr über 22.00 Uhr hinaus gewirtet werden; zudem sei das Pub als Betrieb am See auf die Einnahmen aus der Gartenwirtschaft angewiesen.
D.-Gegen den Entscheid der Regierung erhob X._ Beschwerde an das Verwaltungsgericht des Kantons St. Gallen.
Am 8. August 1995 erklärte das Verwaltungsgericht die Betriebsbeschränkungen gemäss Ziff. 2 der Verfügung des Gemeinderates Thal vom 2. Juni 1992 im Sinne einer vorsorglichen Massnahme für vollstreckbar. Am 6. Februar 1996 wies das Verwaltungsgericht die Beschwerde ab.
E.-Auf Verwaltungsgerichtsbeschwerde von X._ hob das Bundesgericht am 24. Juni 1997 den angefochtenen Entscheid auf und wies die Sache zu neuer Beurteilung an das Verwaltungsgericht zurück. Das Bundesgericht nahm an, die Sachverhaltsfeststellungen des Verwaltungsgerichts genügten nicht, um beurteilen zu können, ob die angeordneten Sanierungsmassnahmen den Anforderungen der Lärmschutzverordnung genügten. Insbesondere fehlten Feststellungen zur Frage, inwiefern der Lärm der Gartenwirtschaft im Haus des Beschwerdeführers zu hören und eine Beeinträchtigung der Nachtruhe zu befürchten sei.
F.- Am 18. Dezember 1997 entschied das Verwaltungsgericht nach Anhörung der Parteien, dass im Frühjahr/ Sommer 1998 bei günstiger Witterung abends zwischen 22.00 und 23.00 Uhr ein unangemeldeter Augenschein auf der Liegenschaft des Beschwerdeführers vorgenommen werde. Mit Schreiben vom 8. April 1998 teilte X._ dem Verwaltungsgericht mit, dass das benachbarte Restaurant H._ zur Zeit geschlossen sei und beantragte, den vorgesehenen Augenschein erst dann durchzuführen, wenn das H._ wieder in Betrieb sei. Der Augenschein wurde deshalb erst am 25. Juni 1999 vorgenommen. Im Auftrag des Verwaltungsgerichts hielt die Kantonspolizei St. Gallen an drei Freitag- bzw. Samstagabenden in den Monaten Juli und August 1999 um 22.00, 23.00 und 24.00 Uhr jeweils während zehn Minuten das Geschehen auf dem Parkplatz des Pub-Restaurants Y._ in einem Polizeirapport fest.
G.- Am 15. Juni 2000 wies das Verwaltungsgericht die Beschwerde ab. Hiergegen erhob X._ am 28. August 2000 Verwaltungsgerichtsbeschwerde ans Bundesgericht. Er beantragt, der angefochtene Entscheid sei aufzuheben und Ziff. 2 der Verfügung des Gemeinderates Thal vom 2. Juni 1992 sei wie folgt abzuändern:
Hauptantrag:
"Der Betrieb der Gartenwirtschaft wird zeitlich eingeschränkt.
Der Wirt des Y._ wird angewiesen,
dafür zu sorgen, dass sich ab 22.00 Uhr keine
Gäste mehr in der Gartenwirtschaft aufhalten.. "
Eventualantrag:
"Der Betrieb der Gartenwirtschaft wird wie folgt
zeitlich eingeschränkt:
a) Pro Kalenderjahr darf die Gartenwirtschaft des
Y._ an höchstens 20 Tagen bis 23.00 Uhr
betrieben werden. Der Wirt des Y._ wird
angewiesen, die beanspruchten Tage jeweils
innert 24 Stunden nach der Offenhaltung der
Gemeindekanzlei Thal und dem Beschwerdeführer
mitzuteilen.
b) An den übrigen Tagen darf die Gartenwirtschaft
des Y._ längstens bis 22.00 Uhr betrieben
werden.
c) Der Wirt des Y._ wird angewiesen, dafür
zu sorgen, dass sich ab den in lit. a und b
festgelegten Zeiten keine Gäste mehr in der
Gartenwirtschaft aufhalten. "
Subeventualantrag:
"Um sicherzustellen, dass die Nachtruhe ab 23.00 Uhr
eingehalten wird, ist in der Gartenwirtschaft:
a) spätestens um 22.30 die Verabreichung von Getränken
und Speisen zu beenden und
b) die Betriebszeit so zu beenden, dass der zurechenbare
Strassenverkehr bis 23.00 Uhr abgewickelt
ist. "
Mit Schreiben vom 10. Januar 2001 präzisierte der Beschwerdeführer seinen Eventualantrag wie folgt:
a) "Pro Kalenderjahr darf die Gartenwirtschaft des
Y._ an höchstens zehn aufeinanderfolgenden
Freitagen ab dem 31. Mai und an zehn
aufeinanderfolgenden Samstagen ab dem 31. Mai
bis 23 Uhr betrieben werden.. "
H.- Das Verwaltungsgericht des Kantons St. Gallen und die A._ AG beantragen, die Beschwerde sei abzuweisen.
Der Regierungsrat des Kantons St. Gallen und die Politische Gemeinde Thal haben auf eine Vernehmlassung verzichtet. Die A._ AG beantragt zusätzlich, ihr sei die Parteientschädigung zurückzuerstatten, die sie nach dem ersten Bundesgerichtsentscheid dem Beschwerdeführer habe zahlen müssen.
I.- Das Bundesamt für Umwelt, Wald und Landschaft (BUWAL) kommt in seiner Vernehmlassung zum Ergebnis, die Sachverhaltsfeststellungen des Verwaltungsgerichts seien insoweit unvollständig, als eine Beurteilung der Lärmbelastung aus den zugehörigen Parkplätzen gemäss Anhang 6 zur Lärmschutzverordnung [LSV; SR 814. 41] sowie der Lärmbelastung des Mehrverkehrs, der durch das Lokal verursacht werde, nicht vorgenommen worden sei. Dieser Verkehrsanteil (Mehrverkehr) müsse den Lärmimmissionen des Pubs und nicht dem Strassenverkehr zugerechnet werden.
Das BUWAL bezweifelt die Beurteilung des Verwaltungsgerichts, wonach der Strassenlärm den Lärm der Gaststätte weitgehend maskiere: Unter Zugrundelegung der österreichischen Richtlinie Nr. 33 "Schalltechnische Grundlagen für die Errichtung von Gastgewerbebetrieben, insbesondere Diskotheken" vom November 1990 sei davon auszugehen, dass Strasse und Gastwirtschaft einen vergleichbaren Immissionspegel verursachen. Dann aber müsse von einem Kumulationseffekt ausgegangen werden, d.h. die Störwirkung der Doppelbelastung liege deutlich höher als die der Einzelstörung.
Diesen Kumulationseffekt habe das Verwaltungsgericht verkannt.
Das BUWAL hält an seiner - schon im ersten Verfahren vor Bundesgericht vertretenen - Auffassung fest, dass eine Wand zwischen den Parzellen als bauliche Lärmschutzmassnahme in Betracht käme. Ansonsten könne eine spürbare Reduktion der Lärmbelastung durch die geforderte Begrenzung der Betriebszeiten auf 22.00 Uhr erreicht werden. Die vom Beschwerdeführer eventuell beantragte Öffnung des Pubs an höchstens 20 Tagen pro Jahr bis 23.00 Uhr könnte eine sinnvolle Möglichkeit darstellen, um den wirtschaftlichen Nachteil des Beschwerdegegners auf ein Minimum zu begrenzen.
J.- Die Beteiligten erhielten Gelegenheit, zur Vernehmlassung des BUWAL Stellung zu nehmen. Während die Beschwerdegegnerin die Errichtung einer Lärmschutzmauer befürworten würde, lehnt der Beschwerdeführer dies aus rechtlichen und aus ästhetischen Gründen ab. Die Beschwerdegegnerin beantragt, das Bundesgericht möge selbst einen Augenschein vornehmen, falls es den tatsächlichen Feststellungen des Verwaltungsgerichts und der übrigen Vorinstanzen keinen Glauben schenken wolle.
K.- Am 1. und am 20. März 2001 reichte die Beschwerdegegnerin neue Beweismittel zu den Akten. Diese unaufgefordert eingereichten Eingaben können im vorliegenden Verfahren nicht berücksichtigt werden.

Das Bundesgericht zieht in Erwägung:
1.- a) Mit der Verwaltungsgerichtsbeschwerde an das Bundesgericht können die Verletzung von Bundesrecht - einschliesslich Überschreitung oder Missbrauch des Ermessens - und die unrichtige oder unvollständige Feststellung des rechtserheblichen Sachverhalts gerügt werden (Art. 104 lit. a und b OG). Hat allerdings, wie im vorliegenden Fall, eine richterliche Behörde als Vorinstanz entschieden, ist das Bundesgericht an den festgestellten Sachverhalt gebunden, es sei denn, dieser sei offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt worden (Art. 105 Abs. 2 OG).
b) Hinzu kommt im vorliegenden Fall eine Bindung auch an die Erwägungen des bundesgerichtlichen Entscheids vom 24. Juni 1997: Hebt eine Beschwerde- oder Berufungsinstanz das angefochtene Urteil auf und weist es die Sache an die untere Instanz zurück, so hat diese die Erwägungen, mit denen die Rückweisung begründet wird, ihrem neuen Entscheid zugrunde zu legen. Das Gesetz bestimmt dies für Zivil- und Strafsachen ausdrücklich (Art. 66 OG, Art. 277ter BStP), doch gilt der Grundsatz auch für verwaltungsrechtliche Streitigkeiten. Wird der neue Entscheid der unteren Instanz wiederum weitergezogen, so ist dann auch das Bundesgericht an die Erwägungen gebunden, mit denen es die Rückweisung begründet hat (<ref-ruling> E. 2 S. 388; <ref-ruling> E. 2a S. 308 f.; Urteil vom 6. November 1987, ASA 58 421 E. 2c).
2.- a) Das Bundesgericht hatte die Sache an das Verwaltungsgericht zurückgewiesen, damit es feststelle, inwiefern der Lärm der Gartenwirtschaft im Haus des Beschwerdeführers zu hören sei. Dabei sei vor allem zu prüfen, ob der Lärm nur bei offenen oder auch bei geschlossenen Fenstern zu hören sei, inwieweit die Stimmen der Pub-Besucher sich vom Hintergrundslärm des Strassenverkehrs abheben oder von diesem überdeckt werden, ob einzelne Worte bzw. Satzteile herausgehört werden können und inwieweit nach richterlicher Erfahrung eine Beeinträchtigung der Nachtruhe (bei offenen bzw. bei geschlossenen Fenstern) zu befürchten sei (Entscheid vom 24. Juni 1997 E. 5b und 6e).
b) Das Verwaltungsgericht hat gestützt auf seinen Augenschein folgende Feststellungen getroffen:
Im Wohnzimmer der Familie X._, wo sich in der nordöstlichen Ecke die Schlafstatt der Ehefrau befindet, trete bei voll geöffnetem Fenster in erster Linie der Strassenlärm akustisch in Erscheinung. Neben dem Verkehrslärm seien aus dem Gartenrestaurant Stimmengewirr, Geschirr- und Besteckgeklapper und Gläsergeklirre zu hören. Mit Ausnahme von wenigen Aus- und Zurufen seien keine Wortinhalte auszumachen. Musik, zuschlagende Autotüren oder Gespräche der ankommenden oder weggehenden Besucher seien nicht zu hören. Während des rund 15-minütigen Aufenthalts sei ein "Kavalierstart" zu verzeichnen gewesen. Bei geöffnetem Fenster erscheine das Einschlafen nur schwer möglich, währenddem bei geschlossenem Fenster sowohl der Motorfahrzeuglärm als auch die Immissionen des Gartenrestaurants kaum wahrnehmbar seien, so dass ein Einschlafen problemlos möglich erscheine.
Auch auf der Terrasse sei der Strassenlärm gut wahrnehmbar, wobei Stimmengewirr, Gelächter, Geschirr- und Besteckgeklapper etwas deutlicher hervortreten als in der Wohnung der Familie X._. Schlechte Gerüche (Grill, Pommes-Frites oder Bier) seien nicht festgestellt worden; Musik sei nicht zu hören gewesen.
Im ostseitig gelegenen Zimmer der Mietwohnung sei wiederum in erster Linie der Strassen- und erst in zweiter Linie der Gaststättenlärm aufgefallen. Auch hier sei das Einschlafen bei geöffnetem Fenster praktisch ausgeschlossen.
Das Verwaltungsgericht hielt fest, dass der Augenschein die schon im Urteil vom 6. Februar 1996 getroffene - und vom Beschwerdeführer damals nicht bestrittene - Feststellung bestätigt habe, dass ein (Ein)Schlafen im Haus der Familie X._ bei offenem Fenster bereits aufgrund des Verkehrslärms ausgeschlossen erscheine. Insbesondere im Wohnzimmer der Familie X._ und im Zimmer des Mieters falle zuerst der Strassenlärm des Durchgangsverkehrs auf, während der Gaststättenlärm erst in zweiter Linie wahrgenommen werde. Damit bestätige sich auch die bereits im Urteil vom 6. Februar 1996 gemachte Feststellung, dass die starke Lärmvorbelastung zu einer "Maskierung" des übrigen störenden Lärms aus dem Gaststättenbetrieb führe. So seien die Stimmen der Restaurantbesucher und das Geschirr- und Besteckgeklapper zwar neben dem Strassenverkehr wahrnehmbar, würden sich aber von diesem nicht deutlich abheben. Dem Stimmengewirr könne auch - abgesehen von vereinzelten Aus- und Zurufen - kein Informationsgehalt entnommen werden.
Zusammenfassend stellte das Verwaltungsgericht fest, dass die Nachtruhe der Familie X._ bei geöffneten Fenstern erheblich gestört sei; diese Beeinträchtigung sei indes in erster Linie auf den Strassenlärm und erst in zweiter Linie auf den Gaststättenlärm zurückzuführen. Bei geschlossenen Fenstern seien sowohl der Motorfahrzeuglärm als auch die Immissionen des Gartenrestaurants kaum wahrnehmbar.
c) Der Beschwerdeführer rügt, das Verwaltungsgericht habe willkürlich auf die Einvernahme von Zeugen für die Häufigkeit und Intensität der Immissionen nach 22 Uhr verzichtet und willkürlich die beantragte Edition der Akten der Gemeinde Thal sowie der kantonspolizeilichen Akten über den Betrieb des Pubs seit 1985 abgelehnt. Zumindest hätten die Akten über die vom Gemeindeammann am 16. Juni 1998 verlangten Abklärungen über eine allfällige Überschreitung der Betriebszeit einverlangt werden müssen.
aa) Das Bundesgericht hat schon im Urteil vom 24. Juni 1997 (E. 7c) entschieden, dass es genüge, wenn sich das Verwaltungsgericht selbst ein Bild von den Lärmimmissionen mache; auf Zeugenvernehmungen und auf die Edition der Akten kantonaler und kommunaler Behörden könne dagegen verzichtet werden. Das Verwaltungsgericht hat sich - der Weisung des Bundesgerichts entsprechend - selbst von den Auswirkungen des Lärms der Gartenwirtschaft im Haus des Beschwerdeführers überzeugt; zusätzlich hat es die Zustände auf dem Parkplatz an drei Freitag- bzw. Samstagabenden von der Kantonspolizei beobachten und protokollieren lassen.
Schliesslich teilte die Politische Gemeinde Thal auf telefonische Anfrage des Gerichts mit, dass bezüglich Beanstandungen und Reklamationen wegen Immissionen rund um das Pub- Restaurant Y._ in den letzten zwei Jahren praktisch ausschliesslich Klagen des Ehepaares X._ beim Gemeinderat eingegangen seien. Unter diesen Umständen durfte das Verwaltungsgericht die Anträge des Beschwerdeführers auf Edition von Akten und auf die Vernehmung von Zeugen ablehnen, ohne seinen Anspruch auf rechtliches Gehör (<ref-law>) zu verletzen.
bb) Dies gilt auch für die Abklärungen über eine allfällige Überschreitung der Betriebszeit: Gegenstand des vorliegenden Verfahrens ist nicht die Frage, ob die vom Gemeinderat Thal am 2. Juni 1992 verfügten und zwischenzeitlich im Patent festgeschriebenen Betriebseinschränkungen lückenlos eingehalten worden sind, sondern ob noch kürzere Öffnungszeiten angeordnet werden müssen.
cc) Schliesslich liegt auch hinsichtlich der vom Beschwerdeführer eingereichten Schreiben von Frau S._ (Eigentümerin der südlich der Hauptstrasse befindlichen Liegenschaft Nr. 135) und des ehemaligen Mieters des Beschwerdeführers M._ aus dem Jahre 1991 keine Verletzung des rechtlichen Gehörs vor. Frau S._ wohnt nicht selbst in Thal und kann daher nicht aus eigener Anschauung über die Lärmverhältnisse berichten. Das Schreiben von M._ stammt aus dem Jahre 1991, d.h. vor dem Beschluss des Gemeinderats Thal vom 2. Juni 1992. Die von der Gemeinde angeordneten Massnahmen, die erst 1995 teilweise in Kraft gesetzt worden sind, haben zu einer gewissen Beruhigung der Situation geführt: Dies wurde schon im Bundesgerichtsurteil vom 24. Juni 1997 (E. 5b) festgehalten und wird durch die Auskunft der Gemeinde Thal bestätigt. Daher sind auch die in der Beschwerdeschrift zitierten Schreiben, die überwiegend aus der Zeit vor 1995 stammen, nicht geeignet, die Sachverhaltsfeststellungen des Verwaltungsgerichts über die aktuellen Verhältnisse als offensichtlich unrichtig erscheinen zu lassen.
d) Der Beschwerdeführer rügt, der Augenschein habe einen falschen Eindruck der Lärmbelastung vermittelt.
aa) Er ist der Auffassung, ein nur 15-minütiger Aufenthalt von neun Personen in der Wohnung sei ein untaugliches Beweismittel, weil die Situation von neun hellwachen Personen, die sich unterhalten, nicht mit derjenigen einer Einzelperson vergleichbar sei, die einschlafen wolle.
Dieser Einwand ist nachvollziehbar. Es gibt aber keine Alternative zur Durchführung derartiger Augenscheine, wenn Belastungsgrenzwerte fehlen und deshalb nicht (oder nicht allein) auf Lärmmessungen abgestellt werden kann.
Müssen die Richter aufgrund ihrer eigenen Erfahrung beurteilen, ob eine unzumutbare Störung vorliegt (vgl. Urteil des Bundesgerichts vom 24. Juni 1997 E. 3b), so müssen sie sich selbst ein Bild von der Lärmsituation machen. Die Parteien und ihre Rechtsvertreter haben das Recht, am Augenschein teilzunehmen; zugleich muss ein Gerichtsschreiber für das Protokoll dabei sein. Es handelt sich somit zwangsläufig um eine grössere Personengruppe, die sich nur für eine beschränkte Zeit in der Wohnung aufhalten kann. Immerhin aber kommen die Augenscheinsteilnehmer mit dem ausdrücklichen Ziel, den Lärm der Gastwirtschaft und dessen Auswirkungen auf die Nachtruhe zu beurteilen, hören also genau hin und versuchen, sich in die Lage der hier lebenden und schlafenden Menschen hineinzuversetzen. Dies vermag die geschilderten Mängel eines Augenscheins zumindest teilweise auszugleichen.
bb) Der Beschwerdeführer rügt ferner, dass die Gartenwirtschaft am Tag des Augenscheins nur halb besetzt gewesen sei, weil gleichzeitig das "Open Air Festival" St. Gallen und das "Badifest" in Rorschach stattgefunden hätten. Das Verwaltungsgericht hätte deshalb dem Antrag des Beschwerdeführers auf Wiederholung des Augenscheins stattgeben müssen.
Das Verwaltungsgericht stellte fest, die Gartenwirtschaft - für die gemäss Patent 150 Plätze zur Verfügung stehen - sei am Abend des Augenscheins mit ca. 200 Personen voll ausgelastet gewesen. Auch wenn sich unbestrittenermassen an einzelnen Abenden bis zu 400 Gäste im Gartenrestaurant aufhalten, sei davon auszugehen, dass es sich dabei um Spitzenwerte und nicht um die Normalbesetzung handle.
Unter diesen Umständen könne nicht gesagte werden, dass der Augenschein kein objektives Bilde von der Sachlage habe vermitteln können.
Diese Erwägungen sind nicht offensichtlich unrichtig:
Auch beim Augenschein des Verwaltungsgerichts im vorangegangenen Verfahren, am 10. August 1995 zwischen 22.10 und 23.00 Uhr, waren ca. 150 bis 200 Besucher in der Gartenwirtschaft anwesend, wobei an jenem Abend milde und angenehme Aussentemperaturen herrschten und es soweit ersichtlich keine konkurrierende Grossveranstaltung gab. Das Verwaltungsgericht durfte daher ohne Verletzung des rechtlichen Gehörs auf eine Wiederholung des Augenscheins verzichten.
Es musste allerdings bei der Beurteilung der Immissionen die höhere Lärmbelastung bei einer "Spitzenbesetzung" der Gartenwirtschaft mitberücksichtigen.
cc) Schliesslich wirft der Beschwerdeführer dem Verwaltungsgericht vor, den Wirt des Y._ beim Augenschein von Anfang an informiert und in die Wohnung des Beschwerdeführers mitgenommen zu haben. Damit sei das Personal der Beschwerdegegnerin über die Beweiserhebung im Bilde gewesen und habe entsprechenden Einfluss auf die Gäste nehmen können.
Das Verwaltungsgericht musste jedoch zur Wahrung des rechtlichen Gehörs und der Gleichbehandlung der Parteien (Art. 29 Abs. 1 und 2 BV) nicht nur den Beschwerdeführer und dessen Anwalt, sondern auch den Vertreter der Beschwerdegegnerin, B._, am Augenschein teilnehmen lassen. Wie das Verwaltungsgericht in seinen Erwägungen festgestellt hat, wurde dieser zu Beginn des Augenscheins von einem der anwesenden Verwaltungsrichter direkt in der Küche abgeholt; er habe somit keine Zeit gehabt, sein Personal oder gar die Gäste vom Augenschein zu informieren; es gebe auch keinerlei Hinweise für eine Beeinflussung der Ergebnisse des Augenscheins.
Unter diesen Umständen kann nicht von einer unzulässigen Beeinflussung der Ergebnisse des Augenscheins ausgegangen werden.
e) aa) Eine weitere Sachverhaltsrüge des Beschwerdeführers betrifft die vom Verwaltungsgericht beigezogenen Verkehrslärmmessungen aus dem Jahre 1990: Diese seien überholt, weil zwischenzeitlich der Autobahnanschluss Goldach eröffnet worden sei, der den grössten Teil des Verkehrs St. Margrethen Richtung Arbon/Kreuzlingen übernommen habe.
Auf telefonische Anfrage des Verwaltungsgerichts teilte jedoch das kantonale Amt für Umweltschutz am 30. Mai 2000 mit, dass sich die Lärmbelastung im fraglichen Gebiet seit der Erstellung des Lärmkatasters nur unwesentlich verändert habe: Die Reduktion des Strassenverkehrs durch die Eröffnung des Zubringers Arbon bewirke eine Lärmreduktion um weniger als ein Dezibel. Damit kann das Strassenlärmbelastungskataster weiterhin einen Anhaltspunkt für die Belastung des Grundstücks des Beschwerdeführers mit Strassenverkehrslärm geben.
bb) Die 1990 gemessenen Werte betrugen für den südlichen Teil des Wohnhauses des Beschwerdeführers (Hauptstrasse 65) am Tag 73.3 dB(A) und für die Nacht 64.2 dB(A), d.h. es wurden die Alarmwerte der Empfindlichkeitsstufe III gemäss Anhang 3 Ziff. 2 zur LSV für den Tag bzw. für die Nacht von 70 db(A) bzw. 65 dB(A) deutlich über- bzw. nur knapp unterschritten. Im hinterliegenden, nördlichen Teil des Wohnhauses (Hauptstrasse 63) wurde für den Tag ein Beurteilungspegel von 65.6 dB(A) und für die Nacht von 56.5 dB(A) gemessen, so dass die Immissiongrenzwerte am Tag und in der Nacht von 65 dB(A) bzw. 55 dB(A) überschritten werden. Diese Messwerte bestätigen den akustischen Eindruck der Verwaltungsrichter, wonach sich der Strassenlärm auf das Wohlbefinden der Bewohner der Liegenschaft des Beschwerdeführers erheblich störend auswirkt, und zwar auch im hinterliegenden, nördlichen Teil der Wohnung. Auch wenn der Verkehrslärm auf der Strassenseite um ein Mehrfaches höher ist als auf der Seeseite, muss mit dem Verwaltungsgericht davon ausgegangen werden, dass auch die Wohnqualität auf der Seeseite durch den - tags und nachts über den Immissionsgrenzwerten liegenden - Verkehrslärm stark beeinträchtigt wird.
f) Der Beschwerdeführer bestreitet die Feststellung des Verwaltungsgerichts, wonach der Gastwirtschaftslärm durch den allgemeinen Strassenverkehrslärm maskiert werde:
Der Lärm aus dem Pub habe einen anderen Charakter als der Motorfahrzeuglärm; insbesondere habe er in unregelmässigen Abständen deutliche Spitzen, was den Schlaf wesentlich stärker beeinträchtige als das Grundgeräusch des Motorfahrzeuglärms.
Auch das BUWAL bezweifelt die maskierende Wirkung des Strassenverkehrslärms: Unter Zugrundelegung der österreichischen Richtlinie Nr. 33 "Schalltechnische Grundlagen für die Errichtung von Gastgewerbebetrieben, insbesondere Diskotheken" vom November 1990 sei davon auszugehen, dass Strasse und Gastwirtschaft einen vergleichbaren Immissionspegel verursachen. Dann aber müsse mit einem Kumulationseffekt gerechnet werden, d.h. die Störwirkung der Doppelbelastung liege deutlich höher als die der Einzelstörung.
Im vorliegenden Zusammenhang (Sachverhaltsrügen) genügt der Hinweis, dass auch das Verwaltungsgericht nicht von einer vollständigen Überdeckung des Gastwirtschafts- durch den Verkehrslärm ausgegangen ist. Es hat lediglich festgehalten, dass zuerst der Strassenlärm des Durchgangsverkehrs auffalle und erst in zweiter Linie der Gaststättenlärm wahrgenommen werde: Zwar seien die Stimmen der Restaurantbesucher und das Geschirr- und Besteckgeklapper neben dem Strassenlärm wahrnehmbar, sie würden sich aber von diesem nicht deutlich abheben. Zudem könne dem Stimmengewirr - von einzelnen Aus- und Zurufen abgesehen - auch kein Informationsgehalt entnommen werden. Es gibt keinen Anlass, diese tatsächlichen Feststellungen als offensichtlich unrichtig zu betrachten. Eine andere Frage ist, wie diese Lärmsituation rechtlich zu beurteilen ist, d.h. inwieweit die Vorbelastung durch den Strassenverkehr die Belastung durch den Gaststättenlärm relativiert oder im Gegenteil erhöht (vgl. dazu unten E. 3b).
g) Schliesslich machen sowohl der Beschwerdeführer als auch das BUWAL geltend, die Sachverhaltsfeststellungen des Verwaltungsgerichts seien unvollständig, weil eine Beurteilung der Lärmbelastung aus den zugehörigen Parkplätzen gemäss Anhang 6 LSV sowie der Lärmbelastung des Mehrverkehrs, der durch das Lokal verursacht werde, nicht vorgenommen worden sei. Dieser Verkehrsanteil (Mehrverkehr) müsse den Lärmimmissionen des Y._ und nicht dem Strassenverkehr zugerechnet werden. Der Beschwerdeführer gibt zu bedenken, dass der Wirt des Pubs über insgesamt 180 Parkplätze verfüge (neben dem eigenen auch über jene der Mosterei und der Spezialbeton AG) und ein ständiges Kommen und Gehen herrsche. Dies bedeute, dass ein massgeblicher Anteil am Gesamtverkehrslärm in der Nacht vom Y._ verursacht werde.
aa) Das Verwaltungsgericht hat keine Lärmmessungen und keine Beurteilung der Parkplatz-Immissionen gemäss Anh.
6 LSV vorgenommen; es hat jedoch durchaus Feststellungen zur Lärmbelastung aus den zum Y._ gehörenden Parkplätzen auf der gegenüberliegenden Strassenseite getroffen. Gestützt auf seinen Augenschein (vgl. insbesondere Augenscheinsprotokoll S. 2 und 3) und auf die Rapporte der Kantonspolizei St. Gallen über das Geschehen auf dem Parkplatz an drei Freitag- oder Samstagabenden in den Monaten Juli und August 1999 um 22.00, 23.00 und 24.00 Uhr hielt es fest, dass sich die Situation auf dem Parkplatz durch die von der Gemeinde angeordneten Massnahmen wesentlich verbessert habe: In den drei Polizeirapporten sei kein widerrechtlich abgestelltes Fahrzeug vermerkt worden; zudem sei an den Abenden mit schönem Wetter ein Parkplatzanweiser vorhanden gewesen (angefochtener Entscheid S. 25). Es stellte fest, dass vom Wohnzimmer der Familie X._, wo auch die Schlafstätte der Ehefrau liege, keine zuschlagenden Autotüren oder Gespräche der ankommenden oder weggehenden Besucher zu hören seien. Während des 15-minütigen Aufenthalts der Augenscheinsteilnehmer sei allerdings ein "Kavalierstart" zu verzeichnen gewesen (angefochtener Entscheid S. 17).
Diese Feststellungen erscheinen ausreichend. Angesichts des ständigen Durchgangsverkehrs an der Hauptstrasse in Staad wäre es kaum möglich, den Lärm des Parkplatzes isoliert zu messen. Darüberhinaus wirken sich weniger der Lärm der Motoren, als die - sehr unregelmässig auftretenden - Geräusche beim Ein- und Aussteigen der Gäste (Zuschlagen der Türen, Unterhaltungen, etc.) störend aus. Auf diesen Lärm hat das Verwaltungsgericht bei seinem Augenschein in der Wohnung des Beschwerdeführers geachtet und hierzu Feststellungen getroffen. Feststellungen zu den Lärmimmissionen der übrigen Parkplätze (Mosterei, Spezialbeton) erscheinen entbehrlich, da diese vom Grundstück des Beschwerdeführers aus nicht zu hören sind.
bb) Das Verwaltungsgericht hat den Anteil des Verkehrsaufkommens, der dem Pub zuzurechnen sei, in seinen Erwägungen nicht beziffert; es ging jedoch davon aus, dass dieser Anteil vernachlässigbar gering sei (S. 19 des angefochtenen Entscheids). Es hat diese Feststellung allerdings nicht näher begründet. Das Gericht stellt pauschal auf die Lärmbelastung durch den Strassenverkehr am Tag bzw. in der Nacht ab und schliesst daraus offenbar, der vom Pub erzeugte Verkehr spiele keine Rolle. An sich hätte jedoch ermittelt werden müssen, wieviele Autos in den kritischen Stunden (zwischen 22.00 und 24.00 Uhr) als Verkehr vom und zum Pub geltend müssen.
Ausgehend von den Besucherzahlen von 200 und mehr Personen muss mit 50 bis 100 Fahrzeugen pro Stunde gerechnet werden, auch wenn ein Teil der Besucher im Sommer ohne Auto kommt (z.B. mit Rollerskates oder Fahrrädern). Die geringe Grösse des Parkplatzes gegenüber dem Y._ (34 Autoparkplätze und einige Motorradplätze) ist für sich allein nicht aussagekräftig, weil es weitere Parkplätze gibt und die Fahrzeuge - je nach Fahrtrichtung und Lage des Parkplatzes - am Haus des Beschwerdeführers vorbeifahren können.
Aus der 1998 in Staad durchgeführten automatischen Verkehrszählung ergibt sich für die Sommermonate Juni bis August für die Zeit von 22.00 bis 23.00 unter der Woche (Sonntag bis Donnerstag) ein Durchschnitt von ca. 450 Fahrzeugen pro Stunde und an Wochenenden (Freitag und Samstag) von ca. 650 (in der Zeit von 23.00 bis 24.00 Uhr) bzw. 555 Fahrzeugen (in der Zeit von 23.00 bis 24.00 Uhr). Damit verkehren an Wochenenden in der Zeit von 22.00 Uhr bis 24.00 durchschnittlich ca. 600 Fahrzeuge pro Stunde auf der Hauptstrasse in Staad. Bis zu 100 dem Pub zurechenbare Verkehrsbewegungen pro Stunde stellen somit keinen vernachlässigbaren, aber auch keinen gewichtigen Anteil am Strassenverkehr dar.
Das Verwaltungsgericht hat allerdings einleuchtend dargelegt, dass die Schliessung der Gartenwirtschaft um 22.00 Uhr diesen Verkehr vermutlich nicht zum Verschwinden brächte: An schönen Abenden sucht das Publikum erfahrungsgemäss den See auf und würde, wenn die Gartenwirtschaft des Y._ geschlossen wäre, einfach ein anderes Lokal am See aufsuchen, und hierzu u.U. auch die Hauptstrasse in Staad befahren. Insofern durfte das Verwaltungsgericht annehmen, der von der Gartenwirtschaft des Y._ verursachte Mehrverkehr sei vernachlässigbar gering und auf weitere Abklärungen verzichten.
h) Nach dem Gesagten ist der vom Verwaltungsgericht festgestellte Sachverhalt für das bundesgerichtliche Verfahren verbindlich (Art. 105 Abs. 2 OG). Er ist der rechtlichen Beurteilung im Folgenden zu Grunde zu legen. Damit kann auf den von der Beschwerdegegnerin beantragten Augenschein verzichtet werden.
3.- a) Beim Y._ handelt es sich um eine Altanlage, die den Bestimmungen über die Sanierungspflicht unterliegt (<ref-law>; <ref-law>). Die Vollzugsbehörde ordnet die Sanierung derartiger Anlagen an, wenn diese wesentlich zur Überschreitung der Immissionsgrenzwerte beitragen (<ref-law>). Wie das Bundesgericht in seinem Entscheid vom 24. Juni 1997 (E. 3) dargelegt hat, fehlen Belastungsgrenzwerte für Gaststättenlärm, so dass das Gericht im Einzelfall beurteilen muss, ob eine unzumutbare Störung gemäss <ref-law> vorliegt. Dabei sind der Charakter des Lärms, Zeitpunkt und Häufigkeit seines Auftretens sowie die Lärmempfindlichkeit bzw. Lärmvorbelastung der Zone, in der die Immissionen auftreten, zu berücksichtigen (vgl. auch <ref-ruling> E. 4d S. 333 ff.).
aa) Im vorliegenden Fall stimmen alle Beteiligten mit dem Verwaltungsgericht darin überein, dass die Lärmimmissionen aus der Gartenwirtschaft bei Einhaltung der normalen (nach dem kantonalen Gastwirtschaftsgesetz zulässigen) Öffnungszeiten übermässig bzw. erheblich störend i.S.v. <ref-law> sind und damit Sanierungsmassnahmen geboten sind. Diese wurden von der Gemeinde Thal am 2. Juni 1992 angeordnet. Streitig ist jedoch, ob diese Massnahmen genügen oder ob weitergehende Massnahmen zur Immissionsminderung geboten sind.
bb) Im bundesgerichtlichen Urteil vom 24. Juni 1997 (E. 4c) wurde - in Übereinstimmung mit den kommunalen und kantonalen Behörden - davon ausgegangen, dass keine technischen oder baulichen Möglichkeiten bestehen, um die Lärmimmissionen einzuschränken, und insbesondere der Bau einer Lärmschutzwand nicht in Betracht falle. An diese Erwägung ist das Bundesgericht im vorliegenden Verfahren gebunden (vgl. oben, E. 1b). Im Folgenden sind daher nur weitergehende betriebliche Einschränkungen zu prüfen, namentlich frühere Schliessungszeiten für die Gartenwirtschaft.
cc) Weitergehende Massnahmen wären erforderlich, wenn der Gaststättenlärm trotz der bereits angeordneten Sanierungsmassnahmen die im Einzelfall festzusetzende Zumutbarkeitsschwelle gemäss <ref-law> überschreitet (<ref-law>) und keine entsprechende Erleichterung i.S.v. <ref-law>, <ref-law> erteilt werden darf. Das ist im Folgenden zu prüfen.
b) Das Verwaltungsgericht ging davon aus, dass an rund 60 Tagen im Jahr in der Gartenwirtschaft Hochbetrieb sei und mit gravierenden Lärmimmissionen zu rechnen sei.
Es stellte anlässlich des Augenscheins fest, dass von der nordöstlichen Ecke des Wohnzimmers des Beschwerdeführers bei geöffnetem Fenster Stimmengewirr, Geschirr- und Besteckgeklapper und Gläsergeklirre zu hören sei; bei einigen wenigen Aus- und Zurufen seien auch Wortinhalte auszumachen.
Zwar seien keine Musik, kein Zuschlagen von Autotüren oder Gespräche ankommender oder weggehender Besucher zu hören gewesen, wohl aber ein "Kavalierstart". Während in der Wohnung in erster Linie der Strassen- und erst in zweiter Linie der Gaststättenlärm zu hören sei, sei auf der Terrasse der Lärm der Gartenwirtschaft etwas deutlicher hervorgetreten.
Bei offenem Fenster sei - so das Verwaltungsgericht - ein Einschlafen nur schwer möglich. Dies sei allerdings in erster Linie auf den Strassenverkehr zurückzuführen, der zu einer gewissen "Maskierung" des übrigen störenden Lärms aus der Gaststättenwirtschaft führe.
Diese Erwägungen lassen nicht eindeutig erkennen, ob das Verwaltungsgericht der Auffassung war, der Lärm der Gaststätte allein überschreite weiterhin die Zumutbarkeitsschwelle nach <ref-law>, d.h. die bereits angeordneten Sanierungsmassnahmen genügten nicht den Anforderungen von <ref-law>. Auf eine Überschreitung der Immissiongrenzwerte (bzw. der Zumutbarkeitsschwelle gemäss <ref-law>) lässt immerhin die Qualifikation der Lärmbelastung als "gravierend" schliessen. Auch die Berufung des Verwaltungsgerichts auf <ref-law> (Erleichterungen im Einzelfall) wäre nicht erforderlich, wenn die Sanierungsmassnahmen schon nach <ref-law> und <ref-law> ausreichend wären.
Es spricht in der Tat viel dafür, dass der Gaststättenlärm - auch unter Berücksichtigung der geringeren Lärmempfindlichkeit der Wohn-Gewerbe-Zone (Lärmempfindlichkeitsstufe III) und ihrer erheblichen Lärmvorbelastung - die Zumutbarkeitsschwelle nach <ref-law>, <ref-law> weiterhin überschreitet: Hierbei ist zu berücksichtigen, dass die Gartenwirtschaft des Pubs an rund 60 Tagen im Jahr voll ausgelastet ist (und nicht nur an 20 Tagen, wie ursprünglich angenommen worden war) und sich an Spitzenzeiten bis zu 400 Personen dort befinden, d.h. die Lärmbelastung zeitweilig wesentlich höher liegen kann als vom Verwaltungsgericht am Augenschein festgestellt worden ist. Hinzu kommt der Charakter des Lärms: Das BUWAL hat darauf hingewiesen, dass verhaltensspezifischer Lärm durch das plötzliche Auftreten von Spitzenpegeln erheblich störend sei. Das Verwaltungsgericht hat an seinem Augenschein zwar festgestellt, dass der konstante Lärm der Gaststätte (Stimmengewirr, Besteckgeklapper) durch den Strassenlärm weitgehend maskiert werde; es hat aber immerhin einzelne Aus- und Zurufe ausmachen können und einen "Kavalierstart" vermerkt, die trotz des Strassenlärms herauszuhören waren. Derartige Lärmspitzen sind gerade in der Einschlafphase besonders störend.
Nach dem Gesagten ist davon auszugehen, dass die Gartenwirtschaft weiterhin schädlichen bzw. lästigen Lärm auf der Liegenschaft des Beschwerdeführers verursacht.
c) Im Folgenden ist daher zu prüfen, ob die vom Beschwerdeführer verlangten weiteren Betriebseinschränkungen zur Verminderung des Gaststättenlärms unverhältnismässig sind, d.h. dem Y._ Erleichterungen nach <ref-law>, <ref-law> erteilt werden können.
aa) Das Verwaltungsgericht nahm an, der Nutzen, der dem Beschwerdeführer durch die frühere Schliessung des Gartenrestaurants entstehen würde, sei relativ gering einzuschätzen:
Das (Ein)Schlafen bei offenem Fenster sei schon auf Grund des Strassenverkehrs nicht möglich; zudem liessen sich auch die Sekundärimmissionen (Lärm der ankommenden und weggehenden Gäste; Lärm des Parkplatzes) nur teilweise vermeiden, da für den übrigen Restaurantbetrieb weiterhin die ordentlichen Schliessungszeiten gelten. Dagegen hätte eine weitere Verkürzung der Öffnungszeiten der Gartenwirtschaft für die Beschwerdegegnerin schwerwiegende Konsequenzen: Die Gartenwirtschaft mit direktem Seeanstoss bilde eine wesentliche Ursache für den mitunter grossen Publikumsandrang im Y._; die Reduktion der Betriebszeit um eine weitere Stunde während der ertragsstarken Abendstunden würde zu einer erheblichen wirtschaftlichen Einbusse führen; zudem müsste damit gerechnet werden, dass die Gartenwirtschaft grundsätzlich weniger besucht würde. Unter diesen Umständen falle die Interessenabwägung zu Ungunsten des Beschwerdeführers aus.
Der Beschwerdeführer hält diese Interessenabwägung aus mehreren Gründen für falsch:
bb) Das Verwaltungsgericht habe nicht berücksichtigt, dass die Beschwerdegegnerin im Widerspruch zum Patent an 60 und mehr Nächten nach 22 Uhr zwischen 150 und 400 Personen in der Gartenwirtschaft bewirte. Ihr werde daher kein Verzicht auf eine rechtmässige Gewerbetätigkeit zugemutet, sondern es werde die Aufgabe eines widerrechtlichen Verhaltens verlangt.
Das Verwaltungsgericht hat die zeitweilige Überschreitung der im Patent festgelegten Bewirtungskapazität durchaus gesehen, diesem Umstand jedoch keine Bedeutung beigemessen, weil die Einhaltung des Patents nicht Gegenstand des vorliegenden Verfahrens sei. In der Tat strebt der Beschwerdeführer nicht die Beschränkung der Zahl der Besucher der Gartenwirtschaft auf maximal 150, sondern die vollständige Schliessung der Gartenwirtschaft ab 22 Uhr an und verlangt damit eine über das Patent hinausgehende Einschränkung des Betriebs. Er beschwert sich nicht nur über übermässigen Lärm bei "Spitzenbesetzung" der Gartenwirtschaft mit bis zu 400 Personen, sondern hält schon den bei der Normalauslastung erzeugten Lärm für übermässig.
Es ist eine Frage des kantonalen bzw. kommunalen Rechts, das vom Bundesgericht nicht frei überprüft werden kann, ob die im Patent festgelegte Platzzahl eine maximale Auslastungsgrenze darstellt oder nur eine Durchschnittsgrösse, und welche Konsequenzen aus einer Überschreitung dieser Zahl zu ziehen sind. Es wird Aufgabe der zuständigen kantonalen oder kommunalen Behörden sein, diese Frage zu prüfen und gegebenenfalls Schritte zu ergreifen.
cc) Der Beschwerdeführer macht weiter geltend, die Überschreitung der Alarmwerte durch den Strassenverkehr sei rechtswidrig, weil bislang keine Erleichterungen bewilligt worden seien. Geboten sei eine Minderung der gesamten Lärmimmissionen; statt dessen befürworte das Verwaltungsgericht eine weitere Erhöhung der abendlichen Strassenverkehrsimmissionen durch den Verkehr des Pubs.
Das kantonale Amt für Umweltschutz hat dem Verwaltungsgericht am 30. Mai 2000 mitgeteilt, dass für den betreffenden Strassenabschnitt keine Sanierungsmassnahmen bekannt seien, die verhältnismässig oder wirksam wären. Es werde der Strasseneigentümerin deshalb nichts anderes übrig bleiben, als ein Gesuch um Erleichterungen nach <ref-law> zu stellen. Unter diesen Umständen ist davon auszugehen, dass die Überschreitung der Alarmwerte durch die Staatsstrasse - einer öffentliche Anlage i.S.v. <ref-law> - bewilligt werden wird, mit der Folge, dass keine Sanierungs- sondern lediglich Schallschutzmassnahmen an den bestehenden Gebäuden getroffen werden.
Unter diesen Umständen durfte und musste das Verwaltungsgericht den auf absehbare Zeit bestehenden übermässigen Strassenverkehrslärm bei seiner Interessenabwägung berücksichtigen. Da es den Anteil der Gartenwirtschaft des Y._ am Verkehrsaufkommen als vernachlässigbar gering einschätzte (vgl. oben, E. 2g/bb), durfte es ferner davon ausgehen, dass frühere Schliessungszeiten der Gartenwirtschaft keinen spürbaren Einfluss auf den Strassenlärm haben würden, zumal für den übrigen Restaurantbetrieb weiterhin die ordentlichen Schliessungszeiten gelten.
dd) Der Beschwerdeführer macht weiter geltend, es gebe kein einziges anderes Lokal am Bodensee, dem gestattet würde, bis 23.00 bzw. 23.30 Uhr (an Wochenenden) in einer Wohn-Gewerbe-Zone im Freien zu wirten. Auch in den unmittelbar benachbarten ausländischen Gebieten würden kürzere Schliessungszeiten gelten. So müssten etwa die bayrischen Biergärten die Betriebszeiten so beenden, dass der zurechenbare Strassenverkehr bis 23 Uhr abgewickelt sei.
Nach dem geltenden Gastwirtschaftsgesetz des Kantons Thurgau dürfen Gaststätten allabendlich bis 24 Uhr öffnen; samstags und sonntags müssen sie erst um 1.00 Uhr schliessen (Art. 16 Abs. 1 und Art. 17 Abs. 1 des St. Galler Gastwirtschaftsgesetzes). Diese Öffnungszeiten gelten grundsätzlich auch für Gartenwirtschaften, soweit nicht aus Gründen des Lärmschutzes kürzere Schliessungszeiten angeordnet worden sind. Der Regierungsrat hat in seinem Entscheid vom 7. März 1995 zwei Fälle genannt, in denen er mit Rücksicht auf die umliegenden Wohngebäude die Schliessungszeiten für Gartenrestaurants auf 22.00 Uhr festgelegt habe; in beiden Fällen habe es sich indes um neue Anlagen gehandelt, die an Wohnzonen angrenzten, während es vorliegend um die Sanierung einer Altanlage in der Wohn-Gewerbe-Zone gehe.
Aus dem vom Beschwerdeführer vorgelegten Lärmschutzreglement der Stadt Rohrschach vom 9. April 1973 geht hervor, dass Gartenwirtschaften dort um 22.00 Uhr schliessen müssen; dagegen kennt die Gemeinde Thal keine generelle Betriebseinschränkung dieser Art.
Auch im Hinblick auf die Gartenwirtschaften im benachbarten Ausland trifft die Behauptung des Beschwerdeführers nur teilweise zu: Auf der österreichischen Seeseite dürfen bestimmte Gartenwirtschaften in der Sommerzeit bis 24 Uhr betrieben werden (Verordnung des Vorarlberger Landeshauptmanns über die Gewerbeausübung in Gastgärten vom 15. Juni 1999). In Konstanz dürfen Gartenwirtschaften nach Auskunft des Rechts- und Ordnungsamtes der Stadt im Sommer generell bis 23 Uhr öffnen, wobei die Möglichkeit von Ausnahmebewilligungen für bestimmte Tage oder Monate besteht.
Nach dem Gesagten kann nicht davon ausgegangen werden, dass die Gartenwirtschaften der Umgebung generell kürzere Öffnungszeiten haben als das Y._.
ee) Schliesslich wirft der Beschwerdeführer dem Verwaltungsgericht vor, die hohe Bedeutung der Nachtruhe verkannt und eine Güterabwägung zu Gunsten des Umsatzes des Wirtes des Pubs und zu Lasten der Gesundheit der Anwohner vorgenommen zu haben. Das Verwaltungsgericht hat jedoch lediglich berücksichtigt, dass die Nachtruhe des Beschwerdeführers bereits durch den Strassenverkehr erheblich beeinträchtigt werde, so dass ein Schlafen mit offenen Fenstern kaum möglich sei. Dagegen sei sowohl der Strassenlärm als auch der Gastwirtschaftslärm bei geschlossenem Fenster kaum wahrnehmbar, so dass das Einschlafen ohne weiteres möglich sei. Es folgerte daraus, dass eine weitere Einschränkung der Betriebszeiten der Gartenwirtschaft dem Beschwerdeführer keinen grossen Nutzen bringen würde, da er - aufgrund des andauernden Strassenlärms - ohnehin gezwungen sei, die Fenster zu schliessen. Diese Schlussfolgerung ist nachvollziehbar; sie verkennt nicht die Bedeutung der ungestörten Nachtruhe für Gesundheit und Wohlbefinden der Menschen, sondern zieht lediglich die Konsequenz aus der bereits vorhandenen erheblichen Lärmvorbelastung.
d) Nach dem Gesagten verstösst die vom Verwaltungsgericht vorgenommene Interessenabwägung nicht gegen Bundesrecht.
Steht, wovon nach den Feststellungen des Verwaltungsgerichts auszugehen ist, der Vorteil einer weiteren Verminderung der Lärmbelästigung durch kürzere Betriebszeiten für den Beschwerdeführer in einem Missverhältnis zu den damit einhergehenden schweren wirtschaftlichen Einbussen für die Beschwerdegegnerin, erweisen sich weitere Betriebseinschränkungen als unverhältnismässig, weshalb Erleichterungen gemäss <ref-law> gewährt werden dürfen. Dies führt nicht zu untragbaren Konsequenzen für den Beschwerdeführer (<ref-law>, <ref-law>), da die Nachtruhe auch in den Sommermonaten zumindest bei geschlossenen Fenstern gewährleistet ist.
e) Zur Unterstützung des vom Verwaltungsgericht gewonnenen Ergebnisses lassen sich auch raumplanerische Erwägungen anführen (vgl. hierzu Zäch/Wolf, USG-Kommentar, Art. 15 Rz 30): Gartenwirtschaften mit Seeanschluss sind eine wichtige Erholungs- und Freizeiteinrichtung für alle diejenigen, die über kein eigenes Grundstück am See verfügen.
Derartige Gartenwirtschaften sind auf einen Standort in Seenähe angewiesen, dürfen aber aufgrund ihrer Lärmimmissionen nicht in besonders lärmempfindlichen Zonen (z.B.
Wohnzonen) angesiedelt werden. Es ist deshalb sinnvoll, solche Anlagen in Gebieten zu konzentrieren, die sich aufgrund ihrer Lärmvorbelastung nicht oder nur bedingt für eine Wohnnutzung eignen. Im vorliegenden Fall handelt es sich um eine Wohn-Gewerbe-Zone, die erheblichem Strassenlärm sowie dem Lärm der Eisenbahn und des Flugplatzes Altenrhein ausgesetzt ist; nach den Feststellungen des Verwaltungsgerichts besteht auch mittelfristig keine Aussicht auf eine Sanierung zumindest des Strassenverkehrslärms. Unter diesen Umständen besteht auch ein öffentliches Interesse am Fortbestand der Gartenwirtschaft am vorliegenden Standort, das bei der Interessenabwägung mitberücksichtigt werden kann.
f) Nach dem Gesagten ist die Festlegung der Schliessungszeiten der Gastwirtschaft auf 23.00 Uhr (Sonntag bis Donnerstag) und 23.30 Uhr (Freitag und Samstag) rechtmässig, weshalb sowohl der Haupt- als auch der Eventualantrag des Beschwerdeführers abzuweisen sind. Da der Wirt des Pubs schon gemäss Ziff. 2 der Verfügung des Gemeinderats Thal vom 2. Juni 1992 verpflichtet ist dafür zu sorgen, dass sich um 23.00 Uhr bzw. um 23.30 Uhr keine Gäste mehr in der Gartenwirtschaft aufhalten, muss er hierzu zwangsläufig den Getränke- und Speiseausschank früher beenden, ohne dass es hierzu einer gesonderten Anordnung (wie in Subeventualantrag (a) des Beschwerdeführers verlangt) bedarf. Die Auflage, die Betriebszeit so zu beenden, dass der zurechenbare Strassenverkehr bis 23.00 Uhr abgewickelt werden kann (Subeventualantrag b), erscheint kaum durchführbar, weil das Restaurant im Gebäudeinnern bis 24 Uhr (bzw. 1.00 Uhr) geöffnet bleiben darf und ein grosser Teil der Gäste um 23.00 Uhr von der Gartenwirtschaft ins Restaurant wechseln wird.
4.- Danach ist die Beschwerde abzuweisen. Bei diesem Ausgang des Verfahrens wird der Beschwerdeführer kostenpflichtig (Art. 156 OG). Der privaten Beschwerdegegnerin, die nicht anwaltlich vertreten ist, kann lediglich eine Entschädigung für ihre erheblichen Umtriebe zugesprochen werden (Art. 2 Abs. 2 des Tarifs vom 9. November 1978 über die Entschädigungen an die Gegenpartei für das Verfahren vor dem Bundesgericht [SR 173. 119.1]; <ref-ruling> E. 6b S. 357); dagegen steht ihr kein Anspruch auf Rückerstattung der ihr im vorangegangenen bundesgerichtlichen Verfahren auferlegten Parteientschädigung zu.

Demnach erkennt das Bundesgericht:
1.- Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2.- Die Gerichtsgebühr von Fr. 3'000.-- wird dem Beschwerdeführer auferlegt.
3.-Der Beschwerdeführer hat die Beschwerdegegnerin mit Fr. 500.-- für das bundesgerichtliche Verfahren zu entschädigen.
4.- Dieses Urteil wird den Parteien, der Politischen Gemeinde Thal, der Regierung des Kantons St. Gallen, vertreten durch das Baudepartement, dem Verwaltungsgericht des Kantons St. Gallen sowie dem BUWAL schriftlich mitgeteilt.
_
Lausanne, 29. März 2001
Im Namen der I. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident: Die Gerichtsschreiberin: