RPG/NHG/GSchG/BGF/BSG und <ref-law> (Baubewilligung), hat sich ergeben:
A.- Der Bezirksrat Gersau erteilte Rosmarie WickiLeber und Willy Wicki am 17. November 1989 die Bewilligung für die Errichtung eines Mehrfamilienhauses auf Kat. Nr. 14 (Seestrasse 73) in Gersau. Nach erstmaliger Rückweisung durch das Verwaltungsgericht des Kantons Schwyz erteilte der Bezirksrat am 10. August 1992 eine erneute Baubewilligung.
Bernhard Wick erhob dagegen Beschwerde, die vom Verwaltungsgericht am 9. Juni 1993 teilweise gutgeheissen, zur Hauptsache aber abgewiesen wurde. Auf eine dagegen erhobene staatsrechtliche Beschwerde trat das Bundesgericht mit Entscheid vom 26. Oktober 1993 nicht ein; gleichzeitig hielt es aber fest, dass bezüglich der Ergänzung und Änderung des Projektes eine erneute Publikation des Bauvorhabens unumgänglich sein dürfte.
Nach erneuter Publikation bewilligte der Bezirksrat Gersau am 22. September 1994 ein geändertes Projekt.
Dieses enthielt, wie bereits das frühere Projekt, Ausnahmen vom Strassen- und Seeuferabstand. Bernhard Wick und weitere Beteiligte erhoben dagegen wiederum Beschwerde an das Verwaltungsgericht des Kantons Schwyz, welches diese am 10. März 1995 abwies. Bernhard Wick gelangte gegen diesen Entscheid mit Verwaltungsgerichtsbeschwerde und staatsrechtlicher Beschwerde an das Bundesgericht. Dieses wies mit Urteil vom 19. März 1996 die Verwaltungsgerichtsbeschwerde ab, soweit es darauf eintrat, hiess jedoch die staatsrechtliche Beschwerde gut, soweit darauf einzutreten war, und hob die Urteile des Verwaltungsgerichts vom 9. Juni 1993 und vom 10. März 1995 auf. Dabei erwog es, die bewilligte Baute beeinträchtige wegen ihrer Höhe die Aussicht des Beschwerdeführers empfindlich. Zudem könne sich eine zusätzliche Lärmbelastung ergeben. Das Verwaltungsgericht habe bei der Genehmigung der Unterschreitung des Strassenabstandes diese Beeinträchtigung nachbarlicher Interessen des Beschwerdeführers nicht gewürdigt. Das Verwaltungsgericht führte daraufhin am 3. Juni 1996 einen Augenschein durch und hob mit Entscheid vom 19. September 1996 die Baubewilligungen vom 23. April 1992 und 22. September 1994 auf.
Am 27. August 1999 bewilligte der Bezirksrat Gersau ein abgeändertes Bauprojekt mit reduzierter Höhe. Diese Bewilligung wurde von Bernhard Wick wiederum angefochten. Das Verwaltungsgericht des Kantons Schwyz wies die Beschwerde am 14. April 2000 ab, soweit es darauf eintrat.
B.- Bernhard Wick hat am 30. Mai 2000 Verwaltungsgerichtsbeschwerde und staatsrechtliche Beschwerde an das Bundesgericht erhoben. Mit Verwaltungsgerichtsbeschwerde beantragt er, den Entscheid des Verwaltungsgerichts aufzuheben und die Baubewilligung zu verweigern. Eventualiter sei das Verfahren von Amtes wegen zu ergänzen und eine Neubeurteilung vorzunehmen, subeventualiter das Verfahren zur Ergänzung und Neubeurteilung an die Vorinstanz zurückzuweisen.
Mit staatsrechtlicher Beschwerde beantragt er, den Entscheid des Verwaltungsgerichts aufzuheben. Zudem stellt er ein Gesuch um Erteilung der aufschiebenden Wirkung.
Die einfache Gesellschaft Rosmarie Wicki-Leber und Willy Wicki, der Bezirksrat Gersau und das Verwaltungsgericht des Kantons Schwyz beantragen, die Beschwerden abzuweisen, soweit darauf einzutreten sei.
Mit Verfügung des Präsidenten der I. öffentlichrechtlichen Abteilung des Bundesgerichts vom 29. Juni 2000 wurde den Beschwerden aufschiebende Wirkung zuerkannt.
Die gemäss Art. 110 OG zur Vernehmlassung eingeladenen Bundesämter für Raumentwicklung (ARE) sowie für Umwelt, Wald und Landschaft (BUWAL) äussern sich zur Sache, ohne einen ausdrücklichen Antrag zu stellen. Die Vernehmlassungen wurden den Beteiligten zur Stellungnahme zugestellt.
Der Bezirksrat Gersau sieht sich in seiner Haltung bestätigt. Der Beschwerdeführer hält an seinen Anträgen fest.

Das Bundesgericht zieht in Erwägung:
1.- a) Der Beschwerdeführer hat sowohl Verwaltungsgerichtsbeschwerde als auch staatsrechtliche Beschwerde eingereicht.
Er hat beide Rechtsmittel in einer Beschwerdeschrift erhoben, was grundsätzlich nicht zu beanstanden ist. Welches Rechtsmittel zulässig ist, ob vorliegend beide Rechtsmittel ergriffen werden können und in welchem Umfang darauf einzutreten ist, prüft das Bundesgericht von Amtes wegen und mit freier Kognition. Infolge der Subsidiarität der staatsrechtlichen Beschwerde (Art. 84 Abs. 2 OG) ist zunächst zu prüfen, ob die Verwaltungsgerichtsbeschwerde zulässig ist (<ref-ruling> E. 1a S. 290).
b) Die Verwaltungsgerichtsbeschwerde ist unter Vorbehalt der Ausnahmen gemäss Art. 99-102 OG zulässig gegen Verfügungen, die sich auf öffentliches Recht des Bundes stützen oder richtigerweise stützen sollten (Art. 97 OG in Verbindung mit <ref-law>). Dasselbe gilt, wenn sich der Entscheid auf eine kantonale Ausführungsvorschrift zu Bundesrecht stützt, dieser kantonalen Norm aber keine selbstständige Bedeutung zukommt, oder wenn die auf kantonalem Recht beruhenden Anordnungen einen hinreichend engen Sachzusammenhang mit einer Frage des Bundesverwaltungsrechts aufweisen. Stützt sich ein Entscheid sowohl auf Bundesrecht als auch auf selbstständiges kantonales Recht, so ist die Verwaltungsgerichtsbeschwerde insoweit zulässig, als die Verletzung von direkt anwendbarem Bundesrecht auf dem Spiel steht. Soweit hingegen dem angefochtenen Entscheid selbstständiges kantonales Recht ohne den geforderten Sachzusammenhang mit dem Bundesverwaltungsrecht zugrunde liegt, steht ausschliesslich die staatsrechtliche Beschwerde zur Verfügung (<ref-ruling> E. 1d/dd S. 414, mit Hinweisen).
c) Kantonalrechtliche Baubewilligungen sind insoweit mit Verwaltungsgerichtsbeschwerde anfechtbar, als ihnen unmittelbar anwendbares Bundesverwaltungsrecht zugrunde liegt oder solches unrichtigerweise nicht angewendet worden ist. Das Verwaltungsgericht hat seinen Entscheid auf kantonales Recht gestützt. Der Beschwerdeführer macht jedoch eine Verletzung verschiedener Bestimmungen des Bundesverwaltungsrechts geltend. Insoweit ist die Verwaltungsgerichtsbeschwerde zulässig und der Beschwerdeführer als unmittelbarer Nachbar zur Beschwerde legitimiert (Art. 103 lit. a OG).
d) Soweit die Verwaltungsgerichtsbeschwerde unzulässig ist, steht die staatsrechtliche Beschwerde zur Verfügung.
Damit kann - soweit hier von Belang - einzig die Verletzung verfassungsmässiger Rechte gerügt werden (Art. 84 Abs. 1 lit. a OG). Eine willkürliche Rechtsanwendung kann - auch unter der neuen Bundesverfassung vom 18. April 1999 - nur insoweit gerügt werden, als die Anwendung von Normen zur Diskussion steht, welche dem Beschwerdeführer einen Rechtsanspruch einräumen oder den Schutz seiner Interessen bezwecken (Art. 88 OG; <ref-ruling> E. 2-6; <ref-ruling> E. 3c/aa S. 280). Nachbarn sind zur Beschwerde gegen die Erteilung einer Baubewilligung legitimiert, sofern sie die willkürliche Anwendung von nachbarschützenden Normen geltend machen, sich im Schutzbereich dieser Vorschriften befinden und durch die behaupteten widerrechtlichen Auswirkungen der Bauten betroffen werden; zudem können sie trotz fehlender Legitimation in der Sache die Verletzung von Verfahrensvorschriften rügen, deren Missachtung eine formelle Rechtsverweigerung darstellt (<ref-ruling> E. 1c S. 442 f.; <ref-ruling> E. 1b S. 364 f.; <ref-ruling> E. 1a S. 234).
e) Es wird bei den einzelnen Erwägungen zu prüfen sein, ob die erhobenen Rügen im Rahmen der Verwaltungsgerichtsbeschwerde zu prüfen sind, und wenn nein, ob der Beschwerdeführer zur staatsrechtlichen Beschwerde legitimiert ist.
2.- a) Sachverhaltsmässig vertritt der Beschwerdeführer die Ansicht, beim Baugrundstück handle es sich in Wirklichkeit um ein Seegrundstück. Er leitet daraus verschiedene Rechtsfolgen ab, worauf in den folgenden Erwägungen einzugehen sein wird.
b) Das Verwaltungsgericht ist davon ausgegangen, dass ein Teil des Baugrundstücks auf Pfählen ruhe, hat aber den Einwand des Beschwerdeführers, der See unterspüle einen Teil des Grundstücks, zurückgewiesen und darauf abgestellt, dass das Grundstück rechtskräftig der Bauzone zugewiesen sei. Gemäss Darstellung des Beschwerdeführers in der kantonalen Beschwerde lag ein Teil des fraglichen Grundstücks vor 1934 auf Pfählen und ragte das Seeufer bis zur Mitte des projektierten Hauses. Nach 1934 sei weiter gepfählt, ein Balkenlager eingelegt und mit Schotter aufgefüllt worden, doch bilde das Grundstück immer noch teilweise Seegrundstück. Es gehe nicht an, dass durch eine kantonale Zonierung ein Teil des Sees zu Baugebiet gemacht werde.
c) Gemäss <ref-law> besteht an öffentlichen Gewässern unter Vorbehalt anderweitigen Nachweises kein Privateigentum. Die Kantone können unter Vorbehalt der Eigentumsgarantie Vorschriften erlassen über die genaue Abgrenzung der öffentlichen Gewässer (<ref-ruling> E. 5b S. 459; <ref-ruling> E. 4 S. 239). Gemäss § 34 Abs. 2 der schwyzerischen Vollzugsverordnung vom 2. Dezember 1997 zum Planungs- und Baugesetz umfasst bei Seen die Wasserzone das vom Wasser bespülte Gebiet. Als Grenze der Wasserzone gilt die Vermarkung. Diese Bestimmung kann nicht als bundesrechtswidrig betrachtet werden.
d) Die Behauptung des Beschwerdeführers, in Wirklichkeit werde das Grundstück teilweise vom Seewasser überspült, ist nicht bewiesen. Die von ihm selber erstellten Skizzen vermögen dies jedenfalls nicht zu belegen. Aus den von ihm eingelegten Fotos geht im Gegenteil hervor, dass das Grundstück mit einer massiven Seeufermauer gegenüber dem See abgegrenzt wird. Diese Situation besteht, wie auch der Beschwerdeführer in seiner kantonalen Beschwerde geltend gemacht hat, seit Jahrzehnten. Gemäss Grundbuchplan weist das Grundstück eine Breite von ca. 16,5 - 21 m (ab Strasse) auf, was mit dem Situationsplan gemäss Baugesuch übereinstimmt.
Die Grundstücksfläche beträgt nach Grundbuchbeschreibung 746 m2 was nur möglich ist, wenn die gesamte Parzelle bis zur Ufermauer einberechnet wird. Gemäss Vermarkung gehört somit das gesamte Baugrundstück nicht zum Seegebiet. Der Hinweis des Beschwerdeführers auf BGE <ref-ruling> ändert daran nichts. Dort ging es um die Ersitzung einer öffentlichen Sache, hier hingegen um die Abgrenzung zwischen öffentlichem Seegrund und privatem Ufergrundstück. Es ist somit für die rechtliche Beurteilung davon auszugehen, dass das Baugrundstück nicht ein öffentliches Seegrundstück ist, sondern im Privateigentum steht.
3.- a) Der Beschwerdeführer macht geltend, das Bauvorhaben hätte einer Ausnahmebewilligung nach Art. 24 RPG bedurft. Diese Rüge ist im Rahmen der Verwaltungsgerichtsbeschwerde zu prüfen (Art. 34 Abs. 1 RPG).
b) Das Baugrundstück befindet sich gemäss rechtskräftigem Zonenplan des Bezirks Gersau vom 25. Juni 1995, wie übrigens bereits nach dem Zonenplan von 1977, in der Wohn-/Gewerbezone 3 (WG3). Der Beschwerdeführer bringt allerdings vor, diese Zonierung sei nicht rechtsgültig: Gemäss Art. 3 Abs. 2 lit. c RPG seien Seeufer freizuhalten und gemäss Art. 17 Abs. 1 lit. a RPG seien Seen Teile von Schutzzonen.
Das Baugrundstück sei teilweise als See zu betrachten.
c) Nach der bundesgerichtlichen Rechtsprechung kann ein rechtskräftiger Nutzungsplan nur ausnahmsweise in einem späteren Anwendungsfall akzessorisch angefochten werden, wenn der Betroffene beim Planerlass noch nicht die Möglichkeit hatte, seine Interessen zu verteidigen oder wenn sich seither die rechtlichen oder tatsächlichen Verhältnisse erheblich verändert haben. Bei Nutzungsplänen, die unter der Herrschaft des Raumplanungsgesetzes erlassen worden sind, spricht eine Vermutung für die Rechtmässigkeit (<ref-ruling> E. 2c S. 232 f.; <ref-ruling> E. 3 S. 3 f.; <ref-ruling> E. 4c S. 341; Thierry Tanquerel, Kommentar RPG, N. 26 zu Art. 21; Heinz Aemisegger/Stefan Haag, Kommentar RPG, N. 63 zu Art. 33).
d) Es ist nicht bestritten, dass der geltende Zonenplan ordnungsgemäss öffentlich aufgelegt worden ist.
Der Beschwerdeführer hätte die Möglichkeit gehabt, den Plan anzufechten. Angesichts seines seit langer Zeit hängigen Rechtsstreites hätte er dazu auch Anlass gehabt, wenn er die Baute der Beschwerdegegnerin in Frage stellen wollte.
e) Nach Art. 3 Abs. 2 lit. c RPG sollen Seeufer freigehalten werden. Dabei handelt es sich um einen Planungsgrundsatz, der zu berücksichtigende Aspekte enthält, aber weder absolut gilt noch unmittelbar anwendbar ist (Pierre Tschannen, Kommentar RPG, Zürich 1999, N. 9 zu Art. 3). Er kann insbesondere nicht rechtskräftige Nutzungspläne ausser Kraft setzen (<ref-ruling> E. 5b S. 350; Tschannen, a.a.O., N. 14 zu Art. 3). Art. 17 Abs. 1 lit. a RPG kommt schon deshalb nicht zum Tragen, weil es sich beim Baugrundstück nicht um eine Seeparzelle handelt (E. 2).
f) Das Vorhaben ist somit in einer rechtsgültigen Bauzone geplant. Eine Ausnahmebewilligung nach Art. 24 RPG ist nicht erforderlich.
4.- a) Der Beschwerdeführer macht eine Verletzung verschiedener Bestimmungen des Bundesgesetzes vom 24. Januar 1991 über den Schutz der Gewässer (Gewässerschutzgesetz, GSchG; SR 814. 20), des Bundesgesetzes vom 3. Oktober 1995 über die Binnenschifffahrt (Binnenschifffahrtsgesetz; SR 747. 201) und des Bundesgesetzes vom 21. Juni 1991 über die Fischerei (BGF; SR 923. 0) geltend. Diese Rügen sind ebenfalls im Rahmen der Verwaltungsgerichtsbeschwerde zu prüfen.
b) Aus den Akten geht hervor, dass das projektierte Gebäude mit einer Wärmepumpenanlage beheizt werden soll, welche Grundwasser und Seewasser nutzt und das genutzte Wasser dem See zuleitet. Die entsprechenden Konzessionen für die Wasserentnahme wurden im Rahmen des Baubewilligungsverfahrens mit Beschluss des Regierungsrates des Kantons Schwyz vom 8. Juni 1999 erteilt. Die gewässerschutzrechtliche Bewilligung für die Einleitung des genutzten Wassers (<ref-law>) wurde am 30. April 1999 vom kantonalen Amt für Umweltschutz mit entsprechenden Auflagen erteilt.
In der Bewilligung hielt das Amt fest, der Standort der Anlage befinde sich nicht im Einflussbereich einer Trinkwasserfassung. Der Beschwerdeführer macht nicht geltend, inwiefern diese Bewilligung rechtswidrig sein soll oder dass ein besonders gefährdeter Bereich im Sinne von <ref-law> betroffen sein soll. Da das Baugrundstück kein Seegrundstück darstellt (E. 2) und keine Aufschüttung vorgesehen ist, ist auch keine Schüttungsbewilligung nach <ref-law> erforderlich.
c) Aus dem gleichen Grund ist keine Bewilligung für Sondernutzung oder gesteigerten Gemeingebrauch des Sees im Sinne von Art. 2 Abs. 2 des Binnenschifffahrtsgesetzes erforderlich.
d) Nach <ref-law> bedürfen technische Eingriffe in Gewässer einer fischereirechtlichen Bewilligung, soweit sie die Interessen der Fischerei berühren können. Diese Bewilligung wurde im Rahmen des Baubewilligungsverfahrens von der kantonalen Fischerei- und Jagdverwaltung am 7. April 1999 erteilt. Der Beschwerdeführer bringt nicht vor, inwiefern diese Bewilligung rechtswidrig sein soll. Wohl betrifft sie gemäss ihrer Überschrift die Wasserentnahme für eine Wärmepumpenanlage.
Es ist jedoch nicht ersichtlich, dass das geplante Vorhaben anderweitig einen technischen Eingriff in ein Gewässer darstellen soll.
5.- a) Der Beschwerdeführer rügt, mit der Erteilung rigoroser Ausnahmen vom Seeuferabstand und vom Strassenabstand werde eidgenössisches Natur- und Heimatschutzrecht missachtet. Gersau unterliege dem Ortsbildschutz gemäss Verordnung vom 9. September 1981 über das Bundesinventar der schützenswerten Ortsbilder der Schweiz (VISOS; SR 451. 12).
Zudem sei der Vierwaldstättersee ein Inventargebiet gemäss Verordnung vom 10. August 1977 über das Bundesinventar der Landschaften und Naturdenkmäler (VBLN; SR 451. 11). Die Erteilung der Baubewilligung missachte die Art. 5 und 6 des Bundesgesetzes vom 1. Juli 1966 über den Natur- und Heimatschutz (NHG; SR 451).
b) Das NHG stellt nur teilweise unmittelbar anwendbares Bundesverwaltungsrecht dar. Die Anwendung von Art. 5 und 6 NHG ist nur dann mit Verwaltungsgerichtsbeschwerde überprüfbar, wenn sie im Rahmen eines Bewilligungsverfahrens erfolgt, das als solches diesem Rechtsmittel unterliegt, wie bei der Erteilung einer Ausnahmebewilligung nach Art. 24 RPG, einer Sondernutzungsbewilligung nach Art. 2 Abs. 2 des Binnenschifffahrtsgesetzes oder einer fischerei- oder gewässerschutzrechtlichen Bewilligung (<ref-ruling> E. 6c S. 601 f.; <ref-ruling> E. 6; <ref-ruling> E. 1a S. 83; vgl. auch <ref-ruling> E. 2c/aa S. 30 f.). Im Übrigen stützt sich aber die Bewilligung von Bauten und Anlagen auch dann auf kantonales Recht, wenn dabei Inventargebiete gemäss Art. 5 oder 6 NHG berührt werden (<ref-ruling> E. 2c/cc und dd S. 32 f.). Da vorliegend keine der genannten bundesrechtlichen Bewilligungen zum Tragen kommt, ist auch bezüglich der Rüge der Verletzung von Art. 5 und 6 NHG nicht die Verwaltungsgerichtsbeschwerde, sondern einzig die staatsrechtliche Beschwerde zulässig. Indessen haben diese Bestimmungen nicht nachbarschützenden Charakter (vgl. BGE <ref-ruling> E. 1b S. 235), so dass der Beschwerdeführer insoweit nicht zur Beschwerde legitimiert ist (E. 1d).
c) Im Übrigen wäre die Rüge auch materiell unbegründet, da nach der unwidersprochenen Darstellung des BUWAL das Baugrundstück ausserhalb des BLN-Inventars liegt und auch nicht im direktem Zusammenhang mit dem schützenswerten Ortsbild von Gersau steht.
6.- a) Der Beschwerdeführer rügt im Rahmen der staatsrechtlichen Beschwerde eine willkürliche Anwendung der kantonalen Bestimmungen über den Grenz-, Strassen- und Seeuferabstand.
Nach ständiger Rechtsprechung haben die Bestimmungen über den Grenzabstand nachbarschützenden Charakter. Dasselbe gilt für den Strassenabstand, wenn - wie dies vorliegend der Fall ist - damit zugleich der Abstand zum jenseits der Strasse gelegenen Grundstück festgelegt wird (Urteil des Bundesgerichts vom 14. Mai 1986, ZBl 89/1988 S. 87, E. 1b).
Bezüglich des Seeuferabstands hat das Bundesgericht in seinem früheren Urteil vom 19. März 1996 (E. 2e/aa) unter Hinweis auf <ref-ruling> E. 1c/aa S. 353 und 116 Ia 433 E. 2a S. 436 f. ausgeführt, dieser diene einzig dem Schutz öffentlicher Interessen, weshalb auf die entsprechenden Rügen nicht einzutreten sei. Der Beschwerdeführer stellt diese Rechtsprechung in Frage und macht geltend, Seeabstandsbestimmungen dienten nebst öffentlichen Interessen auch dem Schutz des Nachbarn, wie dies das Bundesgericht für Waldabstandsvorschriften angenommen habe (<ref-ruling> E. 1c S. 443). Wie es sich damit verhält, kann vorliegend offen bleiben. Denn jedenfalls kann auch dann der Beschwerdeführer mit einer staatsrechtlichen Beschwerde nur die Verletzung seiner verfassungsmässigen Rechte, nicht aber die Verletzung öffentlicher Interessen rügen.
b) Die Anwendung kantonalen Rechts unterhalb der Verfassungsstufe wird vom Bundesgericht nur auf Willkür hin überprüft. Willkürlich ist ein Entscheid nicht schon dann, wenn eine andere Lösung ebenfalls vertretbar erscheint oder gar vorzuziehen wäre, sondern erst dann, wenn er offensichtlich unhaltbar ist, zur tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft. Willkür liegt sodann nur vor, wenn nicht bloss die Begründung eines Entscheides, sondern auch das Ergebnis unhaltbar ist (<ref-ruling> E. 2a S. 168; <ref-ruling> E. 5 S. 250; <ref-ruling> E. 4a S. 5; je mit Hinweisen).
c) Die Ausführung des Beschwerdeführers, es sei unbestritten, ja von den Vorinstanzen ausdrücklich zugestanden, dass wesentliche Teile der vorgesehenen Baufläche Seefläche bildeten, ist aktenwidrig. Das Verwaltungsgericht ist im Gegenteil davon ausgegangen, dass das Baugrundstück rechtskräftig in der Bauzone liege. Davon ist auch im vorliegenden Verfahren auszugehen (E. 2). Demzufolge ist keine Wassernutzungskonzession gemäss § 11 des kantonalen Wasserrechtsgesetzes vom 11. September 1973 erforderlich, abgesehen davon, dass diese Konzessionspflicht im öffentlichen Interesse liegt und ihre Verletzung nicht vom Nachbarn im Rahmen des Baubewilligungsverfahrens gerügt werden kann.
d) Das Verwaltungsgericht hat eingehend dargelegt, dass nach dem hier noch anwendbaren § 68 Abs. 3 des kantonalen Planungs- und Baugesetzes vom 14. Mai 1987 (in der Fassung vom 8. Mai 1996) gegenüber öffentlichen Strassen allein der Strassenabstand anwendbar sei, der grundsätzlich 6,5 Meter betrage, wobei aber die Aufsichtsbehörde Ausnahmen gestatten könne. Diese Ausnahmebewilligung wurde unter verkehrstechnischen Aspekten vom kantonalen Baudepartement mit Verfügung vom 7. April 1999 erteilt und unter nachbarschützenden Aspekten im Rahmen der Baubewilligung des Bezirksrates geprüft. Das Verwaltungsgericht hat sich ausführlich mit der vom Bezirksrat getroffenen Interessenabwägung auseinandergesetzt. Es hat erwogen, dass gegenüber dem früheren, vom Bundesgericht aufgehobenen Vorhaben die Höhe des Projekts erheblich (um mindestens drei Meter) reduziert worden sei. Die Aussicht von den nördlich der Strasse erhöht liegenden Grundstücken werde dadurch deutlich weniger tangiert als beim ursprünglichen Projekt. Zudem grenze das Baugrundstück nicht direkt an die Liegenschaft des Beschwerdeführers, sondern sei durch die Strasse davon abgetrennt.
Der Grenzabstand, der gelten würde, wenn es die Strasse nicht gäbe, sei eingehalten. Zudem seien in der Baubewilligung nachbarschützende Aspekte insofern berücksichtigt worden, als Massnahmen zur Vermeidung von Schallreflexionen angeordnet worden seien. Damit hat das Verwaltungsgericht denjenigen Aspekten Rechnung getragen, die im Urteil des Bundesgerichts vom 19. März 1996 (E. 4d: Beeinträchtigung Aussicht und erhöhter Lärm) beanstandet worden waren.
Weiter hat das Verwaltungsgericht ausgeführt, das Baugrundstück befinde sich in der Bauzone WG3, welche grundsätzlich drei Vollgeschosse und eine maximale Firsthöhe von 13 Metern zulasse, könnte aber aufgrund seiner ungünstigen Form ohne Unterschreitung des Strassenabstandes nicht sinnvoll überbaut werden. Zum Seeuferabstand hat das Verwaltungsgericht ausgeführt, die vom kantonalen Amt für Raumplanung erteilte Bewilligung für eine Unterschreitung werde vom Beschwerdeführer nicht substanziiert in Frage gestellt. Dieses hatte ausgeführt, ohne Ausnahmebewilligung sei jede bauliche Nutzung des eingezonten Grundstücks ausgeschlossen; es würden weder öffentliche noch wesentliche private Interessen verletzt.
e) Der Beschwerdeführer legt nicht dar, inwiefern durch diese Überlegungen seine verfassungsmässigen Rechte verletzt oder Bestimmungen, die dem Schutz seiner privaten Interessen dienen, in willkürlicher Weise angewendet worden sein sollen. Er macht hauptsächlich in weitgehend appellatorischer Weise geltend, es bestünden keine hinreichenden Interessen an der Erteilung der Ausnahmebewilligung und öffentliche Interessen (Ortsbild- und Landschaftschutz, Schutz des unverbauten Seeufers) würden gegen die Bewilligung sprechen. Die staatsrechtliche Beschwerde dient indessen nicht dem Schutz öffentlicher Interessen. Es besteht kein Rechtsanspruch auf Beibehaltung einer unverbauten Aussicht auf den See. Dass durch die projektierte Baute die Aussicht des Beschwerdeführers beeinträchtigt wird, stellt noch keine willkürliche Rechtsanwendung dar. Zudem liegt sein Haus gegenüber dem Baugrundstück überhöht. Da die Firsthöhe des Bauprojekts gegenüber dem ursprünglichen Projekt erheblich reduziert worden ist, wird die Aussicht des Beschwerdeführers jedenfalls deutlich weniger beeinträchtigt.
Am Augenschein vom 3. Juni 1996 war festgestellt worden, dass die Aussicht verbessert werde, wenn das Bauvorhaben um einen Stock reduziert werde. Mit dem vorliegenden Projekt wird den nachbarlichen Interessen des Beschwerdeführers Rechnung getragen.
7.- Die Beschwerden erweisen sich damit als unbegründet, soweit darauf eingetreten werden kann. Bei diesem Ausgang des Verfahrens sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (Art. 156 Abs. 1 in Verbindung mit Art. 153 und Art. 153a OG). Dieser hat zudem der obsiegenden Beschwerdegegnerin eine Parteikostenentschädigung auszurichten (Art. 159 Abs. 2 OG). Der Bezirksrat Gersau ist im Verfahren nicht als Beschwerdegegner, sondern als Baubewilligungsbehörde beteiligt und hat keinen Anspruch auf Parteientschädigung.

Demnach erkennt das Bundesgericht:
1.- Die Verwaltungsgerichtsbeschwerde (1A. 192/2000) wird abgewiesen, soweit darauf einzutreten ist.
2.- Die staatsrechtliche Beschwerde (1P. 344/2000) wird abgewiesen, soweit darauf einzutreten ist.
3.- Die Gerichtsgebühr von insgesamt Fr. 4'000.-- wird dem Beschwerdeführer auferlegt.
4.- Der Beschwerdeführer hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 4'000.-- zu entschädigen.
5.- Dieses Urteil wird den Parteien, dem Bezirksrat Gersau, dem Verwaltungsgericht des Kantons Schwyz, Kammer III, dem Bundesamt für Umwelt, Wald und Landschaft sowie dem Bundesamt für Raumentwicklung schriftlich mitgeteilt.
_
Lausanne, 20. Februar 2001
Im Namen der I. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Das präsidierende Mitglied:
Die Gerichtsschreiberin: