Sachverhalt:
A.
Am Zürichsee bei Nuolen wurde seit den 1920er-Jahren Kies abgebaut. Dadurch entstanden auf dem ehemaligen Riedland zwei Buchten, die (nach den Kiesabbaufirmen benannten) Kibag- und Hunziker-Buchten. Diese wurden in den 1950er-Jahren befestigt und bis in die 1970er-Jahre für die Reinigung des Rohkieses verwendet. In der Kibag-Bucht befindet sich heute noch ein Kiesverladehafen.
B.
Mit Teilzonenplan Nuolen See vom 12. März 2000 (mit Änderung vom 30. Juni 2005, genehmigt am 22. Juni 2000 und 23. August 2005) wurde eine Neu- und Umnutzung des Gebiets zu Wohn- und Erholungszwecken vorgesehen. Das Ufer der beiden Buchten soll z.T. aufgeschüttet werden für eine zweigeschossige Wohnzone Nuolen See (W2NS; zum Teil als Erstnutzung, zum Teil als Folgenutzung nach Aufhebung der bestehenden "Gewerbezone Nuolen See"). Eine Intensiverholungszone umfasst die bestehenden Bootshäfen "Kiebitz" und "Genossame Wangen", den geplanten neuen Yachthafen "Bollenberg" sowie die Badeanstalt "Buobenbadi". Zwischen der Kibag- und der Hunziker-Bucht soll mittels Abgrabungen eine Wasserverbindung geschaffen werden; südlich der dadurch entstehenden Insel ist eine Flachwasserzone geplant. Die definitive Festlegung der Auffüllungen und Abträge ist einem Gestaltungsplan vorbehalten.
C.
Am 21. Mai 2004 legte die Gemeinde Wangen den Gestaltungsplan Nuolen See öffentlich auf; dieser wurde am 30. Juni 2005 vom Gemeinderat erlassen. Er konnte jedoch vom Regierungsrat nicht genehmigt werden, weil die Umweltverträglichkeitsprüfung (UVP) noch nicht abgeschlossen war. Nach Ergänzung des Umweltverträglichkeitsberichts (UVB) erliess der Gemeinderat Wangen am 25. September 2008 den Gestaltungsplan Nuolen See mit den dazugehörigen Sonderbauvorschriften (SBV) und entschied über die Umweltverträglichkeit des Vorhabens. Dieser Entscheid wurde zusammen mit dem UVB vom 10. Oktober bis 10. November 2008 zur Einsicht aufgelegt. Der Regierungsrat genehmigte den Gestaltungsplan am 15. Juni 2011.
Dieser bezweckt gemäss Art. 3 SBV insbesondere die Gewährleistung einer sich gut in die Umgebung einpassenden Überbauung mittels Bebauungsmuster sowie die gestalterische und ökologische Aufwertung des Seeufers. Auf einer Fläche von ca. 51'000 m2 werden insgesamt 21 Baufelder festgelegt. Im Osten des Plangebiets ist ein Bereich für den Neubau des Yachthafens Bollenberg festgelegt. Ab Niveau der Seestrasse soll ein weitgehend ebenes Terrain hergestellt werden. Hierfür sind beträchtliche Schüttungen erforderlich, mit einer Mächtigkeit von maximal 8 m. Damit geht eine Seefläche von rund 8'500 m2 verloren. Als Entscheidungsgrundlage für die definitive Gestaltung der Uferböschungen ist das Anlegen von Testufern vorgesehen.
D.
Am 2. September 2011 wurde das Bauvorhaben "Ufergestaltung Nuolen See (Testufer 1 und 2) " im Amtsblatt publiziert. Dagegen erhoben Aqua Viva sowie C.B._ und D.B._ Baueinsprache.
Mit Gesamtentscheid vom 3. Januar 2012 erteilte das kantonale Amt für Raumentwicklung die kantonale Baubewilligung für die geplanten Testufer und wies die Einsprachen ab, soweit hierzu kantonale Stellen zuständig waren. Mit Beschluss vom 31. Mai 2012 bewilligte der Gemeinderat Wangen das Baugesuch und wies die Einsprachen ab.
E.
Gegen diese Entscheide erhoben Aqua Viva sowie C.B._ und D.B._ in getrennten Eingaben Beschwerde beim Regierungsrat. Dieser vereinigte die Beschwerden und wies sie am 20. März 2013 ab, soweit er darauf eintrat.
Dagegen erhoben Aqua Viva sowie C.B._ und D.B._ in getrennten Eingaben vom 23. April 2013 Beschwerde beim Verwaltungsgericht des Kantons Schwyz. Dieses gelangte zum Ergebnis, dass die zwei Testufer bei isolierter Betrachtung zwar genehmigungsfähig wären; der Teilzonen- und der Gestaltungsplan Nuolen See hielten jedoch einer akzessorischen Überprüfung im Licht der verschärften gewässerschutzrechtlichen Bestimmungen nicht stand. Damit entfalle die planungsrechtliche Grundlage für die Testufer und für die geplante Gesamtaufschüttung. Das Verwaltungsgericht hiess daher die Beschwerden am 25. September 2013 gut und hob den Beschluss des Gemeinderats Wangen vom 31. Mai 2012 und den kantonalen Gesamtentscheid vom 3. Januar 2012 im Sinne der Erwägungen auf.
F.
Dagegen haben die A._ AG (Beschwerdeführerin 1; Verfahren 1C_821/2013) und die Gemeinde Wangen (Beschwerdeführerin 2; Verfahren 1C_825/2013) am 2. bzw. 6. November 2013 Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht erhoben. Sie beantragen, der angefochtene Entscheid sei aufzuheben und der Beschluss des Regierungsrats vom 20. März 2013, die Baubewilligung des Gemeinderats Wangen vom 31. Mai 2012 und der zugehörige kantonale Gesamtentscheid vom 3. Januar 2012 seien zu bestätigen.
G.
Aqua Viva (Beschwerdegegnerin 1) sowie C.B._ und D.B._ (Beschwerdegegner 2) beantragen, die Beschwerden seien abzuweisen, soweit darauf einzutreten sei. Der Entscheid des Verwaltungsgerichts vom 25. September 2013 sei zu bestätigen und es sei die Baubewilligung betreffend Ufergestaltung Nuolen See (Testufer 1 und 2) zu verweigern. In prozessualer Hinsicht beantragen sie, die Verfahren seien zu vereinigen.
Der Regierungsrat Schwyz schliesst auf Gutheissung der Beschwerden. Die Beschwerdeführerinnen unterstützen gegenseitig ihre Beschwerden. Das Verwaltungsgericht hat auf eine Vernehmlassung verzichtet.
H.
Das BAFU kommt in seiner Vernehmlassung zum Ergebnis, die Schüttungen seien bereits im Gestaltungsplan rechtskräftig festgelegt worden. Diesbezüglich lägen keine erheblich geänderten Umstände vor, die eine akzessorische Überprüfung des Gestaltungsplans im Baubewilligungsverfahren rechtfertigen würden.
Im weiteren Schriftenwechsel halten die Beteiligten an ihren Anträgen fest.

Erwägungen:
1.
Da sich beide Beschwerden gegen denselben Entscheid richten und im Wesentlichen dieselben Fragen aufwerfen, rechtfertigt es sich, die Verfahren zu vereinigen.
2.
Gegen den kantonal letztinstanzlichen Endentscheid des Verwaltungsgerichts steht grundsätzlich die Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht offen (Art. 82 lit. a, 86 Abs. 1 lit. d und 90 BGG).
Die Beschwerdeführerin 1 ist als Baugesuchstellerin und Grundeigentümerin zur Beschwerde legitimiert (<ref-law>). Die Gemeinde Wangen ist Baubewilligungs- und Planungsbehörde und ist somit als Trägerin hoheitlicher Gewalt vom angefochtenen Entscheid berührt. Sie ist befugt, mit Beschwerde eine Verletzung ihrer Autonomie geltend zu machen (<ref-law>). Ob ihr im fraglichen Bereich Autonomie zusteht, ist eine Frage der Begründetheit der Beschwerde.
Auf die rechtzeitig erhobenen Beschwerden (<ref-law>) ist daher einzutreten.
3.
Die Beschwerdeführerin 1 macht zunächst geltend, das Verwaltungsgericht habe die Legitimation der Beschwerdegegner zu Unrecht bejaht.
3.1. Das Verwaltungsgericht hat festgestellt, dass sich die Wohnliegenschaft der Beschwerdegegner 2 nur ca. 60 m vom Testufer 2 entfernt befindet, d.h. in unmittelbarer Nähe der Baustelle, und die vorgesehenen Aufschüttungen ein Transportvolumen von rund 40 Lastwagen ergeben. Unter diesen Umständen ist es jedenfalls nicht willkürlich, wenn das Verwaltungsgericht ein besonderes Berührtsein der Beschwerdegegner 2 i.S.v. § 37 Abs. 1 des Verwaltungsrechtspflegegesetzes vom 6. Juni 1974 (VRP/SZ) bejahte, trotz der bereits erheblichen vorbestehenden Immissionsbelastung durch Kiesaufbereitung und -transport. <ref-law> stellt lediglich Mindestanforderungen an die Legitimation auf, hindert die Kantone also nicht daran, die Beschwerdebefugnis grosszügiger zu handhaben.
3.2. Aqua Viva ist als gesamtschweizerisch tätige Organisation im Bereich des Umwelt- und Naturschutzes grundsätzlich zur Beschwerde gemäss Art. 12 des Bundesgesetzes vom 1. Juli 1966 über den Natur- und Heimatschutz (NHG; SR 451) und <ref-law> (SR 814.01) befugt (vgl. Anhang zur Verordnung über die Bezeichnung der im Bereich des Umweltschutzes sowie des Natur- und Heimatschutzes beschwerdeberechtigten Organisationen vom 27. Juni 1990 [VBO; SR 814.076]). Die Verbandsbeschwerde steht offen gegen Verfügungen der kantonalen Behörden oder der Bundesbehörden, die in Erfüllung einer Bundesaufgabe i.S.v. <ref-law> ergehen (<ref-law>), bzw. gegen Verfügungen über die Planung, Errichtung oder Änderung von Anlagen, für die eine UVP erforderlich ist (<ref-law>).
Für die Anlage der Testufer, die z.T. ausserhalb der Bauzone liegen, wurden eine Ausnahmebewilligung gemäss Art. 24 RPG (SR 700) sowie eine Schüttungsbewilligung nach <ref-law> (SR 814.20) erteilt. Es handelt sich dabei um Rechtsmaterien, die bundesrechtlich geregelt sind sowie einen Bezug zum Natur-, Landschafts- und Heimatschutz aufweisen und damit als Bundesaufgaben zu qualifizieren sind (<ref-ruling> E. 9.3 und 9.4 S. 274 f. mit Hinweisen; zu gewässerschutzrechtlichen Bewilligungen vgl. zuletzt Urteil 1C_482/2012 vom 14. Mai 2014 E. 3.5).
Besteht damit ein Beschwerderecht bereits nach <ref-law>, kann offenbleiben, inwieweit Aqua Viva auch nach <ref-law> zur Beschwerde berechtigt war, weil die Testufer Teil eines UVP-pflichtigen Gesamtvorhabens sind.
3.3. <ref-law> (wie auch <ref-law>) sieht allerdings vor, dass Rügen gegen einen Nutzungsplan mit Verfügungscharakter in einem nachfolgenden Verfahren nicht mehr vorgebracht werden dürfen, wenn sie im Planungsverfahren nicht erhoben oder rechtskräftig abgelehnt worden sind. Diese Bestimmungen wurden mit Bundesgesetz vom 20. Dezember 2006 (in Kraft seit 1. Juli 2007; AS 2007 2701) eingeführt, d.h. nach der öffentlichen Auflage des Gestaltungsplans Nuolen See im Mai/Juni 2004.
Sie konkretisieren jedoch einen schon zuvor geltenden allgemeinen Rechtsgrundsatz (vgl. ALAIN GRIFFEL/HERIBERT RAUSCH, Kommentar zum Umweltschutzgesetz, Ergänzungsband zur 2. Auflage, N. 10 zu <ref-law>), wonach nutzungsplanerische Festlegungen prozessual wie Verfügungen behandelt werden und deshalb grundsätzlich im Planungsverfahren angefochten werden müssen. Ihre akzessorische Überprüfung in nachfolgenden Bewilligungsverfahren ist nur ausnahmsweise zulässig (<ref-ruling> E. 2.4.1 S. 110 mit Hinweisen), wenn die Tragweite der Festlegung im Zeitpunkt des Planerlasses bzw. der Planänderung für die Betroffenen aus objektiven Gründen nicht erkennbar war oder diese keine Möglichkeit hatten, ihre Interessen zu wahren (<ref-ruling> E. 5c S. 486 mit Hinweisen) oder wenn sich die tatsächlichen oder rechtlichen Verhältnisse seit der Planfestsetzung wesentlich geändert haben (<ref-ruling> E. 6b S. 105 f. mit Hinweisen).
Die Beschwerdegegner haben sich im kantonalen Verfahren auf eine wesentliche Änderung der rechtlichen und tatsächlichen Verhältnisse seit der öffentlichen Auflage des Gestaltungsplans berufen: Einerseits seien am 1. Juni 2011 neue Bestimmungen der GSchV (SR 814.201) in Kraft getreten, welche die Rechtmässigkeit des Vorhabens in Frage stellten; andererseits hätten die Schilfbestände seit der Erstellung des UVB (1999-2006) zugenommen und seien bei Tauchuntersuchungen in der Hunziker-Bucht erstmals verschiedene Rote-Listen-Arten festgestellt worden. Sie reichen hierfür eine von Prof. Thomas Weibel/ Matthias Sturzenegger erstellte ökologische Zustandsanalyse im Perimeter Nuolen See, Schlussbericht vom 12. Juni 2012 ein (im Folgenden: ökologische Zustandsanalyse).
Dazu sind sie grundsätzlich berechtigt. Ob eine wesentliche Änderung zu bejahen ist und inwiefern diese eine Aufhebung oder Änderung der nutzungsplanerischen Grundlagen rechtfertigen, ist keine Frage der Legitimation, sondern der materiellrechtlichen Beurteilung.
3.4. Allerdings ist die Änderung der GSchV vom 4. Mai 2011 (AS 2011 1955), auf die sich die Beschwerdegegner berufen, zwei Wochen vor der Genehmigung des Gestaltungsplans durch den Regierungsrat am 15. Juni 2011 in Kraft getreten. Insofern stellt sich die Frage, ob ihre Verletzung nicht schon mit Beschwerde gegen den Genehmigungsentscheid des Regierungsrats hätte geltend gemacht werden müssen.
Zwar schliessen <ref-law> und <ref-law> das Beschwerderecht aus, wenn sich die Organisation nicht am Einspracheverfahren beteiligt hat. Wohl kann dies einer Organisation nicht entgegengehalten werden, die sich auf wesentliche Änderungen der Sach- und Rechtslage nach Ablauf der Einsprachefrist beruft, soweit sich die Einwendungen auf die veränderten Verhältnisse beziehen. Es entspricht Sinn und Zweck dieser Normen, Einwendungen in einem möglichst frühen Verfahrensstadium vorzubringen. Dies spricht für das Erfordernis einer Anfechtung des Genehmigungsentscheids, anstatt die Einwendungen erst im anschliessenden Baubewilligungsverfahren geltend zu machen.
Der Genehmigungsentscheid wurde den Beschwerdegegnern jedoch nicht zugestellt. Im Amtsblatt des Kantons Schwyz vom 24. Juni 2011 (S. 1241) wurde lediglich vermerkt: "Der Regierungsrat hat den Gestaltungsplan Nuolen See, Wangen, unter Vorbehalten und Auflagen genehmigt", ohne Angaben zum Inhalt (gemäss <ref-law> bzw. <ref-law>; vgl. dazu PETER M. KELLER, NHG-Kommentar, Art. 12a Rz. 13) oder einem Hinweis, wo der Entscheid eingesehen werden könne; auch eine Rechtsmittelbelehrung fehlte. Wie die Beschwerdegegner mit E-Mails belegt haben, verweigerte der Rechtsdienst des ARE/SZ am 22. Juni 2011 ausdrücklich die Herausgabe des Genehmigungsbeschlusses an Nichtverfahrensparteien, einschliesslich der (namentlich genannten) Beschwerdegegner 2.
Unter diesen Umständen kann es den Beschwerdegegnern nicht zum Nachteil gereichen, dass sie nicht schon den Genehmigungsbeschluss des Regierungsrats angefochten haben, sondern erst kurz darauf (im September 2011) im Einspracheverfahren gegen die Testufer, in dem sie Akteneinsicht erhielten, die Überprüfung des Gestaltungsplans verlangten.
4.
Die Beschwerdeführerinnen machen in erster Linie geltend, die streitigen Schüttungen seien im Gestaltungsplan Nuolen verbindlich festgelegt worden und könnten im nachfolgenden Baubewilligungsverfahren nicht mehr in Frage gestellt werden.
Zu prüfen ist daher zunächst, wie weit die Bindungswirkung des Gestaltungsplans reicht, d.h. inwiefern dieser für das Baubewilligungsverfahren verbindliche Festsetzungen enthält.
4.1. Im Gestaltungsplanverfahren wurde eine UVP durchgeführt, in der - neben den geplanten Bootshäfen - insbesondere die vorgesehenen Schüttungen am Ufer der Kibag- und Hunziker-Bucht geprüft wurden, unter Mitwirkung der zuständigen kantonalen Fachstellen (vgl. insbesondere die Umweltverträglichkeits-Beurteilung des Amts für Umweltschutz [AfU] vom 18. Dezember 2006). In diesem Verfahren wurden bereits detaillierte Aussagen zu Ausmass und Ausdehnung der Terrainveränderungen getroffen: Geplant sind Abtragungen von rund 32'000 m 3 und Schüttungen von rund 130'000 m 3. Damit gehen nach Schätzung des AfU rund 8'500 m 2 Seefläche verloren.
4.2. Im Gestaltungsplan werden die geplante Ufergestaltung und die hierfür erforderlichen Aufschüttungen und Abträge in den "Schnitten Ufer A1-A10 M. 1:500" und auf den "Detailschnitten Ufer M. 1:200" dargestellt. Angestrebt wird im östlichen Bereich (Kibag-Bucht) eine Neigung von 1:4 und im westlichen Abschnitt eine möglichst flache Ausführung. Allerdings muss die Neigung der künftigen Ufer noch durch die Anlage von Testufern empirisch ermittelt werden (getestet werden Neigungen zwischen 1:2 und 1:10). Erst nach Vorliegen der Testresultate wird daher über die endgültige Ufergestaltung entschieden, weshalb auch erst zu diesem Zeitpunkt das Gesamtmass an Schüttungen und Abträgen feststehen wird. In Ziff. 4 des regierungsrätlichen Genehmigungsbeschlusses findet sich deshalb für die definitive Ufergestaltung ein Vorbehalt zugunsten des Baubewilligungsverfahrens; in den Erwägungen wird festgehalten, dass den Querprofilen des Gestaltungsplans nur Hinweischarakter zukommt.
Dadurch kann sich auch die neue Seeuferlinie noch geringfügig verschieben; diese ist im Gestaltungsplan (Situation 1:500) als "orientierender Planinhalt" eingetragen, d.h. sie ist nicht verbindliches, wohl aber wegleitendes Planelement (Art. 4 Abs. 3 SBV).
4.3. Zum verbindlichen Planinhalt (i.S.v. Art. 4 Abs. 2 SBV) gehören dagegen die vorgesehenen Höhenpunkte und -linien zur Endgestaltung des Terrains landseitig sowie die Baubereiche, die teilweise auf bisherigem Seegebiet liegen. Daraus lässt sich folgern, dass die Aufschüttungen oberhalb des Seespiegels, namentlich im Bereich der künftigen Baufelder, im Gestaltungsplan bereits verbindlich festgelegt werden und in den nachfolgenden Baubewilligungsverfahren nicht mehr zur Disposition stehen. Diese Festsetzung kann daher im Baubewilligungsverfahren nur noch unter den besonderen Voraussetzungen der akzessorischen Überprüfung von Nutzungsplänen in Frage gestellt werden.
4.4. Den Beschwerdegegnern ist einzuräumen, dass die für Schüttungen erforderlichen Spezialbewilligungen (insbesondere nach <ref-law> und <ref-law>) im Gestaltungsplanverfahren weder erteilt noch verbindlich in Aussicht gestellt worden sind; die spezifischen Voraussetzungen dieser Bewilligungen wurden auch nicht thematisiert. Dies widerspricht Art. 21 Abs. 1 der Verordnung vom 19. Oktober 1988 über die Umweltverträglichkeitsprüfung (UVPV; SR 814.011) und Art. 25a Abs. 4 RPG. Diese Verletzung des Koordinationsgebots hätte jedoch mit Einsprache und Beschwerde gegen den Gestaltungsplan gerügt werden müssen und kann daher im Baubewilligungsverfahren grundsätzlich nicht mehr geltend gemacht werden.
4.5. Die Beschwerdegegner machen nicht geltend, dass sie die Tragweite des im Mai 2004 öffentlich aufgelegten Gestaltungsplans nicht hätten erkennen können bzw. keine Möglichkeit gehabt hätten, ihre Interessen im Einspracheverfahren zu wahren. Sie berufen sich vielmehr auf seither eingetretene rechtliche oder tatsächliche Änderungen. Ob diese die akzessorische Überprüfung des Gestaltungsplans rechtfertigen, ist im Folgenden zu prüfen.
5.
Die am 1. Januar 2011 in Kraft getretene Revision des Gewässerschutzgesetzes wurde als indirekter Gegenentwurf zur Volksinitiative "Lebendiges Wasser (Renaturierungs-Initiative) " beschlossen. Sie führte insbesondere eine Verpflichtung der Kantone zur Revitalisierung von Gewässern (<ref-law>) und zur Sicherung und extensiven Bewirtschaftung des Gewässerraums (<ref-law>) ein. Diese Bestimmungen wurden mit der am 1. Juni 2011 in Kraft gesetzten Revision der GSchV konkretisiert, insbesondere durch die Art. 41a ff. GSchV und die Übergangsbestimmungen zur Revision vom 4. Mai 2011 (im Folgenden: ÜbBst GschV).
5.1. Das Bundesgericht hat entschieden, dass die neuen Gewässerraumbestimmungen der Durchsetzung wichtiger öffentlicher Interessen dienen. Mit den unmittelbar anwendbaren Übergangsbestimmungen soll insbesondere sichergestellt werden, dass nach Inkrafttreten der geänderten Verordnung keine unerwünschten neuen Bauten und Anlagen errichtet werden (Erläuternder Bericht des BAFU vom 20. April 2011, Parlamentarische Initiative Schutz und Nutzung der Gewässer [07.492] - Änderung der Gewässerschutz-, Wasserbau-, Energie- und Fischereiverordnung [im Folgenden: Erläuternder Bericht] S. 4 oben). Diese Zielsetzung verlangt, dass die neuen Bestimmungen sofort angewendet werden, sogar auf hängige Bau- und Planverfahren (<ref-ruling> E. 4.2 S. 481 mit Hinweis).
5.2. Die Beschwerdeführerinnen machen allerdings geltend, der Regierungsrat habe mit der Genehmigung des Gestaltungsplans unnötig zugewartet; ohne diese Rechtsverzögerung wäre die Gestaltungsplanung noch vor Inkrafttreten der neuen Gewässerschutzbestimmungen bestandskräftig geworden. Der Bauherrschaft dürfe daraus kein Nachteil entstehen, weshalb das alte, für sie günstigere Recht zur Anwendung gelangen müsse.
Bereits im Baubewilligungsverfahren gilt dieser Grundsatz nur, wenn nicht wichtige öffentliche Interessen die sofortige Anwendung des neuen Rechts gebieten (<ref-ruling> E. 3 S. 177; bestätigt in <ref-ruling> E. 8.2 S. 269). Erst recht muss das neue Gewässerschutzrecht zur Anwendung gelangen, wenn es - wie vorliegend - nicht um ein einzelnes Baugesuch, sondern um die Genehmigung einer öffentlichen Gestaltungsplanung geht, die wichtige Elemente der Ufer- und Zonenplanung für jedermann verbindlich festlegt (Art. 21 Abs. 1 RPG). Insofern kann offen bleiben, ob dem Regierungsrat überhaupt eine Rechtsverzögerung vorzuwerfen ist (was vom Verwaltungsgericht verneint wurde) : Jedenfalls hatte er bei seinem Genehmigungsbeschluss vom 15. Juni 2011 die neuen Bestimmungen des GSchG und der GSchV zu beachten.
5.3. Der Hinweis der Beschwerdeführerin 1 auf Art. 8 Abs. 1 der Verordnung über Zweitwohnungen vom 22. August 2012 (SR 702, nachfolgend: ZwV), wonach Baubewilligungen nach bisherigem Recht gestützt auf einen vor Inkrafttreten des neuen Rechts genehmigten Sondernutzungsplan erteilt werden dürfen, ist schon deshalb unbehelflich, weil der Gestaltungsplan Nuolen See nicht vor, sondern nach dem Inkrafttreten der neuen Gewässerschutzbestimmungen genehmigt wurde. Im Übrigen beschränkt sich Art. 8 Abs. 1 ZwV auf Sondernutzungspläne, die bereits die wesentlichen Elemente der Baubewilligung vorwegnehmen (lit. b), was vorliegend nicht der Fall ist (vgl. oben E. 4.2 und unten E. 7.4).
6.
Im Folgenden ist zu prüfen, ob die neuen Gewässerschutzbestimmungen eine wesentliche Rechtsänderung darstellen, die eine akzessorische Überprüfung des Gestaltungsplans Nuolen See rechtfertigen können. Ist dies zu bejahen, ist anschliessend zu beurteilen, ob gewichtige Gründe, namentlich des Vertrauensschutzes, einer Anpassung oder Änderung der Nutzungsplanung entgegenstehen (unten, E. 7).
6.1. Das Verwaltungsgericht führte aus, dass für die Bestimmung des Gewässerraums nach Art. 41b GSchV sowie Abs. 2 lit. c ÜbBst GSchV die Uferlinie im Ist-Zustand massgeblich sei, und nicht eine - in einem Teilzonen- oder Gestaltungsplan vorgesehene - künstliche, mittels Aufschüttungen erst zu schaffende Uferlinie. Die bestehende Seefläche gehe aus dem vom Regierungsrat am 2. August 1995 genehmigten Zonenplan klar hervor und werde durch die grundbuchrechtlichen Eintragungen bestätigt. Selbst wenn die Seefläche durch den Teilzonenplan 2000/2005 neu definiert worden wäre, müsste diesem die Anwendung versagt bleiben, angesichts des Umstands, dass die beabsichtigte Überbauung noch nicht realisiert worden sei.
Die Testufer seien engstens mit der Aufschüttung von rund 130'000 m 3 zwecks Gewinnung von Bauland und der damit verbundenen Verschiebung und künstlichen Schaffung der neuen Seeuferlinie verknüpft. Wohnbauten seien innerhalb des Gewässerraums offenkundig nicht standortgebunden; zudem handle es sich um ein bislang unüberbautes Gebiet, weshalb keine Ausnahmebewilligung gemäss Art. 41c Abs. 1 Satz 2 GSchV in Betracht komme. Es bestehe auch kein zwingender Zusammenhang zwischen der geplanten naturnahen Gestaltung der Uferlandschaft und der Wohnüberbauung. Die Aufschüttungen seien daher nicht bewilligungsfähig und der Gestaltungsplan mit den geltenden gewässerschutzrechtlichen Bestimmungen unvereinbar.
6.2. Die Beschwerdeführerinnen halten dem entgegen, dass die Gestaltungsplanung einen Abstand von 20 m zwischen der neuen Uferlinie und den Baufeldern einhalte und insofern mit den neuen Gewässerraumbestimmungen vereinbar sei. Die Zulässigkeit der Aufschüttungen beurteile sich nach <ref-law>, der nicht geändert worden sei.
Das BAFU teilt diese Auffassung. <ref-law> (Einbringen fester Stoffe in Seen) ziele auf den gewässerseitigen Schutz von Seen ab; Schutzobjekt sei insbesondere die vom See überflutete Uferbank, der wichtige Gewässerfunktionen zukommen (Botschaft zur Volksinitiative "zur Rettung unserer Gewässer" und zur Revision des GSchG vom 29. April 1987, BBl 1987 II 1061 ff., insbes. S. 1144 zu Art. 39). Der Gewässerraum gemäss <ref-law> schütze dagegen Seen ab der Uferlinie landeinwärts und gewährleiste die natürlichen Funktionen des Gewässers in diesem Bereich (vgl. Erläuternder Bericht S. 10 f. zu Art. 41a GSchV). Beim Erlass von <ref-law> sei <ref-law> nicht geändert worden. Schüttungen seien daher unter den gleichen Voraussetzungen zulässig wie bisher. Eine rechtskonform durchgeführte Schüttung habe zur Folge, dass die dadurch entstandene neue Uferlinie für die Bestimmung des Gewässerraums massgebend werde. In Bezug auf die Schüttungen habe sich die Rechtslage somit nicht wesentlich verändert.
Das BAFU geht davon aus, dass auch kein offensichtlicher Verstoss gegen <ref-law> vorliege, der zur Nichtigkeit des Gestaltungsplans führen würde. Zwar gingen 8'500 m 2 Seefläche verloren und würden mit dem Bauprojekt Organismen zum Teil zerstört; der Lebensraum werde jedoch mit der Schaffung von ausgedehnten Flachufern und Flachwasserzonen insgesamt verbessert.
6.3. Dem BAFU ist insoweit zuzustimmen, als die Zulässigkeit von Schüttungen in Seen in <ref-law> speziell geregelt ist, und diese Bestimmung seit Inkrafttreten des GSchG am 1. November 1992 nicht modifiziert worden ist. Schon bisher waren Schüttungen in Seen nur unter sehr restriktiven Voraussetzungen zulässig, nämlich einerseits für standortgebundene Bauten in überbauten Gebieten, wenn überwiegende öffentliche Interessen eine Schüttung erfordern und sich der angestrebte Zweck anders nicht erreichen lässt (lit. a) oder wenn durch die Schüttung eine Flachwasserzone verbessert werden kann (lit. b). Sind diese Voraussetzungen gegeben, ist mit dem BAFU davon auszugehen, dass die Schüttung (soweit nötig) auch den Gewässerraum in Anspruch nehmen darf.
Daran hat sich durch das Inkrafttreten der neuen Gewässerraumbestimmungen nichts geändert. Zwar lässt Art. 41c Abs. 1 GSchV im Gewässerraum nur die Erstellung standortgebundener, im öffentlichen Interesse liegender Anlagen wie Fuss- und Wanderwege, Flusskraftwerke oder Brücken zu, und erlaubt Ausnahmen für zonenkonforme Anlagen (wie Wohnbauten) nur in dicht überbauten Gebieten. Daraus lässt sich folgern, dass es erst recht nicht zulässig sein kann, ein bestehendes Gewässer mitsamt dessen Gewässerraum aufzuschütten, um Wohnüberbauungen darauf zu erstellen. Dies ergab sich aber bereits aus <ref-law>, der Schüttungen nur für standortgebundene Vorhaben zulässt, d.h. für Bauten und Anlagen, die auf genau diesen Standort angewiesen sind und sich landseits nicht realisieren lassen (<ref-ruling> E. 3.6 S. 320 mit Hinweis auf die Botschaft zum Gewässerschutzgesetz, BBl 1987 II 1144 f. zu Art. 39; URSULA BRUNNER, Bauen im Uferbereich - schützen die Schutznormen? in: URP 1996 S. 744 ff., insbes. S. 754), was bei Wohnbauten praktisch nie der Fall sein dürfte.
6.4. Dagegen tragen die neuen Gewässerschutzbestimmungen zur Klärung einer anderen, im Planungsverfahren diskutierten Frage bei, nämlich zu der für den Gewässer- und Gewässerraumschutz massgeblichen Uferlinie:
6.4.1. Die Buchten sind nicht natürlich, sondern künstlich durch den Kiesabbau entstanden. Wie sich aus dem UVB (Ziff. 2.1.8) ergibt, war im Vorfeld der Planung streitig, ob es sich bei den Baggerbuchten um Seefläche handle oder nicht. Die Beschwerdeführerin 1 vertrat stets die Auffassung, es liege eine Industriebrache vor, deren Wiederauffüllung hinter der ursprünglichen Seelinie zulässig sei.
6.4.2. <ref-law> (und zahlreiche Vorschriften im Anhang der GSchV) knüpfen an den Begriff "See" an, ohne diesen Begriff zu erläutern. <ref-law> definiert lediglich das oberirdische Gewässer als "Wasserbett mit Sohle und Böschung sowie die tierische und pflanzliche Besiedlung". Die oberirdischen Gewässer werden in Fliessgewässer einerseits und stehende Gewässer andererseits unterteilt, wobei die Seen zu letzteren zählen. Art. 39 GschG enthält ein besonderes Verbot von Ablagerungen in Seen und verschärft damit die allgemeinen Anforderungen an Terrainveränderungen bei stehenden Gewässern gemäss Anh. 2 Ziff. 13 Abs. 1 GSchV.
Soweit ersichtlich, wurde bislang nicht entschieden, welche Anforderungen ein stehendes Gewässer erfüllen muss, um als See qualifiziert zu werden, und ob insbesondere auch künstlich geschaffene Seen in den Schutzbereich von <ref-law> fallen. Schutzobjekt dieser Bestimmung ist die vom See überflutete Uferbank, in der dank ihrer speziellen Eigenschaften (Ort optimaler Sauerstoffverhältnisse, grosse Temperaturschwankungen, gute Durchlichtung, starker Wellenschlag, dichter Pflanzenwuchs) Schmutzstoffe zu einem grossen Teil abgebaut werden, die den grössten Teil der Tier- und Pflanzenwelt des Sees beherbergt und in der auch allfällige Austauschvorgänge mit ufernahen Grundwasservorkommen stattfinden (Botschaft des Bundesrates zum GSchG von 1991, in: BBl 1987 II 1143). Dies legt eine biologische Definition nahe, wonach als Seen alle stehenden Gewässer gelten, die von ihrer Grösse und Beschaffenheit diese Funktionen erfüllen können bzw. nach einer Revitalisierung erfüllen könnten (ähnlich HANS MAURER, Rechtliche Fragen zum Verlandungsprozess im Wohlensee sowie zu künstlichen Aufschüttungen in Seen, Gutachten vom 21. Februar 2012 im Auftrag des Amtes für Umweltkoordination und Energie, Bau-, Verkehrs- und Energiedirektion des Kantons Bern, Rz. 69 S. 28 [publiziert auf der homepage der BVE: www.bve.be.ch]).
6.4.3. Im vorliegenden Fall besteht allerdings die Besonderheit, dass die durch den Kiesabbau künstlich geschaffenen Buchten in den Zürichsee einmünden, der ohne Zweifel als "See" zu qualifizieren ist. Insofern kann sich die Prüfung auf die Frage beschränken, ob die Buchten die Uferlinie des Zürichsees modifiziert haben und damit zur Seefläche gehören.
Die bereits zitierte Legaldefinition des Gewässers (<ref-law>) stellt auf Gewässerbett, Sohle und Böschung ab, d.h. auf Elemente, die sich im Lauf der Zeit verändern können, sei es durch natürliche Vorgänge (Erosion, Verlandung) oder infolge menschlicher Eingriffe. Dies spricht dafür, alle (zumindest periodisch) vom Seewasser überschwemmten Landteile zum Gewässer zu zählen, unabhängig von Zeitpunkt und Art ihrer Entstehung (vgl. Maurer, a.a.O., Rz. 20 f. S. 8 f.).
6.4.4. Diese Auffassung wird durch die neuen Gewässerraumvorschriften bestätigt:
Gemäss Art. 41b Abs. 1 GSchV beginnt der Gewässerraum stehender Gewässer an der "Uferlinie". Als solche gilt die Begrenzungslinie eines Gewässers, die i.d.R. nach Jährlichkeiten des Wasserstands bestimmt wird, bei kleineren stehenden Gewässern auch nach der Oberkante Böschung (Erläuternder Bericht S. 13). Dabei ist grundsätzlich der Ist-Zustand massgeblich. Auch wenn den Kantonen ein gewisser Spielraum verbleibt, erscheint es ausgeschlossen, die tatsächliche Uferlinie auf eine seit Jahrzehnten nicht mehr bestehende frühere Uferlinie zu verlegen und damit den seit langem bestehenden, mit dem Zürichsee verbundenen Buchten die Seequalität abzusprechen. Dies gilt erst recht für die übergangsrechtlichen Gewässerräume nach Abs. 2 lit. c ÜbBst GSchv, die (für Fliessgewässer) ausdrücklich an die "bestehende Gerinnesohle" anknüpfen.
Dafür spricht auch Art. 41b Abs. 4 lit. c GSchV: Danach "kann" auf die Ausscheidung eines Gewässerraums verzichtet werden, wenn ein Gewässer künstlich angelegt worden ist. Daraus lässt sich einerseits entnehmen, dass in der Regel (wenn kein Verzicht erfolgt) auch für künstliche Gewässer ein Gewässerraum festgelegt werden muss. Andererseits bezieht sich die Ausnahme nur auf stehende Gewässer, die (vollständig) künstlich angelegt wurden, wie z.B. Speicherseen in den Alpen oder künstliche Weiher (so die Beispiele im Erläuternden Bericht S. 14), und nicht auf korrigierte (und in diesem Sinne künstliche) Uferabschnitte von natürlichen Seen wie dem Zürichsee.
Jede andere Auslegung wäre auch unpraktikabel, gibt es doch am Zürichsee (und den meisten anderen grossen Seen der Schweiz) kaum mehr unberührte natürliche Ufer, die nicht in der Vergangenheit durch Aufschüttungen, Abgrabungen oder Verbauungen verändert worden sind. Dementsprechend wurde in <ref-ruling> E. 2.3 S. 440 und 139 II 470 E. 4.5 S. 483 für die Bemessung des Gewässerraums auf das bestehende, hart verbaute Seeufer abgestellt, ohne danach zu fragen, wo sich früher das natürliche Seeufer befunden habe.
Zwar kann im Zuge einer Uferrevitalisierung die Rückkehr zum ursprünglichen Uferverlauf angestrebt werden und können hierfür Terrainveränderungen, einschliesslich Schüttungen zur Wiederherstellung von Flachufern (nach <ref-law>), bewilligt werden. Dagegen ist es unzulässig, die durch Abgrabungen entstandenen Seebereiche dem Schutz des GSchG zu entziehen und Schüttungen oder Überbauungen im Gewässer bzw. im Gewässerraum entgegen den gesetzlichen Anforderungen zu bewilligen.
6.4.5. Eine Ausnahme ist denkbar, wenn eine Wiederauffüllungspflicht aufgrund einer noch geltenden Konzession oder Abbaubewilligung besteht.
Die Beschwerdeführerin 1 geht davon aus, dass sie als Grundeigentümerin das Recht habe, das hinter der ursprünglichen Seeuferlinie liegende Gebiet wieder aufzufüllen. Dieses Recht sei nicht verjährt, weil die Abbaggerung damals auf der Grundlage gewöhnlicher baupolizeilicher Bewilligungen (und nicht etwa befristeter Konzessionen) erfolgt sei. Damit macht sie gerade keine Wiederauffüllungspflicht geltend. Das aus dem Eigentum fliessende Recht, Terrainveränderungen vorzunehmen, wird durch die Bestimmungen des Gewässerschutzrechts beschränkt, wenn das Gebiet Teil eines oberirdischen Gewässers geworden ist.
6.4.6. Nach dem Gesagten hätte der Regierungsrat bei der Bewilligung der Gestaltungsplanung, ausgehend von der bestehenden Uferlinie, die beiden Buchten als Seegebiet qualifizieren müssen, in dem Aufschüttungen nur unter den restriktiven Bedingungen gemäss <ref-law> bewilligt werden dürfen. Diese sind vorliegend nicht erfüllt, da die Schüttungen entlang der Uferlinie (in der vorgesehenen Mächtigkeit und im geplanten Ausmass) nicht der Anlage von Flachufern dienen, sondern der Realisierung einer nicht standortgebundenen Wohnüberbauung.
Allerdings lässt sich darüber diskutieren, ob insoweit eine erhebliche Rechtsänderung vorliegt, oder die neuen Gewässerraumbestimmungen nur die schon zuvor geltende Rechtslage konkretisiert haben.
6.5. Dagegen stellt die 2011 eingeführte Verpflichtung zur Revitalisierung geeigneter Gewässerabschnitte (<ref-law> i.V.m. Art. 41d GSchV) eine wesentliche Rechtsänderung dar:
6.5.1. Bisher sah das Bundesrecht eine Pflicht zur Wiederherstellung naturnaher Verhältnisse bei verbauten bzw. beeinträchtigten Gewässern nur im Zusammenhang mit dem Hochwasserschutz oder anderen Eingriffen in ein Gewässer vor (vgl. Art. 4 des Bundesgesetzes vom 21. Juni 1991 über den Wasserbau [WBG; SR 721.100]; <ref-law>; Art. 9 f. des Bundesgesetzes vom 21. Juni 1991 über die Fischerei [BGF; SR 923.0] und Art. 18 ter NHG; HANS MAURER, Revitalisierung der Gewässer, URP 2008 S. 450-452).
Dieser Konzeption entspricht das Planungs- und UVP-Verfahren Nuolen See: Die Anlage von Flachwasserzonen südlich des Landsporns bzw. der Insel wurde im Zusammenhang mit der Aufschüttung und Überbauung des Ufers vorgesehen und die Umweltverträglichkeit des Projekts bejaht, weil es insgesamt eine Verbesserung im Vergleich zum Ist-Zustand darstellt (Nutzung der Kibag-Bucht als Industriehafen mit hart verbauten Ufern und regelmässiger Ausbaggerung). Nicht geprüft wurde, ob eine Revitalisierung der beiden Buchten auch unabhängig von einem Bauvorhaben in Betracht falle.
6.5.2. Diese Frage stellt sich jedoch seit Inkrafttreten von <ref-law> und Art. 41d GSchV imperativ. Diese Bestimmungen verpflichten die Kantone zu einer Revitalisierungsplanung unabhängig von Hochwasserschutz- oder anderen konkreten Projekten ("eigenständige Revitalisierungen" in der Terminologie von MAURER, Revitalisierung der Gewässer, URP 2008 S. 451 oben). Priorität haben dabei Gewässer mit einem grossen ökologischen Potenzial und einem günstigen Kosten-Nutzen-Verhältnis (vgl. Art. 41d Abs. 2 und Art. 33a GschV). Ziel des Gesetzgebers ist es, innerhalb von etwa drei Generationen bei den geschätzten 4'000 prioritär zu revitalisierenden Gewässerkilometern die natürlichen Gewässerfunktionen wiederherzustellen (Parlamentarische Initiative Schutz und Nutzung der Gewässer, Bericht der Kommission für Umwelt, Raumplanung und Energie des Ständerates vom 12. August 2008, BBl 2009 8051 f.).
Allerdings sind die <ref-law> und Art. 41d GSchV nicht unmittelbar anwendbar, sondern müssen von den Kantonen in ihrer Revitalisierungsplanung konkretisiert werden, die bis zum 31. Dezember 2014 (für Fliessgewässer) und bis zum 31. Dezember 2018 (für stehende Gewässer) vorliegen muss (Art. 41d Abs. 3 GSchV).
Unmittelbar anwendbar sind dagegen die Übergangsbestimmungen der GSchV zur Änderung vom 4. Mai 2011: Diese verbieten die Erstellung von nicht standortgebundenen Bauten und Anlagen in einem Streifen von 20 m entlang der Uferlinie (Abs. 2 lit. c ÜbBst i.V.m. Art. 41c Abs. 1 GSchV), solange der Gewässerraum noch nicht gemäss Art. 41b GSchV definitiv festgelegt worden ist. Dabei muss insbesondere der erforderliche Raumbedarf für Revitalisierungen gesichert werden (Art. 41b Abs. 2 lit. b GSchV), weshalb die Gewässerraum- und die Revitalisierungsplanung zu koordinieren sind (<ref-ruling> E. 6.2 S. 445). Der übergangsrechtliche Gewässerraum soll gewährleisten, dass nach dem Inkrafttreten des revidierten Gewässerschutzrechts bis zur definitiven Festlegung des Gewässerraums keine unerwünschten neuen Anlagen errichtet werden (Erläuternder Bericht S. 4 oben). Ihm kommt insoweit die Funktion einer Planungszone zu (<ref-ruling> E. 6.2) : Bauten und Anlagen, welche die künftige Revitalisierungsplanung negativ präjudizieren oder vereiteln könnten, dürfen im übergangsrechtlichen Gewässerraum nicht mehr bewilligt werden, und zwar auch nicht im Wege der Gestaltungsplanung.
6.5.3. Das Gebiet Nuolen See liegt in der Nähe mehrerer nationaler und internationaler Schutzgebiete (ökologische Zustandsanalyse S. 11); unmittelbar westlich der Kibag-Bucht beginnt das Flachmoorgebiet von nationaler Bedeutung Nr. 1844 "Nuoler Ried"; nördlich grenzt das BLN-Gebiet "Zürcher Obersee" an. Gewisse Schilfbestände sind bereits vorhanden; nach Einstellung der industriellen Nutzung (der Kibag-Bucht) und geeigneten Aufwertungsmassnahmen bestünde das Potenzial für eine grossflächige Besiedlung mit Röhricht (ökologische Zustandsanalyse S. 13). Den beiden Buchten wird daher ein hohes ökologisches Potenzial, namentlich für Vögel, zugeordnet (ökologische Zustandsanalyse S. 15 mit Hinweis).
In der Hunziker-Bucht bestehen bereits flächendeckende dichte Bestände von Makrophyten, einschliesslich der stark gefährdeten Art Ceratophyllum submersum (ökologische Zustandsanalyse S. 13 f.). Bei den Bodenlebewesen (Makrozoobenthos) wurden 11 Rote-Listen-Arten nachgewiesen, darunter die vom Aussterben bedrohte Schneckenart Gyraulus acronicus (verbogenes Posthörnchen) und die stark gefährdete Malermuschel (Unio pictorum) (S. 9 und 15 f.). Auch dies spricht für ein hohes ökologisches Potenzial.
Da die Ufer der Buchten kaum überbaut sind und die vorhandenen Kiesindustrieanlagen in absehbarer Zeit stillgelegt werden, bestünde Raum für Revitalisierungsmassnahmen. Durch ein Zusammenwirken mit den landseitig geplanten Rekultivierungen der Kiesgruben und allfällig erforderlichen Altlastensanierungen könnten der Nutzen für Natur und Landschaft noch vergrössert und Kosten eingespart werden (Art. 41d Abs. 2 lit. b und c GSchV).
Es sprechen somit gewichtige Anhaltspunkte dafür, dass es sich beim Gebiet Nuolen See um einen vorrangig zu revitalisierenden Gewässerabschnitt i.S.v. Art. 41d Abs. 2 GSchV handelt.
6.5.4. Die im Gestaltungsplan vorgesehenen grossräumigen Schüttungen im bestehenden Gewässerraum dienen der Erstellung von Wohnbauten. Dadurch würde das Ufer auf einer Länge von rund 700 m überbaut und eine naturnahe Gestaltung der bestehenden Ufer verunmöglicht. Die für die Anlage von Röhricht zur Verfügung stehende Seefläche würde durch die Schüttungen wie auch durch den geplanten neuen Bootshafen Bollenberg verringert. Die Intensiverholungszonen bergen zudem ein grosses Störungspotenzial (z.B. für Brutvögel).
Insofern ist davon auszugehen, dass die Teilzonen- und Gestaltungsplanung eine eigenständige Revitalisierung des Gebiets negativ präjudiziert: Auch wenn die geplante Ufergestaltung eine Aufwertung gegenüber dem bestehenden Zustand bedeutet, wird damit der Einbezug des Ufers in die Revitalisierungsplanung nach Art. 38a GschG vereitelt und die Chance für eine umfassende ökologische Aufwertung der Buchten in ihrer bestehenden Ausdehnung verunmöglicht.
6.6. Präjudiziert die Gestaltungsplanung Nuolen See somit die Revitalisierungsplanung des Kantons negativ, hätten die im bestehenden Gewässerraum vorgesehenen Schüttungen und Überbauungen auf planerischer Ebene nicht bewilligt werden dürfen. Mit dem Verwaltungsgericht ist daher davon auszugehen, dass die Revision des GSchG und der GSchV eine wesentliche Rechtsänderung darstellen.
7.
Im Folgenden ist zu prüfen, ob gewichtige Gründe der Planbeständigkeit und des Vertrauensschutzes einer akzessorischen Überprüfung entgegenstehen. Dies beurteilt sich - wie bei der Plananpassung aufgrund veränderter Verhältnisse nach Art. 21 Abs. 2 RPG - aufgrund einer Interessenabwägung (<ref-ruling> E. 6b S. 106). Dabei ist auf der einen Seite die Notwendigkeit einer gewissen Stabilität nutzungsplanerischer Festlegungen zu beachten, auf der anderen Seite das Interesse, die Pläne an eingetretene Veränderungen anzupassen. Zu berücksichtigen sind insbesondere die bisherige Geltungsdauer des Nutzungsplans, das Ausmass seiner Realisierung und Konkretisierung, das Gewicht des Änderungsgrunds, der Umfang der beabsichtigten Planänderung und das öffentliche Interesse daran (<ref-ruling> E. 3.1 S. 29 mit Hinweisen).
7.1. Das Verwaltungsgericht hielt fest, dass der Teilzonenplan seit seinem Erlass im Jahre 2000 keine nennenswerten Änderungen erfahren habe. Damit sei die Regeldauer für die Überarbeitung von 15 Jahren (Art. 15 lit. b RPG) schon beinahe erreicht. Das grosse öffentliche Interesse am Gewässerschutz, das sich gerade in den per 1. Januar bzw. 1. Juni 2011 verschärften Gewässerschutzbestimmungen manifestiere, überwiege in jedem Fall das private Interesse der Beschwerdeführerin 1 an der Erhaltung bzw. Beachtung des bestehenden Teilzonen- und Gestaltungsplans. Dieser hätte auffallen müssen, dass der regierungsrätliche Genehmigungsbeschluss zum Gestaltungsplan keinerlei Bezug auf die verschärften Gewässerschutzbestimmungen nehme, d.h. die divergierenden öffentlichen (gewässerschutzrechtlichen) und privaten Interessen nicht genügend abgewogen worden seien. Aus den verschiedenen Abtretungsverträgen, welche die Beschwerdeführerin 1 abgeschlossen habe, liessen sich keine wohlerworbenen Rechte ableiten, zumal die Verträge Vorbehalte enthielten, wonach sie dahinfallen, falls der Teilzonen- und Gestaltungsplan Nuolen See vom Regierungsrat nicht genehmigt werden sollte.
7.2. Die Beschwerdeführerin 1 rügt in diesem Zusammenhang eine Verletzung des rechtlichen Gehörs: Sie habe sich in der Beschwerdeantwort vor Verwaltungsgericht vom 31. Mai 2013 (Ziff. 15.1) ausdrücklich vorbehalten, zu den Fragen der Planbeständigkeit und des Vertrauensschutzes eingehend Stellung zu nehmen, sollten diese entscheidrelevant werden. Das Verwaltungsgericht sei darüber hinweggegangen, ohne die Beschwerdeführerin 1 nochmals anzuhören.
Es war jedoch bereits aus den Beschwerdeschriften klar, dass die Fragen der Planbeständigkeit und des Vertrauensschutzes entscheiderheblich sein könnten, sofern das Verwaltungsgericht eine erhebliche Änderung der Verhältnisse bejahen sollte. Die Beschwerdeführerin 1 nahm denn auch bereits in ihrer Beschwerdeantwort (Rz. 15 - 16.5 S. 15 ff.) sowie in ihrer Duplik (Ziff. 14.S. 8 ff.) zu diesen Fragen Stellung. Sie hatte dabei Gelegenheit, allfällig relevante Unterlagen einzureichen oder deren Edition zu beantragen. Wenn sie darauf verzichtete, ging sie das Risiko ein, dass das Verwaltungsgericht auf der Grundlage der bisherigen Stellungnahmen und den in den Akten vorhandenen Unterlagen entscheiden würde. Das Gericht war nicht verpflichtet, zunächst die Erheblichkeit der Rechtsänderung vorzuprüfen, den Parteien dieses Zwischenergebnis mitzuteilen und ihnen anschliessend nochmals Gelegenheit zur Stellungnahme einzuräumen.
7.3. In der Sache rügen die Beschwerdeführerinnen, die Planung sei neueren Datums, weshalb grundsätzlich auf ihren Fortbestand vertraut werden dürfe: Der Teilzonenplan sei 2005 geändert und im Rahmen der Ortsplanungsrevision 2009 bestätigt worden. Zudem seien Teilzonen- und Gestaltungsplan als Einheit zu behandeln, weshalb auf den Zeitpunkt des Inkrafttretens des Gestaltungsplans im Jahre 2011 abzustellen sei.
Der Gestaltungsplan weise einen hohen Detaillierungsgrad auf und könne deshalb - wie eine Baubewilligung - nur beim Vorliegen von Revisions- bzw. Widerrufsgründen aufgehoben oder geändert werden. Die Voraussetzungen gemäss § 34 Abs. 1 (Widerruf) und §§ 61 f. VRP/SZ (Revision) seien offensichtlich nicht erfüllt; prozessual hätten die Beschwerdegegner ein Revisionsgesuch bei den zuständigen Planungsbehörden einreichen müssen. Zudem würde der Widerruf nach § 34 Abs. 3 VRP/SZ wie auch nach der Eigentumsgarantie (<ref-law>) und dem Vertrauensprinzip (<ref-law>) die volle Entschädigung der Beschwerdeführerin 1 für den ihr entstehenden enormen Schaden nach sich ziehen.
Die vom Verwaltungsgericht vorgenommene Interessenabwägung werde der langjährigen und komplexen Nutzungsplanung Nuolen See nicht gerecht. Sie beachte weder das Interesse an einer berechenbaren Planung, die Vorteile der Sanierung des durch die industrielle Nutzung beeinträchtigten Raumabschnitts, noch die Interessen der Gemeinde Wangen an der Schaffung neuer Erholungsgebiete für die Öffentlichkeit in dem für sie bedeutungsvollen Seeanstossgebiet.
Zu berücksichtigen seien auch die von der Beschwerdeführerin 1 und der E._ AG (später X.E._ AG, heute Y.E._ AG) mit den Gemeinden Wangen und Tuggen in den Jahren 2000 bis 2005 abgeschlossenen Abtretungsverträge sowie der öffentlich-rechtliche Vertrag vom 22./25. August 2008 zwischen der Beschwerdeführerin 1 und den Gemeinden Wangen und Tuggen. Die Verflechtung dieses komplexen Gesamtvertragswerks mit der Gestaltungsplanung könne nicht mit dem pauschalen Hinweis auf "Vorbehalte in den Abtretungsverträgen" übergangen werden. Die wesentlichen Verabredungen hätten sich auf die rechtskräftige Teilzonenplanung und im letzten Akt auch auf die genehmigte Gestaltungsplanung gestützt.
Insbesondere sei die Verpflichtung zur Ausserbetriebsetzung und zum Rückbau der Kiesaufbereitungsanlage und des Betonwerks bis Ende 2014 im Hinblick auf die im Gestaltungsplan vorgesehene Folgenutzung erfolgt. Bleibe es beim angefochtenen Entscheid, werde die Beschwerdeführerin 1 gezwungen, die Zielsetzungen für den Betrieb der Industrieanlagen Nuolen See zu überdenken. In diesem Zusammenhang sei zu berücksichtigen, dass der bestehende Schiffshafen mit allen zugehörigen Einrichtungen nach Art. 41c Abs. 2 GschV in seinem Bestand geschützt sei und sein Weiterbetrieb eine ökologische Aufwertung der Baggerbuchten ausschliesse.
7.4. Der Teilzonenplan enthält im Hinblick auf die streitigen Schüttungen keine verbindlichen, sondern nur generelle Festlegungen, die im Gestaltungsplan- und UVP-Verfahren überprüft und konkretisiert werden mussten. Insofern kommt ihm keine massgebliche Bedeutung zu.
Dagegen handelt es sich beim Gestaltungsplan Nuolen See um eine neue Planung (Planerlass 2008 und Genehmigung 2011) mit verfügungsähnlichen Elementen; insbesondere werden die Schüttungen über dem Seespiegel verbindlich festgelegt (vgl. oben E. 4.3). Vom Detaillierungsgrad ist der Gestaltungsplan allerdings nicht mit einer Baubewilligung vergleichbar: Dies gilt nicht nur für die geplante Überbauung (Festlegung nur von Baufeldern), sondern auch für die Ufergestaltung, die auf der Grundlage der Erfahrungen mit den Testufern noch in der Baubewilligung definitiv festgelegt werden muss (vgl. oben E. 4.2).
Unter diesen Umständen ist es von Bundesrechts wegen nicht zu beanstanden, dass das Verwaltungsgericht prozessual von der akzessorischen Überprüfung eines Nutzungsplans im Baubewilligungsverfahren ausging, und nicht die Einleitung eines Revisions- oder Widerrufsverfahrens verlangte. Materiell rechtlich ging das Verwaltungsgericht davon aus, dass die Voraussetzungen für einen Widerruf gemäss § 34 Abs. 1 VRP/SZ ebenfalls erfüllt seien. Nach dieser Bestimmung können Verfügungen auf Gesuch einer Partei oder von Amtes wegen von der erlassenden Behörde oder der Aufsichtsbehörde abgeändert oder aufgehoben werden, wenn sich die Verhältnisse geändert haben oder erhebliche öffentliche Interessen es erfordern und dabei der Grundsatz von Treu und Glauben nicht verletzt wird. Es handelt sich um dieselben Elemente, die im Rahmen der akzessorischen Überprüfung des Gestaltungsplans zu beachten und deshalb im vorliegenden Verfahren zu prüfen sind. Allfällige Entschädigungsansprüche der Beschwerdeführerin 1 sind dagegen nicht Streitgegenstand.
7.5. Es ist anzuerkennen, dass die Gestaltungsplanung auf einer langjährigen, bereits durch den Teilzonenplan 2000 eingeleiteten Planung beruht, die durch vertragliche Abmachungen zwischen den beteiligten Kiesabbauunternehmen und den Gemeinden Wangen und Tuggen flankiert wurde.
7.5.1. Dazu gehören neben verschiedenen Abtretungsverträgen insbesondere der am 25. August 2008 zwischen der Beschwerdeführerin 1 und den Gemeinden Wangen und Tuggen abgeschlossene öffentlich-rechtliche Vertrag. In diesem wurde unter anderem ein Zeitplan für die Beendigung des Kiesabbaus in Nuolen vorgesehen. Gestützt auf diesen Vertrag gewährte die Gemeinde Wangen der Beschwerdeführerin 1 am 25. September 2008 eine Verlängerung der Betriebsbewilligung für den Kiesabbau bis Ende 2013 (statt Ende 1999 gemäss Sanierungsplan vom 13. November 1978). Die Kiesaufbereitungsanlage und das Betonmischwerk in Nuolen sollen bis Ende 2014 abgebrochen werden und die Gruben Rütihof und Bachtellen bis Ende 2017 aufgefüllt und bis Ende 2020 rekultiviert werden.
7.5.2. Allerdings war das vorgesehene Projekt aufgrund des Ausmasses der Schüttungen und der Gesamtzahl der Bootsplätze UVP-pflichtig (Ziff. 13.3 und 30.3 Anh. UVPV) und auf eine Reihe von kantonalen Spezialbewilligungen angewiesen, die vom Regierungsrat mit der Genehmigung der Gestaltungsplanung koordiniert werden mussten (<ref-law>; Art. 25a Abs. 4 RPG; vgl. oben E. 4.4). Insofern standen alle Planungsschritte und vertraglichen Abmachungen, die vor dem Genehmigungsentscheid des Regierungsrats erfolgten, unter dem (ausdrücklichen oder stillschweigenden) Vorbehalt der Gestaltungsplangenehmigung, d.h. die Parteien mussten damit rechnen (und rechneten auch damit), dass die geplante Folgenutzung u.U. nicht realisiert werden könnte.
Wie dargelegt wurde, hätte der Regierungsrat bei seinem Genehmigungsentscheid die am 1. Januar bzw. 1. Juni 2011 in Kraft getretenen Bestimmungen des GSchG und der GSchV beachten müssen (oben E. 5) und dem Gestaltungsplan die Genehmigung versagen müssen (oben E. 6). In diesem Fall wäre der Gestaltungsplan nicht in Kraft getreten, ohne dass sich die Beschwerdeführerinnen dagegen auf die Grundsätze des Vertrauensschutzes hätten berufen können.
7.5.3. Nach der Genehmigung des Gestaltungsplans am 15. Juni 2011 bzw. nach ungenutztem Ablauf der Beschwerdefrist durfte die Beschwerdeführerin 1 dagegen grundsätzlich auf den Bestand des Gestaltungsplans vertrauen.
Allerdings konnte dieser nicht sofort realisiert werden: Einerseits musste die künftige Ufergestaltung noch durch die Anlage von Testufern empirisch ermittelt und festgelegt werden; andererseits hängt die Realisierung der Planung von der Verlegung bzw. dem Abbruch des bestehenden Verladehafens der Beschwerdeführerin 1 in der Kibag-Bucht ab. Als Zeithorizont war Ende 2018 (gemäss öffentlich-rechtlichem Vertrag) bzw. 2020 (gemäss Richtplanentwurf Buechenberg) vorgesehen, wobei eine Koordination mit weiteren Verfahren erforderlich war (Erlass des Richtplans; Erteilung neuer Abbaubewilligungen in der Gemeinde Tuggen; Planung und Bewilligung von Ersatzstandorten für den Verladehafen und die Verlegung des Förderbands).
Im Genehmigungsbeschluss vom 15. Juni 2011 (Ziff. 1.4.12 S. 5 oben) führte der Regierungsrat aus, dass die Beschwerdeführerin 1 zugunsten der Wohnüberbauung in Nuolen auf die neuen Abbaugebiete in Tuggen und eine Verlegung des Verladehafens verzichten könnte. Ein entsprechender Verzicht ist aber noch nicht erfolgt. Dies bestätigt die Beschwerdeführerin 1, wenn sie darauf hinweist, dass sich die Kiesnutzung der Kibag-Bucht verlängern könnte, wenn die Überbauung nicht wie geplant realisiert werden dürfe.
Der erste und - soweit ersichtlich - einzige Schritt zur Umsetzung des Gestaltungsplans nach dessen Genehmigung war daher die Einreichung des Baugesuchs für die Testufer. In diesem Zusammenhang entstand zusätzlicher Projektierungsaufwand, der jedoch nicht so gewichtig ist, dass er das Interesse an der akzessorischen Überprüfung der Planung im Lichte der neuen Gewässerschutzbestimmungen ausschliessen könnte.
7.6. Kann die geplante Wohnüberbauung nicht realisiert werden, entfällt das Interesse der Beschwerdeführerin 1 an der schnellen Beendigung des Kiesabbaus in Nuolen, weshalb sich die industrielle Nutzung der Kibag-Bucht verlängern könnte. Dies gilt insbesondere, wenn ihr neue Abbaugebiete in Tuggen bewilligt werden sollten, deren Kies auf dem Seeweg (über den bestehenden Verladehafen) transportiert werden müsste. Dies kann die ökologische Aufwertung der Buchten und ihre Zugänglichkeit für die Öffentlichkeit verzögern und die Belastung der Anwohner mit Immissionen der Kiesindustrie verlängern. Angesichts der Gesamtdauer der Kiesausbeutung im Gebiet Nuolen (fast ein Jahrhundert) fällt diese Verzögerung jedoch nicht entscheidend ins Gewicht; es überwiegt der mögliche Nutzen einer geänderten Planung für Natur und Landschaft. Eine ökologische Aufwertung der Buchten würde auch den Erholungswert der Landschaft für die Bewohner Wangens erhöhen. Wohnbauten können dagegen auch an anderer Stelle, weiter landeinwärts, realisiert werden. Jedenfalls muss die Möglichkeit einer eigenständigen und umfassenden Renaturierung des Gebiets ernsthaft geprüft werden, bevor diese Chance durch eine Uferüberbauung endgültig zerstört wird.
7.7. Nach dem Gesagten durfte das Verwaltungsgericht dem öffentlichen Interesse an der Anpassung der Planung zur Durchsetzung der neuen gewässerschutzrechtlichen Bestimmungen den Vorrang einräumen vor den gegenläufigen privaten und öffentlichen Interessen. Dies umso mehr, als sich nach der bundesgerichtlichen Rechtsprechung die Frage des Vorrangs der Rechtssicherheit und Planbeständigkeit in der vollen Tragweite ohnehin nur für bundesrechtskonforme Pläne stellt (<ref-ruling> E. 5c S. 160 mit Hinweis). Diese Voraussetzung erfüllt die hier interessierende Planung gerade nicht.
8.
Die Gestaltungsplanung Nuolen See hält somit einer akzessorischen Überprüfung nicht stand und kann deshalb nicht realisiert werden. Die Nutzungsplanung im Gebiet Nuolen See wird im Lichte der vom Kanton zu erarbeitenden Revitalisierungsplanung angepasst bzw. geändert werden müssen. Solange dies nicht geschehen ist, können keine Baugesuche gestützt auf den Teilzonen- und Gestaltungsplan bewilligt werden. Die Vorinstanz hat deshalb die Bewilligung zur Erstellung von zwei Testufern zu Recht aufgehoben, zumal es bei den Schüttungen auf Probe vor allem um Erfahrungen zur Festigkeit eines zukünftigen Baugrundes geht und nur in zweiter Linie um Erkenntnisse im Hinblick auf neue Flachufer.
Die Beschwerden sind somit abzuweisen und der angefochtene Entscheid ist zu bestätigen. Bei diesem Ausgang des Verfahrens sind die Gerichtskosten der Beschwerdeführerin 1 aufzuerlegen (<ref-law>). Die in ihrem amtlichen Wirkungskreis unterliegende Gemeinde trägt keine Kosten (<ref-law>). Sie wird dagegen zusammen mit der Beschwerdeführerin 1 entschädigungspflichtig (<ref-law>).
Bei der Bemessung der Parteientschädigung ist zu berücksichtigen, dass die Beschwerdegegner durch denselben Anwalt vertreten waren und im Wesentlichen gleichlautende Eingaben eingereicht haben, wodurch sich ihr Aufwand vermindert hat.

Demnach erkennt das Bundesgericht:
1.
Die Verfahren 1C_821/2013 und 1C_825/2013 werden vereinigt.
2.
Die Beschwerden werden abgewiesen.
3.
Die Gerichtskosten für das Verfahren 1C_821/2013 von Fr. 5'000.-- werden der A._ AG auferlegt. Für das Verfahren 1C_825/2013 werden keine Kosten erhoben.
4.
Die A._ AG und die Gemeinde Wangen haben die Beschwerdegegner 1 und 2 mit insgesamt Fr. 12'000.-- (je Fr. 6'000.--) zu entschädigen.
5.
Dieses Urteil wird den Parteien, der Gemeinde Wangen, dem Amt für Raumentwicklung, dem Regierungsrat und dem Verwaltungsgericht des Kantons Schwyz, Kammer III, sowie dem Bundesamt für Umwelt schriftlich mitgeteilt.
Lausanne, 30. März 2015
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Die Gerichtsschreiberin: Gerber