Sachverhalt:
A.
Die Halbinsel Giessen in Wädenswil ist ein Landvorsprung am Zürichsee, der durch die Eisenbahnlinie und die Seestrasse begrenzt wird. Im 19. Jahrhundert entwickelte sich dort eine Industrieanlage mit dazugehörigem Fabrikantenwohnhaus, Kosthäusern (d.h. ehemaligen Arbeiterwohnhäusern) und Nebengebäuden, die heute noch erhalten sind. Zahlreiche dieser Bauten wurden 1984 in das Inventar der kunst- und kulturhistorischen Schutzobjekte von kommunaler Bedeutung der Stadt Wädenswil (im Folgenden: Inventar) aufgenommen.
Im Jahr 1997 wurde der öffentliche Gestaltungsplan Giessen erlassen mit dem Ziel, eine gemischte Nutzung des Areals mit hoher baulicher Dichte zu ermöglichen. Dieser setzt verschiedene Baubereiche fest und bezeichnet Bauten, die in ihrem Volumen und ihrem generellen Erscheinungsbild zu erhalten sind (Ziff. 3.1). Die übrigen, nicht speziell bezeichneten Bauten dürfen abgebrochen und ersetzt werden, ausserhalb der Baubereiche jedoch nur im Rahmen des bestehenden Gebäudeprofils und Erscheinungsbilds (Ziff. 3.2).
Am 4. Februar 2002 wurde die Halbinsel Giessen in das Inventar der schutzwürdigen Ortsbilder von überkommunaler Bedeutung aufgenommen.
Mit Verfügung vom 29. November 2011 unterstellte die Baudirektion des Kantons Zürich die Fabrikgebäude "Maillart" und "Kölla" sowie die Fabrikantenvilla als überkommunal bedeutsame Denkmalschutzobjekte unter Schutz.
B.
Die X._ AG beabsichtigt, auf den Grundstücken Kat.-Nrn. 7340, 7341, 13022 und 13023 zwei Mehrfamilienhäuser zu erstellen ("Aquatica" mit 29 Wohnungen und "Mansion" mit 8 Wohnungen) sowie den "Kölla"-Anbau in ein Wohnhaus mit 4 Wohnungen umzubauen (im Folgenden: Bauvorhaben A). Für die Neubauten müssen drei inventarisierte Bauten weichen: das Wohnhaus "Giessenau", das Waschhaus (ehemaliges Walchegebäude) und der Fabrikkomplex Giessen 8.
Auf Parzelle 13021 sollen anstelle der bestehenden Kosthäuser drei Mehrfamilienhäuser errichtet werden (im Folgenden: Bauvorhaben B).
Am 21. November 2008 erstattete die Natur- und Heimatschutzkommission des Kantons Zürich (NHK) ein Gutachten zur Einwicklungsstudie für das Giessenareal. Die Denkmalpflegekommission des Kantons Zürich (KDK) begutachtete am 7. April 2009 die bestehenden Bauten des Industrieensembles. In der Folge wurden eine "Testplanung" sowie Studienaufträge durchgeführt, die Grundlage der weiteren Planung und des späteren Baugesuchs bildeten.
B.a. Am 12. Oktober 2010 erteilte die Baukommission die baurechtliche Bewilligung für das Bauvorhaben A (im Folgenden: Baubewilligung A). Gleichzeitig wurde die Verfügung der Baudirektion des Kantons Zürich vom 12. August 2010 eröffnet, in der verschiedene Spezialbewilligungen erteilt wurden (im Folgenden: Verfügung Baudirektion A).
Gleichzeitig eröffnet wurde der Beschluss des Stadtrats Wädenswil vom 11. Januar 2010, mit dem sechs Bauten (das Wohnhaus "Giessenau", das Waschhaus, der Fabrikkomplex Giessen 8 und die drei Kosthäuser) aus dem kommunalen Inventar entlassen wurden (im Folgenden: Inventarentlassungsbeschluss).
Am 15. Juni 2011 genehmigte die Baudirektion die Verlegung und den hochwassersicheren Ausbau des Reidbachs, der auf dem Giessen-Areal in den Zürichsee mündet.
B.b. Am 29. November 2011 erteilte die Baukommission die baurechtliche Bewilligung für Bauvorhaben B (im Folgenden: Baubewilligung B). Zusammen mit diesem Beschluss wurde die Verfügung der Baudirektion des Kantons Zürich vom 3. Oktober 2011 eröffnet (im Folgenden: Verfügung Baudirektion B).
C.
Gegen den Inventarentlassungsbeschluss vom 11. Januar 2010, die Baubewilligung A und die dazugehörige Verfügung A der Baudirektion erhoben der Schweizer Heimatschutz (SHS) und die Zürcherische Vereinigung für Heimatschutz (ZVH) (im Folgenden: die Heimatschutzverbände) sowie A._ und weitere Anwohner (im Folgenden: die Nachbarn) Rekurs bei der Baurekurskommission II des Kantons Zürich (seit 1. Januar 2011: Baurekursgericht).
Die Heimatschutzverbände erhoben auch gegen die Baubewilligung B und die dazugehörige Verfügung B der Baudirektion Rekurs an das Baurekursgericht.
Sie rekurrierten zudem gegen weitere Verfügungen im Zusammenhang mit der Überbauung der Halbinsel Giessen (Umbau der Fabrikantenvilla auf Kat.-Nr. 13022; Verlegung und Sanierung des Reidbachs).
Das Baurekursgericht vereinigte die Rekurse gegen die Baubewilligung A und die miteröffneten Verfügungen; die Anträge der Heimatschutzverbände auf gemeinsame Behandlung mit den weiteren Rekursverfahren wies es ab.
C.a. Am 20. März 2012 hiess das Baurekursgericht die Rekurse der Heimatschutzverbände und der Nachbarn teilweise gut (im Folgenden: Rekursentscheid A).
Es hob den Inventarentlassungsbeschluss hinsichtlich des Wohnhauses "Giessenau" und des Waschhauses auf und lud die Stadt Wädenswil ein, beide Bauten unter Schutz zu stellen. Dagegen erachtete es die Entlassung des Fabrikkomplexes und der Kosthäuser aus dem Inventar als zulässig.
Die Baubewilligung A wurde aufgehoben, weil das Bauvorhaben den Baubereich A gemäss Gestaltungsplan überstelle und hierfür keine Ausnahmebewilligung erteilt werden könne.
Die Rekurse gegen die Verfügung A der Baudirektion wurden als infolge der Aufhebung des Bauentscheids gegenstandslos geworden abgeschrieben.
C.b. Am 21. August 2012 hiess das Baurekursgericht auch den Rekurs der Heimatschutzverbände betreffend Bauvorhaben B gut (im Folgenden: Rekursentscheid B).
Es beanstandete, dass die geplanten Ersatzbauten zu stark von den Grundmassen, der kubischen Gestaltung und der Dachform der Kosthäuser abwichen, was zur Aufhebung der baurechtlichen Bewilligung führe. Im Übrigen fehle die erforderliche ortsbildschutzrechtliche Bewilligung der Baudirektion.
Das Rekursverfahren gegen die Verfügung B der Baudirektion wurde als gegenstandslos geworden abgeschrieben.
D.
Gegen den Rekursentscheid A erhoben die Heimatschutzverbände einerseits (VB.2012.299) und die X._ AG (Bauherrschaft) sowie die Y._ AG (Grundeigentümerin) andererseits (VB.2012.300) Beschwerde an das Verwaltungsgericht des Kantons Zürich.
Die X._ AG gelangte auch gegen den Rekursentscheid B an das Verwaltungsgericht (VB.2012.618).
D.a. Am 7. Mai 2013 wies das Verwaltungsgericht die Beschwerde der Bauherrschaft und der Grundeigentümerin gegen den Rekursentscheid A ab und hiess die Beschwerde der Heimatschutzverbände teilweise gut (Entscheid A ).
Es bestätigte die Aufhebung der Baubewilligung A und die Unterschutzstellung des Wohnhauses "Giessenau" sowie des Waschhauses. Es hob den Inventarentlassungsbeschluss auch hinsichtlich der übrigen geschützten Bauten (Fabrikkomplex Giessen 8, Kosthäuser) aus koordinationsrechtlichen Gründen auf.
D.b. Mit separatem Entscheid vom selben Tag wies das Verwaltungsgericht auch die Beschwerde der Bauherrschaft gegen den Rekursentscheid B ab (Entscheid B).
E.
E.a. Gegen den verwaltungsgerichtlichen Entscheid A haben die X._ AG (im Folgenden: Beschwerdeführerin 1) und die Y._ AG (Beschwerdeführerin 2) am 24. Juni 2013 Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht erhoben (Verfahren 1C_596/2013; Beschwerde A). Sie beantragen, der angefochtene Entscheid sei aufzuheben und die Angelegenheit zu neuem Entscheid an die Vorinstanz zurückzuweisen. Diese sei anzuweisen, die Inventarentlassung zu schützen und die erteilte Baubewilligung auf ihre Rechtmässigkeit zu prüfen, eventualiter unter Rückweisung an das Baurekursgericht.
E.b. Gegen den verwaltungsgerichtlichen Entscheid B hat die X._ AG gleichentags Beschwerde in öffentlich-rechtlichen Angelegenheiten erhoben (1C_595/2013; Beschwerde B). Sie beantragt die Aufhebung des angefochtenen Entscheids und die Rückweisung der Sache an die Vorinstanz zu materieller Entscheidung betreffend die Erteilung der Baubewilligung.
F.
Die Heimatschutzverbände beantragen, auf Beschwerde B sei nicht einzutreten; eventualiter sei sie abzuweisen.
Beschwerde A sei abzuweisen, soweit darauf einzutreten sei. Im Falle der Gutheissung dieser Beschwerde müsse noch über ihre - von den Vorinstanzen nicht behandelten - Rügen gegen die kantonalen Spezialbewilligungen und die Entlassung des Fabrikkomplexes Giessen 8 und der Kosthäuser aus dem Inventar entschieden werden; hierfür sei die Sache zur Neubeurteilung im Sinne der Erwägungen direkt an die Erstinstanzen, subeventualiter an das Baurekursgericht zurückzuweisen.
A._ und Mitbeteiligte beantragen (im Verfahren 1C_596/2013) Abweisung der Beschwerde A, soweit darauf überhaupt eingetreten werden könne.
Das Verwaltungsgericht schliesst auf Abweisung beider Beschwerden, soweit darauf eingetreten werden könne.
Die Baukommission Wädenswil äussert sich in der Sache, ohne Anträge zu stellen. Die Baudirektion des Kantons Zürich verzichtet auf eine Vernehmlassung.
G.
Im weiteren Schriftenwechsel halten alle Parteien an ihren Anträgen fest.

Erwägungen:
1.
Angefochten sind zwei kantonal letztinstanzliche Entscheide des Verwaltungsgerichts betreffend Bauvorhaben auf der Halbinsel Giessen. Die Beschwerdeführerin 1 sowie die Heimatschutzverbände sind an beiden Verfahren beteiligt. Zwischen diesen besteht auch materiell ein enger Zusammenhang, da die Bewilligung des Bauvorhabens B (im Verfahren 1C_595/2013) u.a. davon abhängt, ob die Kosthäuser zu Recht aus dem Inventar entlassen worden sind, was im Verfahren 1C_596/2013 (Beschwerde A) zu prüfen ist. Es rechtfertigt sich daher, die Verfahren zu vereinigen.
2.
Gegen den kantonal letztinstanzlichen Endentscheid des Verwaltungsgerichts steht grundsätzlich die Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht offen (Art. 82 lit. a, 86 Abs. 1 lit. d und 90 BGG). Die Beschwerdeführerin ist als Baugesuchstellerin zur Beschwerde legitimiert (<ref-law>).
2.1. Hinsichtlich des Bauvorhabens A liegt ein Endentscheid vor: Das Baugesuch wurde vom Verwaltungsgericht als nicht bewilligungsfähig erachtet, da es sowohl dem Gestaltungsplan als auch dem Schutz der Inventarobjekte Waschhaus und Wohnhaus "Giessenau" widerspreche. Damit schliesst der angefochtene Entscheid das Baubewilligungsverfahren ab.
2.2. Fraglich ist dagegen, ob auch hinsichtlich des Bauvorhabens B ein Endentscheid vorliegt. Dies wird von den Heimatschutzverbänden verneint.
Zwar hob das Verwaltungsgericht auch die Baubewilligung B und die hierfür erforderliche Inventarentlassung der Kosthäuser auf, allerdings geschah dies nicht aus materiell-, sondern aus formellrechtlichen Gründen: Das Gericht ging davon aus, dass die Inventarentlassung der Kosthäuser mit der Baubewilligung B koordiniert beschlossen werden müsse, nach Einholung der noch fehlenden ortsbildschutzrechtlichen Bewilligung der Baudirektion.
Es ist daher denkbar, dass Baukommission, Stadtrat und Baudirektion das Bauvorhaben B und die hierfür erforderliche Inventarentlassung der Kosthäuser koordiniert, aber materiell unverändert beschliessen, und die Sache anschliessend wiederum angefochten und bis vor Bundesgericht weitergezogen wird. Dies könnte zur Folge haben, dass sich das Bundesgericht noch einmal mit demselben Bauvorhaben befassen muss, was <ref-law> ausschliessen will.
Allerdings hat das Verwaltungsgericht die Sache nicht zu neuem koordinierten Entscheid an die Vorinstanzen zurückgewiesen, sondern hat sich mit der Aufhebung der angefochtenen Verfügungen begnügt. Damit ist das Verfahren zumindest einstweilen abgeschlossen. Es bleibt der Bauherrschaft überlassen, ob sie an ihren bisherigen Gesuchen festhält und hierfür einen koordinierten Entscheid herbeiführt, oder ihr Bauvorhaben überarbeitet und neue Gesuche stellt. Unter diesen Umständen ist davon auszugehen, dass prozessual ein Endentscheid vorliegt, gegen den selbstständig Beschwerde ans Bundesgericht geführt werden kann (<ref-law>).
2.3. Soweit die Beschwerdeführerinnen Rügen im Zusammenhang mit dem Reidbach und dessen Gewässerraum erheben, ist zu differenzieren:
2.3.1. Die Verlegung des Reidbachs war Gegenstand eines separaten Verfahrens. Der Antrag der Heimatschutzverbände auf Vereinigung der Rekursverfahren wurde vom Baurekursgericht abgewiesen; die dagegen erhobene Beschwerde der Heimatschutzverbände wies das Verwaltungsgericht ab (Entscheid A E. 6). Insofern sind die Beschwerdeführerinnen nicht beschwert.
2.3.2. Die Verfügungen A und B der Baudirektion, die zusammen mit den Baubewilligungen A und B angefochten wurden, enthalten auch gewässerschutzrechtliche Bewilligungen, insbesondere für die Inanspruchnahme des Gewässerraums des verlegten Reidbachs durch Bauvorhaben B. Die diesbezüglichen Rügen der Beschwerdegegner wurden jedoch vom Baurekursgericht nicht geprüft; dies wurde vom Verwaltungsgericht geschützt (Entscheid A E. 10.4). Die in diesem Zusammenhang vom Verwaltungsgericht gemachten Hinweise zur Koordinationspflicht (E. 10.3) sind daher obiter dicta. Auf die in diesem Zusammenhang erhobenen Rügen der Beschwerdeführerinnen ist daher allenfalls im Zusammenhang mit einer Begründungssubstitution einzugehen (vgl. unten E. 3 a.E.).
2.4. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann insbesondere die Verletzung von Bundesrecht gerügt werden (<ref-law>). Das Bundesgericht wendet das Bundesrecht grundsätzlich von Amtes wegen an (<ref-law>). Die Verletzung von Grundrechten (einschliesslich die willkürliche Anwendung von kantonalem Recht) prüft es dagegen nur insoweit, als eine solche Rüge in der Beschwerde vorgebracht und genügend begründet worden ist (<ref-law>; <ref-ruling> E. 1.4.2 S. 254 mit Hinweisen). Ob die Begründungsanforderungen erfüllt sind, wird im Zusammenhang mit den einzelnen Rügen zu beurteilen sein.
2.5. Mit diesen Massgaben ist auf die Beschwerden grundsätzlich einzutreten.
3.
Im Folgenden werden zunächst die Rügen behandelt, die im Zusammenhang mit Bauvorhaben A stehen. Zu prüfen sind hierfür in erster Linie die Inventarentlassung des Waschhauses und des Wohnhauses "Giessenau" (unten E. 4) sowie die Baubewilligung A (unten E. 5). Die Inventarentlassung für den Fabrikkomplex Giessen 8 wurde vom Verwaltungsgericht nicht materiell geprüft, sondern lediglich aus koordinationsrechtlichen Gründen aufgehoben; sie ist daher gesondert zu prüfen (unten E. 6).
Anschliessend sind die Streitfragen im Zusammenhang mit dem Bauvorhaben B und der hierfür erforderlichen Entlassung der Kosthäuser aus dem Inventar zu prüfen (E. 7-8).
Die Heimatschutzverbände haben nicht Beschwerde gegen die verwaltungsgerichtlichen Entscheide erhoben. Soweit sie im vorliegenden Verfahren Einwände erheben, die vom Verwaltungsgericht nicht behandelt oder abgewiesen worden sind, können diese allenfalls in Form einer Begründungssubstitution berücksichtigt werden. Sie sind daher nur zu prüfen, wenn die Beschwerden der Bauherrschaft ansonsten (ohne substituierte Begründung) gutzuheissen wären.
4.
Das Baurekursgericht hob den Stadtratsbeschluss vom 11. Januar 2010 hinsichtlich der Entlassung des Wohnhauses "Giessenau" und des Waschhauses aus dem Inventar auf und wies die Gemeinde Wädenswil an, beide Gebäude unter Schutz zu stellen. Das Verwaltungsgericht wies die dagegen gerichtete Beschwerde ab und bestätigte somit die Anordnung des Baurekursgerichts zur Schutzwürdigkeit beider Bauten.
Die Beschwerdeführerinnen rügen eine Verletzung der Gemeindeautonomie sowie der Eigentumsgarantie und erheben in diesem Zusammenhang Sachverhalts- und Verfahrensrügen.
4.1. Sie machen geltend, es handle sich um Schutzobjekte von kommunaler und nicht von kantonaler Bedeutung, weshalb ein Autonomiebereich der Gemeinde zu respektieren sei. Die Begutachtung solcher Objekte gehöre nicht zu den Kernaufgaben der kantonalen Natur- und Denkmalkommissionen (NHK und KDK) nach § 3 Abs. 1 der Verordnung über die Sachverständigenkommissionen gemäss § 216 PBG vom 12. Januar 2005 (LS 702.111; im Folgenden: SVK-Verordnung). Insofern komme deren Gutachten im vorliegenden Fall nicht dieselbe Massgeblichkeit zu wie bei kantonalen Schutzobjekten. Der Stadtrat habe sich daher gestützt auf den Antrag der kommunalen Denkmalpflege- und Naturschutzkommission (DNK) über die Gutachten der NHK und KDK hinwegsetzen dürfen.
4.1.1. Die Vorinstanzen anerkannten, dass der Gemeinde Wädenswil bei der Beurteilung, ob eine Baute oder Anlage i.S.v. § 203 Abs. 1 lit. c des Zürcher Planungs- und Baugesetzes vom 7. September 1975 [PBG]) als wichtiger Zeuge einer Epoche erhaltenswürdig ist oder die Landschaft oder Siedlungen wesentlich mitprägt, ein erheblicher Beurteilungsspielraum und damit Autonomie zusteht. Sie gingen jedoch davon aus, dass den Gutachten der NHK und der KDK aufgrund deren besonderer Fachkompetenz bei der Entscheidfindung besonderes Gewicht zukomme; dies gelte insbesondere für die ihnen zugrunde liegenden tatsächlichen Feststellungen, von denen nur aus triftigen Gründen abgewichen werden dürfe, etwa wenn die Gutachten Irrtümer, Lücken oder Widersprüche enthielten.
4.1.2. Diese Erwägungen sind von Bundesrechts wegen nicht zu beanstanden. NHK und KDK wurden vom kantonalen Gesetzgeber als Sachverständige in Fragen des Natur- und Heimatschutzes eingesetzt (§ 216 Abs. 1 PBG). Sie bestehen aus Fachpersonen des Natur- und Heimatschutzes, die vom Regierungsrat ernannt werden (§ 1 Abs. 2 und § 2 Abs. 1 SVK-Verordnung). Ihre Begutachtung ist bei wichtigen Fragen von überkommunaler Bedeutung zwingend (§ 216 Abs. 2 1. Halbsatz PBG; § 3 Abs. 1 SVK-Verordnung) und ansonsten fakultativ (§ 216 Abs. 1 PBG; § 3 Abs. 2 und § 4 SVK-Verordnung). Kommt ihren Feststellungen zu den Qualitäten eines Schutzobjekts somit grosses Gewicht zu, dürfen sich die rechtsanwendenden Behörden nicht ohne triftige Gründe darüber hinwegsetzen. Dies gilt auch dann, wenn es sich nicht um eine obligatorische, sondern eine fakultative Begutachtung nach § 3 Abs. 2 SVK-Verordnung handelt (zur analogen Rechtslage bei fakultativen Gutachten der eidgenössischen Natur- und Heimatschutz- bzw. Denkmalschutzkommissionen vgl. <ref-ruling> E. 5 S. 223 mit Hinweisen). Die Gemeinde bzw. private Beschwerdeführer können sich daher nicht mit Erfolg auf die Verletzung der Gemeindeautonomie berufen, wenn die Rechtsmittelbehörde eine Baubewilligung oder Inventarentlassung gestützt auf ein Gutachten der kantonalen Kommissionen aufhebt, sofern keine triftigen Gründe vorliegen, um davon abzuweichen (vgl. Urteil 1C_542/2012 vom 14. Mai 2013 E. 5.4 zu <ref-law>).
4.2. Das Verwaltungsgericht hielt fest, dass die Befassung mit dem Projekt sowie die Würdigung der kantonalen Gutachten und die Abwägung der infrage stehenden Interessen durch die örtliche Kommission (DNK) nicht dokumentiert seien: In den Akten finde sich weder ein Protokoll des vorgenommenen Augenscheins noch ein begründeter Antrag an den Stadtrat. Die im angefochtenen Stadtratsbeschluss wiedergegebene Beurteilung vermöge die Gutachten der NHK und der KDK nicht in Frage zu stellen, zumal jeweils nur auf die Anträge des KDK-Gutachtens unter Ziff. 3.2 hingewiesen werde. Mangels anderweitiger Hinweise sei davon auszugehen, dass die einlässliche Begründung dieser Anträge in Ziff. 4.3, insbesondere S. 22 f. (Waschhaus) und S. 24 (Wohnhaus "Giessenau") ebenso unberücksichtigt geblieben seien wie das Gutachten der NHK.
4.2.1. Die Beschwerdeführerinnen rügen diese Feststellung als aktenwidrig: Der Antrag der DNK, der sich mit den Erwägungen des Stadtratsbeschlusses vom 11. Januar 2010 decke, sei der Vorinstanz als Beilage 9 zur Beschwerdereplik vom 11. Dezember 2012 eingereicht worden.
Die Beschwerdegegner halten dem entgegen, dass sich der Antrag der DNK weder bei den öffentlich aufgelegten Akten noch bei den vor Baurekursgericht eingereichten Unterlagen befunden habe und insofern nicht Teil der entscheidrelevanten Akten gebildet habe.
4.2.2. Wie es sich damit verhält, kann offen bleiben. Da sich der Antrag der DNK wörtlich mit dem Beschluss des Stadtrates vom 11. Januar 2010 deckt, und dieser von den Vorinstanzen zur Kenntnis genommen und gewürdigt worden ist, ist es für den Ausgang des Verfahrens unerheblich, ob das Verwaltungsgericht den als Replikbeilage eingereichten Antrag der DNK zur Kenntnis genommen hat. Da dieser keine über den Stadtratsbeschluss hinausgehende Auseinandersetzung mit den Gutachten der kantonalen Kommissionen enthält, ist im Folgenden zu prüfen, ob im Stadtratsbeschluss selbst triftige Gründe für das Abweichen von den kantonalen Gutachten gegeben wurden.
4.3. Dies wird von den Beschwerdeführerinnen bejaht. Der Stadtrat habe knapp, aber ausreichend und in nachvollziehbarer Weise begründet, weshalb den Anträgen der kantonalen Kommissionen nicht zu folgen sei. Das Verwaltungsgericht habe nicht dargelegt, weshalb die Feststellungen der kantonalen Kommissionen zuträfen und diejenigen des Stadtrats (bzw. der DNK) falsch seien.
4.3.1. Die NHK äusserte sich v.a. zur Ortsbild- und Landschaftsverträglichkeit der beabsichtigten Überbauung. In diesem Zusammenhang regte sie eine Abänderung des Gestaltungsplans an; dabei sei insbesondere zu prüfen, ob nicht das Wohnhaus "Giessenau" und das Waschhaus besser erhalten bleiben müssten. Aus Sicht der NHK müssten diese zwei Zeitzeugen unbedingt erhalten bleiben (S. 10/11).
Entgegen der Auffassung der Beschwerdeführerinnen ist diese Aussage nicht widersprüchlich: Der erste Teil der Aussage betrifft den Prüfungsauftrag im Gestaltungsplanverfahren, der zweite die diesbezügliche Stellungnahme der NHK. Allerdings wird der Antrag der NHK nicht näher begründet.
4.3.2. Die KDK war von der Baudirektion beauftragt worden, die Schutzwürdigkeit der im bestehenden Inventar aufgelisteten Bauten zu begutachten. Sie kam zum Ergebnis, dass sowohl das ehemalige Waschhaus als auch das Wohnhaus "Giessenau" sich zu Recht im Inventar befinden und in ihrer äusseren Erscheinung zu erhalten seien (Gutachten S. 8 f.). Im Innern des Wohnhauses "Giessenau" seien die Tragstruktur und die bestehende Raumausstattung zu erhalten. Diese Anträge wurden (auf S. 22-24 des Gutachtens) detailliert begründet.
4.3.3. Die KDK legte dar, dass das ursprüngliche Walchegebäude 1902, nach dem Bau der Fabrikantenvilla, um ein Stockwerk verkleinert und zu einem Waschhaus im neugotischen Stil umgebaut worden sei. Der Bau sei als "Ruine" der mittelalterlichen Sust und somit als ältestes Gebäude auf der Giessenhalbinsel inszeniert worden. Für die Gründergenerationen des letzten Viertels des 19. Jahrhunderts sei die Anknüpfung an Traditionen von grosser Bedeutung gewesen. Der Bauherr, wohl Wilhelm Pfenninger-Oechslin (1845-1913), habe mit diesem Bau an die seit dem 18. Jahrhundert in den Parks beliebten "Fabrics" angeknüpft. Der Bau sei somit ein wichtiger Zeuge für das Bedürfnis erfolgreicher Industrieller der damaligen Zeit, an eine glorreiche Vergangenheit anzuknüpfen. Die Erhaltung des ehemaligen Waschhauses und seine Integration in eine Neuüberbauung seien für die Ablesbarkeit der Geschichte der Industrieanlage auf der Giessenhalbinsel von grosser Bedeutung.
Der Stadtratsbeschluss setzt sich mit diesen Feststellungen nicht auseinander. Er geht ohne nähere Begründung davon aus, dass das Waschhaus kein Zeitzeuge für das Industrieensemble sei. Die Erwägung, es sei mehrfach umgebaut und baulich verändert worden, und der Gebäudecharakter sei durch den Abbruch des Obergeschosses und die Errichtung eines Flachdachs komplett verändert worden, trifft auf das ursprüngliche Walchegebäude zu, erklärt aber nicht, weshalb der Umbau, d.h. das einstöckige, romantisch-neugotische Waschhaus, entgegen der Auffassung der KDK kein wichtiger Zeitzeuge sei.
4.3.4. Zum Wohnhaus "Giessenau" führte die KDK aus, dass es 1848/49 für Heinrich Zollinger im klassizistischen Stil entstanden sei und seit 1887 zur Tuchfabrik Pfenninger gehört habe. Das zweigeschossige Wohnhaus besitze eine intakte und schutzwürdige Innenausstattung aus der Zeit zwischen 1849 und dem frühen 20. Jahrhundert. Ein Teil der Innenausstattung stamme aus der Zeit, als das Haus im Besitz der Familie Pfenninger gewesen sei. Das Wohnhaus "Giessenau" sei ein wichtiger Zeuge für die Bau- und Wohnkultur des 19. Jahrhunderts. Als einziges noch intakt erhaltenes Wohnhaus auf dem Areal habe es einen hohen Stellenwert auf dem Giessenhorn, weshalb seine ungeschmälerte Erhaltung wichtig sei (S. 22).
Der Stadtrat räumte ein, dass die Innenausstattung des Wohnhauses verschiedene Elemente aus der Zeit zwischen 1849 und dem frühen 20. Jahrhundert enthalte; es sei jedoch "verbaut" und "kein Zeitzeuge für das Industrieensemble". Damit widersprach der Stadtrat der Feststellung der KDK, wonach das Wohnhaus intakt erhalten sei, ohne dies näher zu begründen.
4.3.5. Entgegen dem Vorbringen der Beschwerdeführerinnen haben die Vorinstanzen die Widersprüche nicht lediglich konstatiert, sondern auch dargelegt, weshalb die Begründung des Stadtrats nicht nachvollziehbar sei und jedenfalls keine triftigen Gründe vorliegen, von den Gutachten der kantonalen Kommissionen abzuweichen. Das Verwaltungsgericht verwies (in E. 9.4.4) auf die überzeugende Darlegung des Baurekursgerichts (in E. 7.5.6 ff. des Rekursentscheids A) und machte überdies ergänzende Ausführungen (E. 9.5-9.7). Mit diesen Erwägungen der Vorinstanzen setzen sich die Beschwerdeführerinnen nicht näher auseinander.
4.4. Schliesslich machen die Beschwerdeführerinnen geltend, DNK und Stadtrat hätten die Verhältnismässigkeit einer weiteren Inventarisierung aufgrund der daraus folgenden erheblichen Nutzungsverluste für die Eigentümer verneint. Das Verwaltungsgericht habe diese Frage gar nicht geprüft und damit neben der Gemeindeautonomie auch die Eigentumsgarantie verletzt. Es habe zudem das rechtliche Gehör der Beschwerdeführerinnen verletzt, indem es ihre Vorbringen zu den negativen Konsequenzen einer Erhaltung des Wohnhauses, insbesondere für den Lärmschutz und für den geplanten Zürichseeweg, nicht beachtet habe.
Diese Fragen waren jedoch vom Baurekursgericht ausführlich geprüft worden. Dieses legt dar, dass sich das Wohnhaus "Giessenau" und das Waschhaus ganz am Rand des Baufeldes A befinden und überdies gemäss KDK rückseitig an das Waschhaus angebaut werden dürfe, weshalb sich die Inventarentlassung dieser Bauten auch unter dem Gesichtspunkt der Verhältnismässigkeit nicht rechtfertige (Rekursentscheid A, E. 7.5.10 S. 24). Es nahm auch zu den Argumenten der Beschwerdeführerinnen Stellung, wonach das Wohnhaus "Giessenau" wegen des Bahnlärms nicht sinnvoll nutzbar sei (E. 7.5.6 S. 21) und die Realisierung des Seeuferwegs in Frage stelle (E. 7.5.10 S. 23 unten). Das Verwaltungsgericht hielt diese Ausführungen, insbesondere auch die darin enthaltene Interessenabwägung, für zutreffend und verwies darauf (Entscheid A, E. 9.4.4 und E. 9.8).
Die Beschwerdeführerinnen setzen sich mit den Erwägungen des Baurekursgerichts, auf welche das Verwaltungsgericht verwiesen hat, nicht substanziiert auseinander. Insoweit liegt keine genügend begründete Rüge vor (<ref-law>).
4.5. Nach dem Gesagten erweisen sich die Rügen der Beschwerdeführerinnen gegen die Belassung des Waschhauses und des Wohnhauses "Giessenau" im Inventar als unbegründet, soweit darauf einzutreten ist. Unter diesen Umständen muss nicht mehr geprüft werden, ob dieser Teil des Stadtratsbeschlusses auch aus formellrechtlichen Gründen (Koordinationsmängel) aufzuheben war (vgl. dazu unten E. 6).
5.
Die Beschwerdeführerinnen rügen ferner eine Verletzung der Eigentumsgarantie durch die vom Verwaltungsgericht bestätigte Aufhebung der Baubewilligung A.
5.1. Das Bauvorhaben A setzt den Abriss des Waschhauses und des Wohnhauses "Giessenau" voraus und kann daher nicht bewilligt werden, wenn diese Bauten nicht aus dem Inventar entlassen werden. Schon aus diesem Grund erweist sich die Aufhebung der Baubewilligung als rechtmässig.
5.2. Im Übrigen widerspricht das Bauvorhaben den Festsetzungen des Gestaltungsplans für den Baubereich A. Wie die Vorinstanzen dargelegt haben, kann hierfür keine Ausnahmebewilligung gemäss § 220 PBG erteilt werden; dies wird von den Beschwerdeführerinnen nicht bestritten.
Es ist nicht ersichtlich und wird auch nicht genügend dargelegt, weshalb in dieser Situation eine Rückweisung der Sache an die Baukommission geboten und die Aufhebung der rechtswidrigen Baubewilligung unverhältnismässig gewesen sei. Auf diese Rüge ist daher nicht einzutreten.
6.
Schliesslich sind noch die Rügen im Zusammenhang mit der Inventarentlassung des Fabrikkomplexes Giessen 8 zu prüfen.
6.1. Diese wurde vom Verwaltungsgericht nicht materiell geprüft, sondern aus koordinationsrechtlichen Gründen aufgehoben gestützt auf Disp.-Ziff. 2 des Stadtratsbeschlusses vom 11. Januar 2010. Dieser lautet:
"Diese Inventarentlassung steht unter dem Vorbehalt, dass für die beschriebenen Neubauprojekte die erforderlichen Bewilligungen sowie die Baufreigabe rechtskräftig erteilt werden können. Ohne Zustimmung der Baukommission dürfen an den 6 Objekten Assek.-Nrn. 25, 20, 14, 15, 11 und 22 keine tatsächlichen baulichen Veränderungen vorgenommen werden."
Das Verwaltungsgericht folgerte daraus, dass der Stadtrat nicht gänzlich auf Schutzmassnahmen habe verzichten und die Umsetzung des Gestaltungsplans nicht der Grundeigentümerschaft habe überlassen wollen. Vielmehr habe er durch den Vorbehalt sicherstellen wollen, dass die bestehende Bebauung nur durch "die beschriebenen Neubauprojekte" ersetzt werde. Da das im Inventarentlassungsbeschluss beschriebene Neubauvorhaben A nicht mehr verwirklicht werden könne, müsse auch die Inventarentlassung des Fabrikkomplexes Giessen 8 aufgehoben werden.
6.2. Diese Erwägungen sind nicht zu beanstanden:
Zwar bestreitet die Gemeinde Wädenswil in ihrer Vernehmlassung, dass sie gleichzeitig mit der Inventarentlassung einen materiellen Schutzentscheid getroffen habe. Sie habe lediglich sicherstellen wollen, dass die bestehenden Gebäude nicht abgebrochen werden, bevor ein Neubau bewilligt und dessen Bau sichergestellt sei. Der Vorbehalt in Disp.-Ziff. 2 bezieht sich aber nicht auf irgendwelche Bauvorhaben, sondern ausdrücklich auf die "beschriebenen Neubauprojekte", insbesondere auf das in Abschnitt C (S. 3 f.) des Stadtratsbeschlusses beurteilte Bauvorhaben A der Beschwerdeführerin 1. Die Realisierung dieses Projekts ist nach dem oben (E. 5) Gesagten nicht mehr möglich.
Die Beschwerdeführerinnen machen geltend, dass der Stadtrat auch eine bedingungslose Schutzentlassung hätte aussprechen können. Wie es sich damit verhält, kann offen bleiben, weil er dies nicht getan hat, sondern die Schutzentlassung ausdrücklich mit dem Schicksal der Baubewilligungen verknüpft hat. Nachdem die Baubewilligung A zu Recht aufgehoben worden ist (vgl. oben E. 5), kann auch die damit verknüpfte Inventarentlassung für den Fabrikkomplex Giessen 8 keinen Bestand mehr haben.
Die Beschwerde ist daher auch insoweit abzuweisen.
7.
Im Folgenden sind noch die Rügen im Zusammenhang mit dem Bauvorhaben B und der hierfür erforderlichen Entlassung der Kosthäuser aus dem Inventar zu prüfen.
7.1. Das Verwaltungsgericht hob den Inventarentlassungsbeschluss (in Entscheid A) und die Baubewilligung (in Entscheid B) aus koordinationsrechtlichen Gründen auf, ohne die Schutzwürdigkeit der Kosthäuser und die bau- und planungsrechtliche Zulässigkeit der Baubewilligung materiell zu prüfen.
Es ging davon aus, dass der Vorbehalt gemäss Disp.-Ziff. 2 des Stadtratsbeschlusses nicht genügt habe, um die Inventarentlassung (die bereits Anfang 2010 beschlossen und im Oktober 2010 mit der Baubewilligung A eröffnet worden war) mit der erst nachträglich (im November 2011) erteilten und separat eröffneten Baubewilligung B ausreichend zu koordinieren (Art. 25a RPG). Inwieweit das von der Baukommission bewilligte Projekt mit dem übereinstimme, was dem Inventarentlassungsbeschluss zugrunde lag, lasse sich aufgrund der Akten nicht abschliessend beurteilen.
7.2. Die Beschwerdeführerinnen und die Gemeinde Wädenswil bestreiten, dass ein Koordinationsmangel vorliegt. Es entspreche der ständigen Praxis der Gemeinde, dass der Stadtrat über die Inventarentlassung entscheide, bevor die Baukommission die Baubewilligung erteile. Die Planung für das Bauvorhaben B habe sich seit dem Entscheid des Stadtrats nicht mehr wesentlich geändert. Zudem sei die materielle Koordination dadurch gewährleistet worden, dass der Bauvorsteher (als Stadtrat) der Baukommission angehört habe.
Die Gemeinde kritisiert, dass der Entscheid des Verwaltungsgerichts zu einem prozessualen Leerlauf führe: Sie werde gezwungen, das bereits Entschiedene ein zweites Mal zu behandeln, mit der Folge, dass anschliessend nochmals ein Rechtsmittelverfahren zu den gleichen Fragen durchgeführt werden müsse.
7.3. Wie im Folgenden zu zeigen sein wird, können diese Fragen offen bleiben, weil Baubewilligung und Inventarentlassung nicht nur wegen der ungenügenden Koordination untereinander, sondern auch wegen der noch fehlenden ortsbildschutzrechtlichen Bewilligung des Kantons aufgehoben wurden.
8.
Die Halbinsel Giessen ist im Inventar der schutzwürdigen Ortsbilder von überkommunaler Bedeutung verzeichnet. Das Bauvorhaben bedurfte deshalb einer ortsbildschutzrechtlichen Genehmigung der Baudirektion (§ 7 Bauverfahrensverordnung vom 3. Dezember 1997 [BVV; LS 700.6] i.V.m. Ziff. 1.4.1.4 Anh. BVV), die mit den übrigen Beurteilungen koordiniert werden musste (Art. 25a RPG; §§ 8 f. BVV).
8.1. Bereits das Baurekursgericht hielt fest, dass die erforderliche ortsbildschutzrechtliche Genehmigung vollständig fehle (Rekursentscheid B, E. 6.3). Es ging davon aus, dass dies für sich allein nicht zur Aufhebung der Baubewilligung führen würde, sondern der Baudirektion eine Nachfrist anzusetzen gewesen wäre, um die ortsbildschutzrechtliche Bewilligung nachzureichen, bevor im Rekursverfahren ein Endentscheid ergehe. Da die Baubewilligung aber bereits aus anderen Gründen aufzuheben sei, bleibe es beim Hinweis an die Baubehörde als für die Koordination zuständige Stelle, im Baubewilligungsverfahren für ein allfälliges Abänderungsprojekt die ortsbildschutzrechtliche Genehmigung einzuholen.
8.2. Das Verwaltungsgericht teilte die Auffassung des Baurekursgerichts, wonach die Baudirektion in ihrer Verfügung B keine ortsbildschutzrechtliche Prüfung vorgenommen habe. Es vertrat jedoch die Ansicht, dass dieser Mangel nicht im Rechtsmittelverfahren geheilt werden könne: Die ortsbildschutzrechtliche Genehmigung sei eine unabdingbare und auch inhaltlich bedeutsame Voraussetzung für die Erteilung der Baubewilligung gewesen. Eine materielle Prüfung der die Baubewilligung betreffenden Rügen der Beschwerdeführerin sei daher nicht möglich, ohne die ortsbildschutzrechtliche Bewilligung zum Teil vorwegzunehmen. Die Genehmigung der Baudirektion müsse daher koordiniert mit der Baubewilligung ergehen, die wiederum mit der Inventarentlassung zu koordinieren sei.
8.3. Die Beschwerdeführerinnen sind der Ansicht, die ortsbildschutzrechtliche Genehmigung sei in der Verfügung B der Baudirektion zumindest implizit miterteilt worden. Sie verweisen auf die Stellungnahme der kantonalen Denkmalpflegestelle zu den kantonalen Schutzobjekten ("Maillart", Fabrikantenvilla und -"Kölla"-Anbau) und den dazu formulierten Auflagen. Das Ortsbild werde massgeblich von diesen drei Schutzobjekten geprägt. Die übrigen sechs Bauten seien zum damaligen Zeitpunkt bereits aus dem Inventar entlassen worden; die Baudirektion habe deshalb davon ausgehen dürfen, dass sie keine Bestandteile des Ortsbildes mehr darstellen würden und habe sich zu diesen Bauten nicht mehr äussern müssen. Hinzu komme, dass die kantonale Denkmalpflege in den Planungsprozess einbezogen gewesen sei; der stellvertretende Leiter der kantonalen Denkmalpflege und der Präsident der kantonalen NHK hätten dem Beurteilungsgremium für die geplanten Ersatzneubauten angehört.
8.4. Während die Verfügung A der Baudirektion ein ausführliches Kapitel "überkommunaler Ortsbildschutz" umfasst (S. 3 ff.), enthält die Verfügung B lediglich zwei Absätze zur Denkmalpflege (S. 3 oben), die sich ausschliesslich auf Ziff. 1.4.1.5 Anh. BVV (Denkmalpflege) stützen. Darin setzt sich die kantonale Denkmalpflege ausschliesslich mit der Umgebung der Schutzobjekte von kantonaler Bedeutung ("Maillart", "Kölla"-Anbau und Fabrikantenvilla) auseinander, ohne das Inventar der schutzwürdigen Ortsbilder von überkommunaler Bedeutung zu erwähnen.
Entgegen der Auffassung der Beschwerdeführerin beschränkt sich dieses Inventar nicht auf die Umgebung der kantonalen Schutzobjekte, sondern umfasst die gesamte Halbinsel. Diese wird als lockere Durchmischung von Fabrik- und Wohnbauten beschrieben, wobei ein harmonisches Gleichgewicht zwischen der Bebauung und den umgebenden schönen Grünbereichen erreicht worden sei (Inventar der schutzwürdigen Ortsbilder von überkommunaler Bedeutung, Giessen, Ziff. 4 "Wertung" S. 3).
Die Beteiligung von Vertretern der kantonalen Denkmalpflege und der NHK im Beurteilungsgremium für die Ersatzbauten kann eine fehlende Bewilligung der Baudirektion nicht ersetzen.
Mit den Vorinstanzen ist daher vom Fehlen der erforderlichen kantonalen ortsbildschutzrechtlichen Bewilligung auszugehen.
8.5. Sowohl die Baubewilligung als auch der Inventarentlassungsbeschluss heben das Interesse an einer aus ortsbild- und denkmalpflegerischer Sicht optimierten Gesamtlösung für das Giessenareal hervor; dieses Interesse überwiege das Interesse am Erhalt der Kosthäuser. Damit besteht ein enger Zusammenhang zwischen der ortsbildschutzrechtlichen Beurteilung der Baudirektion und den im Baubewilligungs- und Inventarentlassungsverfahren zu beurteilenden Rechtsfragen. Unter diesen Umständen durfte das Verwaltungsgericht die Möglichkeit einer Heilung im Rechtsmittelverfahren verneinen und die angefochtenen Verfügungen aufheben, ohne Bundesrecht zu verletzen.
9.
Die Beschwerden sind damit abzuweisen, soweit darauf einzutreten ist.
Bei diesem Ausgang des Verfahrens werden die Beschwerdeführerinnen kosten- und entschädigungspflichtig (Art. 66 und 68 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Verfahren 1C_595/2013 und 596/2013 werden vereinigt.
2.
Die Beschwerden werden abgewiesen, soweit darauf einzutreten ist.
3.
Die Gerichtskosten von Fr. 9'000.-- werden zu zwei Dritteln (6'000.--) der X._ AG und zu einem Drittel (3'000.--) der Y._ AG auferlegt.
4.
Die Beschwerdeführerinnen haben die Heimatschutzverbände (SHS und ZVH) für das bundesgerichtliche Verfahren mit insgesamt Fr. 8'000.-- und die Nachbarn (A._ und Mitbeteiligte) mit Fr. 5'000.-- zu entschädigen. Davon trägt die X._ AG Fr. 8'000.-- und die Y._ AG Fr. 5'000.--.
5.
Dieses Urteil wird den Parteien, der Baukommission und dem Stadtrat Wädenswil, der Baudirektion und dem Verwaltungsgericht des Kantons Zürich, 1. Abteilung, 1. Kammer, schriftlich mitgeteilt.
Lausanne, 21. Februar 2014
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Die Gerichtsschreiberin: Gerber