Sachverhalt:
A.
A._ und weitere Miteigentümer der Parzelle Nr. hhh an der Seestrasse in Rüschlikon wollen auf ihrem Grundstück ein Einfamilienhaus mit Garage errichten. Die bestehende Baute Vers.-Nr. iii soll abgerissen werden, das Badehaus am Ufer des Zürichsees (Vers.-Nr. jjj) dagegen bestehen bleiben. Rund die Hälfte des Baugrundstücks liegt auf sogenanntem Konzessionsland (konzessionierte Landanlage).
Für ein erstes Projekt verweigerte die Baudirektion (Amt für Abfall, Wasser, Energie und Luft [AWEL]) des Kantons Zürich die konzessionsrechtliche Bewilligung, weil das Bauvorhaben den in der Richtlinie für bauliche Veränderungen auf Landanlagen und für Seebauten vom 7. Juli 1995 vorgesehenen Gewässerabstand nicht einhalte. Danach müssen neue Gebäude auf Landanlagen einen Gewässerabstand von 18 m einhalten; eine Reduktion des Abstands (bis auf 8 m) ist nur für maximal zweigeschossige Bauten zulässig.
Diese Verfügung wurde vom Bundesgericht mit Urteil vom 28. März 2013 aufgehoben (BGE 139 II 470). Es entschied, das Seeufer sei mit den Mitteln der Raumplanung und des Natur- und Heimatschutzes zu schützen; dies gelte auch für die Beurteilung von Baugesuchen auf konzessionierten Landanlagen. Es wies die Sache zur Prüfung einer Ausnahmebewilligung gemäss Art. 41c Abs. 1 Satz 2 der Gewässerschutzverordnung vom 28. Oktober 1998 (GSchV; SR 814.201) an die Baudirektion zurück.
B.
Während des laufenden Rechtsmittelverfahrens für das erste Projekt reichte die Bauherrschaft ein alternatives Bauprojekt ein. Hierfür erteilte die Baukommission Rüschlikon am 12. April 2012 die baurechtliche Bewilligung. Zusammen mit dem baurechtlichen Entscheid wurde die konzessions- und gewässerschutzrechtliche Bewilligung der Baudirektion des Kantons Zürich vom 24. April 2012 eröffnet. Gemäss Disp.-Ziff. III.2 ist der Kanton berechtigt, das für die Realisierung eines öffentlichen Seewegs benötigte Land (bis zu 3.5 m Breite) auf dem Baugrundstück unentgeltlich zu beanspruchen.
C.
Dagegen rekurrierten der Schweizer Heimatschutz (SHS) und die Zürcherische Vereinigung für Heimatschutz (ZVH) an das Baurekursgericht. Auch die Bauherrschaft erhob Rekurs mit dem Antrag, Disp.-Ziff. III.2 der Baudirektionsverfügung (betr. Seeuferweg) sei ersatzlos aufzuheben.
Das Baurekursgericht führte einen Augenschein durch. Am 26. März 2013 trat es auf den Rekurs der ZVH nicht ein. Den Rekurs des SHS hiess es gut und hob den Beschluss der Baukommission Rüschlikon und die Verfügung der Baudirektion auf. Den Rekurs der Bauherrschaft schrieb es als gegenstandslos geworden ab.
Gegen den Rekursentscheid erhoben A._ und Konsorten Beschwerde beim Verwaltungsgericht. Dieses wies die Beschwerde am 5. September 2013 ab.
D.
Gegen den verwaltungsgerichtlichen Entscheid haben A._ und die übrigen, im Rubrum genannten Personen am 21. Oktober 2013 Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht erhoben. Sie beantragen, der angefochtene Entscheid sei aufzuheben und die Sache zur Ergänzung und Neuentscheidung sowie zur materiellen Behandlung des Bauherrenrekurses an die Vorinstanz zurückzuweisen. In verfahrensrechtlicher Hinsicht beantragen sie einen Augenschein des Bundesgerichts.
E.
SHS und ZVH (im Folgenden: die Beschwerdegegner) beantragen, die Beschwerde sei abzuweisen, soweit darauf überhaupt eingetreten werden könne. Eventualiter sei die Sache an die Vorinstanz zur materiellen Behandlung der bisher nicht behandelten Eventualstandpunkte der Beschwerdegegner zurückzuweisen. Die Baukommission Rüschlikon hat auf eine Vernehmlassung verzichtet.
Das Bundesamt für Umwelt (BAFU) kommt in seiner Vernehmlassung zum Ergebnis, dass es sich um dicht überbautes Land handle. Allerdings liege es im Ermessen der kantonalen Behörde, die Ausnahmebewilligung zu verweigern, beispielsweise wenn längerfristig die Absicht bestehe, einen Grünraum frei von Gebäuden zu schaffen, unter Rückbau der bestehenden Anlagen unmittelbar am Ufer.
Die Baudirektion (AWEL) weist in ihrer Stellungnahme darauf hin, dass sich die Ausgangslage für die Beurteilung des Baugesuchs erheblich verändert habe, nachdem das Bundesgericht die Richtlinie für bauliche Veränderungen auf Landanlagen und für Seebauten vom 7. Juli 1995 für nicht mehr anwendbar erklärt habe (BGE 139 II 470). Sie geht nunmehr davon aus, dass es sich nicht um dicht überbautes Gebiet handle, weshalb keine Ausnahmebewilligung hätte erteilt werden dürfen.
Die Beschwerdeführer halten in ihrer Replik vom 5. Mai 2014 an ihren Anträgen fest.
Erwägungen:
1.
Gegen den kantonal letztinstanzlichen Endentscheid des Verwaltungsgerichts steht grundsätzlich die Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht offen (Art. 82 lit. a, 86 Abs. 1 lit. d und 90 BGG). Die Beschwerdeführer sind als Baugesuchsteller und Eigentümer der Bauparzelle zur Beschwerde legitimiert (Art. 89 Abs. 1 BGG). Auf die rechtzeitig erhobene Beschwerde (Art. 100 Abs. 1 BGG) ist daher einzutreten.
2.
Art. 36a Abs. 1 des Bundesgesetzes vom 24. Januar 1991 über den Schutz der Gewässer (GSchG; SR 814.20) verpflichtet die Kantone, den Raumbedarf der oberirdischen Gewässer festzulegen, der erforderlich ist für die Gewährleistung der natürlichen Funktionen der Gewässer, des Schutzes vor Hochwasser und der Gewässernutzung (Gewässerraum). Die Kantone sorgen dafür, dass der Gewässerraum bei der Richt- und Nutzungsplanung berücksichtigt sowie extensiv gestaltet und bewirtschaftet wird (Art. 36a Abs. 3 S. 1 GSchG).
2.1. Der hierfür erforderliche Raumbedarf beträgt für stehende Gewässer mindestens 15 m, gemessen ab der Uferlinie (Art. 41b Abs. 1 GSchV) und wird erhöht, soweit dies aus den in Art. 41b Abs. 2 GSchV genannten Gründen erforderlich ist (vgl. dazu Erläuternder Bericht des BAFU vom 20. April 2011, Parlamentarische Initiative Schutz und Nutzung der Gewässer (07.492) - Änderung der Gewässerschutz-, Wasserbau-, Energie- und Fischereiverordnung [im Folgenden: Erläuternder Bericht] S. 13). In dicht überbauten Gebieten kann die Breite des Gewässerraums den baulichen Gegebenheiten angepasst werden, soweit der Schutz vor Hochwasser gewährleistet ist (Art. 41b Abs. 3 GSchV).
2.2. Im Gewässerraum dürfen nur standortgebundene, im öffentlichen Interesse liegende Anlagen wie Fuss- und Wanderwege, Flusskraftwerke oder Brücken erstellt werden (Art. 41c Abs. 1 Satz 1 GSchV). In dicht überbauten Gebieten kann jedoch die Behörde für zonenkonforme Anlagen Ausnahmen bewilligen, soweit keine überwiegenden Interessen entgegenstehen (Satz 2). Rechtmässig erstellte und bestimmungsgemäss nutzbare Anlagen im Gewässerraum sind in ihrem Bestand grundsätzlich geschützt (Abs. 2).
2.3. Bis zur definitiven Festlegung der Gewässerräume sind die Nutzungseinschränkungen gemäss Art. 41c Abs. 1 und 2 GSchV bei stehenden Gewässern mit einer Wasserfläche von mehr als 0,5 ha auf einem Streifen von 20 m zu beachten (Ziff. 2 lit. c der Übergangsbestimmungen zur Änderung der GSchV vom 4. Mai 2011; im Folgenden: ÜbBst GSchV).
Da das geplante Einfamilienhaus in einem Abstand von 9.5 bis 12.5 m zum Seeufer liegen soll, ist es auf eine Ausnahmebewilligung nach Art. 41c Abs. 1 Satz 2 GSchV angewiesen.
3.
Voraussetzung hierfür ist zunächst, dass sich das Baugrundstück im dicht überbauten Gebiet befindet.
3.1. Im Erläuternden Bericht wird dargelegt, dass die Ausscheidung eines Gewässerraums in Städten oder Dorfzentren, die dicht überbaut sind (z.B. städtische Quartiere in Basel am Rhein oder in Zürich an der Limmat), oft nicht oder nur den Gegebenheiten angepasst sinnvoll sei. Der Schutz vor Hochwasser muss jedoch auch hier gewährleistet sein. Ausserhalb der dicht überbauten Zentren sei der Gewässerraum gemäss den Vorgaben von Artikel 41a Absätze 1 - 3 bzw. 41b Abs. 1 und 2 GSchV auszuscheiden (Erläuternder Bericht S. 12 und S. 13/14).
Im Gewässerraum dürften grundsätzlich nur standortgebundene, im öffentlichen Interessen liegende Anlagen neu erstellt werden; zur Füllung von Baulücken seien jedoch in dicht überbauten Gebieten Ausnahmen von diesem Grundsatz möglich (Erläuternder Bericht S. 4 oben). Dies soll eine Siedlungsentwicklung nach innen und eine aus Sicht der Raumplanung erwünschte städtebauliche Verdichtung ermöglichen (Erläuternder Bericht S. 15 oben).
3.2. Das Bundesamt für Raumentwicklung (ARE) und das BAFU haben in Zusammenarbeit mit den Kantonen am 18. Januar 2013 das "Merkblatt Gewässerraum im Siedlungsgebiet zur Anwendung des Begriffs «dicht überbaute Gebiete» der Gewässerschutzverordnung" (im Folgenden: Merkblatt) erarbeitet.
Es stellt klar, dass Ausnahmen von den Gewässerraumbestimmungen nicht generell in den Bauzonen, sondern nur in dicht überbauten Gebieten ermöglicht werden sollen. Sinn und Zweck der Ausnahmeregelung sei es, Siedlungsgebiet zu verdichten und Baulücken zu nutzen, sofern das Interesse an der Nutzung überwiege. Es solle dort eine Ausnahme von den Mindestbreiten ermöglicht werden, wo der Gewässerraum die natürlichen Funktionen auch auf lange Sicht nicht erfüllen könne. Dabei liege der Fokus auf dem Land entlang dem Gewässer und nicht (wie beim raumplanerischen Begriff des weitgehend überbauten Gebiets) auf dem Siedlungsgebiet als Ganzem (Merkblatt S. 3/4, Abschnitt B).
Das Merkblatt enthält eine Kriterienliste zur Bestimmung des dicht überbauten Gebiete, betont aber, dass den Kantonen ein Spielraum zustehe. Es seien Aspekte der Gewässer- als auch der Siedlungsentwicklung heranzuziehen und sowohl übergeordnete Konzepte als auch die konkrete Situation vor Ort zu berücksichtigen. Die Kriterien seien nicht abschliessend und müssten fallweise gewichtet werden (Merkblatt S. 4, Abschnitt C). Für dicht überbautes Gebiet spreche der Umstand, dass es sich um eine Zentrums- oder Kernzone oder einen Entwicklungsschwerpunkt handle; dagegen das Vorhandensein bedeutender Grünräume oder von Gewässerabschnitten mit ökologischer oder landschaftlicher Bedeutung (im Ist-Zustand oder nach getroffenen Aufwertungsmassnahmen). Zu berücksichtigen seien weiter die Bebaubarkeit und die Parzellenfläche, die bauliche Nutzung in der Umgebung und die Nähe zu öffentlichen Anlagen an Gewässern. Im Einzelfall könnten Gewässerzustand und -grösse eine Rolle spielen (Merkblatt S. 4/5, Kriterienliste).
4.
Das Verwaltungsgericht ging davon aus, dass die Zugehörigkeit des Grundstücks zur Bauzone nicht ausschlaggebend sei. Entscheidend sei vielmehr, ob der Uferstreifen bereits überbaut sei. Der Fokus sei daher auf das Land seeseitig der Seestrasse zu richten, wo ein mehr oder weniger freies, durchgrüntes Ufergelände von mehr als 100 m Länge infrage stehe. Aus den eingereichten Orthofotos und den Aufnahmen des Augenscheins ergebe sich, dass die Bebauung seeseits der Seestrasse, zumindest im hier massgeblichen Bereich, deutlich von derjenigen landeinwärts abweiche. Zum See hin bestehe ein beachtlicher Grüngürtel. Die Bauparzelle sowie die nordwestlich und südöstlich angrenzenden Grundstücke seien nicht weitgehend unüberbaut; (recte: seien weitgehend unüberbaut;) auf dem fraglichen Uferstreifen befänden sich lediglich kleinere Seebauten. Das Verwaltungsgericht verneinte ein überwiegendes Interesse an einer städtebaulichen Verdichtung im fraglichen Gebiet. Das Baugrundstück liege weder in einer Kern- noch in einer Zentrumszone. Auch das vom Bundesgericht im Urteil BGE 139 II 415 E. 4.5 S. 484 hervorgehobene Interesse der Öffentlichkeit an einem erleichterten Zugang zu den Gewässern spreche gegen eine Überbauung.
4.1. Die Beschwerdeführer rügen vorab eine fehlerhafte Sachverhaltsfeststellung und eine Gehörsverletzung, weil das Verwaltungsgericht entgegen ihrem Antrag keinen Augenschein durchgeführt habe.
In der Sache machen sie geltend, dass die gebotene Gesamtbetrachtung auch die weitere Umgebung umfassen müsse, d.h. die dicht überbauten Grundstücke jenseits der Seestrasse sowie nördlich und südlich der Grünfläche. Der Uferstreifen unmittelbar am See sei mit Wohn- bzw. Wochenendhäusern in dichter Abfolge überbaut. Die Bauparzelle und die angrenzenden Parzellen, auf denen sich noch Baureserven befänden, seien als Baulücken zu betrachten, die zum geschlossenen Siedlungsbereich gehörten. Eine städtebauliche Verdichtung sei hier nicht nur möglich, sondern geradezu erwünscht.
In diesem Zusammenhang rügen sie, dass das Verwaltungsgericht unzulässigerweise in den der erstinstanzlichen Behörde bei der Auslegung und Anwendung der Ausnahmevorschrift zustehenden Ermessensspielraum eingegriffen habe.
4.2. Die Beschwerdegegner verweisen auf die Verpflichtung der Kantone und Gemeinden, See- und Flussufer möglichst freizuhalten und den öffentlichen Zugang zu erleichtern (Art. 3 Abs. 2 lit. c RPG). Da sich Seeufer zum bevorzugten Wohngebiet entwickelt hätten, seien längere, weitgehend unüberbaute Uferstreifen selten geworden. Genüge eine Länge von 100 m nicht als Betrachtungsperimeter, drohe die Ausnahmebestimmung in Art. 41c Abs. 1 Satz 2 GSchV zur Regel zu werden. Sie erachten die landschaftliche Bedeutung des rund 100 m langen Uferstreifens am stark überbauten Zürichsee als gross. Das BAFU lege das Gewicht zu Unrecht ausschliesslich auf ökologische Überlegungen, die in Siedlungsgebieten i.d.R. untergeordnete Bedeutung hätten, und messe den landschaftlichen Aspekten und dem öffentlichen Interesse an der Freihaltung der Seeufer nicht genügend Gewicht bei.
Es verkenne zudem, dass es sich bei den bestehenden Bauten und Anlagen unmittelbar am Ufer um konzessionierte Seebauten handelt. Die Konzessionen seien regelmässig befristet, im vorliegenden Fall bis zum 31. Dezember 2020. Einen Anspruch auf Konzessionserneuerung gebe es nicht. Der Kanton könne daher nach Ablauf der Konzessionsdauer für die Beseitigung dieser Bauten und die Revitalisierung des Seeufers sowie dessen öffentliche Zugänglichkeit sorgen. Dazu sei er gemäss Art. 3 Abs. 2 lit. c RPG, Art. 36a Abs. 3 GSchG und Art. 38a GSchG auch verpflichtet. Die vom BAFU für zulässig erachtete "Nachverdichtung" dieses Gebiets würde den Eingriff in die Entwicklungsmöglichkeiten des Zürichsees perpetuieren und widerspreche damit der Zielsetzung der GSchV.
4.3. Das AWEL weist darauf hin, dass sich die Rechtslage durch den bundesgerichtlichen Entscheid BGE 139 II 470 verändert habe. Bisher habe die Richtlinie für bauliche Veränderungen auf Landanlagen und für Seebauten vom 7. Juli 1995 eine lockere Überbauung des Seeufers mit bescheidenen Volumen gewährleistet, und damit Platz für eine quer zum Ufer verlaufende Verzahnung der Ufervegetation mit dem Hinterland gelassen. Nach der Richtlinie durfte Konzessionsland nur auf höchstens der Hälfte der Seeanstosslänge überbaut werden; vom See her durften die Gebäude keine zusammenhängende Ansicht von mehr als 20 m Länge aufweisen. Zudem habe die Möglichkeit bestanden, den öffentlichen Seezugang mittels Uferwegservituten zu sichern.
Nachdem diese konzessionsrechtliche Richtlinie nicht mehr anwendbar sei, hänge die Beurteilung des Baugesuchs nunmehr davon ab, ob das betroffene Gebiet als "dicht überbaut" i.S.v. Art. 41c Abs. 1 GSchV zu qualifizieren sei.
Die Baudirektion habe vor diesem Hintergrund beschlossen, den massgebenden Perimeter für die Beurteilung, ob dicht überbautes Gebiet vorliege, nicht mehr im Sinne einer Gesamtbetrachtung über die Seestrasse hinaus, sondern dieser entlang zu ziehen. Dies dränge sich auf, weil das Gebiet landwärts der Seestrasse deutlich dichter bebaut sei als die Flächen seewärts davon.
Das AWEL geht nunmehr (entgegen seiner ursprünglichen Einschätzung) davon aus, dass es sich nicht um dicht überbautes Gebiet handelt. Der Bereich seeseits der Seestrasse zeichne sich durch bedeutende Grünräume aus. Es handle sich weder um Baulücken noch bestehe die Absicht, das Gebiet verdichtend zu überbauen. Nach dem planerischen Willen sei vielmehr die erste Bautiefe rund um den See nur locker zu überbauen. Dies ergebe sich einerseits aus Art. 18 BZO Rüschlikon, der für die Parzellen seeseits der Seestrasse eine deutlich niedrigere Überbauungsziffer vorsehe als für die übrigen Wohngebiete; andererseits aus den Richtplanfestlegungen "Siedlung und Landschaft" der Regionen Zimmerberg und Pfannenstiel und dem Leitbild Zürichsee 2050 (S. 4, Ziele Wohnen und Arbeiten). Eine dichtere Überbauung würde zu Gebäudefassaden führen, die über das ganze Grundstück verlaufen und (wegen dem Wunsch nach Aussicht) das Aufkommen von Ufervegetation fast gänzlich verhindern würden. Dies würde sich negativ auf Landschaft und Ökologie auswirken.
4.4. Das BAFU geht ebenfalls davon aus, dass nur die Grundstücke seeseits der Seestrasse in den Betrachtungsperimeter einzubeziehen seien, verneint aber das Vorliegen eines bedeutenden Grünraums: Das Ufer sei durch die Ufermauern und die seeseitigen Bauten wie Boots- und Badehäuser hart verbaut. Sowohl auf der Bauparzelle als auch auf den angrenzenden Parzellen befänden sich Bauten direkt am Gewässer; die Grundstücke seien somit ausgerechnet dort überbaut, wo eine Freihaltung für die Entwicklung des Gewässers entscheidend sei. Ihre morphologische Struktur sei daher beeinträchtigt und ihre ökologische Bedeutung beschränkt. Solange die direkt am See liegenden Bauten und Anlagen bestünden, die Uferabflachungen bzw. Vorschüttungen weitgehend verhinderten, sei das Aufwertungspotenzial gering.
Im Bereich des Baugrundstücks solle das Badehaus bestehen bleiben. Damit sei der entscheidende Eingriff in die Entwicklungsmöglichkeit des Zürichsees bereits erfolgt. Der Verzicht auf eine Nachverdichtung bringe dem Gewässer keinen Vorteil. Das Ziel von Art. 36a GSchG, die natürlichen Funktionen des Gewässers zu gewährleisten, sei im Bereich des fraglichen Grundstücks sowie auf einem grösseren Streifen entlang des Zürichsees nördlich und südlich davon, heute nur beschränkt erreichbar. Es entspreche dem Sinn und Zweck der Ausnahme nach Art. 41c Abs. 1 Satz 2 GSchV, gerade in solchen Gebieten die Weiterentwicklung von Siedlungen zu ermöglichen (Merkblatt S. 3). Aus heutiger Sicht sei daher das betroffene Gebiet als dicht überbaut zu betrachten.
Anders wäre die Situation zu beurteilen, wenn der Kanton vorsehen sollte, auf längere Sicht die bestehenden Bauten auf dem Konzessionsland beseitigen zu lassen und damit einen immerhin etwa 100 m langen Grünraum zu schaffen. Ob solche Bestrebungen bestünden, sei nicht bekannt. Im Übrigen setze die Ausnahmebewilligung voraus, dass dem Vorhaben keine überwiegenden Interessen entgegenstehen; es handle sich ohnehin um eine "Kann"-Bestimmung. Es liege daher im Ermessen der kantonalen Behörde, eine Ausnahmebewilligung zu verweigern, z.B. um der Öffentlichkeit einen erleichterten Zugang zum Gewässer zu verschaffen.
5.
Der Begriff "dicht überbautes Gebiet" ist ein Begriff der GSchV und damit des Bundesrechts, der bundesweit einheitlich auszulegen ist (BGE 140 II 434 E. 7). Es war daher Aufgabe des Baurekurs- und des Verwaltungsgerichts, die Rechtsanwendung der Baudirektion bzw. des AWEL zu überprüfen. Ein Ermessen steht diesen in erster Linie bei der Frage zu, ob - bei Vorliegen von dicht überbautem Gebiet - eine Ausnahmebewilligung zu erteilen ist und wenn ja, unter welchen Bedingungen und Auflagen (vgl. unten, E. 6).
5.1. Das Bundesgericht ging in BGE 140 II 436 E. 8 davon aus, dass der Betrachtungsperimeter nicht zu eng gefasst werden dürfe: Der Begriff "dicht überbautes Gebiet" werde nicht nur in Art. 41c Abs. 1 GSchV verwendet, sondern auch in Art. 41a Abs. 4 und Art. 41b Abs. 3 GSchV, im Zusammenhang mit der planerischen Festlegung des Gewässerraums. Eine sachgerechte Planung setze einen genügend gross gewählten Perimeter voraus. Planungsperimeter sei - zumindest in kleineren Gemeinden - in der Regel das Gemeindegebiet. Dabei liegt der Fokus auf dem Land entlang der Gewässer und nicht auf dem Siedlungs- oder Baugebiet als Ganzem.
Es erscheint daher richtig, den Fokus auf den Uferstreifen und damit auf das Gebiet seeseits der Seestrasse zu legen. Dabei darf der Blick allerdings nicht ausschliesslich auf die Bauparzelle und die unmittelbar angrenzenden Parzellen (Nrn. kkk - lll) gerichtet werden, sondern es muss eine Gesamtbetrachtung angestellt werden, mit Blick auf die bestehende Baustruktur des Gemeindegebiets.
5.2. Die Überbauung sowie die vorhandenen Grünräume im fraglichen Uferabschnitt sind durch die in den Akten liegenden Pläne, Luftaufnahmen und Fotos vom Augenschein des Baurekursgerichts dokumentiert. Streitig ist nicht eigentlich der Sachverhalt, sondern dessen rechtliche Beurteilung, insbesondere ob es sich um dicht überbautes Gebiet i.S.v. Art. 41c Abs. 1 GSchV handelt. Das Verwaltungsgericht durfte daher ohne Verletzung des rechtlichen Gehörs auf einen eigenen Augenschein verzichten; ein solcher erscheint auch im vorliegenden Verfahren nicht geboten.
5.3. Das Hauptsiedlungsgebiet von Rüschlikon befindet sich am Nordosthang des Zimmerbergs, zwischen der Autobahn A3 und dem Zürichseeufer. Es ist Teil der Agglomeration am linken Seeufer, das von Zürich bis Horgen, über die Gemeindegrenzen hinweg, dicht überbaut ist. Allerdings ist der Uferstreifen seeseits der Seestrasse in der Regel lockerer überbaut als das übrige Siedlungsgebiet. Dies gilt auch in Rüschlikon, im hier interessierenden südlichen Gemeindeteil, zwischen Rörli und Marbach. Wie das AWEL in seiner Stellungnahme belegt, wird in der ersten Bautiefe am See weder eine bauliche Verdichtung noch eine vollständige Freihaltung angestrebt, sondern eine lockere Überbauung, die Raum lässt für Ufervegetation und Durchblicke auf den See.
Die Bauparzelle und die benachbarten, sehr schmalen Parzellen sind durchwegs mit Boots- und Badehäusern überbaut, die heute vor allem als (Wochenend-) Wohnungen genutzt werden. Diese stehen unmittelbar am See und ragen in diesen hinein. Vom See aus betrachtet erscheint das Gebiet daher als dicht überbaut.
Ein anderer Eindruck ergibt sich von der Seestrasse aus, da die Parzellen hinter der Uferlinie nicht oder nur teilweise baulich ausgenutzt sind und deshalb als ein über 100 m langer Grünstreifen in Erscheinung treten. Allerdings handelt es sich nicht um typische Ufervegetation wie Schilf- und Binsenbestände oder Auenvegetation, sondern um Gartenanlagen, (Gras, Sträucher, Bäume). Wie das BAFU überzeugend darlegt, ist der bestehende Grünraum aufgrund der Verbauung des Ufers aus ökologischer und gewässerschutzrechtlicher Sicht nicht besonders wertvoll.
5.4. Für die Qualifikation als "dicht überbautes Gebiet" genügt es allerdings nicht, dass ein Fliessgewässer oder Seeufer verbaut ist und die Aufwertungsmöglichkeiten im fraglichen Abschnitt beschränkt sind: Der Gewässerraum soll den Raumbedarf des Gewässers langfristig sichern und ist grundsätzlich unabhängig vom Bestehen konkreter Revitalisierungs- oder Hochwasserschutzprojekte auszuscheiden bzw. freizuhalten (Bericht der Kommission für Umwelt, Raumplanung und Energie des Ständerates vom 12. August 2008 zur Parlamentarischen Initiative "Schutz und Nutzung der Gewässer", BBl. 2008 S. 8059).
Im BGE 140 II 436 (E. 8.1) verneinte das Bundesgericht daher das Vorliegen von dicht überbautem Gebiet, trotz der bestehenden Verbauung der Wigger und der (aufgrund von zwei Brücken) beschränkten Aufwertungsmöglichkeiten. Es handelte sich jedoch um ein peripher gelegenes Gebiet mit nur wenigen überbauten Parzellen am Flussufer, das an grosse Grünräume angrenzte.
Im vorliegenden Fall liegt die streitige Bauparzelle nicht peripher, sondern im Hauptsiedlungsgebiet der Agglomeration am linken Zürichseeufer. Der fragliche Abschnitt des Zürichsees ist nicht nur durch eine Ufermauer hart verbaut, sondern zusätzlich mit Boots- und Badehäusern in dichter Folge überstellt. Richtet man den Fokus in erster Linie auf das Ufer und nicht auf das Hinterland, ist daher grundsätzlich von einem dicht überbauten Gebiet auszugehen.
6.
Ist das Kriterium des "dicht überbauten Gebiets" erfüllt, so ist in einem zweiten Schritt zu prüfen, ob der Erteilung einer Ausnahmebewilligung überwiegende öffentliche Interessen entgegenstehen. Dies setzt eine umfassende Interessenabwägung voraus. Dabei sind insbesondere die Anliegen des Hochwasserschutzes, des Natur- und Landschaftsschutzes und das Interesse der Öffentlichkeit an einem erleichterten Zugang zu den Gewässern i.S.v. Art. 3 Abs. 2 lit. c RPG zu berücksichtigen (vgl. BGE 139 II 470 E. 4.5 S. 484).
6.1. Vor Verwaltungsgericht hatten die Heimatschutzverbände geltend gemacht, dass Anliegen des Hochwasserschutzes sowie die im regionalen Richtplan Zimmerberg vorgesehene Führung des Seeuferwegs der Erteilung einer Ausnahmebewilligung entgegenstehen. Diese Einwände wurden von der Vorinstanz nicht geprüft, weil sie davon ausging, dass die Ausnahmebewilligung bereits mangels Vorliegens eines dicht überbauten Gebiets zu versagen sei.
6.2. Weiter machen die Heimatschutzverbände geltend, dass der Kanton berechtigt und verpflichtet sei, die Seebauten nach Ablauf der Konzessionsdauer zu beseitigen und das Seeufer zu revitalisieren; der hierfür erforderliche Raum müsse gesichert und dürfe nicht überbaut werden.
Es ist Aufgabe der Nutzungsplanung, den definitiven Gewässerraum auszuscheiden und festzulegen, wie der daran angrenzende Uferstreifen zu nutzen ist. Dabei muss insbesondere der erforderliche Raumbedarf für Revitalisierungen gesichert werden (Art. 41a Abs. 3 lit. b und Art. 41b Abs. 2 lit. b GSchV). Dies setzt eine Koordination mit der Revitalisierungsplanung voraus (Art. 41d GSchV).
Der übergangsrechtliche Gewässerraum soll gewährleisten, dass im Zeitraum nach dem Inkrafttreten der Verordnung bis zur definitiven Festlegung des Gewässerraums keine unerwünschten neuen Anlagen errichtet werden (Erläuternder Bericht S. 4 oben). Ihm kommt insoweit die Funktion einer Planungszone zu. Die Erteilung einer Ausnahmebewilligung nach Art. 41c Abs. 1 GSchV darf daher die künftige Gewässerraum- und Revitalisierungsplanung nicht erschweren und ihr (soweit sie bereits konkretisiert ist) nicht widersprechen.
Es ist nicht Aufgabe des Bundesgerichts, sondern der zuständigen kantonalen Instanzen, zu prüfen, ob längerfristig mit dem Fortbestand der Seebauten und der Ufermauer zu rechnen ist. Wäre dies der Fall, so würde das ökologische Interesse an einer vollständigen Freihaltung des dahinterliegenden Grünstreifens gering wiegen. Fiele dagegen eine Uferrevitalisierung im streitigen Abschnitt ernsthaft in Betracht, so dürfte sie nicht durch die Erteilung einer Ausnahmebewilligung präjudiziert werden.
6.3. Der Baudirektion geht es in erster Linie darum, eine lockere Überbauung der ersten Bautiefe sicherzustellen, um zwischen den Bauten Ufervegetation zu erhalten und eine Querverzahnung des Uferbereichs mit dem Hinterland zu erreichen. Hinzu kommt das Interesse, das Seeufer für die Öffentlichkeit zugänglich zu machen.
Für diese Zwecke ist es nicht nötig, das Bauen im Gewässerraum vollständig zu verbieten: Den genannten Anliegen kann mit Auflagen und Bedingungen Rechnung getragen werden, indem die Ausnahmebewilligung nur für landschaftsverträgliche Bauvorhaben gewährt wird, mit Auflagen zur Sicherstellung des Zugangs der Öffentlichkeit und einer naturnahen Bepflanzung. Dabei sind die bundesrechtlichen Vorgaben für die Gestaltung von Gewässerraum und (verbauten) Ufern zu beachten (vgl. Art. 37 Abs. 2 GSchG; Art. 21 Abs. 2des Bundesgesetzes vom 1. Juli 1966 über den Natur- und Heimatschutz [NHG; SR 451]; Art. 41c Abs. 3 und 4 GSchV und Erläuternder Bericht S. 15 f.).
Der Entscheid der Baudirektion enthält den Passus, dass der Staat berechtigt sei, auf dem Grundstück das für die Realisierung eines öffentlichen Seewegs benötigte Land (bis zu 3.50 m Breite) unentgeltlich zu beanspruchen; diese Nebenbestimmung wurde allerdings von den Beschwerdeführern angefochten; die diesbezügliche Beschwerde wurde von den kantonalen Gerichten noch nicht behandelt.
Ansonsten prüfte die Baudirektion lediglich, ob das Bauvorhaben der Richtlinie für bauliche Veränderungen auf Landanlagen vom 7. Juli 1995 und dem dazugehörigen Merkblatt entspricht, an die es sie zu Unrecht gebunden fühlte. Damit hat sie das ihr zustehende Ermessen nicht vollständig ausgeschöpft, d.h. unterschritten.
7.
Unter diesen Umständen rechtfertigt es sich, die Sache nicht an das Verwaltungsgericht, sondern an die erstinstanzlichen Behörden zurückzuweisen, um deren Ermessensspielraum zu wahren (Art. 107 Abs. 2 Satz 2 BGG). Die Baudirektion bzw. das AWEL werden im Licht der vorstehenden Erwägungen eine neue, umfassende Interessenabwägung vornehmen müssen, unter Berücksichtigung der Gewässerraum- und Revitalisierungsplanung sowie der Einwände aller Verfahrensbeteiligten.
Dies führt zur Gutheissung der Beschwerde. Bei diesem Ausgang des Verfahrens werden die Beschwerdegegner kosten- und entschädigungspflichtig (Art. 66 und 68 BGG). Zur Neuverlegung der Kosten- und Entschädigungsfolgen des kantonalen Verfahrens ist die Sache an das Verwaltungsgericht zurückzuweisen.
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird gutgeheissen und der Entscheid des Verwaltungsgerichts des Kantons Zürich, 1. Abteilung, vom 5. September 2013 aufgehoben. Die Sache wird zu neuem Entscheid im Sinne der Erwägungen an die Baudirektion des Kantons Zürich und die Baukommission Rüschlikon zurückgewiesen.
2.
Die Gerichtskosten von Fr. 4'000.-- werden den Beschwerdegegnern auferlegt.
3.
Die Beschwerdegegner haben die Beschwerdeführer für die Kosten des bundesgerichtlichen Verfahrens mit insgesamt Fr. 4'000.-- zu entschädigen.
4.
Die Sache wird zur Neuverlegung der Kosten des kantonalen Verfahrens an das Verwaltungsgericht Zürich zurückgewiesen.
5.
Dieses Urteil wird den Parteien, der Baukommission Rüschlikon, der Baudirektion des Kantons Zürich, dem Verwaltungsgericht des Kantons Zürich, 1. Abteilung, und dem Bundesamt für Umwelt schriftlich mitgeteilt.
Lausanne, 14. August 2014
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Die Gerichtsschreiberin: Gerber