Faits :
A.
La commune de Perroy est propriétaire de la parcelle n° 614 de son territoire, d'une surface de 11'187 m2, située au bord du lac Léman. Il s'agit d'une plage publique (pelouse avec arbres), directement adjacente à un port de plaisance, le port de Plongeon. Il y a sur la parcelle n° 614 des installations ou ouvrages liés à la plage et au port (parking, buvette de 27 m2, restaurant de 199 m2, couvert de 114 m2et baraque de pêcheur de 87 m2, notamment). Cet endroit est accessible depuis la route cantonale RC 1a par le chemin de la Plage. La parcelle n° 614 a été classée en 1984 en zone d'utilité publique, en vertu du plan d'extension "Le Plongeon". Le port attenant à la plage a actuellement une capacité de 30 places d'amarrage. Toutes les places sont utilisées et une vingtaine de bateaux supplémentaires sont amarrés à des corps-morts, au large de la rive de Perroy. Actuellement, une grosse embarcation (Le Venoge) est amarrée à l'entrée du port. La Société du Port de Plongeon exploite le port, au bénéfice d'une concession cantonale d'usage des eaux publiques qui arrivera à échéance le 31 décembre 2022.
La Municipalité de Perroy a envisagé dès 2004 ou 2006 le développement de l'installation portuaire et des aménagements à terre (aire de détente, parking, accès et bâtiments). Elle a établi un projet de plan partiel d'affectation (PPA) intitulé "Port de Plongeon", dont le périmètre inclut la parcelle communale n° 614 ainsi qu'une parcelle privée directement voisine, située entre le chemin de la plage et le parking (parcelle n° 613, de 893 m2, propriété de H.H._ et J.H._, avec une villa et un jardin), ainsi qu'une portion du lac (domaine public cantonal n° 9001).
Modifié à deux reprises pour tenir compte des remarques du Service cantonal du développement territorial (SDT), le projet a été mis à l'enquête publique au printemps 2010.
Le plan figure un hexagone de près de 8'000 m2 sur le lac, correspondant à la surface occupée par le nouveau port avec 67 places d'amarrage, désigné comme "zone du port, projet indicatif". La parcelle n° 614 est classée dans la zone d'utilité publique, elle-même subdivisée en une "aire de détente et de loisirs" (pelouse arborée, à l'ouest du périmètre) - qui est inconstructible selon l'art. 2.4 al. 2 RPPA - et une "aire d'équipement" à laquelle est affectée la partie est de la parcelle n° 614. Pour la parcelle n° 613, le PPA reprend la réglementation antérieure, à savoir celle de la zone du littoral pour la maison existante et ses abords immédiats, et celle de la zone de verdure pour le jardin. Selon le rapport 47 OAT (dans sa version mise à l'enquête publique), la capacité maximum du parking collectif à ciel ouvert est de 63 places + 4 places visiteurs.
Plusieurs voisins ont formé opposition lors de l'enquête publique, en particulier A.A._ et B.A._, C.C._ et D.C._, D._ AG, E.E._ et F.E._ ainsi que G._. A.A._ est propriétaire de la parcelle n° 612 contiguë à l'est à la parcelle n° 613. Il a réalisé au sud de sa parcelle un port privé sur le lac, au bénéfice d'une concession cantonale. D.C._ (parcelle n° 605), D._ AG (parcelle n° 610), E.E._ et F.E._ (parcelles nos 621 et 622) et I._ (parcelle n° 608) sont également propriétaires de bien-fonds situés à proximité du périmètre du PPA.
A la suite de l'enquête publique, quelques modifications ont été portées au projet de PPA. En particulier, la surface de la zone du port a été réduite à 5'320 m2environ et le nombre de places d'amarrage indiqué a été ramené à 62.
B.
Dans sa séance du 16 février 2012, le Conseil communal de Perroy a adopté le PPA "Port de Plongeon" et a levé les oppositions. Le 13 décembre 2012, la cheffe du Département cantonal de l'intérieur (DINT) a approuvé le PPA, sous réserve des droits des tiers. Statuant sur recours des opposants susmentionnés, la Cour de droit administratif et public du Tribunal cantonal (CDAP) a confirmé ces deux décisions.
C.
A.A._ et B.A._, C.C._ et D.C._, D._ AG, E.E._ et F.E._ ainsi que G._ forment contre cet arrêt un recours en matière de droit public auprès du Tribunal fédéral. Ils concluent à la réforme de l'arrêt attaqué en ce sens que les décisions d'adoption et d'approbation du plan sont annulées. Subsidiairement, ils demandent l'annulation de l'arrêt cantonal et le renvoi du dossier à la CDAP pour nouvelle décision.
La cour cantonale se détermine brièvement sur le grief de nature formelle soulevé par les recourants. La Commune de Perroy et le SDT concluent au rejet du recours. Consulté, l'Office fédéral de l'environnement (OFEV) relève les éléments du dossier qu'il juge lacunaires, à savoir la compatibilité du projet avec les dispositions du droit fédéral relatives à la protection de la végétation des rives et à l'interdiction d'introduire des substances solides dans les lacs. Au cours de plusieurs échanges d'écritures complémentaires, les parties confirment leurs conclusions.
Par ordonnance du 15 janvier 2015, le Président de la Ire Cour de droit public a rejeté la demande d'effet suspensif présentée par les recourants.

Considérant en droit :
1.
Le recours est dirigé contre un arrêt rendu en dernière instance cantonale confirmant l'adoption et l'approbation d'un plan d'affectation. Le recours est dès lors en principe recevable comme recours en matière de droit public selon les <ref-law> et 34 al. 1 LAT, aucune des exceptions prévues à l'<ref-law> n'étant réalisée. Les recourants, voisins directs ou proches du périmètre du plan, sont particulièrement touchés par l'arrêt attaqué. Ils disposent dès lors de la qualité pour recourir au sens de l'<ref-law>. Les autres conditions de recevabilité sont réunies, si bien qu'il y a lieu d'entrer en matière sur le recours.
2.
Les recourants se plaignent d'une violation de leur droit d'être entendus au motif que la cour cantonale n'aurait pas examiné la conformité du PPA au plan directeur cantonal, ce alors même qu'ils avaient expressément soulevé le grief en audience.
2.1. Une autorité se rend coupable d'un déni de justice formel prohibé par l'art. 29 al. 2 Cst. si elle omet de se prononcer sur des griefs qui présentent une certaine pertinence ou de prendre en considération des allégués et arguments importants pour la décision à rendre (cf. <ref-ruling> consid. 2.1 p. 127; <ref-ruling> consid. 5.2 p. 248; <ref-ruling> consid. 2b p. 102).
2.2. Les recourants se réfèrent à la maxime d'office consacrée par le droit vaudois s'agissant des conclusions (art. 89 de la loi vaudoise du 28 octobre 2008 sur la procédure administrative; LPA-VD; RSV 173.36) ainsi qu'au libre pouvoir d'examen en droit du Tribunal cantonal (art. 98 LPA-VD) pour justifier le fait que la cour devait examiner leur grief soulevé en audience. La cour cantonale s'est brièvement déterminée en mentionnant l'art. 79 al. 1 LPA-VD, qui prévoit que l'acte de recours doit indiquer les motifs de recours; à défaut d'avoir été soulevé de manière motivée dans le recours, le moyen n'avait selon les premiers juges pas à être examiné. Selon les arrêts cités par les recourants et non contestés, il semble toutefois que la jurisprudence cantonale elle-même considère que les dispositions de la LPA-VD imposent de tenir compte des motifs invoqués postérieurement au recours, notamment en audience (arrêts de la CDAP AC.2009.0086 du 29 août 2010 et AC.2009.0134 du 30 juin 2010). Dans de telles circonstances, il y aurait bien eu violation du droit d'être entendu des recourants.
La commune le conteste dans la mesure où le grief n'aurait pas été soulevé par les recourants eux-mêmes, mais par une association de protection de la nature, qui recourait séparément et dont la cause n'a pas été jugée conjointement à celle des recourants. Outre l'incertitude quant à l'établissement des faits à cet égard, il se pose la question de savoir s'il importe que le grief ait été soulevé par les recourants eux-mêmes, une seule audience ayant été tenue pour les différentes causes portant sur cet objet, en présence de toutes les parties à ces causes.
Cette question peut demeurer indécise dans la mesure où, pour les motifs de fond évoqués ci-dessous (consid. 3), la cause doit quoi qu'il en soit être reprise par les autorités cantonales pour complément du dossier.
3.
Sur le fond, les recourants se plaignent d'une violation du devoir de coordination.
3.1. L'art. 25a LAT énonce des principes en matière de coordination "lorsque l'implantation ou la transformation d'une construction ou d'une installation nécessite des décisions émanant de plusieurs autorités". Une autorité chargée de la coordination doit en particulier veiller à ce que toutes les pièces du dossier de demande d'autorisation soient mises simultanément à l'enquête publique (art. 25a al. 2 let. b LAT) et à ce qu'il y ait une concordance matérielle des décisions ainsi que, en règle générale, une notification commune ou simultanée (art. 25a al. 2 let. d LAT); ces décisions ne doivent pas être contradictoires (art. 25a al. 3 LAT). Ces principes doivent être mis en oeuvre au stade de l'autorisation de construire et du plan d'affectation (art. 25a al. 4 LAT).
En vertu de ce principe de la coordination des procédures, l'autorité de planification doit prendre en compte, dans le cadre de l'adoption d'un plan partiel d'affectation ou d'un plan de quartier, tous les éléments déterminants du point de vue de la protection de l'environnement et de l'aménagement du territoire qui sont objectivement en relation les uns avec les autres, notamment ceux qui se trouvent dans une relation si étroite qu'ils ne peuvent être appliqués de manière indépendante (<ref-ruling> 8consid. 2a p. 93; arrêt 1C_163/2011 du 15 juin 2012 consid. 3).
L'étendue de cet examen varie toutefois selon le degré de précision du plan. Ainsi, lorsque la modification de la planification a lieu en vue d'un projet précis et détaillé qui doit être mis à l'enquête ultérieurement, l'autorité doit contrôler à ce stade si celui-ci peut être réalisé de manière conforme aux exigences de la législation fédérale sur la protection de l'environnement; dans les autres cas, elle doit être convaincue qu'un développement de la zone peut se faire de manière conforme à ces exigences moyennant, le cas échéant, des aménagements à définir dans la procédure d'autorisation de construire (RUDOLF MUGGLI, Der Umweltteil des Planungsberichts nach Art. 47 der Raumplanungsverordnung, Cahier de l'environnement n° 179, OFEFP 2005, ch. 6.3.4, p. 48; THOMAS WIDMER DREIFUSS, Planung und Realisierung von Sportanlagen, thèse Zurich 2002, p. 136; voir aussi <ref-ruling> consid. 3.4 p. 280, s'agissant d'un plan d'alignement; <ref-ruling> consid. 2d p. 95; arrêts 1A.124/2004 du 31 mai 2005 consid. 5.2, in SJ 2005 I 539; 1A.45/2006 du 10 janvier 2007 consid. 3.2 et 1A.281/2005 du 21 juillet 2006 consid. 1.3).
3.2. Dans le projet de règlement du plan partiel d'affectation (RPPA), l'affectation de la zone du port est définie à l'art. 2.3 dans les termes suivants:
"al. 1: La zone du port s'étend sur le plan d'eau du Lac. Cette surface est affectée en priorité aux activités ou usages qui sont en relation avec la navigation de plaisance et la pêche professionnelle.
al. 2: Les constructions, installations et aménagements qui peuvent être autorisés sont toutes les réalisations à ciel ouvert nécessaires au fonctionnement traditionnel d'un port de petite batellerie telles que, par exemple: digues fixes et flottantes, places d'amarrage, mâts de signalisation, etc.
al. 3: Les conditions d'utilisation de cette surface sont définies dans le cadre d'un acte de concession pour usage d'eau."
Les premiers juges ont considéré que, la portion du plan située sur le lac appartenant au domaine public cantonal, elle n'avait pas à être affectée en une zone au sens de la LAT. Le renvoi à l'acte de concession se justifiait en raison de la compétence cantonale exclusive pour déterminer l'aménagement des installations sur le lac et était suffisant. Les préavis des services cantonaux donnés dans le cadre de l'élaboration du PPA permettaient en outre à l'autorité communale de planification d'apprécier le projet de manière globale. Selon la CDAP, les exigences en matière de coordination avaient dès lors été respectées.
3.3. A teneur de l'art. 17 al. 1 let. a LAT, les zones à protéger comprennent les lacs. Que la portion de lac en question soit attribuée au domaine public ne signifie ainsi pas qu'aucune affectation puisse être précisée. Cela étant, comme l'a relevé la CDAP, le droit cantonal peut prescrire d'autres mesures adéquates au lieu de délimiter des zones à protéger (art. 17 al. 2 LAT). On peut en effet admettre le renvoi à une concession définissant les aménagements et utilisations prévus. Cela n'enlève toutefois rien à l'obligation de coordonner prescrite par l'art. 25a LAT.
Tout comme les autorités adoptant le PPA, les autorités délivrant les préavis se fondent sur des données indicatives quant aux installations portuaires. En d'autres termes, le projet n'est pas définitif dans la partie "lac" du plan. Les premiers juges exposent du reste expressément que la concession "pourra être octroyée ultérieurement, lorsque les caractéristiques du nouveau port auront été précisément définies", ce qui signifie que tel n'est pas le cas en l'état. En effet, le nombre de 62 places d'amarrage est donné à titre indicatif si bien que les caractéristiques et dimensions du nouveau port demeurent incertaines. Or, le plan, même s'il n'en règle pas les détails, contient une admission de principe du nouveau port, en particulier de son périmètre. Par ailleurs, les infrastructures de la partie plage et parc, en particulier les places de parc, sont dimensionnées notamment en fonction de la capacité d'accueil du port.
Il est admis que la planification litigieuse a un objet bien précis puisqu'elle réglemente principalement la plage publique et le port. Il est dès lors nécessaire, conformément à la jurisprudence rappelée ci-dessus, d'examiner au stade de cette planification la conformité du projet aux dispositions légales en vigueur. En particulier, le PPA arrêtant d'ores et déjà le périmètre du futur port, les possibilités d'aménagement qu'offre celui-ci doivent être compatibles avec les exigences du droit de la protection de la nature et de l'environnement.
En l'occurrence, l'OFEV juge lacunaire l'examen de l'impact du projet sur la flore aquatique, protégée par l'art. 21 al. 1 de la loi fédérale du 1er juillet 1966 sur la protection de la nature et du paysage (LPN; RS 451). Il est d'avis qu'une étude plus poussée du site au moyen de plongées effectuées en été (et non en hiver comme l'a fait le bureau d'études mandaté) et de relevés de plantes aquatiques pour une identification des espèces aurait été nécessaire et proportionnée compte tenu de l'importance du projet. Le dossier serait également lacunaire en ce qui concerne l'introduction de substances solides dans le lac, interdite par principe à l'art. 39 de la loi fédérale du 24 janvier 1991 sur la protection des eaux (LEaux; RS 814.20) dont les exceptions sont soumises à conditions (art. 39 al. 2 et 3 LEaux).
Indépendamment de toute analyse de fond, force est de constater que ces aspects n'ont pas été examinés par les autorités concernées. A cela s'ajoute qu'il y a lieu de coordonner la capacité des infrastructures portuaires avec celle des infrastructures à terre, ce qui implique une définition plus précise du nombre de places d'amarrage.
En définitive, le renvoi à une concession à délivrer ultérieurement a pour conséquence de remettre l'examen de la légalité et de l'opportunité d'une importante partie du projet à plus tard, alors même que celui-ci constitue un tout, les aménagements terrestres étant liés aux aménagements lacustres, et que son futur périmètre est déjà défini. Le principe de coordination est par conséquent violé. Les autorités devaient soit délivrer la concession simultanément à l'adoption de la planification, soit se livrer à un examen approfondi de la faisabilité du projet dans le cadre de la présente procédure de planification.
4.
Les recourants font encore valoir une violation de l'<ref-law> (814.01) et de l'ordonnance fédérale du 19 octobre 1988 relative à l'étude de l'impact sur l'environnement (OEIE; RS 814.011) au motif que, le périmètre prévu permettant potentiellement d'aménager plus de 100 places d'amarrage, le projet serait dès lors soumis à l'obligation de mener une étude d'impact sur l'environnement (art. 1 et annexe 1 ch. 13.3 OEIE). Vu le considérant qui précède, il sera statué, après renvoi du dossier, sur le nombre maximal de places prévues, de sorte que cette question pourra être tranchée une fois le projet précisé.
5.
De même, il n'y a pas lieu de se pencher sur le grief portant sur l'incompatibilité du projet avec le plan directeur cantonal. Ce grief n'ayant pas été traité par la cour cantonale (consid. 2), il n'appartient pas au Tribunal fédéral de l'examiner pour la première fois. Vu le renvoi de la cause, cette question pourra être reprise dans le cadre de l'élaboration plus précise du projet.
6.
Il résulte de ce qui précède que le recours doit être admis et la cause renvoyée aux autorités de première instance. Le dossier sera dans un premier temps adressé à la CDAP pour qu'elle statue sur les frais et dépens cantonaux. Le présent arrêt est rendu sans frais (<ref-law>). La Commune de Perroy, qui succombe, versera des dépens aux recourants, qui obtiennent gain de cause avec l'aide d'un avocat (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis. L'arrêt attaqué est annulé, de même que les décisions rendues le 16 février 2012 par le Conseil communal de Perroy et le 13 décembre 2012 par la cheffe du DINT; la cause est renvoyée à la Cour de droit administratif et public du Tribunal cantonal, pour nouvelle décision sur les frais et dépens cantonaux, puis aux autorités cantonales et communale compétentes pour nouvelles décisions au fond.
2.
Il n'est pas perçu de frais judiciaires.
3.
Une indemnité de dépens de 3'000 francs est accordée aux recourants, à la charge de la Commune de Perroy, pour la procédure devant le Tribunal fédéral.
4.
Le présent arrêt est communiqué aux mandataires des recourants et du Conseil communal de Perroy, au Service du développement territorial du canton de Vaud, au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, et à l'Office fédéral de l'environnement.
Lausanne, le 25 février 2016
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Fonjallaz
La Greffière : Sidi-Ali