Faits : A. La commune de Perroy est propriétaire de la parcelle n° 614 de son territoire, d'une surface de 11'187 m2, située au bord du lac Léman. Il s'agit d'une plage publique (pelouse avec arbres), directement adjacente à un port de plaisance, le port de Plongeon. Il y a sur la parcelle n° 614 des installations ou ouvrages liés à la plage et au port (parking, buvette de 27 m2, restaurant de 199 m2, couvert de 114 m2et baraque de pêcheur de 87 m2, notamment). Cet endroit est accessible depuis la route cantonale RC 1a par le chemin de la Plage. La parcelle n° 614 a été classée en 1984 en zone d'utilité publique, en vertu du plan d'extension "Le Plongeon". Le port attenant à la plage a actuellement une capacité de 30 places d'amarrage. Toutes les places sont utilisées et une vingtaine de bateaux supplémentaires sont amarrés à des corps-morts, au large de la rive de Perroy. Actuellement, une grosse embarcation (Le Venoge) est amarrée à l'entrée du port. La Société du Port de Plongeon exploite le port, au bénéfice d'une concession cantonale d'usage des eaux publiques qui arrivera à échéance le 31 décembre 2022. La Municipalité de Perroy a envisagé dès 2004 ou 2006 le développement de l'installation portuaire et des aménagements à terre (aire de détente, parking, accès et bâtiments). Elle a établi un projet de plan partiel d'affectation (PPA) intitulé "Port de Plongeon", dont le périmètre inclut la parcelle communale n° 614 ainsi qu'une parcelle privée directement voisine, située entre le chemin de la plage et le parking (parcelle n° 613, de 893 m2, propriété de H.H._ et J.H._, avec une villa et un jardin), ainsi qu'une portion du lac (domaine public cantonal n° 9001). Modifié à deux reprises pour tenir compte des remarques du Service cantonal du développement territorial (SDT), le projet a été mis à l'enquête publique au printemps 2010. Le plan figure un hexagone de près de 8'000 m2 sur le lac, correspondant à la surface occupée par le nouveau port avec 67 places d'amarrage, désigné comme "zone du port, projet indicatif". La parcelle n° 614 est classée dans la zone d'utilité publique, elle-même subdivisée en une "aire de détente et de loisirs" (pelouse arborée, à l'ouest du périmètre) - qui est inconstructible selon l'art. 2.4 al. 2 RPPA - et une "aire d'équipement" à laquelle est affectée la partie est de la parcelle n° 614. Pour la parcelle n° 613, le PPA reprend la réglementation antérieure, à savoir celle de la zone du littoral pour la maison existante et ses abords immédiats, et celle de la zone de verdure pour le jardin. Selon le rapport 47 OAT (dans sa version mise à l'enquête publique), la capacité maximum du parking collectif à ciel ouvert est de 63 places + 4 places visiteurs. Plusieurs voisins ont formé opposition lors de l'enquête publique, en particulier A.A._ et B.A._, C.C._ et D.C._, D._ AG, E.E._ et F.E._ ainsi que G._. A.A._ est propriétaire de la parcelle n° 612 contiguë à l'est à la parcelle n° 613. Il a réalisé au sud de sa parcelle un port privé sur le lac, au bénéfice d'une concession cantonale. D.C._ (parcelle n° 605), D._ AG (parcelle n° 610), E.E._ et F.E._ (parcelles nos 621 et 622) et I._ (parcelle n° 608) sont également propriétaires de bien-fonds situés à proximité du périmètre du PPA. A la suite de l'enquête publique, quelques modifications ont été portées au projet de PPA. En particulier, la surface de la zone du port a été réduite à 5'320 m2environ et le nombre de places d'amarrage indiqué a été ramené à 62. B. Dans sa séance du 16 février 2012, le Conseil communal de Perroy a adopté le PPA "Port de Plongeon" et a levé les oppositions. Le 13 décembre 2012, la cheffe du Département cantonal de l'intérieur (DINT) a approuvé le PPA, sous réserve des droits des tiers. Statuant sur recours des opposants susmentionnés, la Cour de droit administratif et public du Tribunal cantonal (CDAP) a confirmé ces deux décisions. C. A.A._ et B.A._, C.C._ et D.C._, D._ AG, E.E._ et F.E._ ainsi que G._ forment contre cet arrêt un recours en matière de droit public auprès du Tribunal fédéral. Ils concluent à la réforme de l'arrêt attaqué en ce sens que les décisions d'adoption et d'approbation du plan sont annulées. Subsidiairement, ils demandent l'annulation de l'arrêt cantonal et le renvoi du dossier à la CDAP pour nouvelle décision. La cour cantonale se détermine brièvement sur le grief de nature formelle soulevé par les recourants. La Commune de Perroy et le SDT concluent au rejet du recours. Consulté, l'Office fédéral de l'environnement (OFEV) relève les éléments du dossier qu'il juge lacunaires, à savoir la compatibilité du projet avec les dispositions du droit fédéral relatives à la protection de la végétation des rives et à l'interdiction d'introduire des substances solides dans les lacs. Au cours de plusieurs échanges d'écritures complémentaires, les parties confirment leurs conclusions. Par ordonnance du 15 janvier 2015, le Président de la Ire Cour de droit public a rejeté la demande d'effet suspensif présentée par les recourants.