Faits : A. A._ est propriétaire depuis 2005 de la parcelle n° 509 du cadastre de la Commune de Vully-les-Lacs, d'une surface de 1398 m2. Cette parcelle, colloquée en zone de verdure au sens de l'art. 13 let. a du règlement communal sur le plan général d'affectation et la police des constructions (RC), borde la rive nord-ouest du lac de Morat. Elle supporte trois bâtiments d'habitation. A l'époque de l'acquisition de la parcelle n° 509 par A._, deux pontons se trouvaient au droit de la parcelle, qui comportait un mur de rive avec un plot d'escaliers en son centre. Visuellement, le mur de rive présentait un léger décrochement. Dans la continuité de la parcelle n° 509 vers l'est, la rive est tout d'abord faite d'un mur jointoyé sur environ 20 m, puis, sur les 20 m suivants, d'un tronçon faiblement stabilisé par des enrochements, et enfin d'enrochements plus conséquents sur une longueur 70 m. Le 7 juillet 2005, A._ s'est vu délivrer l'autorisation à bien plaire d'utiliser le domaine public des eaux du lac de Morat pour le maintien de deux passerelles de 5 m2et d'une bouée. Par décision du 14 septembre 2007 remplaçant la précédente et délivrée à bien plaire, le Département vaudois de la sécurité et de l'environnement, Service des eaux, sols et assainissement (SESA), a autorisé A._ et B._ (qui était copropriétaire à l'époque) à maintenir un escalier d'accès au lac (1,2 m sur 0,65 m), deux pontons d'embarquement (de chacun 7 m sur 1,2 m précédés d'un bloc de béton chacun), ainsi que deux bouées accessoires sur le domaine public du lac de Morat, au droit de la parcelle n° 509. Cette autorisation prévoit notamment que le bénéficiaire peut être tenu en tout temps et à ses frais de modifier, de déplacer et de totalement évacuer les ouvrages autorisés tout en remettant les lieux en l'état et sans indemnité (art. 1), que le bénéficiaire ne peut, sans l'autorisation préalable de l'autorité cantonale, modifier ou déplacer les ouvrages autorisés (art. 6) et que le bénéficiaire doit garantir en tout temps la sécurité et l'entretien des ouvrages autorisés, celui-ci demeurant responsable, à l'entière décharge de l'Etat, de tout dommage ou inconvénient dont ils peuvent être l'objet ou la cause (art. 7). En 2010 ou 2011, A._ a procédé sans autorisation à la construction d'un mur-escalier sur toute la largeur de la parcelle (soit environ 14 m) en bordure du lac, en partie sur sa parcelle et en partie sur le domaine public des eaux. Après intervention du SESA - puis de la Direction générale de l'environnement (DGE) qui a succédé au SESA - en ce sens, A._ a déposé une demande d'autorisation intitulée "mise en conformité de l'ouvrage de protection de rive, octroi d'une concession, aménagement d'un escalier, agrandissement et déplacement de pontons et création d'une rampe". Le projet porte notamment sur la régularisation du mur-escalier déjà réalisé, l'agrandissement des deux pontons, le déplacement du ponton est et la création d'une rampe de mise à l'eau des bateaux. Lors de la mise à l'enquête publique du 16 septembre au 17 octobre 2016, le projet a suscité une opposition de Pro Natura Vaud. B. Le 28 mars 2017, le Département du territoire et de l'environnement a refusé de délivrer l'autorisation requise, réservant toute autre décision relative aux travaux exécutés sans autorisation, en particulier relative à une remise en état. Consultés, la section Biodiversité et paysage de la DGE, (DGE BIODIV), le Service cantonal du développement territorial (SDT) ainsi que la section Ressources en eau et économie hydraulique de la DGE avaient émis des préavis négatifs. Statuant sur recours du requérant, la Cour de droit administratif et public du Tribunal cantonal vaudois a confirmé cette décision par arrêt du 28 juin 2016. C. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral de réformer l'arrêt cantonal en ce sens que lui est accordée l'autorisation, respectivement la concession, pour le mur de soutien de la rive avec escalier, les deux pontons prolongés et la rampe-lift. Subsidiairement, le recourant conclut à l'annulation de l'arrêt attaqué et au renvoi de la cause à la cour cantonale pour nouvelle décision dans le sens des considérants. La cour cantonale renonce à se déterminer et se réfère aux considérants de son arrêt. La Direction générale de l'environnement répond et conclut au rejet du recours. La commune renonce à se déterminer et s'en remet à justice. L'intimée Pro Natura Vaud, sans prendre de conclusions formelles, critique les arguments du recourant. Consulté, l'Office fédéral du développement territorial constate que l'arrêt attaqué ne prête pas flanc à la critique. Le recourant et l'intimée se déterminent une nouvelle fois dans un second échange d'écritures et persistent dans leurs conclusions respectives.