Faits :
A.
A._ est propriétaire depuis 2005 de la parcelle n° 509 du cadastre de la Commune de Vully-les-Lacs, d'une surface de 1398 m2. Cette parcelle, colloquée en zone de verdure au sens de l'art. 13 let. a du règlement communal sur le plan général d'affectation et la police des constructions (RC), borde la rive nord-ouest du lac de Morat. Elle supporte trois bâtiments d'habitation. A l'époque de l'acquisition de la parcelle n° 509 par A._, deux pontons se trouvaient au droit de la parcelle, qui comportait un mur de rive avec un plot d'escaliers en son centre. Visuellement, le mur de rive présentait un léger décrochement. Dans la continuité de la parcelle n° 509 vers l'est, la rive est tout d'abord faite d'un mur jointoyé sur environ 20 m, puis, sur les 20 m suivants, d'un tronçon faiblement stabilisé par des enrochements, et enfin d'enrochements plus conséquents sur une longueur 70 m.
Le 7 juillet 2005, A._ s'est vu délivrer l'autorisation à bien plaire d'utiliser le domaine public des eaux du lac de Morat pour le maintien de deux passerelles de 5 m2et d'une bouée. Par décision du 14 septembre 2007 remplaçant la précédente et délivrée à bien plaire, le Département vaudois de la sécurité et de l'environnement, Service des eaux, sols et assainissement (SESA), a autorisé A._ et B._ (qui était copropriétaire à l'époque) à maintenir un escalier d'accès au lac (1,2 m sur 0,65 m), deux pontons d'embarquement (de chacun 7 m sur 1,2 m précédés d'un bloc de béton chacun), ainsi que deux bouées accessoires sur le domaine public du lac de Morat, au droit de la parcelle n° 509. Cette autorisation prévoit notamment que le bénéficiaire peut être tenu en tout temps et à ses frais de modifier, de déplacer et de totalement évacuer les ouvrages autorisés tout en remettant les lieux en l'état et sans indemnité (art. 1), que le bénéficiaire ne peut, sans l'autorisation préalable de l'autorité cantonale, modifier ou déplacer les ouvrages autorisés (art. 6) et que le bénéficiaire doit garantir en tout temps la sécurité et l'entretien des ouvrages autorisés, celui-ci demeurant responsable, à l'entière décharge de l'Etat, de tout dommage ou inconvénient dont ils peuvent être l'objet ou la cause (art. 7).
En 2010 ou 2011, A._ a procédé sans autorisation à la construction d'un mur-escalier sur toute la largeur de la parcelle (soit environ 14 m) en bordure du lac, en partie sur sa parcelle et en partie sur le domaine public des eaux.
Après intervention du SESA - puis de la Direction générale de l'environnement (DGE) qui a succédé au SESA - en ce sens, A._ a déposé une demande d'autorisation intitulée "mise en conformité de l'ouvrage de protection de rive, octroi d'une concession, aménagement d'un escalier, agrandissement et déplacement de pontons et création d'une rampe". Le projet porte notamment sur la régularisation du mur-escalier déjà réalisé, l'agrandissement des deux pontons, le déplacement du ponton est et la création d'une rampe de mise à l'eau des bateaux. Lors de la mise à l'enquête publique du 16 septembre au 17 octobre 2016, le projet a suscité une opposition de Pro Natura Vaud.
B.
Le 28 mars 2017, le Département du territoire et de l'environnement a refusé de délivrer l'autorisation requise, réservant toute autre décision relative aux travaux exécutés sans autorisation, en particulier relative à une remise en état. Consultés, la section Biodiversité et paysage de la DGE, (DGE BIODIV), le Service cantonal du développement territorial (SDT) ainsi que la section Ressources en eau et économie hydraulique de la DGE avaient émis des préavis négatifs.
Statuant sur recours du requérant, la Cour de droit administratif et public du Tribunal cantonal vaudois a confirmé cette décision par arrêt du 28 juin 2016.
C.
Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral de réformer l'arrêt cantonal en ce sens que lui est accordée l'autorisation, respectivement la concession, pour le mur de soutien de la rive avec escalier, les deux pontons prolongés et la rampe-lift. Subsidiairement, le recourant conclut à l'annulation de l'arrêt attaqué et au renvoi de la cause à la cour cantonale pour nouvelle décision dans le sens des considérants.
La cour cantonale renonce à se déterminer et se réfère aux considérants de son arrêt. La Direction générale de l'environnement répond et conclut au rejet du recours. La commune renonce à se déterminer et s'en remet à justice. L'intimée Pro Natura Vaud, sans prendre de conclusions formelles, critique les arguments du recourant. Consulté, l'Office fédéral du développement territorial constate que l'arrêt attaqué ne prête pas flanc à la critique.
Le recourant et l'intimée se déterminent une nouvelle fois dans un second échange d'écritures et persistent dans leurs conclusions respectives.

Considérant en droit :
1.
Formé contre un arrêt final (<ref-law>) rendu en dernière instance cantonale (art. 86 al. 1 let. d LTF) sur la base du droit public (<ref-law>), le présent recours est en principe recevable comme recours en matière de droit public au sens des <ref-law>, aucune des exceptions prévues à l'<ref-law> n'étant réalisée. Le recourant est directement touché par l'arrêt attaqué, qui confirme le refus d'octroi d'autorisations pour des installations sur sa parcelle ou au droit de sa parcelle dans les eaux publiques, et a un intérêt digne de protection à en obtenir la modification ou l'annulation. Il a dès lors qualité pour recourir au sens de l'<ref-law>.
Les autres conditions formelles de recevabilité sont réunies, si bien qu'il y a lieu d'entrer en matière sur le recours.
2.
Le recourant affirme que certains faits décisifs pour l'issue du litige ont été mal établis au sens des art. 97 al. 1 et 105 al. 2 LTF. Il se plaint de ce que les échanges de correspondances qu'il a eus avec les autorités cantonales (SESA puis DGE) auraient été occultés par l'arrêt attaqué alors qu'ils démontreraient les engagements pris par ces autorités puis non respectés, en violation du principe de la bonne foi.
Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law>. Selon l'<ref-law>, la partie recourante ne peut critiquer la constatation de faits que si ceux-ci ont été établis en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte - en particulier en violation de l'interdiction constitutionnelle de l'arbitraire - et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause. Conformément à l'<ref-law>, la partie recourante doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. A défaut, il n'est pas possible de tenir compte d'un état de fait divergent de celui qui est contenu dans l'acte attaqué. En particulier, le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire (<ref-ruling> consid. 1.3 p. 30; <ref-ruling> consid. 2.4 p. 368; <ref-ruling> consid. 10.1 p. 445).
La pertinence et l'exactitude des faits dont se prévaut le recourant seront examinées dans le cadre du grief de violation du principe de la bonne foi, dans la mesure qui s'avérera utile.
3.
Le recourant se plaint d'une violation de l'art. 22 LAT (RS 700), au motif que, conformes à l'affectation de la zone, le mur de rive avec escalier, les deux pontons et les deux bouées d'amarrage devaient faire l'objet d'une autorisation ou d'une concession.
3.1. Aucune construction ou installation ne peut être créée ou transformée sans autorisation de l'autorité compétente (art. 22 al. 1 LAT). Pour qu'une autorisation soit délivrée, la construction ou l'installation doit en principe être conforme à l'affectation de la zone (art. 22 al. 2 let. a LAT). Les art. 24 ss LAT déterminent quelles constructions non conformes à la zone peuvent, à titre exceptionnel, être édifiées hors zone à bâtir.
Les zones à protéger comprennent les lacs et leurs rives (art. 17 al. 1 LAT). Par ailleurs, dans l'énumération des principes régissant l'aménagement, l'art. 3 al. 2 let. c LAT prévoit, à propos de la préservation du paysage, qu'il convient notamment de tenir libres les bords des lacs et des cours d'eau et de faciliter au public l'accès aux rives et le passage le long de celles-ci. La jurisprudence - au vu du consid. 3.2 infra, il n'y a pas lieu de procéder à un éventuel réexamen de celle-ci nonobstant un avis de doctrine critique non dénué d'intérêt (GUY-ECABERT in RDAF 2007 I 440) - n'exclut cependant pas que certaines constructions ou installations sur un lac ou sur ses rives soient conformes à l'affectation de la zone à protéger. Hors de la zone à bâtir, de façon générale et notamment pour les zones à protéger au sens de l'art. 17 LAT, la conformité est toutefois liée à la nécessité: la construction doit être adaptée, par ses dimensions et son implantation, aux besoins objectifs du propriétaire ou de l'exploitant (<ref-ruling> consid. 2.4 p. 17).
L'accès au lac, là où il est possible et juridiquement admissible, fait partie de l'utilisation normale de la rive du lac par le propriétaire du fonds riverain. Toutefois, l'autorisation d'une installation ou construction conforme à l'affectation de la zone n'est pas, à l'instar d'un permis de construire ordinaire, une autorisation de police à laquelle le propriétaire du terrain aurait droit. Les autorités peuvent ainsi refuser d'autoriser un nouveau ponton pour tout motif d'intérêt public pertinent, notamment si elles estiment que le besoin n'est pas établi (<ref-ruling> consid. 2.5 p. 19).
3.2. En l'espèce, la cour cantonale, tout en mentionnant la possibilité d'admettre une construction en vertu de l'art. 22 LAT, a pourtant examiné la problématique sous l'angle des conditions dérogatoires de l'art. 24 LAT pour les constructions non conformes à l'affectation de la zone. Comme le relève à juste titre le recourant, conformément à la jurisprudence précitée, il est envisageable d'autoriser des constructions le long de la rive en application de l'art. 22 LAT si celles-ci sont conformes à l'affectation de la zone et adaptées par leurs dimensions et leur implantation, aux besoins objectifs du recourant.
Dans toute son argumentation, le recourant part de la prémisse qu'un mur riverain édifié sur toute la largeur de la parcelle était déjà autorisé préalablement aux travaux qu'il a effectués en 2010 ou 2011. Or cela ne ressort pas de l'état de fait de l'arrêt attaqué ni de la teneur des deux décisions de 2005 et 2007, celles-ci ne mentionnant que les pontons et un escalier en béton de 1,2 m sur 0,65 m. Aussi, le recourant, lorsqu'il se borne à exposer qu'aucun changement de circonstances n'est intervenu, ne démontre-t-il pas avoir droit au maintien de l'édifice. En d'autres termes, ses arguments liés à la révocation sont sans pertinence en l'espèce.
Selon la description de l'arrêt attaqué, lors de son acquisition par le recourant en 2005, la parcelle comportait un "mur de rive". Il n'est pas clairement établi si le mur préexistant aux travaux litigieux était un mur jointoyé ou un mur en béton. Il est toutefois constant que cet édifice n'était au bénéfice d'aucune autorisation formelle et que les autorités amenées à statuer sur la situation actuelle requièrent la réalisation d'un mur jointoyé pour des motifs de protection de la nature et du paysage. Le recourant, quant à lui, affirme que le mur de rive tel qu'il l'a reconstruit en 2010-2011 a été édifié pour des raisons de sécurité et de conservation des habitations sises sur la parcelle, le sol, gorgé d'eau, provoquant alors l'instabilité des constructions qui se lézardaient. Il n'est pas retenu par la cour cantonale ni démontré par le recourant que cette instabilité était due au type de protection contre l'érosion. Il n'est pas avéré qu'une construction en béton était le seul moyen d'y remédier. Le recourant renvoie à ce sujet à sa propre correspondance au SESA décrivant cet état de fait, accompagnée de photocopies de mauvaise qualité de photos en cet état peu probantes. La cour cantonale, sur la base de l'avis de son assesseur spécialisé, a au contraire considéré qu'il existait d'autres méthodes pour stabiliser une rive, telles que des enrochements non jointoyés ou le recours à des plantations. Elle relevait en outre que le mur - à hauteur de rive et sur une portion limitée de cette rive - n'apparaissait en réalité guère utile pour protéger les bâtiments contre les inondations. Le recourant, qui se borne à faire état de "raisons de sécurité" sans en exposer les tenants et aboutissants, échoue ainsi à démontrer la nécessité de la construction dans sa forme en béton pur. Il affirme qu'un mur imperméable serait indispensable à la préservation des constructions de la parcelle affectées à l'habitation en raison de l'érosion de la rive sans avancer aucune explication technique. Son discours, purement appellatoire, ne saurait être suivi. En outre, contrairement à ce qu'il laisse entendre, que la rive ne soit plus de longue date un environnement boisé et/ou à l'état naturel ne signifie pas pour autant qu'elle puisse être bétonnée sans considérations de sa biologie ni de la protection du paysage.
S'agissant de la prolongation des deux pontons, le recourant affirme que celle-ci est rendue nécessaire pour l'approche de la propriété et l'amarrage de bateau, dès lors qu'il existerait, sans cette prolongation, un risque d'ensablement en raison du dépôt d'alluvions amenés par la Broye dont l'embouchure se trouve à proximité. Outre que cette affirmation, non démontrée, est appellatoire, ce n'est qu'à titre superfétatoire que la cour cantonale a relevé - en se référant aux indications de la municipalité et du département - que le fond du lac est pratiquement horizontal à cet endroit et que, partant, la prolongation des pontons semblerait ne présenter que peu d'intérêt. Les premiers juges ont principalement constaté d'une part que les gros bateaux du recourant (voilier avec quille et bateau moteur) sont amarrés aux bouées, si bien que celui-ci peut les rejoindre avec un canot depuis les pontons. Ils ont d'autre part considéré que le recourant, propriétaire depuis 2005, aurait a priori pu s'inscrire suffisamment tôt sur une liste d'attente afin d'obtenir une place dans le port de Vallamand. Or le recourant ne discute aucun de ces deux motifs qui ont conduit la cour cantonale à considérer que le besoin de prolonger les pontons litigieux n'était pas établi. L'absence de nécessité objective de la prolongation des pontons doit par conséquent être confirmée.
Le recourant fait encore valoir que la rampe-lift prévue est nécessaire pour pouvoir sortir une embarcation de l'eau en cas d'intempéries ou pour l'hivernage. Ce faisant, le recourant néglige des solutions alternatives, comme la possibilité de sortir le bateau ailleurs, sur une rampe sise dans un port notamment. Le besoin n'est donc pas démontré.
4.
Subsidiairement, et à l'instar de ce qu'a fait la cour cantonale, le recourant fait valoir que les installations litigieuses devraient être autorisées en vertu de l'art. 24 LAT.
Selon l'art. 24 LAT, des autorisations de construire peuvent être délivrées pour de nouvelles constructions ou installations ou pour tout changement d'affectation si leur implantation hors de la zone à bâtir est imposée par leur destination (let. a) et si aucun intérêt prépondérant ne s'y oppose (let. b).
Selon la pratique, l'implantation d'une construction est imposée par sa destination au sens de l'art. 24 let. a LAT, lorsqu'un emplacement hors de la zone à bâtir est dicté par des motifs techniques, des impératifs liés à l'exploitation d'une entreprise, la nature du sol (implantation dite imposée "positivement" par la destination de la construction) ou lorsque l'ouvrage est exclu de la zone à bâtir pour des motifs particuliers (implantation dite imposée "négativement" par la destination de la construction). Seuls des critères objectifs sont déterminants, à l'exclusion des préférences dictées par des raisons de commodité ou d'agrément (<ref-ruling> consid. 3.1 p. 68; <ref-ruling> consid. 4a p. 255; <ref-ruling> consid. 3b/cc p. 508). L'application du critère de l'art. 24 let. a LAT doit être stricte, dès lors que cette disposition contribue à l'objectif de séparation du bâti et du non-bâti (ATF <ref-ruling> consid. 4a p. 256; <ref-ruling> consid. 4a p. 281, 379 consid. 3a p. 383).
Le critère de l'emplacement imposé par la destination de l'ouvrage est en fait plus strict que celui du besoin dans le contexte de l'art. 22 LAT (arrêt 1C_892/2013 du 1er avril 2015 consid. 2.1). Aussi, lorsque, comme en l'espèce, un besoin objectif de réaliser l'installation n'est pas avéré en vertu des exigences de l'art. 22 LAT, son emplacement ne sera à plus forte raison pas imposé par sa destination au sens de l'art. 24 LAT. Il n'y a donc pas lieu de procéder plus avant à l'examen des conditions posées par cette disposition.
5.
Le recourant fait valoir une violation du principe de la bonne foi. Il se prévaut de déclarations du SESA à teneur desquelles une concession lui serait délivrée s'il présentait une demande de régularisation et cédait une servitude de passage à l'État.
5.1. Aux termes de l'art. 5 al. 3 Cst., les organes de l'État et les particuliers doivent agir de manière conforme aux règles de la bonne foi. Cela implique notamment qu'ils s'abstiennent d'adopter un comportement contradictoire ou abusif (<ref-ruling> consid. 5.2 p. 261). De ce principe général découle le droit fondamental du particulier à la protection de sa bonne foi dans ses relations avec l'État, consacré à l'art. 9 in fine Cst. (<ref-ruling> consid. 8.3.1 p. 53; <ref-ruling> consid. 5.2 p. 261). Le principe de la bonne foi protège le justiciable, à certaines conditions, dans la confiance légitime qu'il met dans les assurances reçues des autorités, lorsqu'il a réglé sa conduite d'après des décisions, des déclarations ou un comportement déterminé de l'administration (<ref-ruling> consid. 3.6.3 p. 193; <ref-ruling> consid. 2.5.1 p. 73; <ref-ruling> consid. 6.1 p. 636 s.). Selon la jurisprudence, un renseignement ou une décision erronés de l'administration agissant dans les limites de ses compétences peuvent obliger celle-ci à consentir à un administré un avantage contraire à la réglementation en vigueur. Entre autres conditions, il faut pour cela que l'administré se soit fondé sur les assurances ou le comportement dont il se prévaut pour prendre des dispositions auxquelles il ne saurait renoncer sans subir de préjudice et que l'intérêt à une correcte application du droit ne se révèle pas prépondérant sur la protection de la confiance (<ref-ruling> consid. 3.6.2 p. 193; <ref-ruling> consid. 2.5.1 p. 72-73; <ref-ruling> consid. 6.1 p. 637).
Le Tribunal fédéral examine librement la violation du droit fédéral qui comprend les droits de nature constitutionnelle (cf. art. 95 let. a et 106 al. 1 LTF), sous réserve des exigences de motivation figurant à l'<ref-law>. A teneur de cette disposition, les griefs de violation des droits fondamentaux sont soumis à des exigences de motivation accrues: la partie recourante doit indiquer les principes constitutionnels qui n'auraient pas été respectés et expliquer de manière claire et précise en quoi ces principes auraient été violés (cf. <ref-ruling> consid. 2.8 p. 494; <ref-ruling> consid. 1.4).
5.2. Le recourant n'expose à aucun moment les règles légales à teneur desquelles il entendrait se prévaloir de l'octroi d'une concession, de sorte qu'on peut se demander si son grief est suffisamment motivé au sens de l'<ref-law>. Quoi qu'il en soit, la concession litigieuse en l'espèce est celle requise par le recourant dans sa requête auprès du Département puis dans ses conclusions en réforme prises dans son recours cantonal, à savoir une concession "pour le mur de soutien de la rive avec escalier, les deux pontons prolongés et la rampe-lift". Aucune requête formelle de concession pour les installations existantes, respectivement autorisées à bien plaire en 2005 et 2007, ne semble avoir été déposée ni, partant, refusée en l'état, et ce n'est pas l'objet de la présente procédure. Il ne ressortit ainsi pas à l'objet du litige de savoir si le principe de la bonne foi impose l'octroi d'une concession pour les installations autorisées jusqu'alors.
Pour ces mêmes motifs, la cour cantonale n'a pas omis des faits nécessaires à la résolution du litige en ne reprenant pas la teneur de la totalité des échanges épistolaires des parties (consid. 2 ci-dessus).
6.
Il résulte de ce qui précède que le recours est rejeté, aux frais de son auteur, qui succombe (<ref-law>). Il n'y a pas lieu d'accorder des dépens.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais de justice, arrêtés à 4'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, au Département du territoire et de l'environnement du canton de Vaud, à la Municipalité de Vully-les-Lacs, au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, et à l'Office fédéral du développement territorial.
Lausanne, le 28 octobre 2019
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Chaix
La Greffière : Sidi-Ali