Faits :
A.
Feu B.A._, propriétaire de la parcelle n o 404, située sur la rive du lac Léman, sur le territoire de la commune de Lutry, bénéficiait d'une autorisation accordée à bien plaire n o 147/132 du 6 septembre 1989, lui permettant d'utiliser le domaine public du lac Léman, par l'immersion d'un corps-mort, avec bouée d'amarrage. Celle-ci spécifiait que le bénéficiaire " peut être tenu en tout temps d'enlever et de faire disparaître, sans avoir droit à dédommagement, ni indemnité, les travaux qui font l'objet de cette autorisation ". Après son décès, une nouvelle autorisation n o 147/132, comprenant des conditions semblables, a été délivrée le 13 novembre 2001 à A.A._ et C.A._, qui sont devenus propriétaires communs de la parcelle n o 404. Cette autorisation n'a pas été modifiée lorsque A.A._ est devenu seul propriétaire de la parcelle n o 404, en 2009. Par ailleurs, un port de plaisance privé est accolé à cette parcelle, pour lequel A.A._ jouit d'une concession sur le domaine public cantonal.
D.D._ et E.D._ sont copropriétaires de la parcelle n o 18 du registre foncier, sise en bordure du lac Léman, sur le territoire de la commune de Paudex. Ils sont également au bénéfice d'une autorisation n o 134/58 délivrée le 12 février 2010, au contenu similaire à celui de l'autorisation précitée. Il en va de même de F.F._ et G.F._, précédemment copropriétaires de la parcelle n o 47 du registre foncier, également sur la rive du lac Léman à Paudex, et titulaires d'une autorisation n o 134/55 du 1 er juin 1993. F.F._ étant devenu seul propriétaire de la parcelle en 2003, l'autorisation précitée lui a alors été transférée le 12 mars 2004.
Les trois parcelles mentionnées ci-dessus (n o 404 à Lutry et n os 18 et 47 à Paudex) sont situées entre le port de Paudex et le port du Vieux Stand de Lutry. Les bouées d'amarrage des propriétaires se trouvent chacune approximativement au droit de la parcelle concernée. D'autres propriétaires riverains bénéficient aussi d'amarrages dans ce secteur.
B.
Le port de Paudex, situé sur le domaine public cantonal du lac Léman, a fait l'objet d'un réaménagement et d'un agrandissement visant principalement à passer d'une vingtaine de places d'amarrage à 67 places. Mis à l'enquête publique du 17 février au 19 mars 2012, le projet a suscité deux oppositions.
Par décision du 8 août 2012, le DSE (actuellement le Département du territoire et de l'environnement [DTE]) a levé les oppositions et délivré l'autorisation spéciale prévue pour les ouvrages et interventions dans les lacs. Il a en particulier retenu que " l'aménagement du port implique la suppression de 17 bouées d'amarrages, actuellement à l'extérieur du port existant " et que les bénéficiaires des autorisations d'amarrage sur ces bouées auraient le droit d'obtenir une place dans le nouveau port, aux mêmes conditions que les autres usagers. Enfin, il a subordonné l'autorisation spéciale à certaines conditions, dont la suivante: " Le déplacement dans le port des bateaux amarrés à des bouées en pleine eau devant Paudex devra être réalisé dans un délai de trois mois après l'achèvement des travaux du port ". Dite décision incluait les préavis et les autorisations spéciales des services concernés.
Par acte du 7 septembre 2012, D.D._ - l'un des opposants - a interjeté un recours contre cette décision auprès de la Cour de droit administratif et public du Tribunal cantonal vaudois (CDAP) qui l'a rejeté le 23 avril 2013. Dans cet arrêt, qui est entré en force, dite autorité n'a pas examiné la question de la " suppression annoncée des 17 bouées d'amarrage ", considérant qu'elle devait faire l'objet de décisions spécifiques, susceptibles de recours; la décision du 8 août 2012 a été définitivement confirmée.
C.
Le 11 décembre 2013, la Direction générale de l'environnement (DGE) a informé les bénéficiaires d'autorisations d'amarrage - dont A.A._ - de la mise en exploitation du nouveau port de Paudex prévue au mois de juillet 2014. Elle y exposait que " tous les amarrages au large, compris entre le port de Paudex et le port de Lutry " devaient être supprimés.
Sous la plume de leur avocat, A.A._ et F.F._ notamment, ont contesté le bien-fondé du retrait annoncé de leur autorisation.
Le 8 mai 2014, la Municipalité de Paudex a invité en particulier A.A._ à manifester son éventuel intérêt à l'octroi d'une place d'amarrage dans le nouveau port de Paudex, dont elle a joint le tarif; il n'a pas répondu.
D.
Par décisions du 2 avril 2015, la Cheffe du Département du territoire et de l'environnement (DTE) a retiré les autorisations d'amarrage à bien plaire précitées (cf. supra lettre A) et a imparti aux bénéficiaires un délai pour évacuer leur installation.
Après avoir joint les causes, la CDAP, par arrêt du 15 mars 2019, a rejeté les recours formés contre ces décisions par D.D._ et A.A._, dans la mesure de leur recevabilité, respectivement rejeté et déclaré irrecevable les recours interjetés par F.F._ et G.F._. Les décisions rendues le 2 avril 2015 par la Cheffe du DTE révoquant les autorisations n os 134/55, 134/58 et 147/132 ont ainsi été confirmées.
E.
A.A._ forme un recours intitulé " recours de droit public et constitutionnel " au Tribunal fédéral. Il conclut, avec suite de dépens, à l'annulation de la décision du 2 avril 2015 en ce qu'elle le concerne, et à ce qu'il soit dit qu'il reste au bénéfice de l'autorisation d'amarrage à bien plaire n o 147/132, qui n'est pas concernée par l'agrandissement du port de Paudex. Il sollicite également l'effet suspensif.
Invité à se déterminer, le Service du développement territorial (SDT) - qui a précisé avoir repris, avec la DGE, les tâches de la Commission des rives du lac - ne s'est pas opposé à la requête d'effet suspensif, à l'instar du Tribunal cantonal; ces autorités ont en revanche conclu au rejet du recours. L'Office fédéral de l'environnement (OFEV) s'est également déterminé, considérant que la CDAP n'avait pas violé les dispositions du droit fédéral sur la protection de l'environnement. Dans le même sens, l'Office fédéral du développement territorial (ARE) a indiqué qu'il adhérait, dans les grandes lignes, à l'arrêt attaqué. La Municipalité de Paudex s'en est remise à justice concernant la requête d'effet suspensif. Elle en a fait de même s'agissant du fond du recours, se référant aux avis exprimés par les offices spécialisés et les autorités compétentes. La Municipalité de Lutry ne s'est pas déterminée, alors qu'elle y a été invitée. Seul le recourant a formulé des observations complémentaires.
Par ordonnance du 28 mai 2019, le Président de la I re Cour de droit public a admis la requête d'effet suspensif.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office sa compétence (<ref-law>). Il contrôle librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 186).
Dirigé contre une décision finale (<ref-law>) prise en dernière instance cantonale (art. 86 al. 1 let. d LTF) dans une cause de droit public (<ref-law>), le recours est en principe recevable comme recours en matière de droit public, aucune des exceptions prévues à l'<ref-law> n'étant réalisée; l'erreur dans l'intitulé de l'acte de recours (qualifié de " recours de droit public ") demeure en l'espèce sans conséquence pour le recourant, son écriture répondant sur le principe aux conditions de recevabilité du recours en matière de droit public (cf. <ref-ruling> consid. 1.3 p. 296; arrêt 1C_488/2019 du 24 janvier 2020 consid. 1). Cela suffit pour exclure " le recours constitutionnel " mentionné par le recourant (<ref-law>).
Le recourant a pris part à la procédure de recours devant l'autorité précédente. Dans la mesure où l'arrêt attaqué confirme la décision retirant l'autorisation d'amarrage dont il bénéficie, il dispose d'un intérêt évident à l'annulation de cet arrêt et dispose dès lors de la qualité pour agir au sens de l'<ref-law>. Les autres conditions de recevabilité étant au surplus réunies, il convient d'entrer en matière.
2.
En tant que le recourant s'écarte des constatations de l'instance précédente ou les complète, sans indiquer que celles-ci seraient manifestement inexactes ou arbitraires, il procède de manière appellatoire, partant irrecevable (cf. <ref-ruling> consid. 2 p. 117; <ref-ruling> consid. 10.1 p. 445). Il en va en particulier ainsi des faits nouveaux invoqués sur la base de la pièce n o 2, dont la recevabilité n'est au demeurant pas établie (cf. <ref-law>; <ref-ruling> consid. 1.2 p. 22 s.).
3.
3.1. Le recourant se prévaut en premier lieu d'une violation de son droit d'être entendu (art. 29 al. 2 Cst.).
3.2. Le droit d'être entendu garanti par l'art. 29 al. 2 Cst. comprend notamment le droit pour le justiciable de s'expliquer avant qu'une décision ne soit prise à son détriment (<ref-ruling> consid. 4.1 p. 72; <ref-ruling> consid. 3.1 p. 564).
Le droit d'être entendu n'est pas une fin en soi; il constitue un moyen d'éviter qu'une procédure judiciaire n'aboutisse à un jugement vicié en raison de la violation du droit des parties de participer à la procédure. Lorsqu'on ne voit pas quelle influence la violation du droit d'être entendu a pu avoir sur la procédure, il n'y a pas lieu d'annuler la décision attaquée (<ref-ruling> consid. 1.4.1 p. 386).
3.3. Le recourant se limite à soutenir que si le projet d'agrandissement du port de Paudex avait mentionné d'emblée la suppression de dix-neuf bouées, " au lieu de dix-sept ", dont la sienne sise sur la commune voisine de Lutry, il serait intervenu au stade de sa mise à l'enquête publique.
Certes, la décision du 8 août 2012 fait mention de la suppression de 17 bouées d'amarrage à l'extérieur du port existant, alors que selon le DTE, un total de 19 amarrages, situés en pleine eau entre les ports de Paudex et Lutry, sont en réalité concernés par le regroupement dans le port de Paudex (cf. arrêt entrepris p. 14 consid. 5). Rien n'indique toutefois, et le recourant ne le démontre pas, que dite décision ne portait pas sur la bouée qu'il utilise en vertu de l'autorisation à bien plaire n o 147/132. En tout état de cause, la cour cantonale a relevé à cet égard que la question du retrait des autorisations concernées par l'agrandissement du port de Paudex n'avait pas été traitée dans l'arrêt rendu le 23 avril 2013 confirmant la décision du 8 août 2012; dès lors, les parties pouvaient librement faire valoir leurs moyens à l'occasion de la procédure de recours contre les décisions du 2 avril 2015 (cf. arrêt attaqué p. 12 consid. 3). Elle a ajouté que le retrait de l'autorisation du recourant ne se fondait pas directement et uniquement sur la décision du 8 août 2012: elle était justifiée par un ensemble de motifs d'intérêts publics; l'autorité précédente a également rappelé que la bouée litigieuse se trouvait sur le domaine public cantonal, au bénéfice d'une autorisation délivrée par le canton.
Tel que formulé, le grief du recourant ne démontre pas en quoi la décision du 2 avril 2015, respectivement l'arrêt attaqué - qui se fondent sur des intérêts publics prépondérants - auraient pu connaître une autre issue s'il s'était exprimé au stade de l'enquête portant sur le projet d'agrandissement du port de Paudex. Dans ces circonstances, on ne saurait retenir que l'absence d'intervention de l'intéressé à ce stade antérieur a porté à conséquence. Son grief de violation du droit d'être entendu doit ainsi être écarté.
4.
4.1. En l'espèce, la contestation porte sur le retrait d'une autorisation " accordée à bien plaire " pour l'usage du domaine public (la partie du lac Léman où est implantée la bouée litigieuse) fondée sur le droit cantonal. Selon les autorités précédentes, cette mesure - associée au regroupement des embarcations dans le port de Paudex - est prise dans les buts suivants: protéger le paysage ainsi que les herbiers aquatiques situés dans la zone en cause, composés principalement de macrophytes, abritant une faune et une flore diversifiées; éviter des pollutions dispersées et non contrôlables sur les rives et favoriser la pratique de la pêche professionnelle. La cour cantonale se fonde en particulier sur les dispositions de la LAT (RS 700), de la loi fédérale du 1 er juillet 1966 sur la protection de la nature et du paysage (LPN; RS 451) et de la loi fédérale du 21 juin 1991 sur la pêche (LFSP; RS 923.0); elle s'appuie également sur le plan directeur cantonal des rives vaudoises du lac Léman (PDRL) ainsi que sur la loi [du canton de Vaud] du 10 décembre 1989 sur la protection de la nature, des monuments et des sites (LPNMS; RSV 450.119), notamment.
4.2. Aux termes de l'art. 78 al. 1 Cst., la protection de la nature et du patrimoine est en principe du ressort des cantons. La Confédération prend en compte cette protection dans l'accomplissement de ses tâches (al. 2). En ce sens, la LAT prévoit des zones à protéger, qui comprennent, en particulier, " les cours d'eau, les lacs et leurs rives " (art. 17 al. 1 let. a LAT). L'art. 17 al. 2 LAT dispose que le droit cantonal peut prescrire d'autres mesures adéquates. Par ailleurs, dans l'énumération des principes régissant l'aménagement, l'art. 3 al. 2 let. c LAT prévoit, à propos de la préservation du paysage, qu'il convient notamment de tenir libres les bords des lacs et des cours d'eau et de faciliter au public l'accès aux rives et le passage le long de celles-ci. En effet, les lacs et leurs rives doivent en principe rester vierges de constructions, quand bien même des exceptions à ce principe sont possibles (arrêts 1C_405/2016 du 30 mai 2018 consid. 3.1, in DEP 2018 p. 537; 1C_634/2013 du 10 mars 2014 consid. 5.4, in DEP 2014 p. 663). Il s'agit d'offrir une protection renforcée de ces espaces, non limitée à des sites qui mériteraient particulièrement d'être protégés. Cela vaut tant pour des constructions privées que pour des constructions d'intérêt public (arrêt 1C_405/2016 précité ibidem et les références citées). La jurisprudence - au vu du consid. 5 infra, il n'y a pas lieu de procéder à un éventuel réexamen de celle-ci nonobstant un avis de doctrine critique non dénué d'intérêt (CHRISTINE GUY-ECABERT, in RDAF 2007 I 440) - n'exclut cependant pas que certaines constructions ou installations sur un lac ou sur ses rives soient conformes à l'affectation de la zone à protéger. Hors de la zone à bâtir, de façon générale et notamment pour les zones à protéger au sens de l'art. 17 LAT, la conformité est toutefois liée à la nécessité: la construction doit être adaptée, par ses dimensions et son implantation, aux besoins objectifs du propriétaire ou de l'exploitant (<ref-ruling> consid. 2.4 p. 17; arrêt 1C_411/2018 du 28 octobre 2019 consid. 3.1).
La Confédération légifère en outre sur la protection de la faune et de la flore et sur le maintien de leur milieu naturel dans sa diversité (art. 78 al. 4 Cst.). Dans son chapitre 3 (protection de la faune et de la flore du pays), la LPN instaure une protection d'espèces animales et végétales (art. 18), des biotopes d'importance nationale (art. 18a), régionale et locale (art. 18b) et de la végétation des rives (art. 21). Elle prend également soin de ménager et de protéger l'aspect caractéristique du paysage (art. 1 let. a et 3 al. 1 LPN). Enfin, la Confédération fixe les principes applicables à la pratique de la pêche, particulièrement au maintien de la diversité des espèces de poissons (art. 79 Cst.). Les dispositions de la LFSP, qui visent à préserver les rives naturelles et la végétation aquatique servant de frayères aux poissons ou d'habitat à leur progéniture (<ref-law>), doivent également être prises en compte (<ref-ruling> consid. 2.7 p. 20).
Sur le plan cantonal, la cour cantonale cite l'art. 50 de la loi [du canton de Vaud] du 29 novembre 1978 sur la pêche (LPêche; RSV 923.01), selon lequel le Conseil d'Etat prend les mesures propres à maintenir ou améliorer les habitats naturels du poisson (dans ce sens également l'art. 4 du règlement du 15 août 2007 d'application de la LPêche [RLPêche; RSV 923.01.1]). Comme le relève l'autorité précédente, la protection de l'habitat du poisson constitue également l'un des objectifs de l'accord du 20 novembre 1980 entre le Conseil fédéral suisse et le Gouvernement de la République française concernant la pêche dans le lac Léman (A-Pêche-L; RSV 923.93; cf. art. 2 let. b et art. 6). La LPNMS prévoit, pour sa part, une protection générale de la nature et des sites (art. 4 ss LPNMS), en particulier des biotopes protégés au sens des <ref-law> (<ref-law>). Par ailleurs, le PDRL évoqué par la cour cantonale, pose, comme principe essentiel, le maintien sur tout le pourtour du lac d'une faible densité des constructions. Sous le titre " Protection et gestion des espaces naturels ", le PDRL prévoit en particulier une mesure N4 consistant à " assurer la tranquillité des secteurs lacustres les plus sensibles, notamment en les maintenant libres de tout amarrage en pleine eau " (premier cahier, p. 56). Sous le titre " Les Ports ", il précise en outre que " si des amarrages en pleine eau sont ponctuellement autorisés, cette situation n'est pas satisfaisante, tant sur le plan pratique que celui de la sécurité. La création de nouvelles places devrait donc en principe permettre de remédier à cela " (premier cahier, p. 69). Au stade de la procédure cantonale, la Commission cantonale des Rives du Lac a également confirmé cet objectif de centralisation des places d'amarrage, de même que l'expert mandaté par les recourants.
4.3. En l'espèce, le secteur vaudois du lac Léman fait partie du domaine public (<ref-law>, art. 64 al. 1 ch. 1 du code de droit privé judiciaire vaudois du 12 janvier 2010 [CDPJ; RSV 211.02]) et le droit de disposer des eaux du lac appartient à l'Etat, en vertu de l'art. 1 de la loi du 5 septembre 1944 sur l'utilisation des lacs et cours d'eau dépendant du domaine public (LLC; RSV 731.01); nul ne peut détourner les eaux du domaine public, ni les utiliser, sans l'autorisation préalable du département en charge de la gestion des eaux du domaine public (art. 2 al. 1 LLC). Pour des installations provisoires ou de très faible importance, le département peut accorder des autorisations à bien plaire, révocables en tout temps (art. 4 al. 2 LLC). Pour les " petites constructions nautiques " sur les lacs qui peuvent comme en l'espèce faire l'objet d'une autorisation précaire ou " à bien plaire ", le droit cantonal vaudois permet en principe à l'autorité compétente de retirer en tout temps l'autorisation et d'ordonner le rétablissement de l'état naturel; celle-ci ne dispose toutefois pas d'une entière liberté ni d'un pouvoir discrétionnaire: le retrait doit être motivé par des considérations pertinentes d'intérêt public (MOOR/POLTIER, Droit administratif, vol. II, Les actes administratifs et leur contrôle, 3 e éd. 2011, ch. 1.2.4.3 p. 91 et ch. 2.4.3.6 p. 396; cf. également arrêt 1A.219/2004 du 21 septembre 2005 consid. 3.2).
L'Etat jouit ainsi d'une importante liberté d'appréciation dans la gestion de son domaine public et, plus particulièrement, dans l'octroi ou le refus de permission d'utilisation de ce domaine excédant l'usage commun (MOOR/BELLANGER/TANQUEREL, Droit administratif, vol. III, L'organisation des activités administratives. Les biens de l'Etat, 2ème éd. 2018, ch. 8.4.4.4 p. 723 s. et les références citées; dans ce sens également l'arrêt 2C_462/2012 du 23 octobre 2012 consid. 4.4).
4.4. Le Tribunal fédéral examine en principe librement l'interprétation et l'application du droit fédéral et du droit constitutionnel cantonal. Il examine en revanche sous l'angle restreint de l'arbitraire l'interprétation et l'application des autres règles du droit cantonal (cf. <ref-ruling> consid. 5.4 p. 43; arrêts 1C_450/2018 du 11 décembre 2019 consid. 3.1.4; 1C_337/2019 du 13 novembre 2019 consid. 3.1, destiné à la publication). Il fait en outre preuve de retenue dans les questions mettant en cause l'appréciation de circonstances locales, que les autorités cantonales connaissent mieux (cf. <ref-ruling> consid. 2.3 p. 270; arrêts 1C_337/2019 précité ibidem; 1C_347/2016 du 5 septembre 2017 consid. 3.1).
5.
Sans prétendre à un droit de propriété sur l'utilisation du domaine public en cause, le recourant se plaint de l'absence de base légale autorisant le retrait de son autorisation délivrée à bien plaire. Il fait également valoir que cette décision serait arbitraire: la présence de la bouée et de son bateau à laquelle il est amarré ne causerait aucune atteinte au paysage et n'entraverait en rien l'activité de la pêche; de plus, la pollution potentielle engendrée par son bateau serait notoirement négligeable. Il se prévaut également d'une violation du principe de la proportionnalité: la suppression de sa bouée ne serait pas la seule mesure apte à produire le résultat escompté.
5.1. Le principe de la proportionnalité exige qu'une mesure restrictive soit apte à produire les résultats escomptés (règle de l'aptitude) et que ceux-ci ne puissent être atteints par une mesure moins incisive (règle de la nécessité); en outre, il interdit toute limitation allant au-delà du but visé et il exige un rapport raisonnable entre celui-ci et les intérêts publics ou privés compromis (principe de la proportionnalité au sens étroit, impliquant une pesée des intérêts; <ref-ruling> consid. 3.5.1 p. 84; <ref-ruling> consid. 5.2.2 p. 104 et les arrêts cités). Le principe de la proportionnalité n'est pas, comme sa désignation l'indique, un droit fondamental mais uniquement un principe constitutionnel. Il peut être invoqué dans le cadre d'un recours en matière de droit public directement et indépendamment d'un droit fondamental (cf. <ref-ruling> consid. 5.3.2 p. 7; <ref-ruling> consid. 6.3.1 p. 267). Toutefois, lorsque le recourant s'en prévaut en relation avec le droit cantonal et indépendamment de toute atteinte à un droit fondamental, le Tribunal fédéral ne revoit pas le respect du principe de la proportionnalité librement, mais seulement sous l'angle de l'arbitraire (cf. <ref-ruling> consid. 5.3.2 p. 7 s. et les références citées).
5.2. S'agissant tout d'abord de l'absence de base légale alléguée, le recourant se limite à dire qu'il " serait arbitraire et abusif de laisser au bon vouloir du DSE, sans base légale clairement établie et contraignante, le pouvoir de supprimer l'ensemble des amarrages existants ".
Le recourant ne peut être suivi. En effet, ce dernier a été mis au bénéfice d'une autorisation d'utiliser à bien plaire une bouée sur le domaine public, délivrée par le canton. Or, en vertu de l'art. 4 al. 2 LLC, de telles autorisations peuvent être révoquées en tout temps par le département en charge de la gestion des eaux du domaine public (cf. art. 2 al. 1 LLC). Cette disposition laisse, certes, une certaine marge d'appréciation au département compétent; il n'en demeure pas moins qu'elle constitue une base légale claire et suffisante. Ce grief doit donc être écarté.
5.3.
5.3.1. Ensuite, comme cela a été exposé plus haut (supra consid. 4), il s'agit en l'occurrence de retirer une autorisation précaire d'usage du domaine public. Vu les clauses de cette autorisation, il suffit que l'autorité puisse invoquer des considérations pertinentes d'intérêt public, les inconvénients factuels pour le bénéficiaire n'étant donc pas déterminants.
L'état de fait retient tout d'abord la présence, dans la zone en cause, d'une vingtaine de bateaux amarrés au large d'une portion relativement restreinte du rivage. La cour cantonale en conclut que cette situation est de nature à avoir un impact sur les lieux; elle expose en outre que les amarrages ajoutent au site une empreinte non négligeable des activités humaines, en marquant un espace distinct de la rive, lequel serait sinon entièrement libre, empêchant en particulier les piétons de bénéficier d'une vue complètement dégagée sur le lac. Sur ce point, le recourant se contente d'affirmer que son voilier amarré se fonderait dans la forêt des quelque 200 autres voiliers situés dans le port du Vieux-Stand adjacent; de plus, un voilier amarré à une bouée ne saurait être qualifié de " moche " à côté d'une digue de quelque 200 mètres. Ce faisant, il se borne à apposer sa propre appréciation de la situation à celle effectuée par l'autorité précédente, qui bénéficie dans ce cadre d'une importante liberté d'appréciation (cf. supra consid. 4.4; <ref-ruling> consid. 4.2.1 p. 173; <ref-ruling> consid. 6.1 p. 181 s.). Il fait fi des autres bateaux amarrés aux bouées situées dans le même secteur et ayant fait l'objet de la même mesure de retrait d'utilisation, qui ont, quoi qu'en dise le recourant, un impact visuel sur le site en question.
Quant aux pollutions potentielles dispersées et non contrôlables engendrées par la présence des bateaux amarrés aux bouées en pleine eau, le recourant ne les remet pas véritablement en cause. Il se contente d'alléguer que la pollution possiblement causée par son bateau à voile serait notoirement négligeable. Or, comme déjà exposé, il oublie qu'il n'est pas ici question de la présence de son seul voilier amarré, mais de plusieurs bouées et corps-morts éparpillés dans une même zone, susceptibles de voir amarrer non seulement des bateaux à voile mais également à moteur.
Pour le reste, la cour cantonale a constaté la présence d'herbiers dans la zone en cause jouant un rôle non négligeable en termes de biodiversité et de bon fonctionnement du lac. Elle a également relevé les traces de ragage (frottement répété contre le fond lacustre de la chaîne retenant la bouée au corps-mort, entraîné par les mouvements du bateau) autour de la majorité des bateaux amarrés dans le secteur concerné ainsi que le fait que ce lieu bénéficiait d'une beine large, particulièrement propice à une telle flore; les installations en cause empêchaient ainsi le bon développement des herbiers présents dans un cadre qui leur est pourtant favorable. L'OFEV a confirmé que les herbiers lacustres représentaient un habitat propice aux poissons et que leur dégradation avait un impact négatif sur les espèces de poissons présentes. Le recourant ne conteste pas ces observations.
Quant à l'activité de la pêche, la cour cantonale a retenu que la présence de bouées et corps-morts éparpillés dans une même zone compliquait, voire empêchait la pose de filets pour la pratique de la pêche. L'affirmation du recourant selon laquelle sa bouée, au vu de sa position, n'entraverait aucun pêcheur local, ne saurait être assimilée à un fait notoire comme il l'allègue (cf. <ref-ruling> consid. 1.1.1 p. 383). Il ne discute pas davantage cette constatation de la cour cantonale.
5.3.2. Le recourant n'avance ainsi aucun argument susceptible de remettre en cause les motifs d'intérêts publics exposés de manière convaincante par les autorités précédentes, respectivement n'expose pas en quoi le droit fédéral aurait été violé ni en quoi les dispositions cantonales auraient été appliquées de manière arbitraire. Or, compte tenu des constatations de l'autorité précédente, que le recourant ne remet pas valablement en cause, il apparaît que la présence des bouées, respectivement des bateaux qui y sont amarrés à l'endroit litigieux, constituent effectivement une atteinte à la flore, et partant à la faune se trouvant dans l'espace lacustre attenant; de plus, la présence de ces bateaux est susceptible d'induire des pollutions potentielles et non contrôlables, respectivement complique, voire empêche la pratique de la pêche professionnelle; elle a également un impact visuel sur le paysage de la rive qui doit en principe rester libre. A cet égard, le recourant ne démontre d'ailleurs pas la nécessité objective du maintien de sa bouée dans la zone en cause, ce d'autant qu'une place dans le port de Paudex lui a été proposée. Il apparaît ainsi que le principe même de regrouper les amarrages dans les ports, respectivement de supprimer les bouées en pleine eau, sont des mesures adéquates pour préserver cette zone; on n'en voit d'ailleurs pas d'autres propres à garantir une protection équivalente. Celle proposée par le recourant consistant à adopter un " mouillage organisé " plus respectueuse et tout aussi efficace, est incomplète, comme l'a relevé la cour cantonale, dès lors qu'elle ne résout pas les questions d'impact sur le paysage, de pollutions potentielles engendrées par la présence des bateaux sur la rive ou encore d'entrave à la pêche professionnelle. L'OFEV a au demeurant relevé à cet égard que bien que les " mouillages organisés " avaient un impact moins négatif sur l'environnement par rapport aux autres types de système d'amarrage, ils menaçaient néanmoins l'écosystème environnant, en particulier en combinaison avec la navigation générée par l'installation. Au regard des seuls motifs de commodité et d'ordre économique du recourant au maintien de l'autorisation en cause, on ne saurait reprocher à la cour cantonale d'avoir fait prévaloir les intérêts publics poursuivis par le retrait contesté, ce d'autant qu'elle dispose dans ce domaine d'un large pouvoir d'appréciation et que le Tribunal fédéral s'impose une certaine retenue en matière d'appréciation des circonstances locales. Enfin, on ne distingue pas que la mesure en question empêcherait les activités de détente, de baignade et de sports nautiques auxquelles le recourant fait allusion.
Le Tribunal cantonal n'a en définitive pas violé les dispositions de droit fédéral, ni, de surcroît, appliqué arbitrairement le droit cantonal, en confirmant la décision du département cantonal mettant fin à une autorisation à bien plaire d'usage du domaine cantonal. Les griefs du recourant à ce propos sont donc mal fondés.
6.
Le recourant fait enfin valoir une violation du principe d'égalité de traitement. Il se contente à cet égard d'évoquer d'autres " bouées en pleine eau maintenues sur les communes adjacentes de Lutry et de Pully, dans la baie de Morges, et partout ailleurs ". Ce faisant, il n'avance aucun élément de détail qui permettrait légitimement de comparer les situations qu'il évoque avec la présente cause; son grief, insuffisamment motivé, est dès lors irrecevable (<ref-law>).
7.
Les considérants qui précèdent conduisent au rejet du recours, dans la mesure de sa recevabilité. Les frais judiciaires seront mis à la charge du recourant qui succombe (<ref-law>). Il n'y a pas lieu d'allouer de dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 4'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au recourant, au Département du territoire et de l'environnement, au Service du développement territorial, à la Municipalité de Paudex, à la Municipalité de Lutry, au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, ainsi qu'à l'Office fédéral du développement territorial et à l'Office fédéral de l'environnement.
Lausanne, le 16 juin 2020
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Chaix
La Greffière : Nasel