Faits :
A.
A.a. Le 1er février 2004, X._ a obtenu une place d'amarrage dans le port d'Ouchy pour un voilier. En novembre 2006, une procédure de retrait d'autorisation a été ouverte à son encontre, en raison du fait qu'il avait mis sa place d'amarrage à disposition de tiers, notamment son frère, et qu'il n'était pas lui-même titulaire d'un permis de naviguer. Par décision du 28 septembre 2007, la Police du commerce de la ville de Lausanne (ci-après: PCL) a maintenu l'autorisation, à condition que l'intéressé s'engage à respecter strictement les obligations liées à celle-ci. Un avertissement lui a en outre été notifié. Cette décision n'a pas fait l'objet d'un recours et est entrée en force.
A.b. Le 13 juillet 2010, une nouvelle procédure de retrait d'autorisation a été ouverte à l'encontre de X._ au motif qu'il avait amarré un bateau à moteur "Zodiac" sur sa place (désormais attribuée dans le port de Vidy) alors qu'il n'était pas détenteur d'un permis l'autorisant à piloter cette embarcation. De plus, la seule personne ayant été vue en train d'utiliser le bateau était le frère de X._. Un délai au 31 juillet 2010 a été fixé à X._ pour évacuer le Zodiac du Port de Vidy. L'intéressé s'est conformé à cette injonction et n'a plus amarré de bateau sur sa place.
Le 14 décembre 2010, la PCL a adressé à X._ une facture pour la taxe d'amarrage 2010. Un échange de courriers s'en est suivi entre la PCL et X._, celui-ci estimant qu'il ne devait pas verser l'intégralité du montant pour l'année en question.
A.c. Par décision du 15 mars 2011, la Direction de la sécurité publique et des sports de la Ville de Lausanne (ci-après: Direction de la sécurité publique et des sports), dont dépendait la PCL, a informé X._ qu'elle renonçait à lui retirer sa place d'amarrage à condition qu'il en fasse un usage conforme, en particulier qu'il y stationne dans un délai raisonnable un bateau ne nécessitant pas de permis de naviguer, le Zodiac ne répondant pas à cette exigence. Elle a également invité X._ à s'acquitter de la taxe d'amarrage pour l'année 2010.
B.
B.a. Après avoir pris acte du fait que X._ était désormais au bénéfice d'un permis l'autorisant à piloter le Zodiac, la Direction de la sécurité publique et des sports a, par décision du 12 août 2011, modifié sa décision du 15 mars 2011 en ce sens que l'intéressé conservait sa place d'amarrage dans le port de Vidy et que l'immatriculation du Zodiac serait validée par le service de la police du commerce lorsque l'intéressé aurait procédé au paiement intégral de la taxe d'amarrage pour 2010 et 2011. Un avertissement lui a également été notifié, lui enjoignant de respecter toutes les conditions liées à son autorisation d'amarrage, en particulier, la condition de faire un usage personnel de son bateau et de demeurer l'unique capitaine de celui-ci.
B.b. En date du 23 août 2011, X._ a adressé un recours à la Direction de la sécurité publique et des sports, contestant la condition du paiement intégral des taxes pour 2010 et 2011 ainsi que l'avertissement.
B.c. Le recours contre les taxes d'amarrage 2010 et 2011 a été transmis à la Commission communale de recours en matière d'impôt et de taxes spéciales (ci-après: Commission de recours). Par la suite, X._ a également contesté les taxes d'amarrage pour les années 2012 et 2013. Par décision notifiée le 4 juillet 2014, la Commission de recours a rejeté le recours de X._ et confirmé que l'intéressé était débiteur de l'intégralité des taxes d'amarrage pour les années 2010 à 2013. Le recours formé contre cette décision a été déclaré irrecevable le 16 septembre 2014 par le Tribunal cantonal du canton de Vaud (ci-après: Tribunal cantonal) pour non-paiement de l'avance de frais.
B.d. En tant qu'il portait sur l'avertissement, le recours a été transmis à la Municipalité de Lausanne, comme objet de sa compétence.
Par décision du 26 mars 2015, la Municipalité de Lausanne l'a rejetéet a confirmé l'avertissement notifié à X._. Le 5 février 2016, le Tribunal cantonal a rejeté le recours formé par l'intéressé et confirmé la décision de la Municipalité de Lausanne.
C.
Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du 5 février 2016 du Tribunal cantonal, d'annuler la décision du 26 mars 2015 rendue par la Municipalité de Lausanne, ainsi que de constater que la Municipalité de Lausanne a violé l'art. 29 al. 1 Cst.
Le Tribunal cantonal et la Municipalité de Lausanne concluent au rejet du recours.
Par ordonnance de mesures provisionnelles du 18 avril 2016, le Président de la IIe Cour de droit public a autorisé X._ à exercer de manière effective un droit d'amarrage, en immatriculant le Zodiac VD *****, sur la place *** du port de Vidy, dès qu'il aura payé une taxe annuelle d'amarrage pour 2016 d'un montant de 540 fr. L'ordonnance précise également qu'aucun autre bateau que le Zodiac VD ***** n'est admis sur la place d'amarrage et que X._ doit pratiquer personnellement la navigation et respecter la réglementation lausannoise.

Considérant en droit :
1.
1.1. Le recours est dirigé contre un jugement final (art. 90 LTF), rendu par une autorité judiciaire de dernière instance cantonale (art. 86 al. 1 let. d et al. 2 LTF) dans une cause de droit public (art. 82 let. a LTF) ne tombant pas sous le coup des exceptions de l'art. 83 LTF. En outre, le recours a été déposé en temps utile (art. 100 al. 1 LTF) et dans les formes prescrites (art. 42 LTF). Il est donc recevable en tant que recours en matière de droit public.
1.2. La conclusion tendant à l'annulation de la décision de la Municipalité de Lausanne du 26 mars 2015 est irrecevable en raison de l'effet dévolutif complet du recours déposé auprès du Tribunal cantonal (<ref-ruling> consid. 1.2 p. 543).
2.
Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral et du droit international (cf. art. 95 let. a et b ainsi que 106 al. 1 LTF), sous réserve des exigences de motivation figurant à l'art. 106 al. 2 LTF. Il y procède en se fondant sur les faits constatés par l'autorité précédente (cf. art. 105 al. 1 LTF), à moins que ces faits n'aient été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (cf. art. 105 al. 2 LTF), en particulier en violation de l'interdiction de l'arbitraire (<ref-ruling> consid. 2.1 p. 450). Si le recourant entend s'écarter des constatations de fait de l'autorité précédente, il doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'art. 105 al. 2 LTF seraient réalisées et la correction du vice susceptible d'influer sur le sort de la cause (cf. art. 97 al. 1 LTF). Sinon, il n'est pas possible de tenir compte d'un état de fait divergent de celui qui est contenu dans l'acte attaqué (<ref-ruling> consid. 3 p. 104; <ref-ruling> consid. 5.2.2 p. 322). En particulier, le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (<ref-ruling> consid. 3 p. 104 s.; <ref-ruling> consid. 5.2.2 p. 322).
Conformément aux principes qui viennent d'être rappelés, le Tribunal fédéral ne pourra pas prendre en considération les modifications, compléments ou précisions de l'état de fait retenu par le Tribunal cantonal que le recourant entend apporter dans la partie "en fait" qui s'étale sur plus de 10 pages de son mémoire de recours. En effet, le recourant ne démontre pas l'arbitraire dans l'établissement des faits. En particulier, il n'expose pas en quoi la correction des erreurs qu'il dénonce aurait une influence sur l'issue du litige, ce que l'on ne discerne pas du reste. Les autres critiques du recourant relatives à l'appréciation des faits et des preuves visent en réalité l'appréciation juridique des faits à laquelle s'est livrée l'autorité précédente. Il s'agit là d'une question de droit qui sera examinée avec le fond (consid. 4). Par conséquent, il n'y a pas lieu de s'écarter des faits constatés dans l'arrêt entrepris.
3.
Le recourant reproche à l'autorité précédente d'avoir commis un déni de justice formel prohibé par l'art. 29 al. 1 Cst. En effet, ce serait à tort que le Tribunal cantonal aurait refusé de constater que la Municipalité de Lausanne a tardé à statuer dans la présente affaire.
3.1. Consacré à l'art. 29 al. 1 Cst., le principe de la célérité prévoit que toute personne a droit, dans une procédure judiciaire ou administrative, à ce que sa cause soit traitée équitablement et jugée dans un délai raisonnable. Cette disposition prohibe le retard injustifié à statuer. Viole la garantie ainsi accordée l'autorité qui ne rend pas une décision qu'il lui incombe de prendre dans le délai prescrit par la loi ou dans le délai que la nature de l'affaire et les circonstances font apparaître comme raisonnable. Le caractère raisonnable du délai s'apprécie selon les circonstances particulières de la cause, eu égard en particulier à la complexité de l'affaire, au comportement du requérant et à celui des autorités compétentes, ainsi qu'à l'enjeu du litige pour l'intéressé (<ref-ruling> consid. 4.4 p. 277; <ref-ruling> consid. 5.1 p. 331). Il appartient au justiciable d'entreprendre ce qui est en son pouvoir pour que l'autorité fasse diligence, que ce soit en l'invitant à accélérer la procédure ou en recourant, le cas échéant, pour retard injustifié (ATF <ref-ruling> consid. 5.2 p. 332). Cette règle découle du principe de la bonne foi (art. 5 al. 3 Cst.), qui doit présider aux relations entre organes de l'Etat et particuliers. Il serait en effet contraire à ce principe qu'un justiciable puisse valablement soulever ce grief devant l'autorité de recours, alors qu'il n'a entrepris aucune démarche auprès de l'autorité précédente, afin de remédier à cette situation (<ref-ruling> consid. 2b/aa p. 375 s.). En outre, dès que l'autorité a statué, le justiciable perd en principe tout intérêt juridique à faire constater un éventuel retard à statuer (cf. <ref-ruling> consid. 2.1 p. 500).
3.2. En l'occurrence, il est vrai que le délai de trois ans et sept mois qui s'est écoulé entre la décision de la Direction de la sécurité publique et des sports, du 12 août 2011, et celle sur recours de la Municipalité de Lausanne, du 26 mars 2015, est long. Toutefois, selon les constatations de l'autorité précédente, non contestées par le recourant, ce dernier n'est pas intervenu auprès de la Municipalité de Lausanne pour l'inviter à accélérer la procédure. Ce n'est qu'en date du 7 avril 2014 que son précédent conseil s'est adressé à la PCL pour proposer une solution au litige. Le recourant ne saurait être suivi lorsqu'il soutient qu'il ne pouvait pas intervenir plus tôt dans la procédure en raison de la complexité du dossier et du fait qu'il n'était pas assisté d'un conseil professionnel. D'une part, s'agissant de la complexité du dossier, le recourant se contredit puisqu'il affirme simultanément que la cause ne "présente aucune difficulté particulière" (p. 21 du recours). D'autre part, si le recourant s'estimait victime d'un retard injustifié à statuer, il lui était loisible de mandater un conseil avant le mois d'avril 2014, ce qu'il n'a pas fait. Du reste, le courrier du 7 avril 2014 de son conseil d'alors ne formule aucun reproche à l'encontre des autorités quant à un retard injustifié à statuer. En effet, comme l'a relevé l'autorité précédente, c'est pour la première fois dans le cadre de son recours devant elle que le recourant s'est plaint de la lenteur de la procédure. Compte tenu de ces circonstances, on ne saurait reprocher à l'instance précédente de ne pas avoir constaté une violation du principe de la célérité. Mal fondé, le grief du recourant est rejeté.
4.
Sur le fond, le recourant ne remet plus en cause devant le Tribunal fédéral la validité de la base légale de l'avertissement qui lui a été notifié. Il estime toutefois que celui-ci serait disproportionné et arbitraire. Il reproche, en substance, à l'autorité précédente d'avoir fait une application arbitraire du droit cantonal. Il soutient n'avoir violé aucune règle en vigueur depuis 2008, à l'exception du fait de ne pas avoir fait immatriculer son voilier en bois dès sa mise à l'eau.
4.1. Le principe de proportionnalité, dont la violation peut être invoquée de manière indépendante dans un recours en matière de droit public (cf. art. 95 al. 1 let. a LTF; <ref-ruling> consid. 6.3.1 p. 267; <ref-ruling> consid. 4.1 p. 156 et les références citées), commande que la mesure étatique soit nécessaire et apte à atteindre le but prévu et qu'elle soit raisonnable pour la personne concernée (<ref-ruling> précité consid. 6.3.1 p. 267 s.; <ref-ruling> consid. 5.8.2 p. 199). Le Tribunal fédéral a précisé que, lorsqu'il examine le droit cantonal indépendamment de toute atteinte à un droit fondamental, il n'en revoit pas le respect librement, mais seulement sous l'angle de l'arbitraire (<ref-ruling> consid. 5.3.2 p.7 s. et la jurisprudence citée). L'atteinte au principe de la proportionnalité soulevée ici se confond donc avec le grief d'arbitraire.
Selon la jurisprudence, une décision est arbitraire au sens de l'art. 9 Cst. lorsqu'elle est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et indiscuté ou encore heurte de manière choquante le sentiment de la justice et de l'équité. Le Tribunal fédéral ne s'écarte ainsi de la solution retenue par l'autorité cantonale de dernière instance que si elle est insoutenable ou en contradiction manifeste avec la situation effective, ou si elle a été adoptée sans motifs objectifs et en violation d'un droit certain. En revanche, si l'application de la loi défendue par l'autorité cantonale ne s'avère pas déraisonnable ou manifestement contraire au sens et au but de la disposition ou de la législation en cause, cette interprétation sera confirmée, même si une autre solution - éventuellement préférable - paraît possible (<ref-ruling>72 consid. 4.3.1 p. 177; <ref-ruling> consid. 2.4 p. 5). En outre, il ne suffit pas que les motifs de la décision critiquée soient insoutenables; encore faut-il que cette dernière soit arbitraire dans son résultat (<ref-ruling> consid. 3.4 p. 53 et les arrêts cités).
4.2. A teneur de l'art. 17 du règlement municipal de la commune de Lausanne du 31 mars 1971 sur les ports et le louage de bateaux (ci-après: RPLB), aucun bateau ne peut séjourner dans les ports ou abords immédiats de ceux-ci sans une autorisation du chef du port ou de la police. Les détenteurs de bateaux doivent s'annoncer dans les vingt-quatre heures; un emplacement déterminé de mouillage et d'amarrage peut leur être assigné (art. 18 al. 1 RPLB). Seul sera admis le bateau muni d'un permis de navigation (art. 18 al. 2 RPLB). Selon l'art. 21 RPLB, les places d'amarrage et d'entreposage temporaires ou à demeure sont accordées par la Direction de police. L'art. 28 RPLB précise que la Direction de police peut retirer en tout temps l'autorisation d'amarrage ou d'entreposage aux personnes qui enfreignent, de manière grave ou répétée, le règlement ou qui ne s'acquittent pas ponctuellement des taxes de location qui leur incombent selon le tarif municipal (al. 2). Le règlement municipal a régulièrement été complété par des directives dont la Municipalité de Lausanne a rappelé la teneur chaque début d'année aux titulaires de places d'amarrage dans les ports communaux (cf., en dernier lieu, les Directives du 23 février 2011 relatives à la gestion des places d'amarrage et d'entreposage dans les ports lausannois; ci-après: Directives 2011). Celles-ci disposent, notamment, que les autorisations sont personnelles et incessibles (cf. art. 5.2 Directives 2011), que le titulaire doit pratiquer la navigation personnellement et être à même de piloter seul son bateau (cf. art. 4.2 Directives 2011). En outre, les directives rappellent qu'une utilisation ou une mise à disposition de la place à des tiers ne peut en aucun cas être admise (cf. art. 2.9.3 Directives 2011).
4.3. En l'espèce, le recourant ne conteste pas avoir tardé à immatriculer le voilier VD **** à son nom. Ce n'est qu'après avoir été sommé de le faire par la PCL qu'il a procédé à l'immatriculation de celui-ci en mars 2008, à savoir une année après en être devenu propriétaire. Le recourant ne conteste pas non plus avoir amarré le Zodiac sur sa place au port de Vidy durant une partie de l'été 2010, alors qu'à ce moment-là, il n'en était pas le propriétaire. Selon un rapport établi par un inspecteur du lac, la seule personne qui a été vue en train de piloter le Zodiac durant la période en question était le frère du recourant, accompagné parfois de sa famille. Ces éléments suffisent à démontrer que, par son comportement, le recourant a enfreint différentes prescriptions régissant l'utilisation des places d'amarrage dans les ports lausannois. Comme le relève avec raison le Tribunal cantonal, certains des agissements du recourant étaient susceptibles de justifier le retrait de l'autorisation d'amarrage. Une telle sanction est notamment prévue lorsque, comme en l'espèce, le bénéficiaire de l'autorisation a mis à disposition sa place à un tiers (cf. art. 17.1.7 des Directives 2011). Compte tenu de ces circonstances, il n'est pas critiquable que les juges cantonaux aient considéré, en s'appuyant sur l'adage "qui peut le plus, peut le moins", que l'autorité pouvait se contenter de prononcer, en lieu et place du retrait de l'autorisation d'amarrage, un simple avertissement.
Les arguments avancés par le recourant ne permettent pas de remettre en cause l'appréciation du Tribunal cantonal. En particulier, le fait qu'il n'ait pas mis sa place d'amarrage à la disposition de son frère après le 1er août 2010 ne change rien au fait qu'avant cette date, l'intéressé a stationné sur sa place, sans autorisation, une embarcation dont il n'a pas fait un usage personnel. En tant que le recourant tente de relativiser l'importance de ses manquements en faisant valoir que ni les Directives, ni le RPLB n'interdisent au titulaire de l'autorisation d'amarrage de prêter son bateau de temps à autre à ses parents proches, il ne saurait être suivi. En effet, au moment des faits litigieux, le recourant n'était pas propriétaire du Zodiac. Il n'avait donc pas " prêté " son bateau à son frère, mais avait mis sa place d'amarrage à la disposition de ce dernier pour qu'il puisse y stationner son embarcation, au mépris des règles applicables.
Quant à la question de savoir si c'est à tort ou à raison que l'autorité cantonale a reproché au recourant d'avoir attendu l'année 2011 pour se faire délivrer un permis de naviguer pour le Zodiac, elle peut rester indécise, dès lors que ce point n'est pas susceptible de remettre en cause l'appréciation de l'autorité précédente dans son résultat.
Comme exposé ci-dessus, la mise à disposition de la place d'amarrage à un tiers était déjà en soi de nature à justifier un retrait de l'autorisation d'amarrage. Dans ces circonstances, on ne voit pas en quoi le prononcé d'un simple avertissement, sommant le recourant de respecter à l'avenir les règles applicables, serait contraire au principe de la proportionnalité, étant rappelé qu'il s'agit de la mesure la moins incisive possible. Dans tous les cas, on ne saurait reprocher à l'autorité précédente d'avoir versé dans l'arbitraire en confirmant la décision de la Municipalité de Lausanne prononçant un avertissement à l'encontre du recourant.
Entièrement mal fondé, le grief du recourant doit être rejeté.
4.4. Au regard de ce qui précède, le recours est rejeté. Succombant, le recourant doit supporter les frais judiciaires (art. 66 al. 1 LTF). Il n'est pas alloué de dépens à la Municipalité de Lausanne qui agit dans l'exercice de ses attributions officielles (art. 68 al. 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtées à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué à la mandataire du recourant, à la Municipalité de Lausanne et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public.
Lausanne, le 13 février 2017
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
La Greffière : Petry