Faits : A. A.a. Le 1er février 2004, X._ a obtenu une place d'amarrage dans le port d'Ouchy pour un voilier. En novembre 2006, une procédure de retrait d'autorisation a été ouverte à son encontre, en raison du fait qu'il avait mis sa place d'amarrage à disposition de tiers, notamment son frère, et qu'il n'était pas lui-même titulaire d'un permis de naviguer. Par décision du 28 septembre 2007, la Police du commerce de la ville de Lausanne (ci-après: PCL) a maintenu l'autorisation, à condition que l'intéressé s'engage à respecter strictement les obligations liées à celle-ci. Un avertissement lui a en outre été notifié. Cette décision n'a pas fait l'objet d'un recours et est entrée en force. A.b. Le 13 juillet 2010, une nouvelle procédure de retrait d'autorisation a été ouverte à l'encontre de X._ au motif qu'il avait amarré un bateau à moteur "Zodiac" sur sa place (désormais attribuée dans le port de Vidy) alors qu'il n'était pas détenteur d'un permis l'autorisant à piloter cette embarcation. De plus, la seule personne ayant été vue en train d'utiliser le bateau était le frère de X._. Un délai au 31 juillet 2010 a été fixé à X._ pour évacuer le Zodiac du Port de Vidy. L'intéressé s'est conformé à cette injonction et n'a plus amarré de bateau sur sa place. Le 14 décembre 2010, la PCL a adressé à X._ une facture pour la taxe d'amarrage 2010. Un échange de courriers s'en est suivi entre la PCL et X._, celui-ci estimant qu'il ne devait pas verser l'intégralité du montant pour l'année en question. A.c. Par décision du 15 mars 2011, la Direction de la sécurité publique et des sports de la Ville de Lausanne (ci-après: Direction de la sécurité publique et des sports), dont dépendait la PCL, a informé X._ qu'elle renonçait à lui retirer sa place d'amarrage à condition qu'il en fasse un usage conforme, en particulier qu'il y stationne dans un délai raisonnable un bateau ne nécessitant pas de permis de naviguer, le Zodiac ne répondant pas à cette exigence. Elle a également invité X._ à s'acquitter de la taxe d'amarrage pour l'année 2010. B. B.a. Après avoir pris acte du fait que X._ était désormais au bénéfice d'un permis l'autorisant à piloter le Zodiac, la Direction de la sécurité publique et des sports a, par décision du 12 août 2011, modifié sa décision du 15 mars 2011 en ce sens que l'intéressé conservait sa place d'amarrage dans le port de Vidy et que l'immatriculation du Zodiac serait validée par le service de la police du commerce lorsque l'intéressé aurait procédé au paiement intégral de la taxe d'amarrage pour 2010 et 2011. Un avertissement lui a également été notifié, lui enjoignant de respecter toutes les conditions liées à son autorisation d'amarrage, en particulier, la condition de faire un usage personnel de son bateau et de demeurer l'unique capitaine de celui-ci. B.b. En date du 23 août 2011, X._ a adressé un recours à la Direction de la sécurité publique et des sports, contestant la condition du paiement intégral des taxes pour 2010 et 2011 ainsi que l'avertissement. B.c. Le recours contre les taxes d'amarrage 2010 et 2011 a été transmis à la Commission communale de recours en matière d'impôt et de taxes spéciales (ci-après: Commission de recours). Par la suite, X._ a également contesté les taxes d'amarrage pour les années 2012 et 2013. Par décision notifiée le 4 juillet 2014, la Commission de recours a rejeté le recours de X._ et confirmé que l'intéressé était débiteur de l'intégralité des taxes d'amarrage pour les années 2010 à 2013. Le recours formé contre cette décision a été déclaré irrecevable le 16 septembre 2014 par le Tribunal cantonal du canton de Vaud (ci-après: Tribunal cantonal) pour non-paiement de l'avance de frais. B.d. En tant qu'il portait sur l'avertissement, le recours a été transmis à la Municipalité de Lausanne, comme objet de sa compétence. Par décision du 26 mars 2015, la Municipalité de Lausanne l'a rejetéet a confirmé l'avertissement notifié à X._. Le 5 février 2016, le Tribunal cantonal a rejeté le recours formé par l'intéressé et confirmé la décision de la Municipalité de Lausanne. C. Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du 5 février 2016 du Tribunal cantonal, d'annuler la décision du 26 mars 2015 rendue par la Municipalité de Lausanne, ainsi que de constater que la Municipalité de Lausanne a violé l'art. 29 al. 1 Cst. Le Tribunal cantonal et la Municipalité de Lausanne concluent au rejet du recours. Par ordonnance de mesures provisionnelles du 18 avril 2016, le Président de la IIe Cour de droit public a autorisé X._ à exercer de manière effective un droit d'amarrage, en immatriculant le Zodiac VD *****, sur la place *** du port de Vidy, dès qu'il aura payé une taxe annuelle d'amarrage pour 2016 d'un montant de 540 fr. L'ordonnance précise également qu'aucun autre bateau que le Zodiac VD ***** n'est admis sur la place d'amarrage et que X._ doit pratiquer personnellement la navigation et respecter la réglementation lausannoise.