Faits : A. Le 26 mai 2008, le Conseil communal de la Commune de Paudex (ci-après: le Conseil communal) a donné son accord au réaménagement du port de plaisance communal. Le crédit nécessaire de 4'650'000 fr. a été voté le 5 mars 2012 et les travaux, débutés en juillet 2013, se sont achevés au début de l'été 2014. Le 24 mars 2014, le Conseil communal a adopté un nouveau règlement du port, fixant notamment les règles d'attribution des places d'amarrage. Après un premier refus d'approbation du Chef du Département du territoire et de l'environnement du canton de Vaud, une nouvelle version a été adoptée le 27 octobre 2014 et approuvée par le canton le 13 janvier 2015. Le règlement du port, comprenant les tarifs de location arrêtés par la Municipalité de Paudex (ci-après: la Municipalité), est entré en vigueur le 1 er mars 2015. B. Le 31 mars 2015, la Municipalité a adressé à X._ une facture de 2'586 fr. 80 pour la location d'une place d'amarrage dans le port communal pour la période du 1 er juillet 2014 au 31 décembre 2015 (366 fr. 80 selon les anciens tarifs pour la période du 1 er juillet 2014 au 28 février 2015 et 2'220 fr. selon les nouveaux tarifs pour la période du 1 er mars au 31 décembre 2015). L'intéressé a contesté cette décision par courrier du 9 avril 2015. La Commission en matière de recours d'impôts et de taxes de la Commune de Paudex (ci-après: la Commission) a confirmé la facture contestée le 8 juin 2015. X._ a interjeté recours contre cette décision auprès de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) le 30 juin 2015. Par arrêt du 18 mai 2016, le Tribunal cantonal a rejeté le recours de X._. Il a jugé en bref que la façon dont la Commune de Paudex avait choisi de financer le réaménagement et l'extension du port, c'est-à-dire par un financement par les seuls utilisateurs et pas par l'impôt général, était une décision politique qui ne pouvait plus être remise en cause dans le cadre d'un contrôle concret. Il a jugé en outre que le nouveau tarif n'était pas critiquable, en tant qu'il respectait les principes de la couverture des frais et de l'équivalence. C. Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, outre l'effet suspensif, d'annuler l'arrêt du 28 mai 2016 ( recte 18 mai 2016) du Tribunal cantonal, la décision du 8 juin 2015 de la Commission et la nouvelle taxation pour l'utilisation de sa place d'amarrage. Il se plaint de violation du droit fédéral. Par ordonnance du 7 juillet 2016, le Juge présidant de la IIe Cour de droit public du Tribunal fédéral a rejeté la requête d'effet suspensif. Le Tribunal cantonal se réfère à son arrêt et la Commune de Paudex conclut au rejet du recours.