Faits :
A.
Le 26 mai 2008, le Conseil communal de la Commune de Paudex (ci-après: le Conseil communal) a donné son accord au réaménagement du port de plaisance communal. Le crédit nécessaire de 4'650'000 fr. a été voté le 5 mars 2012 et les travaux, débutés en juillet 2013, se sont achevés au début de l'été 2014.
Le 24 mars 2014, le Conseil communal a adopté un nouveau règlement du port, fixant notamment les règles d'attribution des places d'amarrage. Après un premier refus d'approbation du Chef du Département du territoire et de l'environnement du canton de Vaud, une nouvelle version a été adoptée le 27 octobre 2014 et approuvée par le canton le 13 janvier 2015. Le règlement du port, comprenant les tarifs de location arrêtés par la Municipalité de Paudex (ci-après: la Municipalité), est entré en vigueur le 1 er mars 2015.
B.
Le 31 mars 2015, la Municipalité a adressé à X._ une facture de 2'586 fr. 80 pour la location d'une place d'amarrage dans le port communal pour la période du 1 er juillet 2014 au 31 décembre 2015 (366 fr. 80 selon les anciens tarifs pour la période du 1 er juillet 2014 au 28 février 2015 et 2'220 fr. selon les nouveaux tarifs pour la période du 1 er mars au 31 décembre 2015). L'intéressé a contesté cette décision par courrier du 9 avril 2015. La Commission en matière de recours d'impôts et de taxes de la Commune de Paudex (ci-après: la Commission) a confirmé la facture contestée le 8 juin 2015. X._ a interjeté recours contre cette décision auprès de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) le 30 juin 2015.
Par arrêt du 18 mai 2016, le Tribunal cantonal a rejeté le recours de X._. Il a jugé en bref que la façon dont la Commune de Paudex avait choisi de financer le réaménagement et l'extension du port, c'est-à-dire par un financement par les seuls utilisateurs et pas par l'impôt général, était une décision politique qui ne pouvait plus être remise en cause dans le cadre d'un contrôle concret. Il a jugé en outre que le nouveau tarif n'était pas critiquable, en tant qu'il respectait les principes de la couverture des frais et de l'équivalence.
C.
Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, outre l'effet suspensif, d'annuler l'arrêt du 28 mai 2016 ( recte 18 mai 2016) du Tribunal cantonal, la décision du 8 juin 2015 de la Commission et la nouvelle taxation pour l'utilisation de sa place d'amarrage. Il se plaint de violation du droit fédéral.
Par ordonnance du 7 juillet 2016, le Juge présidant de la IIe Cour de droit public du Tribunal fédéral a rejeté la requête d'effet suspensif.
Le Tribunal cantonal se réfère à son arrêt et la Commune de Paudex conclut au rejet du recours.

Considérant en droit :
1.
1.1. Le recours est dirigé contre une décision finale (<ref-law>), rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF) dans une cause de droit public (<ref-law>) ne tombant pas sous le coup de l'une des exceptions prévues à l'<ref-law>. Il est donc en principe recevable comme recours en matière de droit public. Le recours a en outre été déposé en temps utile (<ref-law>) et dans les formes requises (<ref-law>) par le destinataire de l'acte attaqué (<ref-law>), de sorte qu'il convient d'entrer en matière, sous réserve de ce qui suit.
1.2. La conclusion tendant à l'annulation de la décision de la Commission du 8 juin 2015 est irrecevable en raison de l'effet dévolutif complet du recours auprès du Tribunal cantonal (<ref-ruling> consid. 1.2 p. 543).
1.3. L'objet de la contestation porté devant le Tribunal fédéral est déterminé par l'arrêt attaqué. L'objet du litige, délimité par les conclusions des parties (<ref-law>), ne saurait s'étendre au-delà de l'objet de la contestation (<ref-ruling> consid. 4.4.2 p. 156). Il ressort de l'arrêt entrepris que le recourant s'est " plaint du montant de la nouvelle taxe d'amarrage qu'il estimait abusif " devant la Commission. On peut déduire de ce grief qu'il n'a contesté que le montant de 2'220 fr. relatif à la période allant du 1 er mars au 31 décembre 2015, et pas de celui de 366 fr. 80 qui concerne la période qui précède et qui est soumis à l'ancien droit communal. Une telle déduction peut également être faite sur la base des motifs de l'arrêt entrepris et de la motivation du recours, qui ne font tous deux référence qu'au droit communal en vigueur depuis le 1 er mars 2015. Dans ces conditions, en ce que le recourant conclut à l'annulation de " la nouvelle taxation pour l'utilisation de la place d'amarrage ", il faut comprendre qu'il ne conteste que le montant de la location pour la période allant du 1 er mars au 31 décembre 2015, soumise au règlement du port du 27 octobre 2014. Dans la mesure où il désirerait contester le montant de 366 fr. 80, son recours devrait être déclaré irrecevable sur ce point car hors objet de la contestation.
2.
2.1. Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral (cf. art. 95 let. a et 106 al. 1 LTF), alors qu'il n'examine la violation de droits fondamentaux que si ce grief a été invoqué et motivé par le recourant, conformément au principe d'allégation (<ref-law>). Dans ce cas, l'acte de recours doit, sous peine d'irrecevabilité, contenir un exposé succinct des droits et principes constitutionnels violés et préciser en quoi consiste la violation (<ref-ruling> consid. 2.5 p. 314; <ref-ruling> consid. 2 p. 248).
2.2. Par ailleurs, le Tribunal fédéral conduit son raisonnement en se fondant sur les faits constatés par l'autorité précédente (cf. <ref-law>). Le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law>, et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>), ce que la partie recourante doit démontrer d'une manière circonstanciée, conformément aux exigences de motivation de l'<ref-law> (cf. <ref-ruling> consid. 1.4.3 p. 254 s.). La notion de "manifestement inexacte" correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 2.1 p. 450). En outre, aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (<ref-law>).
3.
3.1. Il ressort des faits retenus par le Tribunal cantonal que lors de sa séance du 26 mai 2008, le Conseil communal, lorsqu'il a donné son accord pour le réaménagement et l'extension du port de plaisance communal, s'est prononcé en faveur d'un financement par les utilisateurs du port et non par l'impôt général. Sur cette base, en dernier lieu dans sa séance du 27 octobre 2014, il a adopté le nouveau règlement du port et approuvé les tarifs fixés par la Municipalité. Cette dernière, retenant que, pour la somme de 4'650'000 fr. investie, les intérêts, lissés sur 50 ans, représentaient un montant de 57'780 fr. 90 par année, que l'amortissement sur 50 ans représentait quant à lui un montant de 93'000 fr. annuel et que les frais d'entretien annuels se montaient à 61'113 fr. (soit un total de 211'893 fr. 90), a arrêté le tarif à 128 fr. 31 par mètre carré (la surface du port étant de 1'651,45 m 2).
3.2. En l'occurrence, le recourant estime qu'on ne saurait faire supporter aux seuls utilisateurs du port le coût de son aménagement, dès lors que les nouvelles conditions d'amarrages ne sont que très peu améliorées. Il invoque une discrimination des utilisateurs au sens de " l'art. 4 Cst. ", ainsi qu'une violation des principes de l'universalité, de l'égalité de traitement et de la capacité économique au sens de l'art. 127 al. 2 Cst. Il relève également que la Commune n'a pas indiqué les critères servant de base aux tarifs et le barème de la taxe, qu'il estime antisociale.
4.
4.1. La souveraineté sur les eaux appartient aux cantons (art. 3 al. 1 de la loi du 3 octobre 1975 sur la navigation intérieure [LNI; RS 747.201]; cf. également <ref-law>). Selon l'art. 1 de la loi vaudoise du 5 septembre 1944 sur l'utilisation des lacs et cours d'eau dépendant du domaine public (LLC/VD; RSV 731.01), le droit de disposer des eaux dépendant du domaine public appartient à l'Etat.
4.2. Les places d'amarrage du port de plaisance de la Commune de Paudex sont par conséquent érigées sur le domaine public cantonal. Or, le canton de Vaud a délégué le pouvoir de disposition dudit domaine public à la Commune de Paudex, par le biais d'une concession (cf. art. 2 al. 1 et 4 al. 1 LLC/VD et art. 84 du règlement vaudois du 17 juillet 1953 d'application de la loi du 5 septembre 1944 sur l'utilisation des lacs et cours d'eau dépendant du domaine public et de la loi du 12 mai 1948 réglant l'occupation et l'exploitation des eaux souterraines dépendant du domaine public cantonal [RLLC/VD; RSV 731.01.1]). Selon l'art. 3a al. 1 RLLC/VD, tout ouvrage fixe établi sur le domaine public en vertu d'une concession demeure accessible au public. Ainsi, les places d'amarrage en cause, construites par la Commune de Paudex, demeurent établies sur le domaine public, malgré l'octroi d'une concession. Leur "location" à des particuliers, qui va limiter l'accès aux tiers, constitue donc à tout le moins un usage accru du domaine public (cf. arrêt P.1590/1983 du 30 mars 1984 consid. 1a, in ZBl 87/1986 p. 368).
4.3. Un tel usage accru peut être soumis à contribution (cf. HÄFELIN/MÜLLER/UHLMANN, Allgemeines Verwaltungsrecht, 7 e éd. 2016, n° 2289; TANQUEREL, Manuel de droit administratif, 2011, n° 216), en l'occurrence à une taxe d'utilisation. Cette taxe représente la contrepartie de l'utilisation d'une infrastructure publique lorsque le rapport d'utilisation est régi par le droit public (cf. arrêt 2C_226/2012 du 10 juin 2013 consid. 4.1, in Archives 82 p. 71; HÄFELIN/MÜLLER/ UHLMANN, op. cit., n° 2769; TANQUEREL, op. cit., n° 242).
4.4. En l'espèce, contrairement à ce que semble penser le recourant, ce sont uniquement les personnes bénéficiant d'une place d'amarrage qui retirent un avantage particulier de l'aménagement du port. L'art. 2 du règlement du port, qui dispose que le port est la portion du territoire affectée à l'amarrage des bateaux, y compris les installations nécessaires à cet effet, ne laisse subsister aucun doute à ce propos. Seules les personnes bénéficiant d'une place d'amarrage, qui font donc un usage accru du domaine public, sont concernées par l'utilisation du port. Pour cette raison, il convient de considérer la taxe annuelle prélevée par la Commune de Paudex auprès des "locataires" des places d'amarrage comme une taxe d'utilisation et pas comme un impôt d'affectation, les autres contribuables ne retirant aucun avantage particulier dans cette construction qui, au contraire, leur exclut un libre accès aux rives du lac.
4.5. C'est par conséquent à bon droit que la Commune de Paudex a décidé de faire supporter exclusivement aux "locataires" des places d'amarrage le montant des travaux d'aménagement et d'agrandissement du port communal.
5.
Le recourant invoque une violation de l'art. 127 Cst.
5.1. Le principe de la légalité gouverne l'ensemble de l'activité de l'Etat. Il revêt une importance particulière en droit fiscal où il est érigé en droit constitutionnel indépendant à l'art. 127 al. 1 Cst. Cette norme - qui s'applique à toutes les contributions publiques, tant fédérales que cantonales ou communales - prévoit en effet que les principes généraux régissant le régime fiscal, notamment la qualité de contribuable, l'objet de l'impôt et son mode de calcul, doivent être définis par la loi. Ces exigences valent en principe pour les impôts comme pour les contributions causales. La jurisprudence les a cependant assouplies en ce qui concerne la fixation de certaines contributions causales (dont fait partie la taxe d'utilisation). La compétence d'en fixer le montant peut ainsi être déléguée plus facilement à l'exécutif, lorsqu'il s'agit d'une contribution dont la quotité est limitée par des principes constitutionnels contrôlables, tels que ceux de la couverture des frais et de l'équivalence. Le principe de la légalité ne doit toutefois pas être vidé de sa substance ni, inversement, être appliqué avec une exagération telle qu'il entre en contradiction irréductible avec la réalité juridique et les exigences de la pratique (cf. <ref-ruling> consid. 7.2 p. 140).
5.2. Le principe d'équivalence - qui est l'expression du principe de la proportionnalité en matière de contributions publiques - implique que le montant de la contribution soit en rapport avec la valeur objective de la prestation fournie et reste dans des limites raisonnables. La valeur de la prestation se mesure soit à son utilité pour l'administré, soit à son coût par rapport à l'ensemble des dépenses de l'activité administrative en cause (<ref-ruling> consid. 2.1 p. 374 s.; <ref-ruling> consid. 3a/bb p. 188). Le principe d'équivalence n'exige pas que la contribution corresponde dans tous les cas exactement à la valeur de la prestation pour l'administré ou à son coût pour la collectivité; le montant de la contribution peut en effet être calculé selon un certain schématisme tenant compte de la vraisemblance et de moyennes. La contribution doit cependant être établie selon des critères objectifs et s'abstenir de créer des différences qui ne seraient pas justifiées par des motifs pertinents (arrêt 2C_329/2008 du 15 octobre 2008 consid. 4.2 et les références citées; HUNGERBÜHLER, Grundsätze des Kausalabgabenrechts, in ZBl 104/2003 p. 505 ss, p. 523 et la jurisprudence citée).
Selon le principe de la couverture des frais, le produit global des contributions ne doit pas dépasser, ou seulement de très peu, l'ensemble des coûts engendrés par la branche ou subdivision concernée de l'administration, y compris, dans une mesure appropriée, les provisions, les amortissements et les réserves (ATF <ref-ruling> consid. 3a/aa p. 188; <ref-ruling> consid. 6c p. 20). De telles réserves financières violent le principe précité lorsqu'elles ne sont plus justifiées objectivement, c'est-à-dire lorsqu'elles excèdent les besoins futurs prévisibles estimés avec prudence (<ref-ruling> consid. 4b p. 324 s.).
5.3. Les principes précités ne s'appliquent qu'avec certaines réserves à la taxe causale d'utilisation du domaine public. Ainsi, l'émolument y relatif n'est pas soumis au principe de la couverture des frais, puisque la collectivité publique ne subit en principe pas ou que peu de coûts lors de la mise à disposition du domaine public. Il s'agit par conséquent d'une taxe causale "indépendante des coûts" (kostenunabhängige Kausalabgabe; cf. arrêt 2C_226/2012 du 10 juin 2013 consid. 4.2 et les références citées; HUNGERBÜHLER, op. cit., p. 512, 518 et 522). Il en va toutefois différemment lorsque, comme en l'espèce, la collectivité publique met à disposition de certains administrés des installations spécifiques, onéreuses, et qu'il est donc possible de déterminer quels coûts sont à couvrir.
5.4. En l'occurrence, la Commune de Paudex a investi 4'650'000 fr. pour réaménager et agrandir son port de plaisance. L'art. 34 du règlement du port prévoit dorénavant que la location des places fait l'objet d'une facturation annuelle conformément au tarif établi par la Municipalité. Sur la base de cette disposition, la Municipalité a arrêté les tarifs de location des places d'amarrage le 30 septembre 2014. Ces tarifs ont ensuite été approuvés par le Conseil communal le 27 octobre 2014 et par la Cheffe du Département du territoire et de l'environnement du canton de Vaud le 13 janvier 2015. Il ressort de l'arrêt entrepris que la taxe prélevée annuellement auprès des utilisateurs du port est déterminée en fonction des mètres carrés à disposition de chacun de ceux-ci, le montant total de ces taxes représentant quant à lui les intérêts hypothécaires lissés sur 50 ans et l'amortissement sur 50 ans relatif au montant investi, ainsi que les frais d'entretien annuels du port.
Dans ces conditions, on ne saurait considérer que la taxe due chaque année par le recourant pour bénéficier d'une place d'amarrage ne remplit pas le principe de l'équivalence. Le coût d'utilisation du domaine public représente au plus près les dépenses consenties par l'administration communale pour mettre à disposition de ses administrés un port de plaisance leur permettant d'amarrer leurs embarcations. Il ne viole pas non plus le principe de la couverture des frais, puisque le produit global des taxes ne dépasse pas l'ensemble des coûts engendrés par le réaménagement et l'extension du port. Le principe de la perception étant prévu par l'art. 34 du règlement du port, c'est-à-dire par une loi au sens formel, et les tarifs arrêtés par la Municipalité ayant de surcroît été approuvés par le pouvoir législatif, la taxe en cause respecte le principe de la légalité, ainsi qu'il est prévu pour une taxe d'utilisation telle que celle en cause.
6.
Le recourant, citant l'art. 4 Cst., fait encore valoir un cas de discrimination des utilisateurs du port.
Une décision ou un arrêté viole le principe de l'égalité de traitement consacré à l'art. 8 al. 1 Cst. (et non pas à l'art. 4 Cst. comme le fait valoir le recourant) lorsqu'il établit des distinctions juridiques qui ne se justifient par aucun motif raisonnable au regard de la situation de fait à réglementer ou qu'il omet de faire des distinctions qui s'imposent au vu des circonstances, c'est-à-dire lorsque ce qui est semblable n'est pas traité de manière identique et ce qui est dissemblable ne l'est pas de manière différente. Il faut que le traitement différent ou semblable injustifié se rapporte à une situation de fait importante (<ref-ruling> consid. 3.5 p. 175; <ref-ruling> consid. 6.2.1 p. 348 s.).
Dans la mesure où il faudrait considérer que la motivation du recours en relation avec ce grief est suffisante et remplit les conditions de l'<ref-law>, ce qui est douteux, force serait de constater qu'il n'est aucunement question d'une situation d'inégalité de traitement, respectivement de discrimination en l'espèce. Toutes les personnes au bénéfice d'une place d'amarrage dans le port de plaisance de la Commune de Paudex paient une taxe qui correspond exactement à la surface qui leur est allouée, appliquant une même base de calcul pour tout le monde. Il n'est pas non plus question d'inégalité de traitement envers les autres contribuables, ceux-ci ne bénéficiant pas d'une place d'amarrage et ne se trouvant donc pas dans une situation semblable.
7.
Sur le vu de ce qui précède, le recours doit être rejeté dans la mesure où il est recevable. Succombant, le recourant doit supporter les frais judiciaires (<ref-law>). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux mandataires du recourant et de la Commune de Paudex ainsi qu'au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public.
Lausanne, le 5 décembre 2016
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Tissot-Daguette