Faits :
A.
A._, fils de ressortissants serbes vivant en Suisse depuis 1990, est né à Monthey en 1991. Il a pratiquement toujours vécu à St-Maurice, au domicile de ses parents, avec sa soeur et son frère.
Après avoir suivi toute sa scolarité à St-Maurice, A._ a effectué un préapprentissage de mécanicien durant une année. Il a ensuite entrepris un apprentissage de poly-bâtisseur storiste qu'il a volontairement cessé après plus de deux ans en raison d'une divergence d'opinion avec son maître d'apprentissage. Après plusieurs stages et une période d'inactivité de septembre 2011 à mai 2012, l'intéressé a temporairement exercé une activité de déménageur. Il a ensuite repris son apprentissage et obtenu son certificat fédéral de capacité (CFC) en juin 2014. Depuis septembre 2014, il travaille comme storiste au sein d'une entreprise basée à Lutry.
B.
En 2012, A._ a déposé une première demande de naturalisation ordinaire. Le Conseil municipal de St-Maurice l'a refusée, se fondant sur une décision du Ministère public condamnant, en 2009, l'intéressé pour lésions corporelles simples.
Le 5 août 2014, le prénommé a déposé une nouvelle demande de naturalisation ordinaire. Dans le cadre de l'instruction, il a été entendu par la Commission de naturalisation de la Commune de St-Maurice, le 26 novembre 2015.
Dans son rapport établi à la suite de cette audition, la commission de naturalisation préavise favorablement la demande. Elle relève que A._ n'est pas inscrit à l'office des poursuites et qu'il paie régulièrement ses impôts. Sur le plan des loisirs, il est fait mention de la pratique du football, durant plusieurs années, au sein du FC St-Maurice. Le prénommé parle couramment le français et ses connaissances de la Suisse sont jugées bonnes. Il ressort enfin de ce document qu'interpellé au sujet de ses soucis judiciaires, A._ a estimé qu'ils constituaient des "erreurs de jeunesse"; la commission de naturalisation remarque néanmoins qu'il s'agit du même discours que celui tenu dans le cadre de sa première demande de naturalisation, en 2012, et qu'en dépit de cela de nouvelles infractions avaient été commises en 2013, en particulier la détention d'un poing américain en violation de la législation sur les armes (art. 33 al. 2 de la loi fédérale sur les armes, les accessoires et les munitions du 10 juin 1997 [LArm; RS 514.54]).
Par décision du 27 janvier 2016, le conseil municipal a refusé d'octroyer à A._ le droit de cité. Sur demande de l'intéressé, dite autorité lui a transmis, le 25 avril 2016, les considérants de son prononcé. L'autorité communale a en substance considéré que bien que son casier judiciaire fût vierge, le prénommé ne remplissait pas les exigences de conformité à l'ordre juridique suisse définies par l'art. 14 let. c de la loi fédérale sur la nationalité du 29 septembre 1952 (LN; RS 141.0). Elle a par ailleurs estimé que son intégration était incomplète et qu'à cet égard le fait qu'il soit "un bon employé" était insuffisant. Le conseil municipal a également retenu que la situation professionnelle de A._ ne s'était stabilisée que récemment.
Contre cette décision, A._ a recouru à la Cour de droit public du Tribunal cantonal du Valais. Cette dernière a rejeté le recours par arrêt du 4 novembre 2016. La cour cantonale a en substance estimé qu'il ne pouvait être reproché au recourant de ne pas s'être conformé à l'ordre juridique suisse au sens de l'art. 14 let. c LN, les procédures pénales mentionnées par l'autorité communale n'ayant pas abouti à une condamnation. Le Tribunal cantonal a par ailleurs estimé que le contravention à la LArm ne faisait pas non plus obstacle à une naturalisation sous l'angle de la conformité à l'ordre juridique. La cour cantonale a en revanche jugé que l'appréciation du conseil municipal, en tant qu'elle excluait une intégration réussie, était soutenable. L'instance précédente a en particulier retenu qu'en dépit de ses déclarations et des mises en garde formulées par les autorités à l'occasion de sa première demande de naturalisation, le recourant avait néanmoins été condamné pénalement en 2013, démontrant ainsi son incapacité à adopter un comportement compatible avec une bonne intégration. Le Tribunal cantonal a également indiqué que l'intéressé avait, dans le cadre de cette procédure, fait montre d'une mauvaise collaboration en déclarant que le poing américain en sa possession constituait en réalité une boucle de ceinture.
C.
Par acte du 6 décembre 2016, A._ forme un recours constitutionnel subsidiaire par lequel il demande principalement l'annulation de l'arrêt attaqué et l'octroi du droit de cité de la Commune de St-Maurice; subsidiairement, il conclut au renvoi de la cause à l'autorité de première instance pour nouvelle décision.
Le Tribunal cantonal renonce à se déterminer de même que la Municipalité de St-Maurice, qui se réfère à sa décision ainsi qu'à l'arrêt entrepris.

Considérant en droit :
1.
Le recours en matière de droit public (<ref-law>) n'est pas ouvert contre les décisions relatives à la naturalisation ordinaire (<ref-law>). Le recours constitutionnel subsidiaire est par conséquent ouvert (<ref-law>).
1.1. A qualité pour former un tel recours celui qui a pris part à la procédure devant l'autorité précédente (<ref-law>) et a un intérêt juridique à l'annulation ou à la modification de la décision attaquée (<ref-law>). En l'espèce, le recourant, qui a pris part à la procédure devant l'instance précédente, peut se prévaloir d'un intérêt juridique protégé dans la mesure où il se prévaut essentiellement de l'interdiction de l'arbitraire (art. 9 Cst.; cf. <ref-ruling> consid. 1.4 p. 309 ss).
1.2. Le recours constitutionnel subsidiaire ne peut être formé que pour violation des droits constitutionnels (<ref-law>). En vertu de l'<ref-law>, applicable par renvoi de l'<ref-law>, les griefs y relatifs doivent être invoqués et motivés de façon détaillée en précisant en quoi consiste la violation, sous peine d'irrecevabilité (<ref-ruling> consid. 3 p. 237).
2.
A l'appui de son mémoire, le recourant produit un extrait de site internet d'achat de vêtements en ligne illustrant, notamment, une ceinture de marque VIP. S'agissant d'une pièce nouvelle, celle-ci est irrecevable (<ref-law>).
3.
Le recourant se plaint d'une contestation inexacte des faits.
3.1. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il peut néanmoins rectifier ou compléter les constatations de cette autorité si les faits ont été établis en violation d'un droit constitutionnel (<ref-law> en relation avec l'<ref-law>), ce que la partie recourante doit également démontrer d'une manière circonstanciée et précise, conformément aux exigences de motivation accrue posées à l'<ref-law> (par renvoi de l'<ref-law>; cf. <ref-ruling> consid. 3.2 p. 444 s.). Le Tribunal fédéral n'entre pas en matière sur des critiques appellatoires portant sur l'appréciation des preuves ou l'établissement des faits par l'autorité précédente (cf. <ref-ruling> consid. 5.2.2 p. 322).
3.2. En l'occurrence, est d'emblée irrecevable l'argumentation par laquelle le recourant conteste avoir voulu nier l'évidence en déclarant, au sujet de l'infraction à la LArm, que le poing américain en sa possession constituait en réalité une boucle de ceinture; purement appellatoires, les explications données à ce sujet ne démontrent pas en quoi les constatations cantonales seraient arbitraires sur ce point (<ref-law>); la condamnation pénale fondée sur ces faits est de surcroît entrée en force sans avoir, de l'aveu même du recourant, été contestée.
3.3. Le recourant soutient qu'après le premier refus de naturalisation il n'aurait occupé les autorités pénales qu'à une occasion et non, comme l'a mentionné le Tribunal cantonal "à plusieurs reprises et ceci juste avant sa demande de naturalisation". Le Tribunal cantonal a certes à tort employé cette formulation large, au terme de son examen du critère d'intégration; ce point demeure cependant sans influence: l'arrêt attaqué retrace en détail l'historique des procédures pénales auxquelles a été mêlé le recourant, chronologie dont il ressort sans conteste que celui-ci n'a été inquiété, entre ses deux demandes de naturalisation, qu'à l'occasion de la procédure liée à la violation de la LArm (cf. consid. 5.2 et 5.3). Ce grief se révèle partant infondé et doit être écarté.
3.4. Sur le vu de ce qui précède, le Tribunal cantonal s'en tiendra au fait tels qu'établis souverainement par l'instance précédente (<ref-law>).
4.
Les conditions minimales d'aptitude à la naturalisation sont prévues par l'art. 14 LN (cf. également art. 38 al. 2 Cst.). Selon cette disposition, pour déterminer si un candidat est apte à la naturalisation, il convient en particulier d'examiner s'il s'est intégré dans la communauté suisse (let. a), s'il s'est accoutumé au mode de vie et aux usages suisses (let. b), s'il se conforme à l'ordre juridique suisse (let. c) et s'il ne compromet pas la sûreté intérieure ou extérieure de la Suisse (let. d).
Sur le plan cantonal, l'art. 3 al. 1 de la loi sur le droit de cité valaisan du 18 novembre 1994 (RS/VS 141.1) prévoit que, pour demander le droit de cité communal, l'étranger doit, notamment, être intégré dans la communauté valaisanne (ch. 3), apporter des preuves suffisantes de bonne conduite (ch. 4), s'être accoutumé au mode de vie et aux usages du pays (ch. 5) et accepter et respecter les principes constitutionnels et l'ordre juridique suisse (ch. 6). Selon l'art. 4 du règlement du 28 novembre 2007 concernant l'exécution de la loi sur le droit de cité (RS/VS 141.100), la commune de domicile examine l'intégration du requérant, en collaboration avec le service cantonal compétent (al. 1); l'examen porte notamment sur les connaissances linguistiques, l'acceptation et le respect de l'ordre public et des valeurs fondamentales de la démocratie suisse, le comportement en général, ainsi que la participation à la vie sociale et associative (al. 2).
4.1. En l'espèce, seule est litigieuse la question de l'intégration du recourant dans la communauté. Selon la jurisprudence, cette notion se rapporte à l'accueil de la personne étrangère dans la société suisse et à sa disposition à s'insérer dans le contexte social suisse, sans pour autant abandonner son identité et sa nationalité d'origine. L'intégration est généralement considérée comme un processus de rapprochement réciproque entre la population indigène et la population étrangère (cf. Message du 21 novembre 2001 concernant le droit de la nationalité des jeunes étrangers et révision de la loi sur la nationalité, FF 2002 p. 1844; cf. également CÉLINE GUTZWILLER, Droit de la nationalité et fédéralisme en Suisse, 2008, n. 556).
Lorsqu'il s'agit d'examiner l'intégration d'un candidat à la naturalisation, notamment son intégration locale, les autorités cantonales et communales bénéficient d'un large pouvoir d'appréciation dont le Tribunal fédéral ne revoit l'exercice qu'avec retenue (cf. arrêt 1D_2/2013 du 14 novembre 2013 consid. 2.5; UEBERSAX/PETRY, Le Tribunal fédéral et la loi sur la nationalité, avec un tour d'horizon du nouveau droit, in Actualité du droit des étrangers, vol. I, 2016, p. 39 s.). La notion d'intégration comprend une vaste gamme de critères, au nombre desquels figurent notamment le respect de la Constitution et de l'ordre juridique suisse, la participation à la vie sociale, les connaissances linguistiques et l'intégration professionnelle (Manuel sur la nationalité, Secrétariat d'Etat aux migrations SEM, chapitre IV, n. 4.7.2.1, p. 24, disponible sur https://www.sem.admin.ch/ sem/fr/home/publiservice/weisungen-kreisschreiben/buergerrecht.html, consulté le 7 mars 2017 [ci-après: Manuel sur la nationalité]; cf. SOW/MAHON, Code annoté de droit des migrations, vol. V, Loi sur la nationalité, 2014, n. 13 ss ad art. 14 LN). Une intégration suffisante doit cependant être niée en cas de comportement négatif, notamment de la part de jeunes candidats qui usent de violence ou ont une attitude répréhensible répétée (cf. Manuel sur la nationalité, chapitre IV, n. 4.7.2.1 let. bb, p. 26; SOW/MAHON, op. cit, n. 18 ad art. 14 LN).
5.
Sur le fond, le recourant soutient qu'il serait arbitraire d'avoir nié son intégration au sein de la communauté.
5.1. Une décision est arbitraire (art. 9 Cst.) lorsqu'elle contredit clairement la situation de fait, qu'elle viole gravement une norme ou un principe juridique clair et indiscuté ou qu'elle heurte d'une manière choquante le sentiment de la justice et de l'équité. Il n'y a pas arbitraire du seul fait qu'une solution autre que celle de l'autorité cantonale semble concevable, voire préférable (<ref-ruling> consid. 2.1 p. 211). Pour qu'une décision soit annulée pour cause d'arbitraire, il ne suffit pas que sa motivation soit insoutenable; il faut encore que cette décision soit arbitraire dans son résultat (<ref-ruling> consid. 2.4 p. 5 et les arrêts cités).
5.2. Il ressort de l'arrêt attaqué que le recourant s'est vu infliger, le 9 octobre 2013, une amende de 200 fr. pour contravention à la législation sur les armes (art. 33 al. 2 LArm). Bien qu'il n'ait été condamné qu'à cette occasion, le Tribunal cantonal a retenu que le recourant avait occupé à plusieurs reprises les services de police et de justice, faisant parfois montre d'une mauvaise collaboration. Il a ainsi été mêlé, selon un compte-rendu de la police municipale du 24 août 2015, à deux bagarres en 2008 et 2009. Ces faits ont abouti à une ordonnance de classement du 17 mai 2011. Il en va de même de la procédure ouverte en 2009 pour lésions corporelles (<ref-law> [RS 311.0]), qui s'est conclue par une ordonnance de classement du 17 mai 2011 et non par une condamnation, comme l'a, à tort, retenu l'autorité communale. Quant à la procédure engagée en 2006 par le Tribunal des mineurs, elle a pris fin par le prononcé d'un non-lieu, le 26 mars 2007. La cour cantonale a par ailleurs constaté que le recourant ne faisait l'objet d'aucune procédure en cours lors du dépôt de sa demande de naturalisation, en août 2014, et que son casier judiciaire était vierge.
5.3. Sur la base de ces éléments, contrairement au conseil municipal, le Tribunal cantonal a jugé que le droit de cité ne pouvait être refusé au recourant sous l'angle des art. 14 let. c LN et 3 al. 1 ch. 6 de la loi cantonale sur le droit de cité - dispositions imposant la conformité à l'ordre juridique suisse - à défaut, sous réserve d'une contravention, de condamnation pénale. La cour cantonale a malgré tout confirmé la décision communale refusant le droit de cité; à cet égard, l'instance précédente a considéré que le comportement général du recourant était incompatible avec l'exigence d'une bonne intégration au sein de la communauté.
Pour sa part, le recourant reproche au Tribunal cantonal d'avoir conclu à sa mauvaise intégration en se fondant principalement sur d'anciennes procédures pénales n'ayant pas abouti; il affirme également qu'il serait arbitraire d'avoir, dans le cadre de l'examen de son aptitude à la naturalisation, tenu compte de sa condamnation pour une contravention à la LArm. Ce faisant, le recourant perd toutefois de vue que l'élément déterminant ayant conduit le Tribunal cantonal à confirmer le refus du droit de cité, respectivement à nier son intégration, réside dans son incapacité à adopter une bonne conduite et une bonne moralité en dépit d'un premier refus de naturalisation justifié par des motifs d'ordre pénal. Dans le cadre de l'examen de son comportement, son parcours judiciaire et sa condamnation, qui n'excluent en eux-mêmes - il est vrai - pas la naturalisation sous l'angle de l'art. 14 let. c LN (cf. Manuel sur la nationalité, chapitre IV, n. 4.7.3.1 let. c/bb, p. 37; SOW/MAHON, op. cit, n. 29 ad art. 14 LN), constituent néanmoins des indices d'une attitude incompatible avec l'exigence d'une intégration réussie. A cet égard, comme le relève la cour cantonale, lors de sa première audition par la commission de naturalisation, en 2012, le recourant, confronté à ses démêlés antérieurs avec la justice, avait prétendu ne plus commettre d'actes répréhensibles, qualifiant les faits qui lui étaient alors reprochés d'"erreurs de jeunesse"; à cette occasion, le recourant avait en outre été rendu attentif par le Service cantonal de la population et des migrations (SPM) et par la commission de naturalisation à l'obligation d'adopter un "comportement adéquat et convenable" pour pouvoir prétendre à la naturalisation. Or, malgré ses déclarations et les avertissements des autorités compétentes, le recourant a tout de même fait l'objet d'une nouvelle procédure pénale aboutissant à une condamnation pour violation de la LArm, en 2013; devant la commission de naturalisation, l'intéressé a de surcroît cherché à minimiser l'influence des faits incriminés en prétextant - une fois encore - une "erreur de jeunesse", alors même qu'il était âgé de 22 ans révolus, lors de son interpellation. Au regard de l'ensemble de ces circonstances, il n'est ainsi pas insoutenable d'avoir jugé que le recourant présentait, indépendamment de l'issue des procédures pénales passées et du degré de gravité de l'infraction commise en 2013, une incapacité à adopter un comportement compatible avec une bonne intégration, lors du dépôt de sa dernière demande de naturalisation.
En définitive, compte tenu du large pouvoir d'appréciation dont bénéficient les autorités cantonales dans cette matière, il n'est pas critiquable, sous l'angle de l'arbitraire, d'avoir refusé au recourant le droit de cité communal au motif d'un comportement inadéquat, ce d'autant moins que l'intéressé pourra - comme l'a rappelé la cour cantonale - déposer une nouvelle requête, après avoir démontré la tenue d'une attitude sociale irréprochable, sur une période plus significative que les neuf mois séparant sa condamnation du dépôt de sa dernière demande.
5.4. Entièrement mal fondé, le grief doit être rejeté.
6.
Les considérants qui précèdent conduisent au rejet du recours, dans la mesure de sa recevabilité, aux frais du recourant qui succombe (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué à la mandataire du recourant, à la Commune de St-Maurice et au Tribunal cantonal du canton du Valais, Cour de droit public.
Lausanne, le 22 mars 2017
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Merkli
Le Greffier : Alvarez