Faits :
A.
B._ SA est une société inscrite au registre du commerce du canton du Valais. Elle a exploité, dès le 2 juillet 2009, un bar discothèque à Collombey-Muraz. Cet établissement public de vente de boissons alcoolisées était au bénéfice d'une autorisation d'exploitation octroyée par le Conseil communal de Collombey-Muraz (ci-après: Conseil communal). Dès le 4 mars 2010 et à plusieurs reprises, le Conseil communal a constaté que l'établissement ne respectait pas certaines exigences de l'autorisation et a sommé ce dernier d'y remédier. Le 24 juin 2011, une soirée a nécessité l'intervention de la police, certains consommateurs se lançant des extincteurs ou les vidant en direction du fumoir. Dans la nuit du 17 au 18 septembre 2011, une bagarre a éclaté à l'entrée de l'établissement et plusieurs personnes ont été blessées à l'arme blanche.
Suite aux événements précités, le Conseil communal, par décision du 19 septembre 2011, a ordonné la fermeture de l'établissement, au minimum jusqu'au 30 novembre 2011, et retiré l'effet suspensif à un éventuel recours. Il a conditionné la réouverture à la mise en place d'un service d'ordre à l'intérieur et à l'extérieur de l'établissement. B._ SA a recouru contre cette décision auprès du Conseil d'Etat du canton du Valais (ci-après: Conseil d'Etat). Celui-ci, dans une décision incidente du 11 octobre 2011, a refusé de restituer l'effet suspensif. Cette décision a été confirmée en dernier lieu par le Tribunal cantonal du canton du Valais (ci-après: Tribunal cantonal).
Par décision du 21 mars 2012, le Conseil d'Etat a rejeté le recours administratif de B._ SA. Il a en particulier estimé que les événements survenus aux abords immédiats de l'établissement constituaient un désordre grave qui permettait au Conseil communal d'ordonner la fermeture pour une durée déterminée, afin de préserver l'ordre et la tranquillité publics. La mesure ordonnée par le Conseil communal n'était pas disproportionnée, compte tenu des intérêts publics lésés. Il a en outre constaté que le Conseil communal avait levé la mesure le 5 décembre 2011, le nouveau concept de sécurité présenté par l'exploitante remplissant les conditions à une réouverture. Le 14 mai 2012, B._ SA a recouru auprès du Tribunal cantonal contre cette décision.
Le 15 mai 2012, la faillite de B._ SA a été prononcée par le Tribunal de district de Monthey. Le Tribunal cantonal a ordonné la suspension de la procédure le 19 avril 2012 ( recte le 19 juin 2012). Il a repris celle-ci le 6 novembre 2012, suite à la cession, par la masse en faillite, des droits afférant à la cause à A._ (<ref-law>).
B.
Par arrêt du 12 décembre 2013, le Tribunal cantonal a rejeté le recours. Il a considéré en substance que la mesure ordonnée par le Conseil communal et confirmée par le Conseil d'Etat était fondée sur une base légale suffisante et qu'elle était proportionnée en fonction des intérêts publics et privés en présence.
C.
Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral, sous suite de frais et dépens, principalement de " réformer l'arrêt rendu le 12 décembre 2013 par la Cour de droit public du Tribunal cantonal du Valais, en ce sens que le recours formé contre le prononcé du Conseil d'Etat du 21 mars 2012 est admis, la décision de la commune de Collombey-Muraz du 19 septembre 2011 étant déclarée illégale ", subsidiairement d' "annuler l'arrêt rendu le 12 décembre 2013 par la Cour de droit public du Tribunal cantonal du Valais et renvoyer la cause à la Cour de droit public du Tribunal cantonal du Valais pour nouvel arrêt ". Invoquant les art. 29 al. 2 Cst. et 27 al. 1 Cst., il dénonce une violation de son droit d'être entendu et de la garantie de la liberté économique.
La Commune de Collombey-Muraz et le Tribunal cantonal renoncent à se déterminer. Le Conseil d'Etat conclut au rejet du recours.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office sa compétence (<ref-law>). Il contrôle librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 439; <ref-ruling> consid. 1 p. 103).
1.1. L'arrêt attaqué est une décision finale (<ref-law>), rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF). Déposé en temps utile (<ref-law>) et dans les formes prescrites (<ref-law>), le recours en matière de droit public est par conséquent en principe recevable, sous réserve de ce qui suit.
1.2. Conformément à l'<ref-law>, a qualité pour former un recours en matière de droit public quiconque a pris part à la procédure devant l'autorité précédente ou a été privé de la possibilité de le faire (let. a), est particulièrement atteint par la décision attaquée (let. b) et a un intérêt digne de protection à son annulation ou à sa modification (let. c). Constitue un intérêt digne de protection au sens de l'art. 89 al. 1 let. c LTF, tout intérêt pratique ou juridique à demander la modification ou l'annulation de la décision attaquée. Cet intérêt doit être direct et concret (à propos de ces notions, cf. <ref-ruling> consid. 2.1.2 p. 164 s.; <ref-ruling> consid. 2.3 p. 43; <ref-ruling> consid. 6.1 p. 150). En outre, la qualité pour recourir au Tribunal fédéral suppose un intérêt actuel à obtenir l'annulation de la décision attaquée. Cet intérêt doit exister tant au moment du dépôt du recours qu'au moment où l'arrêt est rendu. Ainsi, si l'intérêt actuel n'existe plus au moment du dépôt du recours, celui-ci est déclaré irrecevable. Lorsque cet intérêt disparaît durant la procédure devant le Tribunal fédéral, la cause est radiée du rôle comme devenue sans objet (<ref-ruling> consid. 1.1 p. 208; <ref-ruling> consid. 1.3.1 p. 24; Florence Aubry Girardin, in Commentaire de la LTF, 2e éd. 2014, n° 23 ad <ref-law>).
1.3. En vertu de l'art. 42 al. 1 et 2 LTF, à moins que cela ne fasse d'emblée aucun doute, la partie recourante doit, sous peine d'irrecevabilité, exposer en quoi les conditions de recevabilité sont réunies, en particulier en quoi elle a qualité pour recourir (<ref-ruling> consid. 2.2.3 p. 48; <ref-ruling> consid. 1.2 p. 428 s.; <ref-ruling> consid. 1.1 p. 251).
1.4. En l'occurrence, l'effet suspensif à la mesure ordonnée par la Commune a été retiré et la mesure exécutée. S'agissant de l'intérêt actuel à l'annulation de l'arrêt entrepris, l'instance précédente considère implicitement qu'un tel intérêt n'existe plus, mais qu'il est possible, dans le cas d'espèce, d'en faire abstraction (cf. consid. 2 de l'arrêt attaqué).
1.4.1. Le Tribunal fédéral peut également faire abstraction de l'exigence de l'intérêt actuel lorsque la contestation peut se reproduire en tout temps dans des circonstances identiques ou analogues, que sa nature ne permet pas de la trancher avant qu'elle ne perde son actualité et que, en raison de sa portée de principe, il existe un intérêt public suffisamment important à la solution de la question litigieuse (<ref-ruling> consid. 1.1 p. 208; <ref-ruling> consid. 1.3.1 p. 24 s.; <ref-ruling> consid. 1.1 p. 81).
1.4.2. Faisant référence à une jurisprudence du Tribunal fédéral (arrêt 1C_322/2011 du 19 décembre 2011 consid. 1) et à l'arrêt attaqué, le recourant est d'avis que la question de la fermeture temporaire d'établissements publics tombe justement dans cette catégorie de contestations. Il n'explique cependant pas concrètement pourquoi, dans le cas d'espèce, il conviendrait de renoncer à un intérêt actuel. Faute de motivation suffisante, son recours doit être déclaré irrecevable (cf. consid. 1.3 ci-dessus).
Il faut également mentionner que le présent litige porte exclusivement sur la question de la proportionnalité d'une mesure de police du commerce. Or, le Tribunal fédéral a déjà à plusieurs reprises eu l'occasion de se prononcer sur la proportionnalité de telles mesures, sans qu'il doive être fait abstraction de l'exigence de l'intérêt actuel (cf. par exemple arrêts 2C_1090/2013 du 23 juin 2014 consid. 4; 2C_312/2009 du 5 octobre 2009 consid. 3; 2C_147/2009 du 4 mai 2009 consid. 8). Cela démontre que ces mesures, au contraire de celle traitée dans la jurisprudence citée par le recourant qui concerne une autorisation à manifester à une date précise, soit une décision négative pour laquelle la notion d'effet suspensif n'a pas de sens (cf. <ref-ruling> consid. 3b et 3c p. 408 ss; Thierry Tanquerel, Manuel de droit administratif, 2011, n° 1394 p. 458), peuvent être tranchées avant qu'elles ne perdent leur actualité. Certes, l'effet suspensif a été retiré. Toutefois, le retrait de l'effet suspensif ne pouvait être prononcé qu'en respectant des conditions strictes, notamment en procédant à une pesée des intérêts en cause (cf. <ref-ruling> consid. 3 p. 289). Il était possible au recourant, à condition de démontrer à ce moment-là que la décision incidente confirmée par le Tribunal cantonal lui causait un préjudice irréparable (cf. <ref-law>), de contester celle-ci auprès du Tribunal fédéral. Renoncer à un intérêt actuel dans une telle situation reviendrait ainsi à vider de son sens cette notion et à entrer en matière systématiquement à chaque fois que l'effet suspensif a été retiré et la décision exécutée.
1.5. Partant, le recourant n'ayant pas démontré à satisfaction de droit que les conditions de recevabilités étaient réunies, son recours est irrecevable.
2.
Succombant, le recourant doit supporter les frais de la procédure fédérale (<ref-law>). Il n'est pas alloué de dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est irrecevable.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au mandataire du recourant, à la Commune de Collombey-Muraz, au Conseil d'Etat du canton du Valais et au Tribunal cantonal du canton du Valais, Cour de droit public.
Lausanne, le 18 juillet 2014
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Le Greffier :
Zünd Tissot-Daguette