Faits :
A.
A._ a notamment exercé, entre 2012 et 2014, une activité de chauffeur de limousine à temps partiel et de chauffeur poids lourds. Dès le 1er octobre 2014, il a régulièrement été employé comme chauffeur de taxi professionnel par la société B._ à Vevey.
Le 3 novembre 2018, A._ a été interpellé dans son véhicule à la place de la Gare à Vevey, alors qu'il attendait des clients. L'analyse a ensuite révélé un taux d'alcool de 1.73 o/oo dans le sang. Par ordonnance pénale du Ministère public de l'arrondissement de l'Est vaudois du 9 janvier 2019, A._ a été condamné pour conduite en état d'ébriété avec un taux d'alcool qualifié de 1.73 o/oo (art. 91 al. 1 let. b et al. 2 let. a de la loi fédérale du 19 décembre 1958 sur la circulation routière [LCR; RS 741.01]) à une peine pécuniaire de 70 jours-amende, avec sursis pendant 3 ans, et à une amende de 1'320 fr. à titre de sanction immédiate et contraventionnelle.
Par décision rendue le 4 juin 2019 par le Service des automobiles et de la navigation (SAN), A._ a par ailleurs été sanctionné pour ces faits d'un retrait de permis de conduire de 5 mois. Comme son permis lui avait été retiré immédiatement le 3 novembre 2018, A._ a pu le récupérer le 30 avril 2019 et reprendre son activité professionnelle de chauffeur de taxi. Le 2 décembre 2019, il a obtenu une autorisation communale et un carnet de conducteur de taxi délivrés par l'Association Sécurité Riviera (ASR).
B.
En vertu d'une révision de la loi vaudoise du 31 mai 2005 sur l'exercice des activités économiques (ci-après: LEAE; BLV 930.01), entrée en vigueur le 1er janvier 2020, la compétence de délivrer les autorisations de chauffeurs pratiquant le transport de personnes a été transférée à la Police cantonale du commerce. Le 17 février 2020, A._ a demandé à celle-ci une telle autorisation. Par décision du 4 novembre 2020, la Police cantonale du commerce a refusé de lui délivrer l'autorisation sollicitée, en se fondant sur la condamnation du 9 janvier 2019, aussi longtemps que cette condamnation figurerait à son casier judiciaire.
A._ a recouru contre la décision du 4 novembre 2020 au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public (ci-après: le Tribunal cantonal). Par arrêt du 14 avril 2021, le Tribunal cantonal a rejeté le recours.
C.
Agissant par la voie du recours en matière de droit public avec requête d'effet suspensif, A._ conclut, sous suite de frais et dépens, principalement à l'annulation et à la réforme de l'arrêt du 14 avril 2021 du Tribunal cantonal, de façon à ce que l'autorisation sollicitée lui soit accordée. Subsidiairement, il conclut à l'annulation de cet arrêt et au renvoi de la cause au Tribunal cantonal pour nouvelle décision dans le sens des considérants. Plus subsidiairement, il conclut à l'annulation de l'arrêt et au renvoi de la cause à la Police cantonale du commerce pour nouvelle décision dans le sens des considérants.
La Police cantonale du commerce conclut au rejet du recours, en formulant des observations, mais ne se détermine pas sur la requête d'effet suspensif. Le Tribunal cantonal renonce à se déterminer sur le recours, tout en se référant aux considérants de l'arrêt attaqué, et ne s'oppose pas à l'effet suspensif requis.
Par ordonnance présidentielle du 7 juin 2021, la requête d'effet suspensif a été admise.

Considérant en droit :
1.
Le recours est dirigé contre un jugement final (<ref-law>) rendu dans une cause de droit public (cf. <ref-law>) par un tribunal cantonal supérieur (art. 86 al. 1 let. d et al. 2 LTF), sans que l'on se trouve dans l'un des cas d'exceptions mentionnés par l'<ref-law>. Déposé en outre dans le délai (<ref-law>) et en la forme (<ref-law>) prévus par la loi, par le recourant qui est atteint par la décision entreprise et a un intérêt digne de protection à son annulation ou à sa modification (<ref-law>), il est recevable comme recours en matière de droit public.
2.
2.1. Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral, qui comprend les droits de nature constitutionnelle (cf. art. 95 let. a et 106 al. 1 LTF), sous réserve des exigences de motivation figurant à l'<ref-law>. Il y procède en se fondant sur les faits constatés par l'autorité précédente (cf. <ref-law>), à moins que ces faits n'aient été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (cf. <ref-law>). Par ailleurs, aucun fait nouveau ni preuve nouvelle ne peut en principe être présenté devant le Tribunal fédéral (<ref-law>).
2.2. En l'espèce, le recourant ne critique pas l'état de fait retenu dans l'arrêt entrepris, mais formule des allégués complémentaires et dépose des pièces nouvelles à l'appui de son recours, sans pour autant indiquer que le Tribunal cantonal aurait établi les faits de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (cf. <ref-law>). Ces allégués et pièces nouvelles ne peuvent pas être pris en considération par le Tribunal fédéral, qui se fondera ainsi exclusivement sur les faits ressortant de l'arrêt attaqué.
3.
Le recourant soutient essentiellement que le Tribunal cantonal a violé sa liberté économique (art. 27 Cst.).
3.1. Aux termes de l'art. 27 Cst., la liberté économique est garantie (al. 1). Elle comprend notamment le libre choix de la profession, le libre accès à une activité économique lucrative privée et son libre exercice (al. 2). La liberté économique protège toute activité économique privée, exercée à titre professionnel et tendant à la production d'un gain ou d'un revenu (<ref-ruling> consid. 5.1; <ref-ruling> consid. 3.1; <ref-ruling> consid. 4.2). Elle peut être invoquée tant par les personnes physiques que par les personnes morales (<ref-ruling> consid. 5.1; <ref-ruling> consid. 4.2). L'activité de chauffeur de taxi indépendant ou salarié est protégée par la liberté économique, même si elle implique un usage accru du domaine public (cf. <ref-ruling> consid. 5; voir également arrêts 2C_1149/2018 du 10 mars 2020 consid. 5.2 et 2C_772/2017 du 13 mai 2019 consid. 3.1.1 et les références citées). Qu'il y ait ou non usage du domaine public, l'Etat peut toutefois soumettre l'exercice de cette profession à l'obtention d'une autorisation (cf. <ref-ruling> consid. 2 et 3; arrêt 2P.35/2007 du 10 septembre 2007 consid. 4.1). Les restrictions cantonales à l'exercice de la profession de chauffeur de taxi sont ainsi sur le principe admissibles, mais les limitations du droit cantonal doivent reposer sur une base légale, être justifiées par un intérêt public prépondérant et respecter le principe de proportionnalité (cf. art. 36 al. 1 à 3 Cst.; cf. arrêt 2P.83/2005 du 26 janvier 2006 consid. 3.5 et suivants).
3.2. En l'espèce, le recourant a subi une restriction à sa liberté économique. Le 4 novembre 2020, la Police cantonale du commerce a en effet refusé de lui délivrer une autorisation de chauffeur pratiquant le transport de personnes à titre professionnel, aussi longtemps que la condamnation du 9 janvier 2019 figurerait à son casier judiciaire, soit jusqu'au 8 janvier 2022 selon l'arrêt attaqué. Or, cette activité est protégée par la liberté économique. La décision de la Police cantonale du commerce a été confirmée par le Tribunal cantonal par arrêt du 14 avril 2021.
4.
4.1. Toute restriction de la liberté économique doit être fondée sur une base légale (cf. art. 36 al. 1, 1ère phrase, Cst.). Les restrictions graves doivent être prévues par une loi au sens formel (art. 36 al. 1, 2e phrase, Cst.). En présence d'une restriction grave d'un droit fondamental, le Tribunal fédéral vérifie librement si cette restriction repose sur une base légale suffisante en droit cantonal (<ref-ruling> consid. 3.5; <ref-ruling> consid. 3.3; <ref-ruling> consid. 4.3; <ref-ruling> consid. 14.2).
En l'espèce, la restriction en cause peut être qualifiée de grave, même si le refus prononcé est limité dans le temps, soit jusqu'à la radiation de la condamnation du 9 janvier 2019 du casier judiciaire, et même si le recourant a pu continuer son activité professionnelle pendant la procédure. En effet, l'entrée en force de la décision rendue à son encontre le 4 novembre 2020 par la Police cantonale du commerce et confirmée par le Tribunal cantonal par arrêt du 14 avril 2021 empêchera le recourant de pratiquer l'activité professionnelle qu'il a exercée pendant plusieurs années. Elle est par conséquent de nature à l'atteindre gravement dans ses intérêts économiques.
Le Tribunal fédéral examinera donc librement si la restriction repose sur une base légale suffisante.
4.2. La loi vaudoise sur l'exercice des activités économiques (citée supra point B) a été modifiée le 12 mars 2019. Les nouveaux art. 62a à 62h LEAE, qui prévoient un régime d'autorisation cantonale en matière de transport de personnes à titre professionnel, à la place du système communal qui prévalait jusqu'alors, sont entrés en vigueur le 1er janvier 2020. Selon l'art. 101a al. 4 LEAE, les détenteurs d'une autorisation communale doivent déposer les demandes d'autorisations cantonales requises dans un délai échéant le 30 juin 2020, tout en restant autorisés à poursuivre leur activité jusqu'à l'entrée en force de la décision cantonale.
Le recourant, qui était au bénéfice d'une autorisation communale, a sollicité la nouvelle autorisation le 17 février 2020. Le refus qui lui a été signifié est fondé sur l'art. 62e al. 1 LEAE, dont la teneur est la suivante: "Pour obtenir l'autorisation, le requérant doit notamment fournir à l'autorité compétente toute information attestant de son assujettissement à l'assurance vieillesse et survivants (AVS), de son respect aux dispositions du droit du travail, de la conclusion d'une assurance responsabilité civile pour le transport de personnes à titre professionnel ainsi que de l'absence de condamnations à raison d'infractions pénales graves et intentionnelles protégeant l'intégrité physique ou sexuelle, d'infractions à la LFStup, d'infraction à la législation sur la circulation routière. L'autorité compétente vérifie que l'immatriculation du véhicule corresponde à son lieu de stationnement (<ref-law>) ".
L'art. 62e LEAE est intitulé "Autorisations". Son premier alinéa dresse la liste des informations que doit fournir, à l'autorité compétente, une personne souhaitant obtenir une autorisation de chauffeur pratiquant le transport de personnes à titre professionnel. Certes, il ne qualifie pas expressément ces informations de conditions d'octroi de l'autorisation. Toutefois, l'exigence de fournir à l'autorité compétente toute information attestant notamment "de l'absence de condamnations à raison d'infractions pénales graves et intentionnelles protégeant l'intégrité physique ou sexuelle, d'infractions à la LFStup, d'infraction à la législation sur la circulation routière" peut et doit être comprise comme une condition d'octroi de l'autorisation. L'absence de condamnations doit ainsi être établie par quiconque sollicite une autorisation (arrêt 2C_139/2021 du 12 juillet 2021 consid. 5.4 et 5.5).
Comme le recourant n'a pas été en mesure de fournir une telle information, puisqu'il a été condamné pour infraction grave à la loi fédérale sur la circulation routière, les autorités cantonales étaient en droit, en application du droit cantonal, de refuser la délivrance d'une autorisation de chauffeur pratiquant le transport de personnes à titre professionnel. Le refus de délivrer l'autorisation sollicitée reposait dès lors sur une base légale formelle. Le recourant admet d'ailleurs que la question de la base légale cantonale ne prête pas le flanc à la critique (mémoire de recours, p. 7).
4.3. Toute restriction de la liberté économique doit en outre être justifiée par un intérêt public ou par la protection d'un droit fondamental d'autrui (cf. art. 36 al. 2 Cst.).
Les règles protégeant la sécurité des passagers ou celles destinées à rendre possible ou préserver la confiance que les passagers doivent inévitablement accorder à des chauffeurs de taxi répondent à un intérêt public. Un canton peut ainsi souhaiter que les chauffeurs de taxi présentent des garanties suffisantes de moralité et s'avèrent dignes de confiance (cf. déjà ATF 79 I 334 consid. 4b).
En l'espèce, le recourant a été condamné pour infraction grave à la loi fédérale sur la circulation routière, ayant été interpellé dans son véhicule, alors qu'il attendait des clients, avec un taux d'alcool de 1.73 o/oo dans le sang. Le refus de lui délivrer une autorisation de pratiquer le transport de personnes poursuit incontestablement un intérêt public de protection tant des passagers que des autres usagers de la route.
4.4. Reste à vérifier la proportionnalité de la mesure, que le recourant conteste en soulevant divers arguments, dont certains reposent sur des faits allégués de manière appellatoire et partant inadmissible (cf. <ref-law>). Le principe de la proportionnalité exige que la mesure en cause soit apte à produire les résultats escomptés (aptitude) et que ceux-ci ne puissent être atteints par une mesure moins incisive (nécessité). En outre, il interdit toute limitation allant au-delà du but visé et exige un rapport raisonnable entre celui-ci et les intérêts publics ou privés compromis (proportionnalité au sens étroit, impliquant une pesée des intérêts; cf. <ref-ruling> consid. 3.5.1; <ref-ruling> consid. 6.7.1).
4.4.1. En l'espèce, la mesure prise à l'encontre du recourant est apte à atteindre le but de protection des passagers et à éviter que ceux-ci ne montent dans un taxi dont le chauffeur présente un risque pour eux ou simplement ne présente pas des garanties suffisantes de moralité et de confiance.
4.4.2. Concernant le critère de la nécessité, le Tribunal cantonal pouvait à bon droit écarter une mesure moins incisive que celle consistant à refuser d'accorder l'autorisation sollicitée. En effet, il n'existe pas véritablement d'alternative à un tel refus.
4.4.3. Du point de vue de la pesée des intérêts (proportionnalité au sens étroit), la protection des passagers des services de taxi représente un intérêt public important. Le recourant a été reconnu coupable d'infraction grave à la loi sur la circulation routière. Le Ministère public de l'arrondissement de l'Est vaudois a fondé son ordonnance du 9 janvier 2019 sur l'art. 91 al. 1 let. b et al. 2 let. a LCR. Cette dernière disposition vise la conduite d'un véhicule automobile par une personne en état d'ébriété et présentant un taux d'alcool qualifié dans le sang ou dans l'haleine.
Certes, la peine pécuniaire de 70 jours-amende a été assortie du sursis. De plus, le recourant ne semble pas avoir d'antécédents en la matière. Néanmoins, les autorités cantonales pouvaient valablement estimer que le recourant n'était, au moment de statuer, plus digne d'exercer l'activité de chauffeur pratiquant le transport de personnes à titre professionnel. En outre, la question de savoir si une infraction de peu de gravité ou commise par négligence à la loi fédérale sur la circulation routière justifierait aussi un refus d'accorder une autorisation de chauffeur pratiquant le transport de personnes à titre professionnel peut rester indécise en l'espèce. En effet, le recourant a été condamné pour une infraction grave et intentionnelle à cette loi.
Sa situation se trouvant à cheval entre deux régimes juridiques concernant le transport de personnes à titre professionnel et l'effet suspensif ayant été accordé à son recours en matière de droit public, le recourant conserve la possibilité d'exercer son activité durant la procédure devant le Tribunal fédéral (cf. arrêt 2C_139/2021 du 12 juillet 2021 consid. 5.7.3). De plus, selon les indications figurant dans l'arrêt attaqué, le recourant pourra déposer une nouvelle demande dès le 9 janvier 2022, c'est-à-dire une fois le jugement radié du casier judiciaire en raison de l'accomplissement de la mise à l'épreuve avec succès (arrêt du Tribunal cantonal du 14 avril 2021, consid. 3b in fine). Le recourant ne sera potentiellement privé d'exercer son activité que quelques mois, alors qu'il a commis une infraction grave à la loi fédérale sur la circulation routière.
Le recourant estime que le refus de l'autorisation engendre une "triple peine" à son encontre (mémoire de recours, p. 8). Il a ainsi été sanctionné sur le plan pénal, a subi un retrait de permis d'une durée de 5 mois et s'est vu refuser une autorisation de chauffeur pratiquant le transport de personnes à titre professionnel. Le recourant perd toutefois de vue que ce refus n'est nullement une peine, mais la seule conséquence du fait qu'il ne respecte pas les conditions d'octroi d'une telle autorisation (cf. supra consid. 4.1-4.3). Il ne saurait dès lors être question d'une triple peine.
Le recourant soutient enfin que l'arrêt du Tribunal cantonal du 14 avril 2021, confirmant la décision de la Police cantonale du commerce du 4 novembre 2020, manquerait de cohérence par rapport à celle de l'ASR du 2 décembre 2019 et ne respecterait pas la garantie des situations acquises (mémoire de recours, p. 10 s.). Le recourant ne tient cependant pas compte de la révision de la loi vaudoise du 31 mai 2005 sur l'exercice des activités économiques entrée en vigueur le 1er janvier 2020. Compétente à partir de cette date, la Police cantonale du commerce a appliqué, conformément au principe de la légalité, la loi en vigueur et, plus précisément, l'art. 62e al. 1 LEAE. Comme le Tribunal cantonal l'a relevé, le recourant ne saurait se prévaloir d'une quelconque garantie des situations acquises en vue de continuer à bénéficier d'un régime d'autorisation qui lui était plus favorable. La délivrance d'une autorisation de police ne confère en effet pas une protection de la situation acquise (arrêt 2C_881/2013 du 18 février 2014 consid. 5.3; cf. THIERRY TANQUEREL, Manuel de droit administratif, 2e éd., 2018, p. 266 n° 761). En tant que le recourant reproche au Tribunal cantonal de ne pas avoir requis le dossier de l'ASR pour trancher la cause et sollicite la production de ce dossier devant le Tribunal fédéral, sa critique et sa requête ne peuvent donc qu'être rejetées, étant au surplus relevé que des mesures d'instruction ne sont qu'exceptionnellement ordonnées devant le Tribunal fédéral (cf. <ref-law>; <ref-ruling> consid. 2). De toute façon, le recourant ne saurait se fonder sur une autorisation octroyée sur le fondement de règles communales désormais abrogées pour obtenir une autorisation prévue par de nouvelles règles cantonales plus restrictives. Une telle situation peut tout au plus justifier l'adoption de règles transitoires, ce qu'a fait le législateur vaudois. Ainsi, les détenteurs d'une autorisation de transport de personnes à titre professionnel délivrée en application d'une réglementation communale étaient tenus de déposer les demandes d'autorisations cantonales requises en application du nouveau droit dans un délai de 6 mois dès le 1er janvier 2020, mais restaient autorisés à poursuivre leur activité conformément à l'autorisation en vigueur au moment du dépôt de leur demande jusqu'à l'entrée en force de la décision cantonale rendue en application du nouveau droit (art. 101a al. 4 LEAE). Cette règle et l'octroi de l'effet suspensif au recours en matière de droit public formé par le recourant s'avèrent très favorables à ce dernier, puisqu'il peut continuer à exercer son activité de chauffeur de taxi depuis le 1er janvier 2020 jusqu'à la notification du présent arrêt, soit pendant plus d'un an et demi.
Compte tenu de toutes ces circonstances, force est d'admettre que la proportionnalité au sens étroit est respectée en l'espèce.
4.5. Pour tous les motifs qui précèdent, le grief tiré de la violation de l'art. 27 Cst. doit être rejeté.
5.
Le recourant se plaint enfin d'une violation de la garantie de la dignité humaine (art. 7 Cst.) et du droit à la protection la sphère privée (art. 13 Cst.), en particulier du droit au respect de la vie familiale (mémoire de recours, p. 12). Il ne motive aucunement ses deux griefs et ne respecte dès lors pas l'exigence prévue à l'<ref-law>. Il se borne à indiquer que le refus de l'autorisation sollicitée a entraîné des conséquences économiques négatives pour lui-même et sa famille, avec le risque "de se retrouver dans une situation précarisée durant de nombreux mois" (mémoire de recours, p. 12). De telles conséquences et un tel risque ne constituent toutefois pas des atteintes au droit à la protection de la sphère privée au sens de l'art. 13 Cst. Le volet économique de la vie du recourant est couvert par la liberté économique, sans que les art. 7 et 13 Cst. ne confèrent aucune protection supplémentaire en l'espèce. Partant, ces griefs doivent être écartés, pour peu qu'ils soient recevables.
6.
Les considérants qui précèdent conduisent au rejet du recours. Succombant, le recourant doit supporter les frais judiciaires (<ref-law>). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au mandataire du recourant, à la Police cantonale du commerce, ainsi qu'au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public.
Lausanne, le 18 août 2021
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
La Greffière : Kleber