Faits : Faits : A. Ressortissant portugais, X._ exploite à A._ depuis 1990, selon ses dires, un négoce d'intermédiaire en matière de crédits à la consommation. Sur requête d'un de ses concurrents ayant ouvert action civile, le Président du Tribunal d'arrondissement de la Côte a rendu, le 13 septembre 2002, une ordonnance de mesures provisionnelles par laquelle il a interdit à X._ de faire une publicité incorrecte (indication trompeuse du taux d'intérêt), sous menace des peines prévues à l'art. 292 CP. En dépit de ladite ordonnance, X._ a fait parvenir à des tiers une publicité tombant sous le coup de cette interdiction, à quatre reprises au moins entre novembre 2002 et avril 2003. En conséquence, le Tribunal de police de l'arrondissement de la Côte l'a condamné, le 8 juillet 2004, pour concurrence déloyale et insoumission à une décision de l'autorité à 45 jours d'emprisonnement, avec sursis pendant 2 ans, et à 1'500 fr. d'amende. Ce jugement a notamment retenu l'amateurisme avec lequel l'intéressé exerçait son activité (étroitesse de son bureau, désordre y régnant et désorganisation administrative). Sur requête d'un de ses concurrents ayant ouvert action civile, le Président du Tribunal d'arrondissement de la Côte a rendu, le 13 septembre 2002, une ordonnance de mesures provisionnelles par laquelle il a interdit à X._ de faire une publicité incorrecte (indication trompeuse du taux d'intérêt), sous menace des peines prévues à l'art. 292 CP. En dépit de ladite ordonnance, X._ a fait parvenir à des tiers une publicité tombant sous le coup de cette interdiction, à quatre reprises au moins entre novembre 2002 et avril 2003. En conséquence, le Tribunal de police de l'arrondissement de la Côte l'a condamné, le 8 juillet 2004, pour concurrence déloyale et insoumission à une décision de l'autorité à 45 jours d'emprisonnement, avec sursis pendant 2 ans, et à 1'500 fr. d'amende. Ce jugement a notamment retenu l'amateurisme avec lequel l'intéressé exerçait son activité (étroitesse de son bureau, désordre y régnant et désorganisation administrative). B. Le 14 juillet 2004, X._ a demandé l'autorisation d'exercer l'activité de courtier en crédit à la consommation. Le 23 juin 2005, la Police cantonale du commerce du canton de Vaud (ci-après: la Police du commerce) lui a refusé cette autorisation, a ordonné la fermeture immédiate de son commerce et lui a interdit la poursuite de ses activités liées au crédit à la consommation, sous menace des peines prévues à l'art. 292 CP. Elle s'est fondée en particulier sur les art. 39 et 40 de la loi fédérale du 23 mars 2001 sur le crédit à la consommation (LCC; RS 221.214.1) et sur l'art. 4 de l'ordonnance du 6 novembre 2002 relative à la loi fédérale sur le crédit à la consommation (ci-après: l'Ordonnance ou OLCC; RS 221.214.11). B. Le 14 juillet 2004, X._ a demandé l'autorisation d'exercer l'activité de courtier en crédit à la consommation. Le 23 juin 2005, la Police cantonale du commerce du canton de Vaud (ci-après: la Police du commerce) lui a refusé cette autorisation, a ordonné la fermeture immédiate de son commerce et lui a interdit la poursuite de ses activités liées au crédit à la consommation, sous menace des peines prévues à l'art. 292 CP. Elle s'est fondée en particulier sur les art. 39 et 40 de la loi fédérale du 23 mars 2001 sur le crédit à la consommation (LCC; RS 221.214.1) et sur l'art. 4 de l'ordonnance du 6 novembre 2002 relative à la loi fédérale sur le crédit à la consommation (ci-après: l'Ordonnance ou OLCC; RS 221.214.11). C. Par arrêt du 16 juin 2006, le Tribunal administratif du canton de Vaud (ci-après: le Tribunal administratif) a rejeté le recours de X._ contre la décision de la Police du commerce du 23 juin 2005 et confirmé ladite décision. Il a considéré que X._ ne remplissait pas les conditions des art. 40 LCC ainsi que 4 al. 1 et 2 OLCC. En outre, il a estimé que la garantie de la liberté économique n'avait pas été violée. C. Par arrêt du 16 juin 2006, le Tribunal administratif du canton de Vaud (ci-après: le Tribunal administratif) a rejeté le recours de X._ contre la décision de la Police du commerce du 23 juin 2005 et confirmé ladite décision. Il a considéré que X._ ne remplissait pas les conditions des art. 40 LCC ainsi que 4 al. 1 et 2 OLCC. En outre, il a estimé que la garantie de la liberté économique n'avait pas été violée. D. Agissant par la voie du recours de droit administratif, X._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du Tribunal administratif du 16 juin 2006 et de renvoyer le dossier aux autorités cantonales vaudoises pour nouvelle décision dans le sens des considérants; subsidiairement, le recourant demande au Tribunal fédéral que l'arrêt attaqué soit réformé en ce sens qu'il est autorisé à exercer l'activité d'octroi de crédit et de courtage de crédit, au cas où les conditions légales autres que celles résultant de l'art. 4 al. 2 OLCC seraient également remplies. Il se plaint en substance de violation du droit d'être entendu et du principe de la proportionnalité. Le Tribunal administratif conclut au rejet du recours. La Police du commerce conclut au rejet du recours, sous suite de frais. L'Office fédéral de la justice a renoncé à répondre au recours. L'Office fédéral de la justice a renoncé à répondre au recours. E. Par ordonnance du 23 août 2006, le Juge présidant la IIe Cour de droit public a admis la requête d'effet suspensif présentée par X._.