Faits:
A. Par mémoire du 10 juin 2009, X._ a recouru auprès du Tribunal cantonal du canton de Vaud contre une décision rendue le 9 juin 2009 par la Police cantonale du commerce ordonnant la fermeture du salon de massage dont il est l'exploitant.
Par courrier du 11 juin 2009, le Tribunal lui a imparti un délai au 1er juillet 2009 pour effectuer une avance de frais, sous peine d'irrecevabilité du recours. Par courrier du 22 juin 2009, X._ a sollicité la prolongation du délai pour effectuer l'avance de frais. Par avis du 25 juin 2009, le délai a été prolongé au 22 juillet 2009.
X._ a effectué l'avance de frais le 25 juillet 2009.
Par courrier du 30 juillet 2009, le Tribunal cantonal a informé X._ que son avance de frais avait été enregistrée après l'échéance du délai et l'a invité à se déterminer sur cette question jusqu'au 13 août 2009, précisant qu'à défaut de réponse, le tribunal devrait considérer que le délai de paiement n'avait pas été respecté et que la requête serait déclarée irrecevable.
X._ n'a pas rendu réponse dans le délai.
B. Par décision datée du 20 août 2009, la Juge instructrice du Tribunal cantonal (ci-après: le Tribunal cantonal) a déclaré le recours irrecevable sans frais ni dépens. La décision fait référence aux courriers échangés en procédure de recours ainsi qu'au recours daté du "10 septembre 2009".
Par courrier du 26 août 2009, X._ a informé le Tribunal cantonal qu'il était en vacances à l'étranger et qu'il avait fait bloquer son courrier par la Poste le 24 juillet 2009 pour la période allant du 29 juillet au 17 août 2009. Ce courrier a été transmis au Tribunal fédéral sur demande de X._.
C. Agissant par la voie du recours en matière de droit public, le cas échéant par la voie du recours constitutionnel subsidiaire, X._ demande au Tribunal fédéral de déclarer nulle la décision rendue le 20 août 2009 par la Juge instructrice du Tribunal cantonal, subsidiairement de l'annuler formellement, plus subsidiairement de ne pas tenir compte de l'écart entre le délai et le paiement ou respectivement de lui restituer le délai de paiement. Il se plaint de l'application du droit cantonal, de la violation de son droit d'être entendu et de formalisme excessif. Il sollicite le droit de déposer un mémoire complémentaire aux fins de répliquer ainsi que la tenue d'une audience subsidiairement de débats.
Le Tribunal cantonal et la Police cantonale du commerce proposent le rejet du recours. Leurs écritures ont été communiquées à X._.
D. Par ordonnance du 2 octobre 2009, le Président de la IIe Cour de droit public a rejeté la requête d'effet suspensif déposée par X._.
Considérant en droit:
1. Le recours est dirigé contre une décision finale (art. 90 de la loi du 17 juin 2005 sur le Tribunal fédéral [LTF; RS173.110]) rendue en dernière instance (art. 86 al. 1 let. d LTF) dans une cause de droit public (art. 82 lettre a LTF) par un tribunal supérieur (art. 86 al. 2 LTF), sans qu'aucune des exceptions prévues à l'art. 83 LTF ne soit réalisée, de sorte que, sous réserve des exigences légales de motivation, la voie du recours en matière de droit public est en principe ouverte. Il s'ensuit que le recours constitutionnel subsidiaire est irrecevable (art. 113 LTF).
2. Le recourant sollicite la tenue d'une audience, ou subsidiairement de débats, et le droit de déposer un mémoire complémentaire.
2.1 D'après l'art. 58 LTF, le Tribunal fédéral délibère en audience si le président l'ordonne, si un juge le demande ou s'il n'y a pas unanimité. Dans les autres cas, le Tribunal fédéral statue par voie de circulation.
En l'espèce, aucune des conditions prévues par l'art. 58 LTF n'étant réalisée, le Tribunal fédéral a statué par voie de circulation et la requête tendant à la tenue d'une audience est rejetée.
2.2 D'après l'art. 57 LTF, le président de la cour peut ordonner des débats. Le droit aux débats ne résulte pas de l'art. 57 LTF, mais uniquement de l'art. 6 par. 1 CEDH qui garantit la publicité des débats, lorsque l'obligation d'en organiser s'imposent, notamment lorsque le Tribunal fédéral doit mettre en oeuvre des mesures probatoires au sens des art. 55 et 56 LTF et est ensuite amené à statuer sur des faits qu'il a lui-même établis, ou encore, lorsqu'il est saisi d'une action au sens de l'art. 120 LTF (Jean-Maurice Frésard, Commentaire LTF, n° 9 et 10 ad art. 57 LTF). Dans les autres cas, comme en l'espèce, le Tribunal fédéral statue sur la base des faits constatés par l'autorité précédente conformément à l'art. 105 al. 1 LTF (cf. aussi 4A_251/2007 du 6 décembre 2007, consid. 2.2), à moins que ces faits n'aient été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (cf. art. 105 al. 2 LTF).
En l'espèce, le recourant ne prétend pas que les faits retenus dans la décision attaquée sont manifestement inexacts, hormis l'erreur de plume, facilement décelable portant sur la date du recours déposé devant le Tribunal cantonal qui n'était pas celle du 10 septembre mais bien du 10 juin 2009 (cf. sur ce point aussi consid. 4 ci-dessous). Il n'y a donc pas lieu d'ordonner des débats. La requête est rejetée.
2.3 L'art. 102 al. 3 LTF prévoit qu'en règle générale, il n'y a pas d'échange ultérieur d'écritures. Un droit de réplique, découlant du droit d'être entendu, doit être admis lorsque la réponse de l'autorité précédente contient des éléments nouveaux décisifs, de sorte que, sollicité dans le mémoire de recours déjà, il est en principe prématuré (arrêt 4A_59/2008 du 20 juin 2008, consid. 1; 4A_220/2007 du 21 septembre 2007, consid. 4). La jurisprudence ajoute que, même si le Tribunal fédéral n'ordonne qu'exceptionnellement un second échange d'écritures, la partie recourante a toujours la faculté, si elle le souhaite, de prendre position à la suite des observations remises par les autorités pour autant qu'elle agisse avec célérité (ATF 133 I 98 consid. 2.2 p. 99 s.).
En l'espèce, le Tribunal cantonal a déclaré se référer à la décision attaquée et au courrier envoyé au recourant le 28 août 2009, tandis que la réponse de l'autorité de première instance ne contient aucun élément essentiel nouveau pour la solution du litige. Il n'y avait donc pas lieu d'ordonner formellement un droit de réplique. Le recourant n'a au demeurant pas jugé utile de se déterminer spontanément sur les observations en cause.
3. 3.1 Aux termes de l'art. 106 al. 2 LTF, le Tribunal fédéral n'examine la violation de droits fondamentaux que si ce grief a été invoqué et motivé par le recourant. L'acte de recours doit donc, sous peine d'irrecevabilité, contenir un exposé succinct des droits constitutionnels ou des principes juridiques violés et préciser en quoi consiste la violation (ATF 135 III 232 consid. 1.2 p. 234). Le Tribunal fédéral n'a pas à vérifier de lui-même si l'acte entrepris est en tous points conforme au droit et à l'équité. Il n'examine que les griefs d'ordre constitutionnel invoqués et suffisamment motivés dans le mémoire de recours. Le recourant ne saurait se contenter de soulever de vagues griefs ou de renvoyer aux actes cantonaux (ATF 133 II 249 consid. 1.4 p. 254; 133 III 393 consid. 6 p. 397).
3.2 Invoquant les art. 29 à 31 Cst., le recourant se plaint de la violation de son droit d'être entendu, notamment de son droit à une motivation correcte. Il n'expose toutefois pas concrètement en quoi ces droits auraient été violés. Le contenu de son recours permet du reste d'établir qu'il a compris le sens et la portée de la décision attaquée, ce qui exclut un défaut de motivation. Ne répondant pas aux exigences de motivation de l'art. 106 al. 2 LTF, ce grief est irrecevable.
4. Le recourant demande au Tribunal fédéral de déclarer nulle, subsidiairement d'annuler, la décision attaquée, parce qu'elle fait référence à un recours du "10 septembre 2009", qui n'existe pas.
4.1 Selon la jurisprudence, la nullité absolue ne frappe que les décisions affectées des vices les plus graves, manifestes ou particulièrement reconnaissables, et pour autant que la constatation de la nullité ne mette pas sérieusement en danger la sécurité du droit. Hormis les cas expressément prévus par la loi, il n'y a lieu d'admettre la nullité qu'à titre exceptionnel, lorsque les circonstances sont telles que le système de l'annulation n'offre manifestement pas la protection nécessaire. Des vices de fond n'entraînent qu'à de rares exceptions la nullité d'une décision. De graves vices de procédure, tels que l'incompétence qualifiée de l'autorité qui a rendu la décision, sont en revanche des motifs de nullité (ATF 133 III 430 consid. 3.3 p. 434; 132 II 21 consid. 3.1 p. 27; 129 I 361 consid. 2.1 p. 363 et les références citées).
4.2 En l'espèce, la décision attaquée fait référence à la décision rendue le 9 juin 2009 par la Police cantonale du commerce, au délai du 22 juillet 2009 pour effectuer l'avance de frais, au courrier du recourant du 22 juin 2009 requérant un prolongation de délai ainsi qu'à d'autres courriers échangés en procédure de recours cantonale entre les mois de juin et d'août 2009. Par conséquent, la mention de la date du "10 septembre 2009" dans la décision attaquée en lieu et place du "10 juin 2009" résulte à l'évidence d'une erreur de plume, que le Tribunal fédéral peut rectifier d'office (art. 105 al. 2 LTF). Cette erreur, sans incidence sur la cause, ne saurait à elle seule fonder une nullité ni une annulation de la décision attaquée, du moment que le recourant a parfaitement compris qu'il s'agissait bien de la déclaration d'irrecevabilité de son recours du 10 juin 2009. Mal fondées, les conclusions de nullité subsidiairement d'annulation sont rejetées.
5. Le recourant se plaint de formalisme excessif de la part du Tribunal cantonal.
5.1 Le formalisme excessif est un aspect particulier du déni de justice prohibé par l'art. 29 al. 2 Cst. Il est réalisé lorsque la stricte application des règles de procédure ne se justifie par aucun intérêt digne de protection, devient une fin en soi, complique de manière insoutenable la réalisation du droit matériel ou entrave de manière inadmissible l'accès aux tribunaux (ATF 130 V 177 consid. 5.4.1 p. 183; 128 II 139 consid. 2a p. 142). Selon une jurisprudence bien établie, il n'y a pas de rigueur excessive à ne pas entrer en matière sur un recours lorsque, conformément au droit de procédure applicable, la recevabilité de celui-ci est subordonnée au versement d'une avance de frais dans un délai déterminé; il faut cependant que son auteur ait été averti de façon appropriée du montant à verser, du délai imparti pour le paiement et des conséquences de l'inobservation de ce délai (arrêt 2C_250/2009 du 2 juin 2009, consid. 5; ATF 104 Ia 105 consid. 5 p. 111; 96 I 521 consid. 4 p. 523).
5.2 En l'espèce, par courrier du 11 juin 2009, un délai au 1er juillet 2009 pour effectuer une avance de frais a été imparti au recourant. Ce courrier indiquait en outre qu'à défaut de paiement dans le délai, le recours serait déclaré irrecevable. Le recourant a ensuite été avisé le 25 juin 2009 que la prolongation de délai qu'il avait lui-même sollicitée lui était accordée et qu'en conséquence, le délai était nouvellement fixé au 22 juillet 2009. L'avance de frais n'a eu lieu que tardivement le 25 juillet 2009.
Il est vrai que le courrier du 30 juillet 2009 par lequel le Tribunal cantonal a informé le recourant que son avance de frais avait été enregistrée après l'échéance du délai et l'invitait à se déterminer jusqu'au 13 août 2009 lui a été envoyé alors qu'il se trouvait à l'étranger. Ce courrier donnait au recourant la possibilité d'exposer les motifs de son retard et, le cas échéant, d'obtenir une restitution du délai de paiement par le Tribunal cantonal avant que ce dernier ne tranche définitivement le sort de la cause. On peut hésiter sur le point de savoir si le courrier du 26 août 2009 du recourant constituait une demande de restitution du délai fixé au 13 août 2009 et si le Tribunal cantonal n'aurait pas dû examiner lui-même la demande de restitution du délai de paiement. Cette question peut demeurer ouverte du moment qu'au 22 juillet 2009, date à laquelle l'avance de frais devait être payée, le recourant ne pouvait invoquer aucun motif de restitution du délai de paiement de l'avance de frais. Il n'y avait par conséquent aucun formalisme excessif à juger que l'avance de frais avait été effectuée après l'échéance du délai fixé au 22 juin 2009 et à déclarer le recours du 10 juin 2009 irrecevable pour ce motif. Le grief est par conséquent rejeté.
6. Le recourant soutient enfin que l'art. 45 de la loi vaudoise du 28 octobre 2008 de procédure administrative (LPA-VD; RSV 173.36) prévoit en principe la gratuité. Il estime que rien n'obligeait par conséquent l'autorité à percevoir des frais et en conséquence à demander une avance. Il en déduit aussi que le Tribunal cantonal n'était pas tenu de prononcer l'irrecevabilité et se serait considéré à tort comme lié. Ce faisant, le recourant se plaint de l'application du droit cantonal de procédure par le Tribunal cantonal.
6.1 Sauf dans les cas cités expressément à l'art. 95 LTF, le recours en matière de droit public ne peut pas être formé pour violation du droit cantonal en tant que tel. En revanche, il est toujours possible de faire valoir que la mauvaise application du droit cantonal constitue une violation du droit fédéral, en particulier qu'elle est arbitraire au sens de l'art. 9 Cst. ou contraire à d'autres droits constitutionnels (ATF 133 III 462 consid. 2.3 p. 466). Comme le Tribunal fédéral n'examine les moyens fondés sur la violation d'un droit constitutionnel que s'ils ont été invoqués et motivés de manière précise (art. 42 al. 2 et 106 al. 2 LTF; ATF 135 V 94 consid. 1 p. 95), le recourant, qui se plaint d'arbitraire, ne peut se contenter de critiquer la décision attaquée comme il le ferait en instance d'appel, où la juridiction supérieure jouit d'une libre cognition; en particulier, il ne saurait se limiter à opposer son opinion à celle de l'autorité cantonale, mais il doit démontrer par une argumentation précise que cette décision se fonde sur une application de la loi manifestement insoutenable (cf. ATF 134 I 263 consid. 3.1 p. 265 s.; 133 II 396 consid. 3.1 p. 399 s. et la jurisprudence citée).
6.2 En l'espèce, le recourant n'expose pas en quoi le Tribunal cantonal aurait fait une application arbitraire du droit cantonal, en exigeant le versement d'une avance de frais couvrant les frais présumés de la procédure de recours dans un délai donné et en déclarant irrecevable ce recours à défaut de paiement dans le délai fixé. Ne répondant pas aux exigences de motivation de l'art. 106 al. 2 LTF, le grief du recourant est irrecevable.
7. Les considérants qui précèdent conduisent au rejet du recours dans la mesure où il est recevable. Succombant, le recourant doit supporter un émolument judiciaire (art. 65 et 66 LTF). Il n'a pas droit à des dépens (art. 68 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué au recourant, au Département de l'économie et à la Juge instructrice de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud.
Lausanne, le 1er décembre 2009
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Le Greffier:
Müller Dubey