Faits:
A. Depuis le mois de janvier 2006, X._ exploite un salon de massage à l'enseigne "Y._" dans un immeuble situé dans la zone industrielle de B._.
Lors d'un contrôle de police du 8 mars 2006, il a été constaté que X._ et une autre personne se prostituaient dans ce salon, sans avoir annoncé l'établissement conformément aux prescriptions légales. Le 28 mars 2006, le salon a été annoncé à la Police cantonale du commerce.
Le 9 mai 2006, X._ a été condamnée à une amende de 500 fr. pour avoir logé une personne sans titre de séjour et pour violation des dispositions sur l'exercice de la prostitution.
Lors d'un nouveau contrôle du 16 mars 2007, la police a constaté que plusieurs personnes s'adonnaient à la prostitution dans le salon sans être inscrites dans le registre ad hoc. En outre, des boissons alcoolisées se trouvaient dans le bar du salon, alors que l'établissement n'avait déposé aucune demande d'autorisation spéciale. Par la suite, X._ a obtenu une autorisation spéciale pour la vente de boissons avec et sans alcool, valable rétroactivement du 1er mars 2007 au 29 février 2012.
Le 5 avril 2007, X._ s'est annoncée à la Police cantonale du commerce comme tenancière du Y._ et a remis un contrat de bail conclu avec la société A._ SA portant sur l'appartement occupé par le salon et deux places de parc.
Le 24 octobre 2007, Joseph Z._ a informé la Police cantonale du commerce que le salon employait du personnel non déclaré. Lors d'un contrôle du 20 décembre 2007, il a été constaté que plusieurs personnes séjournant clandestinement en Suisse s'étaient adonnées à la prostitution dans le salon et qu'aucun registre n'avait été tenu.
Lors d'un contrôle effectué le 5 mars 2008, la Police communale de B._ a constaté que la seule personne présente dans le salon n'avait ni autorisation de séjour ni permis de travail.
Le 3 avril 2008, la Police a procédé à un nouveau contrôle. Joseph Z._ s'est présenté comme responsable des lieux en l'absence de X._. Le registre était tenu correctement, sous réserve de la présence d'une personne non autorisée à exercer une activité indépendante en Suisse.
Le 6 avril 2008, une bagarre a eu lieu entre l'administrateur de A._ SA, propriétaire de l'immeuble où se trouvait le salon, et Z._, qui a nécessité l'intervention de la police. Le 7 avril 2008, A._ SA a retiré avec effet immédiat son autorisation d'exploiter un salon de massage dans l'appartement loué.
Le 22 avril 2008, la police est intervenue dans le salon à la demande de Z._, en état d'ébriété avancé, en raison de dommages causés par des clients, avec lesquels il avait eu une altercation.
B. Par transaction judiciaire, A._ SA a accordé à X._ une prolongation unique et définitive du bail jusqu'au 31 mars 2008 (recte : 2009). Cette dernière s'est engagée à ne plus autoriser Z._ à pénétrer dans les locaux loués ni à intervenir dans les rapports avec la bailleresse.
C. Par décision du 22 mai 2008, la Police cantonale du commerce, qui avait averti trois fois - les 4 juillet 2006, 10 avril 2007 et 9 janvier 2008 - X._ des mesures qu'elle encourait, a ordonné la fermeture immédiate du salon pour une durée de 4 mois et annulé l'autorisation spéciale de servir des boissons avec et sans alcool, sous la menace de l'art. 292 CP.
Le 23 mai 2008, cette décision a été notifiée sur place à Z._, qui s'est montré agressif et a injurié les fonctionnaires présents, tout en indiquant que c'était lui qui commandait et non pas la tenancière. Le salon a été mis sous scellés.
Le même jour, X._ a recouru contre la décision du 22 mai 2008 auprès du Tribunal cantonal vaudois. Le 29 mai 2008, l'effet suspensif a été accordé au recours, de sorte que la tenancière a été autorisée à poursuivre l'exploitation du salon et à servir des boissons avec et sans alcool jusqu'à droit connu.
Par arrêt du 27 novembre 2008, le Tribunal cantonal a partiellement admis le recours formé par la tenancière et a réformé la décision du 22 mai 2008 en ce sens que la durée de la fermeture du salon a été ramenée à deux mois.
D. Contre l'arrêt du 27 novembre 2008, X._ interjette, dans le même acte, un recours en matière de droit public et un recours constitutionnel subsidiaire. Tout en demandant à titre préalable l'octroi de l'effet suspensif, elle conclut à l'admission des recours et à la réforme de l'arrêt attaqué en ce sens qu'aucune fermeture n'est imposée au salon Y._ et que l'autorisation spéciale en matière de débit de boissons n'est pas annulée. Subsidiairement, elle requiert l'annulation de l'arrêt du 27 novembre 2008 et le renvoi de la cause à l'autorité cantonale pour nouvelle décision.
Par ordonnance présidentielle du 7 janvier 2009, il a été décidé qu'aucune mesure d'exécution de la décision attaquée ne pourrait être prise jusqu'à décision sur la requête d'effet suspensif.
Le Tribunal cantonal a renoncé à se déterminer.
Le Service de l'économie, du logement et du tourisme, auquel la Police cantonale du commerce est rattachée, a conclu au rejet tant de la requête d'effet suspensif que du recours. Le 3 février 2009, il a complété ses conclusions en produisant un document daté du 16 janvier 2009, tendant à démontrer que les conditions d'exploitation du salon n'étaient toujours pas conformes à la législation sur la prostitution.
Considérant en droit:
1. 1.1 La tenancière du salon a qualité pour former un recours en matière de droit public au sens de l'art. 89 al. 1 LTF. Cette disposition suppose notamment que le recourant ait un intérêt actuel à obtenir l'annulation ou la modification de la décision attaquée (cf. ATF 131 I 153 consid. 1.2 p. 157; arrêt 2C_357/2008 du 25 août 2008 consid. 1.1), ce qui est le cas en l'espèce. En effet, le salon est toujours en activité. Même si le bail de l'appartement dans lequel il est exploité expire au 31 mars 2009 et qu'en conséquence, une fermeture du salon durant deux mois complets, telle qu'imposée dans l'arrêt attaqué, n'est actuellement plus possible, la recourante demeure intéressée à savoir si elle peut continuer son activité pendant les quelques semaines qui restent ou si, en cas du rejet de son recours, elle doit fermer le salon immédiatement.
1.2 Par ailleurs, dirigé contre une décision finale (cf. art. 90 LTF) rendue par un tribunal supérieur statuant en dernière instance cantonale (cf. art. 86 al. 1 lettre d et al. 2 LTF), le recours en matière de droit public est en principe recevable, puisqu'il a été déposé en temps utile (cf. art. 100 al. 1 LTF) et dans les formes prévues par la loi (cf. art. 42 LTF).
Il en découle que le recours constitutionnel subsidiaire formé parallèlement doit être déclaré irrecevable (cf. art. 113 LTF).
2. Le 3 février 2009, l'autorité intimée a présenté une pièce nouvelle consistant dans un rapport de la Police cantonale du 16 janvier 2009, destiné à démontrer que, depuis le prononcé de l'arrêt attaqué, la recourante a continué à occuper des femmes dépourvues de titre de séjour. En vertu de l'art. 99 al. 1 LTF, aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente. Cette disposition exclut la présentation de véritables faits nouveaux (vrais nova) dans les procédures de recours devant le Tribunal fédéral (ATF 134 IV 342 consid. 2.1). Dès lors que le rapport produit et les faits invoqués par l'autorité sont postérieurs à l'arrêt du 27 novembre 2008, il s'agit de véritables nova, qui ne peuvent être pris en compte.
3. Le litige a pour objet la fermeture du salon Y._, prononcée en application de la loi vaudoise du 30 mars 2004 sur l'exercice de la prostitution (LPros; RS/VD 942.05), et l'annulation de l'autorisation spéciale de servir des boissons avec et sans alcool, accordée en application de la loi vaudoise du 26 mars 2002 sur les auberges et les débits de boissons (RS/VD 935.31). Il relève donc du droit cantonal.
Sous réserve d'exceptions (cf. art. 95 lettres c et d LTF) non réalisées en l'espèce, le Tribunal fédéral ne contrôle pas l'application du droit cantonal en tant que tel, mais examine uniquement si celle-ci viole le droit fédéral au sens de l'art. 95 lettre a LTF, qui comprend les droits constitutionnels des citoyens. Lorsque, comme en l'occurrence, il est question de la violation de droits fondamentaux ainsi que de dispositions de droit cantonal, le Tribunal fédéral n'examine pas le droit d'office, mais se prononce uniquement sur les griefs invoqués et motivés de façon suffisante par le recourant (cf. art. 106 LTF).
4. La recourante invoque une violation de son droit d'être entendue.
4.1 Elle reproche tout d'abord aux juges cantonaux de ne pas avoir donné suite à sa demande tendant à procéder à une inspection locale, qui aurait permis d'exclure l'existence de troubles à l'ordre public, compte tenu de la situation retirée du salon.
Le droit de faire administrer des preuves suppose que le fait à prouver soit pertinent (ATF 119 Ib 492 consid. 5b/bb p. 505). Dans le cas particulier, il ressort de l'arrêt attaqué qu'il n'a pas été donné suite à la requête d'inspection locale, car, selon les juges, l'environnement immédiat du salon n'était pas déterminant pour la résolution du litige. Contrairement à ce que soutient la recourante, une telle appréciation échappe à la critique. Le fait que le salon soit situé dans une zone industrielle, sans voisins directs, n'exclut pas l'existence de troubles à l'ordre public liés à des bagarres impliquant le responsable du salon, qui ont provoqué des dommages et nécessité, par deux fois, l'intervention de la police en avril 2008 (cf. infra consid. 5.3.3). Partant, les juges pouvaient, sans violer l'art. 29 al. 2 Cst., refuser l'inspection locale demandée.
4.2 Toujours sous l'angle du droit d'être entendu, la recourante soutient que l'on aurait dû recueillir ses déterminations avant de lui reprocher les troubles à l'ordre public précités, car ceux-ci se sont produits alors qu'elle était absente.
Il est vrai qu'en vertu de l'art. 29 al. 2 Cst., le justiciable a le droit de s'expliquer avant qu'une décision ne soit prise à son détriment (ATF 132 V 368 consid. 3.1 p. 370 et les références). La recourante semble toutefois perdre de vue que, comme l'ont relevé les juges cantonaux, elle a eu largement l'occasion de s'exprimer devant le Tribunal cantonal, notamment sur les événements survenus alors que son remplaçant gérait le salon. Par conséquent, à supposer qu'elle n'ait pas pu, comme elle le soutient, se déterminer devant la Police cantonale du commerce, un tel défaut serait de toute manière guéri dans la procédure de recours, le Tribunal cantonal jouissant d'un pouvoir aussi étendu que l'autorité intimée (cf. arrêt 2C_93/2007 du 3 septembre 2007 consid. 3; sur l'effet guérisseur, voir ATF 132 V 387 consid. 5.1 p. 390).
5. La recourante se plaint d'une violation arbitraire des art. 15 et 16 LPros.
5.1 Chargé d'examiner le droit cantonal, le Tribunal fédéral n'a pas à se demander quelle est l'interprétation correcte que l'autorité cantonale aurait dû donner des dispositions applicables; il doit uniquement dire si l'interprétation qui a été faite est défendable. Il n'y a pas d'arbitraire du seul fait qu'une autre solution paraît également concevable, voire même préférable (ATF 131 I 217 consid. 2.1 p. 219).
5.2 En vertu de l'art. 15 al. 1 LPros, la police cantonale peut procéder immédiatement à la fermeture d'un salon, pour trois mois au moins, entre autres lorsque celui-ci n'a pas été annoncé (lettre a), qu'il n'offre pas des conditions satisfaisantes, notamment en matière d'hygiène, de sécurité et d'ordre public (lettre c) ou qu'il ne bénéficie pas de l'accord écrit du propriétaire ou des copropriétaires de l'immeuble pour exercer cette activité (lettre d). L'art. 16 al. 1 LPros prévoit, pour sa part, que la police cantonale du commerce peut prononcer la fermeture définitive d'un salon notamment lorsque, dans celui-ci, se produit une atteinte majeure à l'ordre, à la tranquillité et à la salubrité publics, la commission d'un crime, de délits ou de contraventions répétés, des violations réitérées de la législation, ou lorsque s'y trouve un mineur (lettre a); il en va de même lorsque, dans ce salon, les conditions d'exercice de la prostitution ne sont pas conformes à la législation (lettre b). Le règlement d'application de la loi sur l'exercice de la prostitution, du 1er septembre 2004 (RS/VD 943.05.1), précise, à son article 8 al. 2, que, s'agissant de la sécurité et de l'ordre publics mentionnés à l'art. 15 al. 1 lettre c LPros, la fermeture immédiate peut être prononcée pour les mêmes motifs que ceux énumérés à l'art. 16 LPros.
5.3 Les critiques portant sur une application arbitraire des dispositions précitées sont manifestement infondées.
5.3.1 Ainsi, ce n'est pas parce que, le 22 mai 2008, soit le jour où la fermeture du salon a été décidée par la Police du commerce, aucune infraction n'avait été constatée, qu'il était insoutenable de prononcer une fermeture du salon en vertu de la loi sur l'exercice de la prostitution. En effet, il suffit pour cela, selon l'art. 16 LPros, qu'il y ait eu des violations répétées à la législation, notamment aux dispositions sur la tenue du registre du salon et sur le séjour et l'établissement des étrangers, ce qui a indéniablement été le cas en l'espèce les 8 mars 2006, 16 mars 2007, 20 décembre 2007 ainsi que les 5 mars et 3 avril 2008. Le fait qu'il se soit écoulé quelques semaines entre les derniers manquements et la décision de fermeture ne saurait rendre cette dernière choquante.
5.3.2 Les juges cantonaux pouvaient aussi, sans tomber dans l'arbitraire, faire supporter à la recourante les conséquences du comportement de Z._. En effet, le Tribunal fédéral a récemment précisé que, s'agissant de l'art. 16 lettre a LPros, il incombe aux personnes susceptibles d'être touchées par une fermeture de s'organiser de manière à ce que la législation soit respectée, sans qu'il y ait lieu de déterminer qui est en charge d'une telle obligation (arrêt 2C_357/2008 du 25 août 2008 consid. 3.2). La recourante ne peut être suivie, lorsqu'elle soutient que cette jurisprudence ne lui serait pas applicable. Le fait que l'on ait découvert moins de prostituées en situation illégale dans son salon que dans l'arrêt précité n'est en effet pas déterminant. En outre, le principe posé dans l'arrêt 2C_357/2008 concerne l'ensemble des infractions énumérées à l'art. 16 lettre a LPros, y compris d'éventuelles atteintes à l'ordre public. La recourante ne peut donc s'en prendre qu'à elle-même si, pendant son absence, elle a confié son salon à une personne qui s'est révélée inapte à y faire régner l'ordre. Il en va de même lorsque la recourante se plaint de s'être fait berner par certaines de ses employées s'agissant de leur titre de séjour.
5.3.3 Enfin, la recourante ne peut manifestement pas être suivie lorsqu'elle conteste l'existence d'atteintes à l'ordre public au sens des art. 15 et 16 LPros en avril 2008. L'ordre public est un concept général, qui sert notamment à assurer la sécurité des personnes et des biens (cf. PIERRE MOOR, Droit administratif, vol. I, 1994, p. 392 s.). En l'occurrence, au début du mois d'avril 2008, une bagarre est survenue entre l'administrateur de la société propriétaire de l'immeuble et Z._, qui a nécessité l'intervention de la police. Le 22 avril suivant, la police est à nouveau intervenue, car quatre clients causaient des dommages dans le salon. L'un d'eux a prétendu avoir été insulté par Z._, dont l'état d'ébriété avancé a été constaté. Ainsi, le salon et ses environs immédiats ont été le théâtre de violences et de bagarres ayant nécessité, par deux fois en moins d'un mois, l'intervention de la force publique. Le responsable, impliqué dans ces deux bagarres, s'est de plus révélé manifestement inapte à gérer la situation, étant lui-même, lors de la dernière intervention, fortement pris de boisson. En considérant que ces événements violents entraient dans le cadre d'atteintes à l'ordre public au sens de la loi sur l'exercice de la prostitution, les juges ne sont à l'évidence pas tombés dans l'arbitraire. Il n'est à cet égard pas déterminant que le bruit occasionné par ces bagarres n'ait pas gêné les voisins en raison de la situation géographique du salon.
6. La recourante invoque une inégalité de traitement par rapport aux discothèques, qui engendrent le même genre de troubles à l'ordre public, mais ne sont pas fermées pour autant.
Le grief tombe à faux. D'une part, les discothèques sont, par définition, des lieux publics différents des salons où s'exercent la prostitution, de sorte que ces deux types d'établissements peuvent être soumis à un traitement juridique différent (cf. ATF 133 I 249 consid. 3.3 p. 245 s.), ce qui est du reste aussi le cas des salons de prostitution et des bars fréquentés par des personnes qui se prostituent (arrêt 2P.165/2004 du 31 mars 2005 consid. 5.3). D'autre part, la recourante semble oublier que la fermeture du salon ne repose pas exclusivement sur les atteintes à l'ordre public, mais sur l'accumulation d'infractions constatées de manière répétée depuis le 8 mars 2006.
7. La recourante se plaint enfin d'une violation du principe de la proportionnalité au sens des art. 36 et 5 al. 2 Cst.
7.1 La fermeture du salon de la recourante porte atteinte à sa liberté économique, telle que garantie par l'art. 27 al. 1 Cst. (cf. arrêt 2C_357/2008 du 25 août 2008 consid. 4.1). En tant que restriction à un droit fondamental, la décision attaquée doit respecter les exigences de l'art. 36 Cst., et notamment être proportionnée au but visé (al. 3). Le Tribunal fédéral examine librement si une mesure portant atteinte à un droit fondamental satisfait au principe de la proportionnalité au sens de l'art. 36 al. 3 Cst. (cf. ATF 134 I 153 consid. 4.2.1 et 4.2.2 p. 157 s.).
7.2 En l'espèce, le Tribunal cantonal a contrôlé de manière détaillée si la fermeture du salon, prononcée initialement pour une durée de quatre mois, était conforme au principe de la proportionnalité. Il a tout d'abord relevé que la mesure s'avérait adéquate pour atteindre les buts de la loi sur l'exercice de la prostitution, à savoir empêcher que des personnes ne détenant pas d'autorisation de séjour s'adonnent à la prostitution et que des troubles de l'ordre public soient causés dans le salon ou dans ses environs immédiats. Procédant à une comparaison avec d'autres affaires, les juges ont toutefois estimé que la mesure paraissait quelque peu sévère. En outre, la recourante semblait avoir pris conscience des obligations lui incombant, aucune violation des dispositions sur le séjour des étrangers n'ayant été constatée ni aucune plainte enregistrée depuis la réouverture du salon le 29 mai 2008. Quant aux troubles de l'ordre public, ils devaient certes être imputés à la recourante, mais il fallait tenir compte qu'ils étaient le fait d'un pseudo-gérant à qui la recourante avait signifié des mesures d'éloignement. Enfin, le bail était résilié pour le 31 mars 2009. Ces circonstances justifiaient, pour les juges cantonaux, de réduire à deux mois la durée de la fermeture du salon de massage de la recourante.
7.3 La recourante affirme que cette nouvelle sanction, même réduite, la frappe trop durement, mais sans présenter d'élément concret qui révélerait la disproportion de la mesure prononcée. A la suivre, seule une renonciation à toute sanction, pour lui permettre de mettre fin à son activité au 31 mars 2009, en même temps que le contrat de bail, serait envisageable. Ce faisant, elle oublie qu'elle a commis de multiples violations à la législation tant sur la prostitution que sur le séjour des étrangers et que des atteintes à l'ordre public ont également été constatées dans son salon. Or, rien ne justifie de laisser ces violations impunies et de faire bénéficier la recourante d'un traitement de faveur, par comparaison avec d'autres salons qui, dans des cas similaires, ont fait l'objet de décisions de fermeture (cf. récemment arrêt 2C_753/2008 du 19 janvier 2009). Du reste, le Tribunal fédéral a lui-même souligné qu'il convenait de se montrer strict dans l'application de l'art. 16 lettre a LPros pour atteindre un des buts recherchés par le législateur, à savoir celui de freiner voire de limiter l'activité de la prostitution (arrêt 2C_357/2008 du 25 août 2008 consid. 6.2).
7.4 Par conséquent, compte tenu des circonstances de l'espèce, la fermeture limitée à deux mois, telle que prononcée par le Tribunal cantonal, n'est nullement disproportionnée et doit être maintenue, même si elle implique, pour la recourante, la fermeture immédiate de son salon, sans attendre la fin du bail au 31 mars 2009.
8. Sur le vu de ce qui précède, le recours constitutionnel subsidiaire doit être déclaré irrecevable et le recours en matière de droit public doit être rejeté.
Les frais judiciaires seront mis à la charge de la recourante, qui succombe (cf. art. 66 al. 1 LTF). Celle-ci n'a pas droit à des dépens (cf. art. 68 LTF).
La cause étant tranchée sur le fond, la demande d'effet suspensif devient sans objet.
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours constitutionnel subsidiaire est irrecevable.
2. Le recours en matière de droit public est rejeté.
3. Les frais judiciaires, arrêtés à 2'500 fr., sont mis à la charge de la recourante.
4. Le présent arrêt est communiqué au mandataire de la recourante, au Service de l'économie, du logement et du tourisme, Police cantonale du commerce, et à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud.
Lausanne, le 10 février 2009
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Le Greffier:
Müller Vianin