Faits:
A. Le 22 juillet/9 août 2005, Y._ et A._ ont déposé auprès de la Police cantonale du commerce vaudoise (ci-après: la Police du commerce) une demande de licence d'établissement en vue d'exploiter une discothèque. Ils ont d'abord bénéficié d'une autorisation d'exploiter à titre provisoire dès le 2 septembre 2005. Par décision du 20 juin 2006, la Police du commerce leur a ensuite délivré une licence d'établissement pour "discothèque sans restauration". Aux termes de la licence, l'autorisation d'exercer était accordée à A._ et l'autorisation d'exploiter à Y._; en outre, l'exploitant était tenu de mandater à ses frais un service d'ordre pour assurer la sécurité de l'établissement selon certaines modalités définies dans la licence; il était en particulier prévu que le personnel de sécurité devait être "présent en permanence dans, devant, ainsi qu'à proximité immédiate des établissements lors de son exploitation, et [être] plus particulièrement renforcé lors de la fermeture, les vendredis et samedis soirs entre 04h00 et 05h30" (cf. ch. 2 de la licence ad "réserves"). L'exploitant a passé un contrat avec une société de sécurité privée prévoyant la présence sur place de deux agents les samedis et dimanches entre minuit et cinq heures du matin.
L'exploitation de la discothèque a donné lieu à de régulières et nombreuses interventions de la police, surtout après que l'exploitant eut mandaté, à fin novembre 2005, une nouvelle entreprise de sécurité, et qu'un seul agent eut depuis lors été affecté au maintien de l'ordre en fin de semaine; à partir de l'été 2006, la situation s'est encore détériorée et la police municipale a dû, entre les mois d'août et novembre 2006, intervenir à vingt-et-une reprises, dont dix fois pour des bagarres et onze fois pour des nuisances diverses, notamment à la suite de plaintes du voisinage (cf. rapport du 15 novembre 2006). Le 15 décembre 2006, la Police du commerce a mis en demeure A._ et Y._ de prendre les mesures nécessaires pour régulariser la situation et, en particulier, s'assurer les services d'une entreprise de sécurité garantissant la présence de deux agents au minimum durant les heures d'exploitation normales et "de manière renforcée lors de la fermeture, les vendredis et samedis soirs entre 04h00 et 05h30"; la mise en demeure avait valeur de "sévère avertissement" au sens de la législation applicable.
A la suite d'une nouvelle intervention des forces de l'ordre le 24 décembre 2006, l'exploitant s'est engagé, par accord passé avec la police le 29 janvier 2007, à louer les services de trois agents de sécurité les vendredis et samedis soirs de 23h00 à 05h30, dont "un agent au minimum serait en permanence présent au niveau de la rue [pour veiller] au respect de la tranquillité publique" (points I et III de l'accord précité). Ces points de l'accord ont été intégrés dans la nouvelle licence d'établissement délivrée pour la discothèque le 29 juin 2007 aux noms de Z._ (autorisation d'exercer remplaçant celle accordée à A._) et de Y._ (autorisation d'exploiter).
En dépit de ces changements et des engagements pris, les problèmes liés à l'exploitation de la discothèque ont continué. Les services de police ont dû intervenir pour des incidents de toutes sortes (bagarres, nuisances sonores, clients indésirables, fermetures tardives, vente d'alcool à un mineur, opposition d'un responsable de la discothèque à l'intervention des forces de l'ordre, etc...) à vingt-neuf reprises entre le 1er janvier et le 18 décembre 2007 (cf. rapport de police du 20 décembre 2007) et à dix-huit reprises entre le 1er janvier et le 22 août 2008 (rapport de police du 26 août 2008). Ces faits ont donné lieu à deux nouveaux avertissements (les 23 mai et 1er novembre 2007) ainsi qu'à une amende préfectorale.
B. Le 17 mars 2008, la Police du commerce a informé Y._ et Z._ qu'au vu des manquements constatés, elle envisageait de leur retirer la licence d'établissement et de prononcer la fermeture définitive de la discothèque. Les intéressés ont contesté les faits reprochés et demandé le bénéfice d'une "mise à l'épreuve" de quelques mois. Le 29 août suivant, ils ont par ailleurs déposé - Y._ agissant par le truchement de la société Cabaret X._ SA dont il était récemment devenu administrateur - une demande de licence d'établissement pour exploiter un night-club attenant et relié à leur discothèque par une porte communicante; cet établissement venait de faire l'objet d'une décision de fermeture administrative définitive en raison de violation de la législation cantonale réglementant l'exercice de la prostitution.
Par décision du 20 octobre 2008, la Police du commerce a retiré la licence accordée à Z._ et Y._ pour exploiter la discothèque et ordonné la fermeture immédiate de l'établissement en raison des troubles répétés constatés à l'ordre et à la sécurité publics. Afin de prévenir la survenance de troubles comparables, elle a également rejeté, par le même acte, la demande de licence déposée par les prénommés - par le truchement de la Société Cabaret X._ SA pour le second nommé - pour exploiter le night-club, et confirmé le maintien de sa fermeture administrative "tant qu'une nouvelle licence n'aura pas été délivrée."
C. Z._, Y._ et la Société Cabaret X._ SA ont recouru contre la décision précitée du 20 octobre 2008, en concluant à son annulation.
La Police du commerce a produit en cause le dossier, complété par un rapport de police (du 7 novembre 2008) faisant état de l'absence d'amélioration tangible de la situation depuis son précédent rapport du 26 août 2008.
Par arrêt du 2 décembre 2008, le Tribunal cantonal, Cour de droit administratif et public (ci-après: le Tribunal cantonal), a rejeté le recours dont il était saisi et confirmé la décision attaquée.
D. Z._, Y._ et la Société X._ SA forment un recours en matière de droit public contre l'arrêt précité du Tribunal cantonal dont ils requièrent l'annulation, sous suite de frais et dépens. A titre principal, ils concluent au renvoi de la cause au Tribunal cantonal pour instruction complémentaire et nouvelle décision et, subsidiairement, à la réforme de l'arrêt attaqué en ce sens que les autorisations sollicitées pour la discothèque et le night-club leur soient accordées. Ils se plaignent d'établissement inexact des faits et de la violation du principe de la liberté économique (art. 27 Cst.) en relation avec l'art. 60 de la loi cantonale sur les auberges et les débits de boissons du 26 mars 2002 (LADB; RS 935.31). Ils se prévalent aussi du principe de la proportionnalité (art. 36 Cst.).
E. La Police du commerce conclut, sous suite de frais, à l'irrecevabilité du recours, subsidiairement à son rejet.
Par ordonnance du 13 février 2009, le Président de la IIe Cour de droit public du Tribunal fédéral a fait droit à la demande d'effet suspensif contenue dans le recours et portant sur le droit poursuivre l'exploitation de la discothèque pendant la durée de la procédure.
Considérant en droit:
1. Le Tribunal fédéral examine d'office sa compétence (art. 29 al. 1 LTF) et donc la recevabilité des recours qui lui sont soumis (ATF 133 I 185 consid. 2 p. 188 et les arrêts cités).
1.1 Comme décision finale (cf. art. 90 LTF) rendue dans une cause de droit public (art. 82 let. a LTF) par un tribunal cantonal supérieur statuant en dernière instance cantonale (cf. art. 86 al. 1 let. d et al. 2 LTF), l'arrêt attaqué peut faire l'objet d'un recours en matière de droit public au sens des art. 82 ss LTF.
1.2 L'autorité intimée fait valoir que, lors d'un récent entretien téléphonique, Y._ aurait sollicité l'octroi d'un délai de six mois pour poursuivre l'exploitation de sa discothèque le temps de trouver un nouveau repreneur. Elle en déduit que le recours, formé dans le seul but de prolonger l'exploitation de la discothèque en vue de sa remise, est abusif et, partant, irrecevable.
Cette argumentation ne résiste pas à l'examen. Elle revient en effet à soutenir que les recourants n'auraient pas la qualité pour agir au sens de l'art. 89 al. 1 let. b et c, faute d'intérêt actuel et pratique à obtenir l'annulation de l'arrêt attaqué (sur cette exigence, cf. ATF 133 II 252 consid. 1.3.1; arrêt 2C_357/2008 du 25 août 2008, consid. 1.1). Or, dans la mesure où ils sont empêchés de poursuivre et de commencer l'exploitation respectivement de leur discothèque et du night-club attenant, les intéressés sont directement, concrètement et d'une manière importante touchés dans leur liberté économique par le prononcé des premiers juges, sans égard à la durée prévisible ou envisageable des activités commerciales considérées. Au demeurant, ils disposent également d'un intérêt digne de protection à obtenir l'annulation de l'arrêt attaqué du seul fait que les établissements concernés peuvent vraisemblablement être remis à un éventuel repreneur plus aisément et à meilleur prix s'ils sont encore exploités lors de la transaction que s'ils font l'objet d'une mesure administrative de fermeture.
1.3 Pour le reste, formé en temps utile (cf. art. 100 al. 1 LTF), le recours est recevable, sous réserve de respecter les exigences de motivation prévues aux art. 42 al. 2 et 106 al. 2 LTF (sur ces exigences, cf. infra consid. 3.2 et 4.2).
2. Dans ses déterminations devant le Tribunal fédéral, l'autorité intimée a fait état de quatre nouvelles interventions policières en lien avec l'exploitation de la discothèque entre le 15 novembre 2008 et le 18 janvier 2009. Elle a produit à l'appui de ses allégués des rapports de police des 4 décembre 2008, 25 décembre 2008, 3 janvier 2009 et 18 janvier 2009. Ces faits et moyens de preuve nouveaux sont irrecevables, dès lors qu'ils ne ressortent pas de la décision attaquée (cf. art. 99 al. 1 LTF) et qu'ils ne sont pas pertinents pour juger de la recevabilité du recours.
3. 3.1 Les recourants se plaignent d'établissement inexact des faits au sens de l'art. 97 al. 1 LTF.
3.2 Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente, sauf s'ils ont été constatés de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (cf. art. 105 al. 1 et 2 LTF). Le recourant qui entend invoquer que les faits ont été établis de manière manifestement inexacte (art. 97 al. 1 LTF), soit arbitraire au sens de l'art. 9 Cst. (ATF 134 IV 36 consid. 1.4.1 p. 39), doit démontrer par une argumentation précise en quoi consiste la violation, conformément aux exigences de motivation accrues posées à l'art. 106 al. 2 LTF. Il y constatation arbitraire des faits lorsque ceux-ci se trouvent clairement en contradiction avec la situation réelle, qu'ils reposent sur une erreur manifeste ou que rien ne peut les justifier objectivement (ATF 133 III 393 consid. 7.1 p. 398 et les références). Le Tribunal fédéral n'entre pas en matière sur les critiques de nature purement appellatoire (ATF 133 III 393 consid. 6 p. 397).
3.2.1 Les recourants reprochent en premier lieu au Tribunal cantonal de s'être fondé essentiellement sur les rapports établis par la police pour trancher le litige. Ils soutiennent en effet que les interventions des forces de l'ordre étaient le plus souvent injustifiées, car elles étaient motivées par des plaintes du voisinage, dont il n'aurait pas été prouvé, d'après eux, qu'elles étaient fondées.
Le dossier contient de très nombreux rapports de la Police municipale ou de la gendarmerie cantonale (rapports de renseignements ou de dénonciation). Ces documents décrivent de manière circonstanciée les différentes interventions des forces de l'ordre (date, heure, motifs et modalités de celles-ci). Il en ressort notamment que, comme l'ont retenu les premiers juges, l'exploitation de la discothèque a donné lieu à de nombreux constats d'infractions et/ou de troubles à l'ordre et à la sécurité publics, dont les causes sont multiples et diverses (agressions; bagarres; clients indésirables; oppositions d'un responsable de la discothèque aux forces de l'ordre; dépassements des niveaux sonores autorisés à l'intérieur de la discothèque; nuisances sonores à l'extérieur; fermetures tardives; présence d'un mineur alcoolisé dans l'établissement; etc.). Les interventions de la police ne procèdent donc pas, comme le suggèrent les recourants, des seules plaintes émanant de voisins peu accommodants voire chicaniers. Selon les constatations de l'arrêt attaqué, il est d'ailleurs arrivé à plusieurs reprises que la police doive se rendre sur les lieux à la demande soit de clients, soit même des responsables de la discothèque. Certaines infractions à la réglementation en vigueur ont par ailleurs été constatées lors de simples contrôles de routine effectués par des patrouilles de police.
Dans ces conditions, il appartenait aux recourants de préciser concrètement quels sont, parmi les nombreux rapports établis par la police, ceux qu'ils contestent, et sur quels points. Ils ne pouvaient se contenter, comme ils le font dans leur recours, de vagues objections d'ensemble portant sur la valeur probante des constatations de police. De telles critiques sont totalement appellatoires et, partant, irrecevables, ou du moins impropres à remettre en cause les faits constatés par les premiers juges sur la base des rapports de police litigieux.
3.3 En second lieu, les recourants relèvent que les installations sonores de la discothèque sont régulièrement contrôlées par une entreprise spécialisée et qu'en "ce qui concerne les interventions pour cause de violence ou de bagarres à l'intérieur comme à l'extérieur du bâtiment, [aucune d'entre elles] n'a abouti à une condamnation pénale d'un membre du personnel de l'établissement."
Etant vagues, imprécis et non étayés, de tels allégués n'apparaissent guère recevables. Ils sont quoi qu'il en soit totalement dénués de pertinence. Que les installations sonores de la discothèque subissent des contrôle réguliers ne remet en effet nullement en cause les constatations cantonales concernant les dépassements des niveaux sonores autorisés à l'intérieur de l'établissement ou les troubles à la tranquillité et à l'ordre publics enregistrés à l'extérieur. Du reste, il ressort du jugement entrepris que ces troubles ne sont pas uniquement dus à la musique provenant de la discothèque, mais aussi - et surtout - au tapage nocturne régnant aux alentours immédiats de l'établissement (discussions, cris, bagarres, etc.). Par ailleurs, les autorisations requises n'ont pas été refusées au motif que des responsables ou des employés de la discothèque auraient été condamnés au plan pénal pour des faits commis dans l'exercice de leur profession. Les constatations cantonales retiennent simplement qu'à plusieurs reprises l'un ou l'autre responsable ou membre du personnel a été pris à partie dans des bagarres avec des clients, qui ont nécessité l'intervention de la police.
3.4 En troisième lieu, les recourants estiment que le dossier n'a pas été suffisamment instruit, en violation de l'art. 97 al. 1 LTF, de leur droit d'être entendu et du droit à la preuve qu'ils prétendent déduire "notamment" des art. 29 Cst. et 8 CC.
Tel que formulé, le moyen n'est pas recevable, faute d'indication précise sur les mesures probatoires requises et les points de fait que celles-ci sont censées prouver. Quoi qu'il en soit, le dossier est amplement documenté, si bien que les premiers juges pouvaient, comme on le verra avec l'examen des griefs portant sur le fond de la cause (infra consid. 4), se dispenser d'ordonner d'autres mesures d'instruction par appréciation anticipée des preuves.
3.5 Il s'ensuit que les constatations cantonales échappent à l'arbitraire et lient la Cour de céans.
4. 4.1 Les recourants se plaignent de la violation du principe de la liberté économique (art. 27 Cst.) "en relation avec la violation des art. 60 LADB et du principe de la proportionnalité (art. 36 Cst.)."
4.2 Contrairement à ce que pourrait suggérer la formulation de l'art. 106 al. 2 LTF, les dispositions cantonales ne peuvent pas être attaquées directement comme telles devant le Tribunal fédéral (art. 95 LTF a contrario), sauf exceptions non pertinentes en l'espèce (cf. art. 95 let. c et d LTF). Il est néanmoins possible de faire valoir que leur application consacre une violation du droit fédéral, comme la protection contre l'arbitraire au sens de l'art. 9 Cst. ou la garantie d'autres droits constitutionnels (cf. ATF 133 III 462 consid. 2.3 p. 466). Le Tribunal fédéral n'examine cependant de tels moyens que s'ils sont formulés conformément aux exigences de motivation qualifiées prévues à l'art. 106 al. 2 LTF, qui valent en particulier pour le grief d'arbitraire (cf. ATF 133 III 639 consid. 2 p. 639 s.; 133 II 249 consid. 1.4.2 p. 254).
Dans la mesure où, en l'espèce, les recourants n'entreprennent pas de démontrer en quoi l'art. 60 LADB aurait été appliqué de manière insoutenable ou contraire à un autre droit fondamental, le moyen tiré de la violation de cette disposition cantonale est irrecevable.
4.3 Comme tout droit fondamental, la liberté économique peut être restreinte, autant qu'une telle restriction soit fondée sur une base légale (art. 36 al. 1 Cst.), repose sur un intérêt public (art. 36 al. 2 Cst.) et soit proportionnée au but visé (art. 36 al. 3 Cst.). Le Tribunal fédéral examine librement si une mesure portant atteinte à un droit fondamental satisfait au principe de la proportionnalité (cf. ATF 134 I 153 consid. 4.2.1 et 4.2.2 p. 157 s.).
4.3.1 Les recourants ne contestent pas l'existence d'une base légale suffisante, soit, en l'occurrence, l'art. 60 LADB. Ils estiment cependant que les mesures prises à leur encontre ne sont fondées sur aucun intérêt public "avéré" et sont disproportionnées.
4.3.2 Il ressort de l'arrêt attaqué que l'exploitation de la discothèque avait été soumise, lors de l'octroi de la licence le 20 juin 2006, à des conditions claires tenant en particulier à la présence, en fin de semaine, d'un personnel de sécurité suffisant pour assurer le respect de l'ordre; que ces conditions avaient été actualisées et précisées dans un accord conclu avec la police le 29 janvier 2007, avant d'être intégrées le 29 juin suivant dans la licence d'établissement lors de son renouvellement aux noms de Z._ (autorisation d'exercer en remplacement du dénommé A._) et de Y._ (autorisation d'exploiter); que ce dernier avait toutefois fait la démonstration, pendant les trois années où il avait exploité la discothèque, de sa totale incapacité à respecter les normes en vigueur et les engagements pris; qu'en particulier, le personnel de sécurité avait constamment changé et s'était révélé insuffisant, quand il n'avait pas tout simplement fait défaut, contrairement à la convention passée avec la police puis formalisée dans la nouvelle licence; que la police avait dû intervenir à vingt-une reprises entre les mois d'août et novembre 2006, à vingt-neuf reprises entre le 1er janvier et le 18 décembre 2007, à dix-huit reprises entre le 1er janvier et le 22 août 2008, et encore à six reprises en septembre et octobre 2008; que ces interventions répétées avaient eu des causes multiples et diverses (sur ces causes, cf. supra consid. 3.2.1); qu'en particulier, des bagarres avaient de manière récurrente éclaté à l'intérieur comme à l'extérieur de l'établissement entre des clients ou avec le personnel de sécurité; que le voisinage avait régulièrement été incommodé par les nuisances sonores et les fermetures tardives et, enfin, qu'à plusieurs reprises, les responsables de la discothèque, en particulier le frère de l'exploitant qui était employé comme gérant, avaient manifesté une attitude oppositionnelle lors des contrôles de police.
4.3.3 Il résulte des constatations cantonales que plus de soixante interventions de police ont été nécessaires durant les trois ans où Y._ a exploité la discothèque. Par ailleurs, contrairement à ce que soutiennent les recourants, l'arrivée de Z._ en juin 2007 n'a pas fondamentalement changé la donne, puisque la police a encore dû intervenir plus de vingt fois pour la seule période allant de janvier à octobre 2008. Certes, pris isolément, les troubles à l'ordre et à la sécurité publics constatés ne sont pas d'une importance exceptionnelle. C'est leur répétition dans le temps qui leur confère un caractère suffisamment grave pour justifier le retrait de la licence de discothèque et la fermeture de l'établissement. A cet égard, on ne voit pas quelle autre mesure moins incisive pourrait atteindre le but escompté, soit garantir une exploitation de la discothèque conforme aux dispositions en vigueur et aux conditions de la licence. Les trois avertissements signifiés aux recourants se sont en effet révélés aussi vains que les tentatives de dialogue et de collaboration avec les exploitants initiées par la police. Les intéressés n'ont tout simplement pas su ou voulu prendre les mesures adéquates pour redresser la situation. En particulier, ils n'ont pas été à même de s'assurer les services d'une entreprise de sécurité capable de faire régner la tranquillité et l'ordre à l'intérieur comme à l'extérieur de l'établissement. A trois reprises au moins, ils ont résilié les conventions passées avec de telles entreprises, s'obstinant contre tout bon sens à vouloir assurer par leurs propres moyens la sécurité. Malgré les engagements pris de renforcer la présence d'agents en fin de semaine, la dotation en personnel de sécurité est restée la plupart du temps insuffisante voire même, selon les constatations cantonales, inexistante à certains moments, les intéressés ayant notamment invoqué des raisons d'ordre économique pour se soustraire à leurs obligations. A cet égard, il est du reste significatif qu'à ce jour encore, malgré les problèmes persistants rencontrés, les recourants se posent ouvertement "la question de l'utilité de trois agents de sécurité les vendredis et samedis soirs dès 23h00", prétextant "qu'il y a nettement moins de personnes dans l'établissement avant minuit et que les interventions de la Police au cours de ces derniers mois l'ont été après 01h30" (recours, exposé des faits ad ch. 28).
Dans ces conditions, force est d'admettre, avec les premiers juges, qu'il existe un intérêt public suffisant au retrait de la licence de discothèque et à la fermeture de l'établissement. Les atteintes répétées, pour ne pas dire continues, à l'ordre, à la sécurité et la tranquillité publics, l'emportent en effet largement, dans la balance, sur l'intérêt privé (de nature économique) des recourants à pouvoir continuer l'exploitation de leur établissement. Par ailleurs, les nombreux manquements constatés lors de la période d'exploitation de la discothèque justifient le refus préventif opposé à la demande de licence d'établissement pour le night-club attenant. Certes, les deux établissements s'adressent-ils potentiellement à une clientèle différente. Comme l'ont constaté les premiers juges, il s'agit toutefois dans les deux cas d'établissements dont les activités nocturnes sont susceptibles de présenter des problèmes similaires en matière de tranquillité, d'ordre et de sécurité publics (bagarres; nuisances aux voisinages; heures de fermeture tardives; accès de mineurs dans l'établissement; etc...). Les autorités cantonales pouvaient dès lors estimer que les intéressés ne présentaient pas les garanties suffisantes pour exploiter le night-club dans le respect des dispositions applicables.
4.4 En conséquence, les griefs tirés de la violation des principes de la liberté économique et de la proportionnalité sont mal fondés.
5. Il s'ensuit que le recours, entièrement mal fondé, doit être rejeté dans la mesure où il est recevable.
Succombant, les recourants doivent supporter les frais judiciaires solidairement entre eux (cf. art. 65 al. 1 à 3 et 66 al. 1 et 5 LTF) et n'ont pas droit à des dépens (cf. art. 68 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais de justice, arrêtés à 4'000 fr., sont mis à la charge des recourants, solidairement entre eux.
3. Le présent arrêt est communiqué au mandataire des recourants, au Département de l'économie et à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud.
Lausanne, le 27 mars 2009
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Le Greffier:
Müller Addy