Fatti:
A. A._ SA è proprietaria di uno stabile situato all'estremità sud della zona residenziale semi-intensiva di X._. A pianterreno si trova il bar B._, mentre al primo piano vi sono otto camere da affittare, che formano un esercizio pubblico a sé stante, autorizzato dal Municipio con licenza edilizia del 6 novembre 2003. In seguito a controlli esperiti dalla polizia cantonale, il 18 giugno 2008 il Municipio ha ordinato alla citata società di sospendere immediatamente l'esercizio della prostituzione nelle menzionate camere, decisione confermata dal Tribunale cantonale amministrativo il 6 marzo 2009.
B. Parallelamente a quel ricorso, la proprietaria ha chiesto al Municipio il permesso di trasformare in un bordello quattro delle otto camere. La domanda non ha comportato opposizioni ed è stata preavvisata favorevolmente dal Dipartimento del territorio. Il 5 giugno 2009 il Municipio ha nondimeno respinto la domanda, ritenendo che le immissioni moleste derivanti dall'immobile contrasterebbero con la funzione residenziale della zona. Il 18 agosto 2009 il Consiglio di Stato, ammessa la presenza di immissioni foniche e immateriali, ha confermato il diniego. La citata società è allora insorta dinanzi al Tribunale cantonale amministrativo, criticando il rifiuto governativo di procedere a un contraddittorio orale e di esperire un sopralluogo. Con giudizio del 7 settembre 2011 la Corte cantonale, rifiutata la richiesta di contraddittorio orale poiché il ricorso sarebbe manifestamente infondato, ha respinto il gravame nel merito.
C. Avverso questa decisione A._ SA presenta un ricorso in materia di diritto pubblico al Tribunale federale, chiedendo di annullarla. Dei motivi si dirà, in quanto necessario, nei considerandi.
Il Consiglio di Stato si rimette al giudizio del Tribunale federale. La Corte cantonale, apportate alcune precisazioni, si riconferma nella decisione impugnata. Il Comune di X._ propone di respingere il ricorso. Nella replica la ricorrente si riconferma nelle proprie allegazioni e conclusioni.
Diritto:
1. 1.1 Nell'atto di ricorso, inutilmente prolisso e che si dilunga in parte su questioni che esulano manifestamente dall'oggetto del litigio, la ricorrente fa valere una violazione dell'art. 6 n. 1 CEDU, poiché il rifiuto del richiesto contraddittorio gli avrebbe impedito di "aggiornare" il gravame introdotto due anni prima, nonché d'informare la Corte cantonale su asseriti fatti essenziali intervenuti nel frattempo per opera del Comune.
1.2 La Corte cantonale, ritenendo (rettamente) pacifico che nella fattispecie è applicabile l'art. 6 CEDU, non si è espressa su questa critica. Richiamata la prassi, essa ha respinto la citata istanza ritenendo, in maniera del tutto generica, che il ricorso appariva manifestamente infondato.
1.3 Il Tribunale federale ha stabilito che l'obbligo di organizzare un dibattimento pubblico ai sensi della citata norma presuppone una richiesta chiara e inequivocabile di una parte, ricordato che semplici domande di assunzione di prove, come ad esempio istanze di audizione personale o di interrogatori di parti o di testimoni oppure richieste di sopralluogo, non sono sufficienti per fondare un simile obbligo. Ha ricordato che il giudice cantonale deve di principio ordinare un dibattimento pubblico qualora ne sia stata chiesta l'organizzazione; solo a titolo eccezionale egli può rifiutarlo, segnatamente oltre che in presenza dei motivi indicati all'art. 6 n. 1 secondo periodo CEDU, di intempestività della richiesta, di mancato rispetto dei principi della buona fede e del divieto dell'abuso di diritto, in particolare anche quando l'istanza appaia vessatoria, improntata a una mera tattica dilatoria o, infine, in presenza di un ricorso manifestamente infondato o inammissibile (DTF 136 I 279 consid. 1; 122 V 47 consid. 3b/aa-dd; sentenza 8C_504/2010 del 2 febbraio 2011 consid. 1.3; cfr. DTF 134 I 331).
1.4 Nel merito, la Corte cantonale ha ritenuto corretto il rifiuto governativo di non esperire il richiesto sopralluogo sulla base di un apprezzamento anticipato delle prove. Ciò poiché sarebbe sostenibile verificare la conformità della zona sotto il profilo dell'entità delle molestie ingenerate dal postulato cambiamento dell'attività svolta nelle quattro camere dell'immobile unicamente in modo astratto, secondo criteri oggettivi, prescindendo dalle caratteristiche concrete dello stabilimento oggetto della domanda di costruzione.
Ha poi stabilito che, secondo le norme di attuazione del piano regolatore comunale, nella zona residenziale semi-intensiva, dove è situato l'immobile, è permessa la costruzione di abitazioni, alberghi, ristoranti, stabili commerciali, amministrativi e artigianali con attività non moleste, qualsiasi forma di immissione molesta essendo vietata. Ha rilevato che sarebbero da considerare incompatibili con la funzione residenziale le cosiddette immissioni immateriali, che deriverebbero dalla realizzazione di un postribolo. Priva di valenza, sotto il profilo pianificatorio, sarebbe inoltre l'ordinanza municipale sull'esercizio della prostituzione, che ne regola l'esercizio sul suolo pubblico. Ha infine deciso che la ricorrente non poteva criticare l'assegnazione del fondo in esame alla citata zona di utilizzazione, ha respinto le asserite violazioni della libertà economica e ritenuto non decisivo, sebbene criticabile, il ritardo con il quale il Comune ha evaso la domanda di costruzione.
1.5 Come si evince da queste motivazioni, l'argomentazione dei giudici cantonali, secondo cui il ricorso era manifestamente infondato, non può essere seguita. La pretesa infondatezza non era palese: la Corte cantonale ha infatti reputato necessario procedere a uno scambio di scritti e nemmeno ha respinto il ricorso con breve motivazione (cfr. art. 48 della legge ticinese di procedura per le cause amministrative del 19 aprile 1966 e l'art. 49, secondo cui se il ricorso non sembra inammissibile o "manifestamente infondato", esso viene intimato all'autorità che ha pronunciato la decisione impugnata per lo scambio degli allegati). Inoltre, il ricorso, inoltrato il 7 settembre 2009, è stato deciso soltanto dopo due anni, ossia il 7 settembre 2011: durata che non si concilia con l'asserita manifesta infondatezza dello stesso.
Per di più, le motivazioni poste a fondamento di quel gravame sono analoghe a quelle sollevate in numerose altre impugnative, esaminate compiutamente dalla Corte cantonale prima e dal Tribunale federale poi (vedi sentenze 1C_112/2011 del 13 luglio 2011, 1C_86/2011 del 7 marzo 2011, 1C_526/2010 del 7 gennaio 2011, 1C_442/2009 del 16 ottobre 2009, 1C_90/2009 del 15 giugno 2009).
In concreto, il rifiuto del postulato contraddittorio, infondato, lede l'art. 6 n. 1 CEDU, che è violato anche per un ulteriore motivo.
2. 2.1 La ricorrente adduce infatti una violazione del suo diritto di essere sentito, segnatamente per l'impossibilità d'aver potuto replicare alle osservazioni delle controparti, in particolare a quelle dettagliate del Comune, ad essa intimate il 30 agosto 2011, quindi pochi giorni prima dell'emanazione del giudizio impugnato.
2.2 Il diritto di essere sentito comprende il diritto di prendere conoscenza di ogni presa di posizione sottoposta al tribunale e di potersi esprimere al proposito, indipendentemente dalla circostanza che contenga argomenti di fatto o di diritto nuovi o che si presti concretamente a influire sul giudizio. Il diritto di replica fondato sull'art. 29 cpv. 2 Cost. vale per tutte le procedure giudiziarie (DTF 137 I 195 consid. 2.3.1; 133 I 98 consid. 2.1 e 2.2; 100 consid. 4.3-4.6; 132 I 42; sulla prassi della Corte europea dei diritti dell'uomo, vedi le sentenze Schaller-Bossert c. Svizzera del 28 ottobre 2010 n. 39-42 e Ellès Christiane c. Svizzera del 16 dicembre 2010 n. 26-27; sulle censure proponibili nell'ambito di una replica DTF 135 I 19 consid. 2.2).
Decidendo pochi giorni dopo l'intimazione delle osservazioni, la Corte cantonale non poteva presumere che la ricorrente avesse implicitamente rinunciato ad avvalersi del suo diritto di esprimersi (DTF 133 I 100 consid. 4.8; sentenza 1B_427/2010 del 21 gennaio 2011 consid. 3.2-3.4 e 4.1).
2.3 Il ricorso dev'essere quindi accolto per violazione del diritto di essere sentito e per la mancata tenuta dell'udienza pubblica. Il vizio, ricordato il differente potere di esame che compete al Tribunale federale in particolare riguardo all'accertamento dei fatti (art. 105 e 97 LTF), non può essere sanato (DTF 133 I 100 consid. 4.9). La causa dev'essere rinviata alla Corte cantonale per nuovo giudizio, dopo che avrà concesso alla ricorrente la facoltà di replicare e di avvalersi del contraddittorio, a meno che la stessa vi rinunci. In queste condizioni, le ulteriori censure ricorsuali non devono essere esaminate (sentenze 6B_519/2010 del 1° ottobre 2010 consid. 2.2-3 in, RtiD I-2011 n. 33 pag. 158 e 1C_421/2007 del 12 novembre 2008 consid. 2.4 in, ZBl 110/2009 pag. 499).
3.1 Il ricorso dev'essere pertanto accolto e la decisione impugnata annullata. La causa è rinviata alla Corte cantonale affinché la ricorrente possa esprimersi sulle osservazioni delle controparti e sia concessa al suo patrocinatore la facoltà di esprimersi nel quadro di un contraddittorio (udienza pubblica).
3.2 Non si riscuotono spese giudiziarie (art. 66 cpv. 4 LTF). Poiché era manifestamente sufficiente esprimersi sulla lesione del diritto di essere sentito, si giustifica attribuire ripetibili della sede federale ridotte (art. 66 cpv. 1 LTF).
Per questi motivi, il Tribunale federale pronuncia:
1. Il ricorso è accolto e la decisione emanata dal Tribunale amministrativo del Cantone Ticino il 7 settembre 2011 è annullata. La causa gli viene rinviata per nuovo giudizio.
2. Non si prelevano spese giudiziarie. Lo Stato del Cantone Ticino rifonderà alla ricorrente un'indennità ridotta di fr. 1'000.- per ripetibili della sede federale.
3. Comunicazione al patrocinatore della ricorrente, al Municipio di X._, al Dipartimento del territorio, al Consiglio di Stato e al Tribunale amministrativo del Cantone Ticino.