Fatti:
A. Il 27 gennaio 2009 agenti del distaccamento speciale della polizia cantonale preposto alla prevenzione della tratta e dello sfruttamento degli esseri umani (TESEU), coadiuvati da tre agenti della gendarmeria territoriale e da cinque agenti delle polizie comunali del Piano del Vedeggio, hanno ispezionato l'osteria con alloggio B._ a Y._, sospettata di fungere, in realtà, da postribolo. Gli agenti hanno scattato fotografie dei luoghi, ispezionato i locali dell'esercizio pubblico e proceduto all'identificazione di sette donne, tutte cittadine straniere, una delle quali, di nazionalità brasiliana, in possesso di un regolare permesso di dimora per l'esercizio della prostituzione.
B. Con decisione del 27 maggio 2009 il Consiglio di Stato del Cantone Ticino ha dichiarato irricevibile un ricorso sottopostogli dalla A._SA, società che gestisce l'osteria con l'alloggio, nonché da tre persone residenti presso l'esercizio pubblico, ritenendo che il gravame non concerneva una decisione impugnabile, bensì un atto materiale di polizia. Adito dalla citata società, con giudizio del 12 ottobre 2010 il Tribunale cantonale amministrativo, ammessa la sua competenza, ha respinto il ricorso, confermando che il criticato controllo di polizia non costituisce una decisione formale ai sensi dell'art. 5 PA (RS 172.021), bensì un atto materiale di polizia. Ha nondimeno ritenuto che non spetta a lui designare l'autorità cantonale in grado di offrire un'adeguata protezione giuridica, limitandosi ad "immaginare" possibili autorità alle quali l'insorgente potrebbe rivolgersi allo scopo di provocare una decisione formale di accertamento, concludendo che altre soluzioni appaiono ugualmente "percorribili".
C. Avverso questo giudizio la A._SA presenta un ricorso in materia di diritto pubblico al Tribunale federale. Chiede di annullarla e di accertare in particolare la violazione degli art. 29a Cost., 6 e 8 CEDU, in via subordinata, di rinviare la causa al Tribunale cantonale amministrativo per nuovo giudizio.
Il Consiglio di Stato, senza formulare osservazioni, si rimette al giudizio del Tribunale federale, mentre la Corte cantonale, anch'essa senza formulare osservazioni, si riconferma nella decisione impugnata.
Diritto:
1. 1.1 Il Tribunale federale esamina d'ufficio se e in che misura un ricorso può essere esaminato nel merito (DTF 136 II 497 consid. 3).
1.2 La scelta del rimedio giuridico dipende dalla materia posta a fondamento della vertenza, anche qualora la decisione impugnata si fondi esclusivamente sul diritto di procedura (DTF 137 I 128 consid. 2 e rinvio). La presente procedura concerne la contestata applicazione dell'art. 62 della legge cantonale del 21 dicembre 1994 sugli esercizi pubblici (Les pubb, nel frattempo abrogata), o piuttosto, come ancora si vedrà, la questione di sapere se le presunte attività delle donne straniere controllate, ossia il sospettato esercizio della prostituzione nell'esercizio pubblico in questione, costituisca un cambiamento di destinazione inconciliabile con l'uso dello stabile autorizzato con la licenza edilizia; questi quesiti non devono essere tuttavia risolti nel quadro di questa procedura. Si tratta comunque, nelle due ipotesi, di materie rientranti nel campo dell'applicazione di un ricorso in materia di diritto pubblico ai sensi degli art. 82 segg. LTF.
1.3 Il ricorso concerne il mancato esame nel merito del gravame presentato dalla ricorrente alla Corte cantonale in seguito alla decisione d'irricevibilità del Consiglio di Stato. Essa fa valere che questo diniego, costitutivo di un formalismo eccessivo, violerebbe in particolare gli art. 29a Cost. e 6 CEDU.
1.4 L'interessato può censurare la violazione di garanzie procedurali che il diritto cantonale o gli art. 29 seg. Cost. e 6 CEDU gli conferiscono quale parte, se del caso anche indipendentemente dalla carenza di legittimazione nel merito, nella misura in cui tale inosservanza equivalga a un diniego di giustizia formale (DTF 137 I 128 consid. 3.1.1; 136 IV 29 consid. 1.7.2 e 1.9; 131 I 455 consid. 1.2.1). In questo caso, l'interesse giuridicamente protetto all'annullamento della decisione impugnata, richiesto dall'art. 81 cpv. 1 lett. b LTF, non si fonda su aspetti di merito, bensì sul diritto di partecipare alla procedura (cfr. DTF 136 IV 41 consid. 1.4; sentenza 1B_250/2011 del 14 luglio 2011 consid. 1.2).
2. 2.1 Con la sentenza impugnata la Corte cantonale, dopo aver ammesso la propria competenza, ritenuto che il ricorso era ricevibile in ordine e che poteva essere deciso sulla base degli atti, l'ha respinto, senza tuttavia esaminarlo nel merito.
Il Tribunale cantonale amministrativo ha infatti ritenuto che, contrariamente all'assunto ricorsuale, il contestato controllo di polizia non costituisce una decisione formale ai sensi dell'art. 5 PA, ma, conformemente alla richiamata giurisprudenza del Tribunale federale (DTF 130 I 369 consid. 6.1 pag. 378 in fine; 128 I 167 consid. 4.5), un atto materiale di polizia (cosiddetto "Realakt"), poiché tendeva a verificare se, come sospettato, l'esercizio in discussione fosse illegalmente utilizzato quale postribolo. Ha poi ricordato che l'art. 1 della legge ticinese di procedura per le cause amministrative del 19 aprile 1966 (LPamm) si applica ai procedimenti di diritto amministrativo definibili mediante decisioni di autorità cantonali, comunali, patriziali, parrocchiali e di altri enti pubblici analoghi (cpv. 1). Ha rilevato che dinanzi al Consiglio di Stato sono impugnabili le decisioni dipartimentali e di commissioni speciali, non dichiarate definitive dalla legge, quand'essa non preveda il ricorso diretto al Tribunale cantonale amministrativo o ad altre autorità di ricorso (art. 55 cpv. 1 LPamm), nonché contro le decisioni delle autorità comunali, patriziali, parrocchiali o di enti pubblici analoghi (cpv. 2). Ne ha concluso che il criticato intervento di polizia, non potendo essere qualificato come decisione formale, non può essere oggetto di ricorso al Governo cantonale, per cui ha confermato la pronunzia governativa d'irricevibilità.
I giudici cantonali hanno tuttavia ammesso che la giurisprudenza riconosce la necessità di istituire in determinati casi una certa protezione giuridica, in particolare riguardo al diritto a un ricorso effettivo ai sensi dell'art. 13 CEDU (sui limiti di questo diritto anche in relazione all'art. 8 CEDU vedi DTF 133 I 49 consid. 3.1). Hanno altresì rilevato che in ogni caso i Cantoni sono competenti a creare, se del caso, una specifica via di ricorso, volta ad assicurare il controllo della legalità di atti materiali compiuti dalle loro autorità scegliendo tra differenti possibilità (per esempio, in applicazione dell'art. 35 cpv. 2 Cost. concernente il rispetto dei diritti fondamentali da parte di chi svolge un compito statale, tramite l'inoltro di una denuncia all'autorità di vigilanza, procedura che non conferisce tuttavia all'interessato il diritto di ottenere una decisione, o fondandosi sul diritto di ottenere una decisione di accertamento impugnabile). Hanno quindi ritenuto che la mancata adozione di una normativa in proposito non consente di affermare che il cittadino non possa pretendere, a determinate condizioni, un esame di legalità degli atti materiali cantonali che li concernono. Hanno inoltre richiamato la garanzia della via giudiziaria istituita dall'art. 29a Cost. e l'adozione dell'art. 25a PA, secondo cui chiunque ha un interesse degno di protezione può esigere che l'autorità competente per atti materiali che si fondano sul diritto pubblico federale e che tocchino diritti o obblighi si pronunci mediante decisione formale. La Corte cantonale ha rilevato che sebbene questa norma si applichi direttamente soltanto alle autorità che statuiscono sulla base del diritto federale, alla luce dell'art. 29a Cost. detti principi valgono indirettamente anche per le autorità cantonali che applicano il diritto cantonale, qualora l'interessato possa far valere un interesse degno di protezione e sia stato leso in modo grave e diretto nelle proprie libertà.
La Corte cantonale ha nondimeno ritenuto che, nel quadro di un ricorso contro una decisione governativa, non spetta e lei designare l'autorità cantonale in grado di offrire un'adeguata protezione giuridica, né determinare le modalità in base alle quali una siffatta tutela dev'essere assicurata nel caso di specie. Ha stabilito che, in questo stadio della procedura, era sufficiente rilevare che ci si poteva immaginare che, riguardo al contestato intervento, la ricorrente si potesse rivolgere alla polizia cantonale o all'istanza gerarchicamente superiore, ossia il Dipartimento delle istituzioni, allo scopo di provocare se del caso una decisione formale di accertamento suscettibile d'essere impugnata. Ha poi concluso sostenendo che "altre soluzioni appaiono comunque ugualmente percorribili".
2.2 Certo, l'art. 62 della Les pubb (norma analoga all'art. 36 della nuova legge sugli esercizi pubblici e sulla ristorazione del 1° giugno 2010, attualmente in vigore), prevede che gli agenti della polizia cantonale e comunale possono ispezionare gli esercizi pubblici, accertare l'identità di chi vi si trova o ordinarne lo sgombero in caso di disordini. Tuttavia, nella fattispecie, come noto sia alla ricorrente sia al Consiglio di Stato e alla Corte cantonale, e come rettamente accertato nella decisione impugnata, l'intervento di polizia litigioso tendeva unicamente a verificare se, come sospettato, l'esercizio pubblico in questione fosse illegalmente utilizzato quale postribolo. È in effetti notorio che sulla base dei rapporti del distaccamento TESEU i Municipi decidono se negli esercizi pubblici controllati sia o meno praticata abusivamente la prostituzione, se tale attività costituisca un cambiamento di destinazione inconciliabile con la destinazione della zona e, infine, se del caso far ripristinare l'uso autorizzato con la licenza edilizia (al riguardo vedi sentenze 1C_112/2011 del 13 luglio 2011, 1C_86/2011 del 7 marzo 2011 e 1C_526/2010 del 7 gennaio 2011). In siffatte circostanze è quindi a ragione che la ricorrente ha sostenuto che l'intervento di polizia litigioso non rientra ma travalica i limiti dell'art. 62 Les pubb, visto che le competenze ivi attribuite non sono direttamente riconducibili a finalità di natura edilizia e penale.
2.3 Ciò è confermato anche dall'esito del reclamo presentato dalla ricorrente all'allora Giudice dell'istruzione e dell'arresto, pure dichiarato irricevibile. La criticata ispezione è nondimeno sfociata in un decreto di accusa nei confronti di una cittadina straniera, tra l'altro, per attività lucrativa illecita senza autorizzazione ed esercizio illecito della prostituzione. Per di più, nella propria decisione, il Consiglio di Stato ha espressamente accertato che la contestata ispezione non ha comportato l'adozione di alcun provvedimento in applicazione della legge sugli esercizi pubblici.
2.4 Sia come che sia, la procedura di ricorso prevista dalla Les pubb (art. 72), come dalla nuova normativa (art. 50 seg.), dispone che per lo meno contro le decisioni dei Municipi in materia contravvenzionale l'interessato può ricorrere al Consiglio di Stato, la cui decisione è appellabile al Tribunale cantonale amministrativo. È d'altra parte notorio che anche in materia edilizia, ai fini della quale è stato effettuato l'intervento di polizia litigioso, la protezione giuridica è data dal ricorso al Consiglio di Stato e alla Corte cantonale.
2.5 È del resto a ragione che i giudici cantonali hanno richiamato la garanzia della via giudiziaria istituita dall'art. 29a Cost., entrata in vigore il 1° gennaio 2007, secondo cui nelle controversie giudiziarie ognuno ha diritto al giudizio da parte di un'autorità giudiziaria, ricordato che in casi eccezionali la Confederazione e i Cantoni possono escluderla per legge (al riguardo vedi DTF 137 I 128 consid. 4.2 e 4.3.2; 136 II 436 consid. 1.2), eccezione questa non addotta dalla Corte cantonale.
Detta garanzia è concretata dall'art. 86 cpv. 2 LTF, in vigore dal 1° gennaio 2009 (art. 130 cpv. 3 LTF), secondo il quale i Cantoni istituiscono tribunali superiori che giudicano quali autorità di grado immediatamente inferiore al Tribunale federale, in quanto un'altra legge federale non preveda che le decisioni di altre autorità giudiziarie sono impugnabili mediante ricorso al Tribunale federale (DTF 136 I 42 consid. 1.3 e 1.4, 323 consid. 4.2 e 4.3).
2.6 Del resto, il controllo di persone e il controllo dell'identità e misure di identificazione possono toccare le garanzie dell'art. 10 cpv. 2 Cost. e 8 n. 1 CEDU (DTF 136 I 87 consid. 5.1 e rinvii) qualora assumano una determinata intensità (DTF 130 I 369 consid. 2 pag. 373 in fondo). Spetta in primo luogo alle autorità cantonali accertare, di principio in maniera vincolante (art. 97 cpv. 1 e 105 cpv. 1 LTF), la gravità e l'intensità del criticato controllo nel caso di specie, ricordato che solo le lesioni di una certa gravità, da valutare nel quadro del contesto e dell'insieme delle circostanze concrete, sono meritevoli di protezione giuridica (DTF 133 I 49 consid. 3.2 pag. 57; 130 I 388 consid. 5). Al riguardo giova osservare che il Consiglio di Stato, in primo luogo, in sostanza ha escluso un interesse legittimo degli insorgenti a verificare la legittimità del contestato intervento, negando loro, in assenza di una qualsiasi modifica della loro situazione giuridica, la legittimazione a ricorrere. Spettava alla Corte cantonale esaminare nel merito anche questo aspetto della vertenza.
3. La ricorrente rileva a ragione che, contrariamente a quanto ritenuto dalla Corte cantonale, non le incombe avviare ulteriori nuove e non meglio precisate procedure giudiziarie dinanzi ad autorità cantonali, la cui competenza a decidere è tutt'altro che manifesta. In effetti, la competenza del Consiglio di Stato non appare d'acchito esclusa e il Tribunale amministrativo ha espressamente ammesso la propria. D'altra parte, la ricorrente fa rettamente valere che se del caso competeva alla Corte cantonale, qualora si fosse reputata incompetente, trasmettere d'ufficio gli atti all'autorità competente, come espressamente imposto dall'art. 4 LPamm (cpv. 1), procedendo semmai, sempre d'ufficio, a uno scambio di opinioni (cpv. 3). Quest'obbligo configura del resto un principio generale applicabile in tutti i campi del diritto (Borghi/ Corti, Compendio di procedura amministrativa ticinese, 1997, n. 1 segg. all'art. 4). Né regge l'assunto, addotto dal Consiglio di Stato, che nell'asserita presenza di non meglio specificate "svariate possibili opzioni" competerebbe al legislatore cantonale determinarsi sull'eventuale creazione di una particolare via di ricorso. Il Governo cantonale, richiamata la garanzia dell'art. 13 CEDU, poteva infatti concedere direttamente una possibilità di ricorso (cfr. DTF 130 I 369 consid. 6 e 6.1 pag. 378 in medio). La medesima conclusione vale per la Corte cantonale. Non spetta di massima al Tribunale federale designare l'autorità cantonale tenuta a offrire una protezione giuridica adeguata, per dare se del caso alla ricorrente la possibilità di ottenere una decisione formale, di massima di accertamento, impugnabile (DTF 133 I 49 consid. 3.2 pag. 56; 136 I 42 consid. 2 e rinvii).
4. 4.1 Ne segue che il ricorso dev'essere accolto, la decisione impugnata annullata e la causa rinviata al Tribunale cantonale amministrativo affinché esamini il ricorso nel merito o lo trasmetta per l'esame di merito al Consiglio di Stato.
4.2 La ricorrente ha diritto a ripetibili della sede federale (art. 68 cpv. 1 LTF). Non si prelevano spese giudiziarie (art. 66 cpv. 4 LTF).
Per questi motivi, il Tribunale federale pronuncia:
1. Il ricorso è accolto e la decisione emanata il 12 ottobre 2010 dal Tribunale amministrativo del Cantone Ticino è annullata. La causa è rinviata alla Corte cantonale per nuovo giudizio nel senso dei considerandi.
2. Lo Stato del Cantone Ticino rifonderà alla ricorrente un'indennità di fr. 2'000.-- per ripetibili della sede federale.
3. Comunicazione al patrocinatore della ricorrente, al Consiglio di Stato e al Tribunale amministrativo del Cantone Ticino.