Fatti:
A. Per quanto qui interessa, con decisione del 5 giugno 2009, il Municipio di Melano ha negato a A._ SA il richiesto rilascio della licenza edilizia per il parziale cambiamento di destinazione, da camere da affittare a postribolo, di un immobile di sua proprietà. La decisione è stata confermata il 18 agosto 2009 dal Consiglio di Stato del Cantone Ticino. Contro questa risoluzione, il 7 settembre 2009 la proprietaria ha presentato alla Presidente del Tribunale di appello e al Tribunale cantonale amministrativo un ricorso con una domanda di ricusa di tutti i giudici del Tribunale d'appello. Adduceva che il patrocinatore del Municipio, quale membro del Gran Consiglio, aveva partecipato alla loro elezione, per cui essi, essendo la controparte rappresentata da chi li ha eletti, non sarebbero oggettivamente imparziali.
B. Con risoluzione del 24 novembre 2009, il Consiglio di Stato, al quale l'istanza di ricusa era stata trasmessa per competenza come previsto dalla normativa cantonale, ha proceduto al sorteggio di una Camera straordinaria del Tribunale d'appello, alla quale l'ha poi trasmessa per giudizio. Adita tra l'altro da A._ SA, con sentenza 1C_9/2010 del 14 dicembre 2010, il Tribunale federale ne ha accolto il ricorso e annullato la citata decisione governativa. In seguito, il 12 gennaio 2011, il Consiglio di Stato ha retrocesso l'istanza di ricusa al Tribunale d'appello, che l'ha restituita al Tribunale cantonale amministrativo per un esame preliminare della sua fondatezza. Con giudizio del 20 gennaio 2011, il Tribunale cantonale amministrativo l'ha dichiarata inammissibile, siccome manifestamente infondata.
C. Avverso questa decisione A._ SA presenta un ricorso in materia di diritto pubblico e, in subordine, un ricorso sussidiario in materia costituzionale al Tribunale federale. Chiede di annullarla e di invitare la Corte cantonale a procedere come indicato nella sentenza del 14 dicembre 2010, in via subordinata, di accertare la violazione dei criteri vigenti per non esaminare nel merito una domanda di ricusa.
Non sono state chieste osservazioni al gravame.
Diritto:
1. Il ricorso in materia di diritto pubblico contro una decisione incidentale sulla competenza, notificata separatamente ed emanata dall'ultima istanza cantonale nell'ambito del diritto edilizio, è di massima ammissibile sotto il profilo degli art. 82 lett. a, 86 cpv. 1 lett. d e 92 cpv. 1 LTF (DTF 133 II 409 consid. 1.1). Ne segue che il ricorso sussidiario in materia costituzionale è chiaramente inammissibile (art. 113 LTF). La legittimazione della ricorrente è pacifica, così come la tempestività del gravame.
2. 2.1 La garanzia del diritto a un giudice imparziale vieta l'influsso sulla decisione di circostanze estranee al processo, che potrebbero privarlo della necessaria oggettività a favore o a pregiudizio di una parte (DTF 136 I 207 consid. 3.1 e rinvii). Essa è concretata in primo luogo dalle regole cantonali sulla ricusa e l'esclusione o astensione obbligatoria (DTF 116 Ia 14 consid. 4; 125 I 209 consid. 8a). Indipendentemente dai precetti del diritto cantonale, la Costituzione federale (art. 30 cpv. 1) e la CEDU (art. 6 n. 1) assicurano comunque a ciascuno il diritto di sottoporre la propria causa a giudici non prevenuti, ossia in grado di garantire un apprezzamento libero e imparziale. Sebbene la semplice affermazione della parzialità, basata su sentimenti soggettivi di una parte, non sia sufficiente per fondare un dubbio legittimo, non occorre che il giudice sia effettivamente prevenuto: per giustificare la sua ricusazione bastano circostanze concrete idonee a suscitare l'apparenza di una prevenzione e a far sorgere un rischio di parzialità (DTF 136 I 207 consid. 3.1; 136 III 605 consid. 3.2.1).
La ricusa riveste un carattere eccezionale (DTF 131 I 24 consid. 1.1; 116 Ia 14 consid. 4). Sotto il profilo oggettivo, occorre ricercare se il magistrato ricusato offra le necessarie garanzie per escludere ogni legittimo dubbio di parzialità; sono considerati in tale ambito anche aspetti di carattere funzionale e organizzativo e viene posto l'accento sull'importanza che possono rivestire le apparenze stesse. Decisivo è sapere se le apprensioni soggettive dell'interessato possano considerarsi oggettivamente giustificate (DTF 134 I 238 consid. 2.1, 20 consid. 4.2).
2.2 Nella sentenza del 14 dicembre 2010, a titolo abbondanziale il Tribunale federale aveva ricordato che secondo la giurisprudenza, con riserva delle garanzie procedurali minime prescritte dagli art. 29, 30 Cost. e 6 CEDU, un tribunale, del quale è chiesta la ricusa di tutti i suoi membri, può dichiarare esso medesimo irricevibile la domanda, anche qualora questa decisione secondo la legge di procedura applicabile incomba a un'altra autorità. Ciò quand'essa sia abusiva o manifestamente infondata, condizioni che tuttavia non devono essere ammesse troppo facilmente (consid. 5.1). Questo per evitare abusi o manipolazioni e garantire l'indipendenza necessaria, visto che il diritto delle parti, non solo di quella ricorrente ma anche della controparte, a una composizione regolare di un tribunale vieta di principio l'istituzione di tribunali d'eccezione e l'operare di giudici ad hoc ed esige, allo scopo di impedire ogni manipolazione e garantire l'indipendenza necessaria, un'organizzazione giudiziaria e una procedura stabilite in un testo di legge. Era stato rilevato infine che, prima di procedere all'istituzione di un tribunale straordinario, il Tribunale d'appello avrebbe dovuto vagliare compiutamente, in relazione al caso di specie, se per esempio a causa di nomine avvenute tacitamente o in assenza del parlamentare in questione, la ricusa di tutti i membri del Tribunale poteva essere ammessa d'acchito, senza procedere per lo meno a un esame preliminare dell'asserita fondatezza della domanda di ricusa (consid. 5.2).
2.3 La ricorrente fa valere, dapprima, che la competenza a decidere detta domanda sarebbe spettata al Tribunale d'appello e non al Tribunale cantonale amministrativo, che fa parte della Sezione di diritto pubblico del primo. Al suo dire, l'istanza di ricusa seguirebbe infatti un iter indipendente dalla pratica di merito. Rileva che, secondo l'art. 49 cpv. 1 lett. b della legge ticinese sull'organizzazione giudiziaria del 10 maggio 2006 (LOG), il Tribunale cantonale amministrativo giudica soltanto le contestazioni attribuitegli per legge, per cui non sussisterebbe una norma specifica che conferirebbe a detta Corte la facoltà di decidere una domanda di ricusa di singoli giudici o della propria composizione, come previsto invece dagli art. 36 e 37 LTF. Ne deduce che sarebbe spettato al Tribunale d'appello decidere l'istanza, ricordato che sono stati ricusati tutti i giudici del tribunale.
2.4 La censura non regge. In effetti, l'art. 5 cpv. 1 LOG, concernente la supplenza ordinaria, recita che in mancanza di uno o più giudici, per qualsiasi motivo, la Camera si completa anzitutto con altri membri della Sezione. La ricorrente disattende inoltre che la ricusazione dei membri del Tribunale cantonale amministrativo è retta dall'art. 32 della legge di procedura per le cause amministrative del 19 aprile 1966. Ora, esaminando la domanda di ricusa e ritenendola d'acchito manifestamente infondata, il Tribunale amministrativo non ha applicato in maniera insostenibile e quindi arbitraria la normativa cantonale, la manifesta infondatezza della domanda potendo essere pronunciata da detta Corte, la cui competenza a statuire nel merito della causa edilizia, a ragione, non è contestata dalla ricorrente. Contrariamente all'assunto ricorsuale, l'accenno nella sentenza del 14 dicembre 2010 del Tribunale federale, a titolo abbondanziale e in maniera generale, a un "tribunale" (consid. 5.1) non è chiaramente vincolante, né imponeva che a pronunciarsi al riguardo fosse il Tribunale d'appello in corpore.
In effetti, come già ricordato in quella sentenza, un Tribunale, una sua Camera o Sezione, di cui è postulata la ricusa in blocco, possono statuire essi medesimi sulla stessa, qualora essa sia priva di ogni fondamento, abusiva o manifestamente irricevibile, anche quando la legge di procedura applicabile attribuisce tale competenza a un'altra autorità (DTF 129 II 445 consid. 4.2.2 pag. 464; sentenza 6B_846/2009 del 26 gennaio 2010 consid. 3.2, in RtiD 2010 II pag. 86). L'applicazione di questa giurisprudenza da parte di tribunali cantonali non è arbitraria (sentenza 6B_338/2008 del 7 gennaio 2009 consid. 3.1).
2.5 La ricorrente critica poi che la contestata decisione è stata adottata senza effettuare nessuno degli accertamenti indicati, comunque a titolo abbondanziale e quindi, contrariamente all'assunto ricorsuale, in maniera non vincolante, nella decisione del 14 dicembre 2010 (consid. 5.2). Tali accertamenti del resto avrebbero tutt'al più solo potuto dimostrare l'infondatezza della domanda. Ora, ricordato che lo scopo di detti accertamenti era di evitare l'istituzione, senza motivi validi, di tribunali straordinari, la circostanza d'aver ritenuto d'acchito manifestamente infondata la richiesta sulla base di un altro motivo, non è chiaramente insostenibile e quindi nemmeno arbitraria la relativa valutazione (sulla nozione di arbitrio vedi DTF 137 I 1 consid. 2.4 e rinvii).
3. 3.1 Nel merito, la Corte cantonale è giunta alla contestata conclusione, richiamando una sentenza del Tribunale federale (1P.251/2006 del 12 maggio 2006 consid. 2), dalla stessa dichiarata nota al patrocinatore della ricorrente, secondo la quale, nell'ambito di un sistema di elezione e di rielezione periodica dei magistrati dell'ordine giudiziario da parte di un'autorità politica, il fatto che un cittadino partecipi a questa procedura di natura politica, sia come elettore sia come responsabile di un partito politico, non costituisce di tutta evidenza un elemento suscettibile di mettere oggettivamente in dubbio l'imparzialità di un magistrato che tratta una causa giudiziaria nella quale lo stesso cittadino è implicato. Ciò poiché, indipendentemente dal fatto che in quella causa si trattava di un'elezione popolare, nessun magistrato può essere sicuro della sua elezione o rielezione. Il rischio di una mancata elezione o rielezione non costituisce quindi una circostanza giustificante la ricusa del giudice nelle cause giudiziarie alle quali una parte partecipa sia come cittadino elettore sia come membro di una commissione tematica di un partito politico sfociante nella designazione dei candidati. Ne ha concluso che ciò vale a maggior ragione quando non è la parte interessata, ma solo il suo patrocinatore, non personalmente implicato nel procedimento giudiziario, a rientrare tra gli elettori (potenziali) del magistrato.
3.2 Questa conclusione non è incostituzionale, ritenuto che l'unico generico sospetto di parzialità addotto dalla ricorrente è costituito dall'eventuale partecipazione del patrocinatore del Comune alla nomina dei giudici del Tribunale d'appello. Ora, ricordato che nel Cantone Ticino il periodo di nomina dei magistrati è comunque di dieci anni (art. 81 cpv. 1 Cost./TI), la ricorrente non adduce alcuna circostanza concreta e plausibile che potrebbe far intravedere una qualsiasi parvenza di imparzialità da parte di detti magistrati (vedi sul tema REGINA KIENER, Richterliche Unabhängigkeit, 2001, pag. 257, 262 e 285).
3.3 La ricorrente adduce infine, sempre in maniera del tutto generica, che tra l'esercizio dell'attività d'avvocato e quella di parlamentare chiamato a nominare i giudici sussisterebbe un oggettivo conflitto di interessi, ciò che dovrebbe indurre un avvocato, che assume la funzione di Granconsigliere in un Parlamento di milizia, a non più esercitare la professione di legale davanti a un'autorità giudiziaria. Quest'ultima censura, che concerne peraltro il controllo accessorio delle norme e della relativa legislazione cantonale, non adempie chiaramente le esigenze di motivazione dell'art. 42 LTF ed è pertanto inammissibile (DTF 136 II 304 consid. 2.5; 136 I 65 consid. 1.3.1). Il ricorrente non si confronta infatti del tutto con la tematica della carica giudiziaria accessoria da parte di avvocati (su questo tema vedi DTF 135 I 14 consid. 4.1-4.3; 133 I 1 consid. 5 e 6; 135 I 14 e riferimenti; 124 I 121; 116 Ia 485). Del resto, essa concerne in ogni modo l'esercizio della professione di avvocato e non di magistrato.
3.4 D'altra parte, in una certa misura, la possibilità che un avvocato sia parlamentare e che in tale veste partecipi alla nomina dei magistrati dell'ordine giudiziario, che poi giudicheranno se del caso anche nelle cause in cui egli rappresenta una parte, è intrinseco al sistema, come avviene per i giudici supplenti che praticano l'avvocatura: questa circostanza non costituisce tuttavia in maniera generale un motivo di ricusa (DTF 133 I 1 consid. 6.4.2). Non risulta infatti dal solo fatto che il parlamentare avvocato, peraltro democraticamente eletto, che partecipa alla nomina di un magistrato, con la propria comunque limitata forza elettorale visto che il Gran Consiglio è composto da novanta deputati, possa per questo nel tempo, in termini generali, influire sulla libertà di giudizio e sull'indipendenza di questi. In conclusione, la fattispecie di per sé non riveste, oggettivamente, l'eccezionalità che l'istituto della ricusa esige.
4. Ne segue che il ricorso, in quanto ammissibile, dev'essere respinto. Le spese seguono la soccombenza (art. 66 cpv. 1 LTF).
Per questi motivi, il Tribunale federale pronuncia:
1. Nella misura in cui è ammissibile, il ricorso è respinto.
2. Le spese giudiziarie di fr. 2'000.-- sono poste a carico della ricorrente.
3. Comunicazione ai patrocinatori delle parti, al Consiglio di Stato e al Tribunale amministrativo del Cantone Ticino.