Fatti: A. Per quanto qui interessa, con decisione del 5 giugno 2009, il Municipio di Melano ha negato a A._ SA il richiesto rilascio della licenza edilizia per il parziale cambiamento di destinazione, da camere da affittare a postribolo, di un immobile di sua proprietà. La decisione è stata confermata il 18 agosto 2009 dal Consiglio di Stato del Cantone Ticino. Contro questa risoluzione, il 7 settembre 2009 la proprietaria ha presentato alla Presidente del Tribunale di appello e al Tribunale cantonale amministrativo un ricorso con una domanda di ricusa di tutti i giudici del Tribunale d'appello. Adduceva che il patrocinatore del Municipio, quale membro del Gran Consiglio, aveva partecipato alla loro elezione, per cui essi, essendo la controparte rappresentata da chi li ha eletti, non sarebbero oggettivamente imparziali. B. Con risoluzione del 24 novembre 2009, il Consiglio di Stato, al quale l'istanza di ricusa era stata trasmessa per competenza come previsto dalla normativa cantonale, ha proceduto al sorteggio di una Camera straordinaria del Tribunale d'appello, alla quale l'ha poi trasmessa per giudizio. Adita tra l'altro da A._ SA, con sentenza 1C_9/2010 del 14 dicembre 2010, il Tribunale federale ne ha accolto il ricorso e annullato la citata decisione governativa. In seguito, il 12 gennaio 2011, il Consiglio di Stato ha retrocesso l'istanza di ricusa al Tribunale d'appello, che l'ha restituita al Tribunale cantonale amministrativo per un esame preliminare della sua fondatezza. Con giudizio del 20 gennaio 2011, il Tribunale cantonale amministrativo l'ha dichiarata inammissibile, siccome manifestamente infondata. C. Avverso questa decisione A._ SA presenta un ricorso in materia di diritto pubblico e, in subordine, un ricorso sussidiario in materia costituzionale al Tribunale federale. Chiede di annullarla e di invitare la Corte cantonale a procedere come indicato nella sentenza del 14 dicembre 2010, in via subordinata, di accertare la violazione dei criteri vigenti per non esaminare nel merito una domanda di ricusa. Non sono state chieste osservazioni al gravame.