Fatti:
A. Il 29 luglio 1983 il Municipio di X._ aveva rilasciato a una società immobiliare una licenza edilizia per l'edificazione di un aparthotel, condizionata alla sottoscrizione di una convenzione volta a garantire questa destinazione. In seguito, sul relativo fondo xxx, è stato iscritto un vincolo di destinazione, nel senso che le costruzioni e le attrezzature annesse non potevano essere adibite a uso diverso da quello alberghiero. Il 22 novembre 2006, l'autorità di Ia istanza per l'applicazione della legge federale sull'acquisto di fondi da parte di persone all'estero, adita dai condomini, ha revocato il vincolo di aparthotel.
B. Preso atto che detto vincolo non era più rispettato e che pertanto la licenza edilizia risultava violata, con decisione del 26 luglio 2007 il Municipio ha inflitto ai comproprietari una sanzione pecuniaria di fr. 626'250.--. Per quanto qui interessa, il Municipio, fatta eccezione per la trasformazione di tre vani, ha poi negato il rilascio di una domanda di costruzione in sanatoria, e in particolare il cambiamento di destinazione, poiché la superficie utile lorda (SUL) massima era superata, concedendo nondimeno il permesso relativo ai lavori di conversione dell'immobile. Ritenendo sproporzionato un ordine di ripristino, il Municipio ha quindi inflitto ai comproprietari una sanzione pecuniaria di fr. 590'250.--, riferita in particolare al vantaggio economico tratto dal superamento della SUL: decisione confermata dal Consiglio di Stato. Adito dai comproprietari, con giudizio del 14 aprile 2011 il Tribunale cantonale amministrativo ne ha parzialmente accolto il ricorso, annullando la decisione governativa e rinviando gli atti al Governo, affinché, completati gli accertamenti, si pronunci di nuovo nel senso dei considerandi.
C. La Comunità dei comproprietari della particella xxx di X._ impugna questa pronunzia con un ricorso in materia di diritto pubblico al Tribunale federale. Chiede, in sostanza, in via preliminare e nel merito, di annullarla unitamente alla sanzione pecuniaria, di concedere la licenza edilizia e di non comminare alcuna sanzione per il superamento della SUL e, in via subordinata, di ritornare gli atti alla Corte cantonale per nuovo giudizio.
Non sono state chieste osservazioni al gravame, ma è stato richiamato l'incarto cantonale.
Diritto:
1. 1.1 Il Tribunale federale esamina d'ufficio e con piena cognizione la sua competenza (art. 29 cpv. 1 LTF) e l'ammissibilità dei ricorsi sottopostigli (DTF 136 II 101 consid. 1).
1.2 Presentato tempestivamente dalla Comunità dei comproprietari del fondo oggetto del contestato provvedimento e diretto contro una decisione pronunciata in una causa di diritto pubblico da un'autorità di ultima istanza cantonale, il ricorso in materia di diritto pubblico è di principio ammissibile sotto il profilo degli art. 82 lett. a, 86 cpv. 1 lett. d, 89 cpv. 1 e 100 cpv. 1 in relazione con l'art. 46 cpv. 1 lett. a LTF.
1.3 La ricorrente rileva, rettamente, che si è in presenza di una decisione incidentale di rinvio ai sensi dell'art. 93 LTF. Aggiunge che la Corte cantonale avrebbe tuttavia imposto criteri vincolanti per la nuova decisione, respingendo in sostanza già nel merito le censure da essa sollevate.
1.4 Secondo la citata norma, il ricorso contro una decisione incidentale è ammissibile se può causare un pregiudizio irreparabile (lett. a) o se l'accoglimento del ricorso comporterebbe immediatamente una decisione finale consentendo di evitare una procedura probatoria defatigante o dispendiosa (lett. b).
Sono incidentali le decisioni che non pongono termine alla lite e riguardano soltanto una fase del procedimento, assumendo una funzione strumentale rispetto alla pronuncia destinata a concludere la vertenza; queste decisioni possono avere indifferentemente per oggetto una questione formale o materiale, giudicata anteriormente alla decisione finale (DTF 133 V 477 consid. 4.1.3). Un pregiudizio è poi irreparabile nel senso dell'art. 93 cpv. 1 lett. a LTF, quando è suscettibile di provocare un danno che una decisione favorevole nel merito non permetterebbe di eliminare completamente. Per contro, il semplice prolungamento della procedura o l'aumento dei costi collegati alla causa non basta di massima a fondare un simile pregiudizio (DTF 136 II 165 consid. 1.2.1 e rinvii).
Le condizioni di ammissibilità poste dall'art. 93 cpv. 1 LTF, il cui adempimento deve di principio essere dimostrato dal ricorrente (DTF 134 III 426 consid. 1.2 in fine; 133 II 629 consid. 2.3.1), mirano a sgravare il Tribunale federale, che di massima deve potersi esprimere sull'oggetto del litigio con un'unica decisione, evitando di pronunciarsi parzialmente, senza un esaustivo accertamento della fattispecie, nell'ambito di una prima fase della procedura. Se eventuali pregiudizi possono essere eliminati in modo adeguato anche nel contesto di un esame successivo all'emanazione del giudizio finale, questo Tribunale non entra quindi nel merito di impugnative contro decisioni pregiudiziali e incidentali (DTF 135 II 30 consid. 1.3.2).
1.4.1 Nella fattispecie, la Corte cantonale ha rilevato che, secondo il Municipio, dopo la revoca del vincolo di aparthotel, l'abbuono dello 0,1 sull'indice di sfruttamento per edificazione a carattere alberghiero, concesso all'epoca, risulterebbe superato di 551,28 m2, pari a circa l'11,90 %; la ricorrente ritiene per contro, che l'entità dell'esubero sarebbe più modesta (186,50 o 178,21 m2) e potrebbe quindi rientrare nei limiti di una ragionevole tolleranza. La Corte cantonale, ritenuto che l'eccedenza non rientrerebbe comunque nei limiti della tolleranza, ha in particolare stabilito che la differenza è riconducibile all'esproprio di una superficie di 241,50 m2, sottratta dalla ricorrente ma non dal Municipio, e precisato che detto intervento non è ancora intervenuto, né è stato concluso un accordo al riguardo. Neppure l'estensione della superficie vincolata a un previsto allargamento stradale è già stata concretamente quantificata dal Municipio e secondo il Tribunale cantonale amministrativo, parrebbe che lo stesso sarebbe stato ridimensionato, con conseguente apparente riduzione della superficie da espropriare. Per questi motivi nemmeno la riduzione proposta dal Municipio potrebbe essere ammessa. Ha quindi stabilito che spetterà al Consiglio di Stato, salvaguardato il diritto di essere sentito delle parti, stabilire l'entità esatta del vincolo e determinare poi la superficie edificabile del fondo, la SUL massima e quella eccedente (consid. 2.2.3). Ha ritenuto che anche le basi di calcolo del vantaggio economico dovranno essere modificate in funzione dell'esito dell'accertamento relativo alla superficie vincolata e del nuovo calcolo del terreno mancante (consid. 3.5.2), così come l'ammontare della sanzione pecuniaria (consid. 3.5.3). Ha quindi annullato la decisione governativa e rinviato gli atti al Consiglio di Stato, affinché completi gli accertamenti come indicato nei considerandi appena citati.
1.4.2 In queste circostanze non si è in presenza, come accennato dalla ricorrente, di una decisione parziale (al riguardo vedi DTF 133 V 277 consid. 5.2.2). Nelle descritte circostanze, il gravame risulta infatti diretto contro una decisione di natura incidentale che non appare suscettibile di cagionare un pregiudizio irreparabile ai sensi dell'art. 93 cpv. 1 lett. a LTF, non potendosi ravvisare, come visto, un simile danno nel prolungamento della procedura o nel suo conseguente maggior costo. D'altra parte, al riguardo la ricorrente si limita ad addurre in maniera del tutto generica che l'attesa di una decisione definitiva implicherebbe un siffatto danno "con il concreto rischio di vedersi preclusa ogni possibilità di ricorso", le motivazioni della Corte cantonale dovendo essere considerate parte integrante del dispositivo, che assumerebbero pertanto forza di cosa giudicata. L'assunto chiaramente non regge, ricordato che se il ricorso non è ammissibile in virtù dei capoversi 1 e 2 dell'art. 93 LTF, le decisioni incidentali possono essere impugnate mediante ricorso contro la decisione finale in quanto influiscano sul contenuto della stessa (art. 93 cpv. 3 LTF).
1.4.3 Quanto alla condizione dell'art. 93 cpv. 1 lett. b LTF, rettamente non invocata dalla ricorrente, essa non è data nel caso di specie. In mancanza dei citati accertamenti, un giudizio immediato da parte di questa Corte non entra infatti in considerazione (cfr. DTF 133 V 477 consid. 5.1). Né si è in presenza di un procedimento complesso e dispendioso che potrebbe eccezionalmente giustificare un esame immediato della vertenza (DTF 136 II 165 consid. 1.2.1 pag. 171; 135 II 30 consid. 1.3.4 pag. 36).
2. Ne segue che il ricorso dev'essere dichiarato inammissibile. Le spese giudiziarie seguono la soccombenza (art. 66 cpv. 1 LTF).
Per questi motivi, il Tribunale federale pronuncia:
1. Il ricorso è inammissibile.
2. Le spese giudiziarie di fr. 1'000.-- sono poste a carico della ricorrente.
3. Comunicazione ai patrocinatori delle parti, al Consiglio di Stato e al Tribunale amministrativo del Cantone Ticino.