Fatti:
A.
Il 29 luglio 1983 il Municipio di X._ aveva rilasciato a una società immobiliare una licenza edilizia per l'edificazione di un aparthotel, condizionata alla sottoscrizione di una convenzione volta a garantire questa destinazione, per la quale era stato concesso un abbuono dello 0.1 dell'indice di sfruttamento. Di conseguenza, sul relativo fondo (xxx), è stato iscritto un vincolo di destinazione, nel senso che le costruzioni e le attrezzature annesse non potevano essere adibite a uso diverso da quello alberghiero. Il 22 novembre 2006, l'autorità di I a istanza per l'applicazione della legge federale sull'acquisto di fondi da parte di persone all'estero, adita dalla Comunità dei comproprietari della part. xxx, ha revocato il vincolo di aparthotel.
B.
Dopo una serie di atti che non occorre qui evocare, rilevato che detto vincolo non era più rispettato e che pertanto la licenza edilizia risultava violata, la Comunità dei comproprietari ha inoltrato al Municipio una domanda di costruzione in sanatoria per il cambiamento di destinazione da aparthotel ad unità abitative con ristorante. La domanda prevedeva anche la parziale trasformazione dell'atrio di entrata al piano terreno in locale deposito e al piano interrato di due camere con bagno riservate al personale dell'aparthotel, in locali cantina.
Il 14 agosto 2009, il Municipio, fatta eccezione per la trasformazione dei tre citati vani, ha negato la licenza edilizia per il cambiamento di destinazione, poiché la superficie utile lorda (SUL) massima era superata. Ritenendo quindi sproporzionato un ordine di ripristino, il Municipio ha inflitto ai comproprietari una sanzione pecuniaria di fr. 590'250.--, riferita in particolare al vantaggio economico tratto dal superamento della SUL. La decisione municipale è stata confermata dal Consiglio di Stato su ricorso dei comproprietari.
C.
Adito dai comproprietari, con giudizio del 14 aprile 2011 il Tribunale cantonale amministrativo ne ha parzialmente accolto il ricorso, annullando la decisione governativa e rinviando gli atti al Consiglio di Stato, affinché, completati gli accertamenti, si pronunciasse di nuovo nel senso dei considerandi. Con sentenza 1C_249/2011 del 6 luglio 2011 il Tribunale federale ha dichiarato inammissibile un ricorso presentato dalla Comunità dei comproprietari contro il giudizio della Corte cantonale, siccome non erano date le condizioni poste dall'<ref-law> per impugnarlo direttamente nella sede federale.
D.
Dopo ulteriori atti che non occorre riprendere, con decisione del 2 ottobre 2013 il Consiglio di Stato ha statuito nuovamente sulla causa, confermando la decisione municipale del 14 agosto 2009, ad eccezione dell'ammontare della sanzione pecuniaria, che ha ridotto a fr. 475'500.--.
E.
Con sentenza del 27 luglio 2015 il Tribunale cantonale amministrativo ha respinto, in quanto ricevibile, un ricorso della Comunità dei comproprietari contro la decisione governativa, confermando l'importo della sanzione pecuniaria. Ha inoltre contestualmente respinto un'istanza di ricusa della Corte cantonale medesima presentata dalla ricorrente con il gravame.
F.
La Comunità dei comproprietari della part. xxx impugna questa sentenza con un ricorso in materia di diritto pubblico e un ricorso sussidiario in materia costituzionale al Tribunale federale. Chiede con il primo rimedio, in via principale, di annullarla, di annullare pure la decisione municipale e di rilasciarle la licenza edilizia per il cambiamento di destinazione o quantomeno di non essere condannata al pagamento di una sanzione pecuniaria. In via subordinata, postula l'annullamento della sentenza impugnata, l'accoglimento dell'istanza di ricusa e il rinvio degli atti all'autorità precedente per una nuova decisione. Con il secondo rimedio chiede di annullare la sentenza della Corte cantonale e la decisione municipale. La ricorrente fa essenzialmente valere la violazione degli art. 9, 26, 29 e 30 Cost., nonché l'accertamento manifestamente inesatto dei fatti.
G.
La Corte cantonale si riconferma nelle sue sentenze del 27 luglio 2015 e del 14 aprile 2011, chiedendo di respingere il gravame. Il Consiglio di Stato si rimette al giudizio del Tribunale federale, mentre il Comune di X._ chiede di respingere entrambi i ricorsi. La ricorrente si è espressa il 3 novembre 2015 sulla risposta del Comune di X._, ribadendo le proprie conclusioni.
Con decreto presidenziale del 16 ottobre 2015 è stato conferito effetto sospensivo al gravame.

Diritto:
1.
1.1. Presentato tempestivamente contro una decisione finale dell'ultima istanza cantonale, che ha confermato il diniego della licenza edilizia e la sanzione pecuniaria, il ricorso in materia di diritto pubblico è ammissibile sotto il profilo degli art. 82 lett. a, 86 cpv. 1 lett. d, 90 e 100 cpv. 1 LTF (quest'ultimo in relazione con l'<ref-law>). La legittimazione della Comunità dei comproprietari a ricorrere giusta l'<ref-law> è data. Essendo aperta la via del rimedio ordinario, con il quale può essere censurata anche la violazione dei diritti costituzionali (<ref-ruling> consid. 1), il ricorso sussidiario in materia costituzionale (art. 113 segg. LTF) non è proponibile.
1.2. Con il ricorso in esame, la ricorrente non impugna formalmente (anche) la decisione incidentale del 14 aprile 2011, come avrebbe potuto fare giusta l'<ref-law> (cfr. sentenza 1C_249/2011, citata, consid. 1.4.2). La ricorrente indica infatti che il gravame è diretto contro la decisione finale del 27 luglio 2015 e non formula conclusioni riguardo alla decisione incidentale. A prescindere da ciò, nell'ambito del ricorso contro la decisione finale, il Tribunale federale potrebbe esaminare le censure dirette contro la decisione incidentale solo nella misura in cui rispettano le esigenze di motivazione degli art. 42 cpv. 2 e 106 cpv. 2 LTF (cfr. sentenze 1C_100/2008 del 18 giugno 2008 consid. 1 e 4A_424/2011 del 2 novembre 2011 consid. 1.5). La ricorrente non si confronta puntualmente con i considerandi contenuti nel giudizio di rinvio del 14 aprile 2011, spiegando con chiarezza e precisione, ossia con una motivazione conforme alle esigenze di queste disposizioni, per quali ragioni violerebbero il diritto o si fonderebbero su accertamenti manifestamente insostenibili e pertanto arbitrari (cfr., su queste esigenze di motivazione, <ref-ruling> consid. 2.1 e 2.2; <ref-ruling> consid. 1.4).
Il ricorso del resto non adempie in larga misura le citate esigenze di motivazione, ed è quindi in gran parte inammissibile, anche laddove è diretto contro la decisione finale del 27 luglio 2015. Il giudizio impugnato è infatti sostanzialmente basato su accertamenti di fatto eseguiti in sede cantonale e sull'applicazione del diritto cantonale, segnatamente sull'art. 44 della legge edilizia cantonale, del 13 marzo 1991 (LE), che disciplina la sanzione pecuniaria. In tale ambito, il potere cognitivo del Tribunale federale è limitato al profilo ristretto dell'arbitrio, per motivare il quale non basta criticare semplicemente la decisione impugnata contrapponendole una versione propria, ma occorre dimostrare per quale motivo tale decisione è manifestamente insostenibile, in contraddizione palese con la situazione effettiva, gravemente lesiva di una norma o di un chiaro principio giuridico o in contrasto intollerabile con il sentimento di giustizia e di equità (<ref-ruling> consid. 2.2, 3.2 e rinvii). Nella misura in cui la ricorrente si limita ad esporre il proprio parere, diverso da quello della Corte cantonale, senza sostanziare arbitrio alcuno, il gravame non può quindi essere esaminato nel merito.
2.
2.1. Richiamando gli art. 47 segg. CPC, 30 cpv. 1 Cost. e 6 n. 1 CEDU, la ricorrente sostiene che la Corte cantonale avrebbe dovuto ricusarsi, siccome aveva già pronunciato nella stessa composizione la decisione incidentale del 14 aprile 2011. Adduce che in considerazione delle istruzioni vincolanti contenute nella sentenza di rinvio, l'esito del ricorso interposto contro la risoluzione governativa del 2 ottobre 2013 non sarebbe più stato aperto. Ritiene di essere stata privata di un secondo grado di giudizio, siccome nella decisione del 27 luglio 2015 i giudici cantonali non sono più entrati nel merito delle censure già esaminate nell'ambito del precedente giudizio.
2.2. La Corte cantonale ha richiamato l'art. 32 cpv. 1 della previgente legge di procedura per le cause amministrative, del 19 aprile 1966 (LPamm), secondo cui per i membri delle autorità amministrative valgono i motivi di ricusazione previsti dal codice di procedura civile. L'applicabilità di questa disposizione non è di per sé contestata dalla ricorrente. Invero, l'istanza di ricusa non concerneva un aspetto della decisione governativa del 2 ottobre 2013 oggetto del ricorso, ma era diretta contro la Corte cantonale medesima. La procedura della ricusa, pendente dinanzi all'ultima istanza il 1° marzo 2014, quando è entrata in vigore la nuova legge sulla procedura amministrativa, del 24 settembre 2013 (LPAmm), avrebbe quindi anche potuto essere retta da quest'ultima normativa (cfr. art. 113 cpv. 1 LPAmm). La questione non deve tuttavia essere approfondita in questa sede, giacché la ricorrente non invoca né un motivo di ricusa previsto dall'<ref-law> (cui rinvia l'art. 32 cpv. 1 LPamm), né la violazione dell'art. 50 LPAmm, che disciplina ora questa materia.
Per contro, la ricorrente richiama in generale il diritto di essere giudicata da un tribunale indipendente ed imparziale giusta l'<ref-law> Questa garanzia vieta l'influsso sulla decisione di circostanze estranee al processo, che potrebbero privarlo della necessaria oggettività a favore o a pregiudizio di una parte (<ref-ruling> consid. 4.1 e rinvii). Sebbene la semplice affermazione della parzialità, basata su sentimenti soggettivi di una parte, non sia sufficiente per fondare un dubbio legittimo, non occorre che il giudice sia effettivamente prevenuto: per giustificare la sua ricusazione bastano circostanze concrete idonee a suscitare l'apparenza di una prevenzione e a paventare un rischio di parzialità (<ref-ruling> consid. 4.1 e rinvii). La ricusa riveste un carattere eccezionale (<ref-ruling> consid. 2.3; <ref-ruling> consid. 1.1; <ref-ruling> consid. 4). Sotto il profilo oggettivo, occorre ricercare se la persona ricusata offra le necessarie garanzie per escludere ogni legittimo dubbio di parzialità; sono considerati in tale ambito anche aspetti di carattere funzionale e organizzativo e viene posto l'accento sull'importanza che possono rivestire le apparenze stesse. Decisivo è sapere se le apprensioni soggettive dell'interessato possano considerarsi oggettivamente giustificate (<ref-ruling> consid. 2.1, 20 consid. 4.2).
2.3. La ricorrente rimprovera alla Corte cantonale una prevenzione siccome, statuendo in modo vincolante con la decisione incidentale del 14 aprile 2011 su determinati aspetti della causa, ne avrebbe predeterminato l'esito. Sollevando la censura, la ricorrente parte tuttavia a torto dall'idea che i giudici cantonali avrebbero ancora potuto rivedere tutti i punti litigiosi. Disattende che quando la Corte cantonale annulla la decisione impugnata e rinvia la causa all'istanza inferiore per un nuovo giudizio, i motivi della sentenza di rinvio devono essere posti a fondamento della nuova decisione (cfr. art. 65 cpv. 2 e 3 LPamm, corrispondente all'attuale art. 86 cpv. 2 e 3 LPAmm). Tali motivi vincolano anche la Corte cantonale medesima in caso di ulteriore impugnativa rivolta contro la nuova decisione che l'istanza inferiore è stata chiamata ad emanare (cfr. BORGHI/CORTI, Compendio di procedura amministrativa ticinese, 1997, pag. 335 seg.).
Contrariamente all'opinione della ricorrente, i giudici cantonali non erano quindi abilitati a riesaminare i punti già decisi con il giudizio del 14 aprile 2011, segnatamente per quanto concerne l'esistenza della violazione materiale del diritto edilizio e il metodo di calcolo della sanzione pecuniaria, ritenuto di principio corretto. La causa rimaneva ancora aperta unicamente per quanto riguarda gli aspetti oggetto del rinvio, su cui i giudici cantonali non si sono pronunciati, in particolare sull'importo della sanzione pecuniaria. Nella fattispecie, la limitazione del potere di riesame della Corte cantonale è pertanto conforme al diritto procedurale e non è di per sé suscettibile di costituire un motivo di prevenzione. La ricorrente ha avuto diritto ad un giudizio di secondo grado su tutti i punti litigiosi, seppure mediante due pronunce. Poiché i giudici cantonali non erano tenuti a statuire nuovamente sulle questioni già decise, non può essere rimproverato loro una mancanza di indipendenza e di imparzialità con riferimento all'oggetto della causa (cfr. sentenza 4A_54/2012 del 27 giugno 2012 consid. 2.2.3). Va peraltro altresì rilevato che eventuali errori delle autorità giudicanti devono essere contestati seguendo il normale corso d'impugnazione. Unicamente errori particolarmente grossolani o ripetuti, tali da essere considerati come violazioni gravi dei doveri del magistrato, possono se del caso giustificare un sospetto oggettivo di prevenzione (DTF <ref-ruling> consid. 5b pag. 20, 135 consid. 3a).
3.
3.1. La ricorrente sostiene che la sanzione pecuniaria avrebbe dovuto essere imposta e notificata singolarmente a tutti i comproprietari e non alla loro comunione. Rimprovera alla Corte cantonale di non avere esaminato la relativa censura ricorsuale, seppure esplicitamente sollevata.
3.2. La precedente istanza si è tuttavia pronunciata su questo aspetto nella decisione di rinvio del 14 aprile 2011, con il cui considerando n. 3.7 la ricorrente non si confronta con una motivazione conforme agli art. 42 cpv. 2 e 106 cpv. 2 LTF. Per i motivi suesposti, la Corte cantonale non era tenuta a riesaminare le censura nell'ambito della decisione finale. La ricorrente non adduce che i comproprietari avrebbero subito un pregiudizio procedurale per il fatto che la decisione municipale non sarebbe stata notificata loro personalmente. Ciò in particolare ove si consideri che la comunione dei comproprietari ha potuto aggravarsi contro tale decisione dinanzi a tutte le istanze superiori di ricorso.
4.
4.1. La ricorrente lamenta una violazione del suo diritto di essere sentita per il fatto che la Corte cantonale ha rifiutato la richiesta di assumere una perizia, che avrebbe permesso di accertare l'inesistenza di un vantaggio economico derivante dall'opera in contrasto con il diritto edilizio.
4.2. La garanzia del diritto di essere sentito non impedisce all'autorità cantonale di procedere a un apprezzamento anticipato delle prove richieste e di rinunciare ad assumerle, se è convinta che non possono condurla a modificare il suo giudizio. Nell'ambito di questa valutazione, le spetta un vasto margine di apprezzamento e il Tribunale federale interviene solo in caso di arbitrio (<ref-ruling> consid. 3.3; <ref-ruling> consid. 5.3 e rinvii). In concreto, la Corte cantonale ha spiegato nella sentenza del 14 aprile 2011 (ai considerandi 3.5.1 e 3.5.2) per quali ragioni ha ritenuto adempiuto il requisito del vantaggio di natura economica ai sensi dell'art. 44 cpv. 1 LE. Ha altresì reputato corrette le modalità di calcolo dello stesso e in particolare il prezzo di fr. 600.-- il m2 per la superficie edificabile risparmiata (cfr. inoltre la sentenza del 27 luglio 2015, consid. 5). La ricorrente non si confronta puntualmente con tali considerandi, spiegando perché poggerebbero su accertamenti arbitrari o violerebbe il diritto. Né si esprime in particolare sui valori dei terreni indicati nella lista delle transazioni immobiliari avvenute nel Comune di X._ dal 1999 al 2009. In tali circostanze, non vi sono ragioni oggettive che consentano di ravvisare una violazione del suo diritto di essere sentita.
5.
Nel merito del gravame, la ricorrente ribadisce semplicemente il proprio parere, diverso da quello della Corte cantonale, presentando critiche generiche e di natura appellatoria. Come visto, tali argomentazioni non adempiono i requisiti di motivazione posti dagli art. 42 cpv. 2 e 106 cpv. 2 LTF e non devono essere esaminate oltre in questa sede.
6.
6.1. Ne segue che il ricorso sussidiario in materia costituzionale deve essere dichiarato inammissibile, mentre il ricorso in materia di diritto pubblico deve essere respinto nella misura della sua ammissibilità.
6.2. Le spese giudiziarie e le ripetibili seguono la soccombenza e sono pertanto poste a carico della ricorrente (<ref-law>). Non si attribuiscono ripetibili al Comune di X._ (<ref-law>; <ref-ruling> consid. 7).

Per questi motivi, il Tribunale federale pronuncia:
1.
Il ricorso sussidiario in materia costituzionale è inammissibile.
2.
Nella misura in cui è ammissibile, il ricorso in materia di diritto pubblico è respinto.
3.
Le spese giudiziarie di fr. 3'000.-- sono poste a carico della ricorrente.
4.
Comunicazione ai patrocinatori delle parti, al Consiglio di Stato e al Tribunale amministrativo del Cantone Ticino.