Fatti:
A. D.C._ e C.C._ sono proprietari del fondo part. xxx di X._, situato in pendio nella zona residenziale estensiva (R2), su cui sorge un'abitazione. Il 4 aprile 2006 hanno presentato al Municipio di X._ una domanda di costruzione per sopraelevare l'edificio al fine di formare nuovi spazi abitabili nel sottotetto. L'intervento prevedeva di innalzare e sostituire il tetto esistente, a quattro falde, con uno a due falde con il colmo orientato sull'asse nord-sud. A ridosso della facciata est, situata a valle, era inoltre prevista, per una lunghezza di circa 10 m, la formazione di un terrapieno alto 0.50 m e largo 3 m. I piani allegati alla domanda di costruzione indicavano un'altezza del colmo dell'edificio di 8.50 m, misurata per rapporto al citato terrapieno a valle.
Acquisito il preavviso favorevole dell'autorità cantonale ed evase le opposizioni di due vicini, il 20 giugno 2006 il Municipio ha rilasciato la licenza edilizia. Al termine dei lavori di costruzione, il 18 dicembre 2007 l'Esecutivo comunale ha confermato ai proprietari che la sistemazione esterna era stata eseguita conformemente alla licenza.
B. Nel corso del 2008, su segnalazione di A.A._ e B.A._, proprietari di un fondo confinante, il Municipio ha constatato che il terrapieno a ridosso della facciata est era stato rimosso senza autorizzazione. Dopo una serie di atti che non occorre qui evocare, ritenendo che la sistemazione del terreno fosse determinante ai fini del rispetto dell'altezza massima al colmo (8.50 m), il 15 marzo 2010 il Municipio ha invitato i proprietari a presentare una domanda di costruzione in sanatoria per la rimozione del terrapieno. Dando seguito a questa richiesta, gli interessati hanno presentato il 29 marzo 2010 un'istanza di notifica a posteriori. A.A._ e B.A._ si sono opposti al rilascio della licenza edilizia in sanatoria, che il Municipio ha negato con decisione del 30 giugno 2010, rilevando che la rimozione del terrapieno comportava il superamento dell'altezza massima al colmo. La decisione municipale è stata confermata il 29 settembre 2010 dal Consiglio di Stato del Cantone Ticino, su ricorso degli istanti.
C. Con sentenza del 26 settembre 2011 il Tribunale cantonale amministrativo ha accolto un ricorso di D.C._ e C.C._ contro la risoluzione governativa, annullandola e rinviando gli atti al Municipio affinché rilasci loro la licenza edilizia per la rimozione del terrapieno. La Corte cantonale ha evidenziato che le norme comunali non stabiliscono particolari criteri di misurazione delle altezze ed ha quindi ritenuto che nella fattispecie, in base al diritto edilizio cantonale, l'altezza del colmo del tetto a due falde doveva essere stabilita per rapporto al livello del terreno sistemato perpendicolarmente sottostante il vertice del timpano. Applicando questo criterio al caso concreto, la presenza o meno del terrapieno a valle sarebbe stata ininfluente ai fini dell'altezza del colmo.
D. Sia il Comune di X._ sia i vicini A._ impugnano questa sentenza con ricorsi in materia di diritto pubblico al Tribunale federale. Chiedono entrambi di annullarla e di confermare in sostanza il criterio di misurazione dell'altezza del colmo applicato dall'autorità comunale. I ricorrenti privati fanno valere la violazione del divieto dell'arbitrio, mentre il Comune ribadisce la propria interpretazione delle norme comunali e cantonali in materia di altezza.
Non sono state chieste osservazioni sul gravame.
Diritto:
1. 1.1 Le due impugnative sono dirette contro la stessa sentenza e riguardano la medesima fattispecie. Si giustifica quindi di trattarle congiuntamente, in un unico giudizio (art. 71 LTF in relazione con l'art. 24 cpv. 2 PC).
1.2 Presentati tempestivamente contro una decisione dell'ultima istanza cantonale, i ricorsi in materia di diritto pubblico sono ammissibili sotto il profilo degli art. 86 cpv. 1 lett. d e 100 cpv. 1 LTF.
1.3 La decisione impugnata non conclude definitivamente la procedura cantonale, siccome rinvia gli atti al Municipio affinché rilasci la licenza edilizia per la rimozione del terrapieno. Al riguardo, l'esecutivo comunale non dispone però più di alcun margine di apprezzamento, essendo obbligato ad autorizzare l'intervento edilizio senza ulteriori condizioni. La decisione contestata deve quindi essere equiparata a un giudizio finale ai sensi dell'art. 90 LTF, contro il quale il rimedio esperito è di principio ammissibile (cfr. DTF 134 II 124 consid. 1.3 pag. 127).
1.4 I ricorrenti privati hanno partecipato al procedimento in sede cantonale. Quali proprietari di un fondo confinante con quello oggetto dell'intervento edilizio, e già opponenti nella procedura edilizia, sono particolarmente toccati dalla decisione impugnata ed hanno un interesse degno di protezione al suo annullamento. La loro legittimazione a ricorrere giusta l'art. 89 cpv. 1 LTF è pertanto data (cfr. DTF 133 II 249 consid. 1.3).
1.5 Il Comune di X._ non è per contro toccato analogamente a un privato, ma nella sua veste di detentore del pubblico potere quale autorità competente per il rilascio della licenza edilizia. Esso può quindi adire il Tribunale federale solo in virtù dell'art. 89 cpv. 2 lett. c LTF, per fare valere la violazione di garanzie conferitegli dalla costituzione cantonale o da quella federale. È ciò in particolare il caso quando il Comune invoca la garanzia della sua autonomia comunale, sancita a livello federale dall'art. 50 cpv. 1 Cost. e a livello cantonale dall'art. 16 cpv. 2 Cost./TI. Il Comune ricorrente non censura tuttavia né tantomeno sostanzia una violazione della sua autonomia, limitandosi ad esporre il proprio metodo di misurare l'altezza al colmo degli edifici. Non dimostra tuttavia di beneficiare di autonomia tutelabile nell'interpretazione dell'art. 40 cpv. 1 della legge edilizia cantonale, del 13 marzo 1991 (LE), disposizione del diritto cantonale applicata in concreto dalla precedente istanza. Né spiega per quali ragioni la Corte cantonale avrebbe abusato del suo potere di cognizione nell'applicazione della citata disposizione. Il gravame del Comune disattende i requisiti di motivazione dell'art. 42 cpv. 2 LTF e non deve pertanto essere esaminato oltre. Si può qui rinviare, anche per quanto riguarda l'accenno a una possibile ricusa del giudice supplente che ha partecipato al giudizio, alla sentenza 1C_462/2011 del 12 aprile 2012 concernente un ricorso dello stesso ricorrente.
2. 2.1 Secondo A.A._ e B.A._, la Corte cantonale avrebbe dovuto rilevare l'altezza del colmo in corrispondenza di tutte le facciate e non soltanto di quelle rivolte a nord e sud. A loro dire, la precedente istanza avrebbe di fatto ammesso la possibilità di oltrepassare i limiti massimi di altezza, contraddicendo manifestamente la lettera e lo spirito dell'art. 40 LE, che persegue lo scopo di tutelare l'igiene e la sicurezza delle costruzioni, la buona insolazione, l'aerazione e l'illuminazione naturale delle abitazioni, nonché la tutela dalle immissioni e dai pericoli di incendio.
2.2 L'arbitrio, vietato dall'art. 9 Cost., è ravvisabile quando la decisione impugnata risulta manifestamente insostenibile, in contraddizione palese con la situazione effettiva, gravemente lesiva di una norma o di un chiaro principio giuridico, o in contrasto intollerabile con il sentimento di giustizia e di equità. La decisione deve inoltre essere arbitraria nel suo risultato e non solo nella sua motivazione. Non risulta per contro arbitrio dal semplice fatto che anche un'altra soluzione potrebbe entrare in linea di conto o sarebbe addirittura preferibile (DTF 135 V 2 consid. 1.3; 134 II 124 consid. 4.1; 133 II 257 consid. 5.1; 132 I 175 consid. 1.2).
2.3 L'art. 39 cpv. 2 delle norme di attuazione del piano regolatore di X._ (NAPR) prevede nella zona residenziale estensiva un'altezza massima alla gronda di 7 m e un'altezza massima al colmo di 8.50 m. L'art. 74 cpv. 1 NAPR stabilisce inoltre che, in tutte le zone edificabili, la pendenza dei tetti a falde non deve superare il 40 %.
Secondo l'art. 40 cpv. 1 LE, applicabile in virtù del rinvio dell'art. 7 cpv. 1 NAPR, ritenuto che il diritto comunale non stabilisce particolari criteri di misurazione delle altezze degli edifici, l'altezza di un edificio è misurata dal terreno sistemato al punto più alto del filo superiore del cornicione di gronda o del parapetto. La Corte cantonale ha rilevato che, per principio, l'altezza degli edifici è misurata sulla verticale delle facciate, a partire dal terreno sistemato sino al punto superiore determinante: il punto inferiore di misurazione è dato dal livello del terreno sistemato perpendicolarmente sottostante. Ha precisato che, in mancanza di specifiche disposizioni, l'ingombro verticale rappresentato dalle falde del tetto non è computato sull'altezza delle facciate: fintanto che gli spioventi non superano la pendenza di 45°, il loro sviluppo verticale non è in particolare assimilabile a quello di facciate arretrate, la cui altezza deve essere sommata a quella delle facciate sottostanti. La Corte cantonale ha quindi ritenuto che, riservato il caso di una disposizione diversa che stabilisca un altro metodo di misurazione, l'altezza del colmo dei tetti a falde deve essere determinata per rapporto al livello del terreno sistemato sottostante sulla verticale. Contrariamente all'opinione del Municipio, l'altezza del colmo non deve pertanto essere traslata orizzontalmente sul perimetro esterno della facciata, ma va misurata a partire dal terreno sistemato immediatamente sottostante in proiezione perpendicolare.
Sulla base di questi criteri, la Corte cantonale ha rilevato che nella fattispecie il colmo del tetto (a due falde) è orientato sull'asse nord-sud, sicché la sua altezza deve essere rilevata su queste facciate (nord e sud), partendo dal vertice del timpano, quale punto superiore determinante, al terreno sistemato perpendicolarmente sottostante, quale punto inferiore. Così misurata, l'altezza del colmo è inferiore al limite massimo di 8.50 m prescritto dall'art. 39 cpv. 2 NAPR, indipendentemente dalla presenza o meno del terrapieno a ridosso della facciata est.
2.4 I ricorrenti rimproverano alla Corte cantonale di avere manifestamente disatteso l'art. 40 cpv. 1 LE. Essi si limitano tuttavia a prospettare una diversa interpretazione della norma, ribadendo la modalità di misurazione seguita dall'autorità comunale, secondo cui l'altezza del colmo deve essere traslata orizzontalmente verso est, in corrispondenza del perimetro esterno della facciata. Non sostanziano tuttavia l'arbitrio della soluzione adottata dalla Corte cantonale, spiegando per quali ragioni disattenderebbe manifestamente le finalità perseguite dalla criticata prescrizione sulle altezze. In concreto, la contestata interpretazione dell'art. 40 cpv. 1 LE non conduce comunque a un risultato arbitrario, né pregiudica gli scopi invocati dai ricorrenti, ove si consideri pure che l'edificio rispetta in ogni caso l'altezza massima alla gronda (7 m), la cui modalità di misurazione, conforme alla disposizione cantonale, non è messa in dubbio. D'altra parte, il criterio seguito dai giudici cantonali per misurare l'altezza del colmo è sostenibile. Per le caratteristiche del tetto a due falde, nella fattispecie tale altezza si manifesta essenzialmente sulle facciate nord e sud, le quali proseguono verticalmente sino al colmo, determinando quindi un ingombro rilevante che non si verifica invece in misura analoga sulle facciate est ed ovest. Queste ultime sono in effetti interessate dai due spioventi con un'inclinazione inferiore ai 45° e l'ingombro generato dall'altezza del colmo, arretrato rispetto alle stesse, è meno significativo. Certo, anche il criterio prospettato dai ricorrenti potrebbe di per sé essere sostenibile, in particolare se riferito a un tetto a quattro falde. Ciò non basta tuttavia a rendere arbitraria la soluzione della Corte cantonale, motivata in modo oggettivo e convincente tenendo conto delle caratteristiche dell'edificio, segnatamente per quanto riguarda l'ingombro determinato dalla sua copertura.
3. Ne segue che il ricorso del Comune deve essere dichiarato inammissibile, mentre quello dei vicini deve essere respinto nella misura della sua ammissibilità. Le spese giudiziarie sono poste a carico dei ricorrenti privati, siccome il Comune si è rivolto al Tribunale federale nell'ambito delle sue attribuzioni ufficiali e può quindi esserne dispensato (art. 66 cpv. 4 LTF). Non si assegnano ripetibili alle controparti, non invitate a presentare una risposta ai gravami.
Per questi motivi, il Tribunale federale pronuncia:
1. Le cause 1C_464/2011 e 1C_490/2011 sono congiunte.
2. Il ricorso del Comune di X._ è inammissibile.
3. Nella misura in cui è ammissibile, il ricorso di A.A._ e B.A._ è respinto.
4. Le spese giudiziarie di fr. 2'000.-- sono poste a carico di A.A._ e B.A._.
5. Comunicazione alle parti, rispettivamente ai loro patrocinatori, al Consiglio di Stato e al Tribunale amministrativo del Cantone Ticino.