Fatti:
A.
Il padre di A.A._, B.A._, nel frattempo deceduto, era proprietario dei fondi part. xxx e yyy di X._, ubicati in località Y._, fuori della zona edificabile. Sulla particella xxx sorgeva un rustico, originariamente utilizzato quale stalla, fienile e deposito, censito come meritevole di conservazione nell'inventario degli edifici situati fuori delle zone edificabili del Comune di X._.
B.
Il 16 dicembre 2002, il proprietario ha presentato al Municipio di X._ una domanda di costruzione per riattare e ampliare il rustico, trasformandolo in una casa d'abitazione. Il progetto prevedeva in particolare di realizzare un vano per servizi (locale bagno/WC e locale riscaldamento), interrato nel terreno a monte dell'edificio (ovest). Al piano superiore, verso valle (est), era prevista la formazione di un locale soggiorno, chiudendo lo spazio aperto sotto il tetto con pareti caratterizzate da elementi in legno, disposti verticalmente sulle facciate laterali e orizzontalmente sulla facciata rivolta verso valle. Lo spazio vuoto sottostante avrebbe formato un portico aperto su tre lati. I muri e le solette sarebbero stati conservati integralmente, ad eccezione di un varco che sarebbe stato aperto sul retro per accedere ai nuovi servizi. Il tetto sarebbe stato ricoperto con vecchi coppi, come in origine. Acquisito il preavviso favorevole dell'Autorità cantonale, il 3 febbraio 2003 il Municipio di X._ ha rilasciato la licenza edilizia.
C.
B.A._ non si è attenuto ai piani approvati ed ha costruito la maggior parte dell'abitazione a nuovo, mantenendo dell'edificio originario soltanto la parte in muratura posteriore, costituita essenzialmente dai muri perimetrali ad ovest e a nord. Al posto del portico è stato realizzato un nuovo locale abitabile, dotato di ampie finestre, da una delle quali si accede direttamente al giardino. Sul lato a monte, ove era previsto il locale servizi interrato, è stata scavata una trincea, sostenendo il pendio escavato mediante muri costituiti da grossi massi. Il locale soggiorno, che avrebbe dovuto essere caratterizzato dagli elementi in legno, è stato dotato di ampie aperture vetrate con serramenti metallici. Sulla facciata sud è stato formato un ballatoio, prolungando sia la soletta del primo piano, rifatta in cemento armato, sia lo spiovente del tetto. Davanti all'entrata, situata al piano superiore sul fronte sud, è stata realizzata una platea in cemento armato che ricopre un portico aperto nella sottostante trincea. Attorno alla casa è stata eretta una recinzione in rete metallica, munita di un cancello a due ante, pure in metallo, mentre il fondo è stato reso accessibile ai veicoli attraverso una strada sterrata lunga un centinaio di metri.
D.
Dando seguito ad un'ingiunzione del Municipio, il proprietario ha presentato il 1° aprile 2007 una domanda di costruzione in sanatoria per le opere in contrasto con il permesso ricevuto. Preso atto dell'opposizione dei Servizi generali del Dipartimento del territorio, il 12 novembre 2007 l'Esecutivo comunale ha negato il rilascio della licenza edilizia richiesta. Adito su ricorso del proprietario, il Consiglio di Stato ha confermato la risoluzione municipale con decisione del 13 maggio 2008. Con sentenza del 24 giugno 2008 il Tribunale cantonale amministrativo ha respinto un ricorso di B.A._ contro la decisione governativa. Ha sostanzialmente ritenuto che gli interventi eseguiti non potevano beneficiare di un'autorizzazione secondo gli art. 24 segg. LPT.
E.
Preso atto dell'avviso dell'Autorità cantonale, il 3 luglio 2014 il Municipio ha ordinato a A.A._, frattanto divenuto proprietario dei fondi, la demolizione di tutte le opere abusive, vale a dire la rimozione del rustico, della strada d'accesso, della recinzione metallica e del cancello, dei blocchi di granito da scogliera, della platea in cemento armato, nonché il ripristino del terreno circostante secondo il profilo originale. La decisione municipale è stata confermata il 9 settembre 2015 dal Consiglio di Stato, dinanzi al quale si è aggravato A.A._.
F.
Con sentenza del 16 gennaio 2017, il Tribunale cantonale amministrativo ha respinto un ricorso del proprietario contro la decisione governativa. La Corte cantonale ha rilevato che gli interventi eseguiti in contrasto con il diritto hanno comportato la realizzazione di una nuova costruzione che ha sostituito praticamente del tutto l'edificio preesistente. Ha quindi ritenuto l'ordine di demolizione rispettoso del principio di proporzionalità.
G.
A.A._ impugna questa sentenza con un ricorso in materia di diritto pubblico al Tribunale federale, chiedendo in via principale di annullarla. In via subordinata, chiede di rinviare gli atti all'autorità cantonale per una nuova decisione dopo avere esperito ulteriori accertamenti. Fa valere l'accertamento manifestamente inesatto dei fatti e la violazione degli art. 5, 8, 9, 26 e 29 Cost. Il ricorrente chiede inoltre di conferire l'effetto sospensivo al gravame.
Non sono state chieste osservazioni sul ricorso, ma è stato richiamato l'incarto cantonale.

Diritto:
1.
Presentato tempestivamente contro una decisione finale dell'ultima istanza cantonale in ambito edilizio, il ricorso in materia di diritto pubblico è ammissibile sotto il profilo degli art. 82 lett. a, 86 cpv. 1 lett. d, 90 e 100 cpv. 1 LTF. La legittimazione del ricorrente giusta l'<ref-law> è pacifica.
2.
2.1. Il ricorrente chiede anche in questa sede che sia esperito un sopralluogo, allo scopo di accertare chiaramente quali siano le parti dell'edificio abusive e definirne se del caso la rimozione. Postula inoltre che sull'opportunità e sulla proporzionalità della misura litigiosa sia chiesto un parere ai membri della Commissione speciale della pianificazione del territorio del Gran Consiglio che si sono occupati del piano di utilizzazione cantonale dei paesaggi con edifici e impianti protetti (PUC-PEIP) ed hanno redatto su questo tema un rapporto del 14 giugno 2012.
2.2. Nella procedura di ricorso dinanzi al Tribunale federale, il quale fonda il suo ragionamento giuridico e statuisce sulla base dei fatti accertati dall'autorità inferiore, misure probatorie sono ordinate solo in via eccezionale (cfr. <ref-law>; <ref-ruling> consid. 2). Alla luce di questa premessa e ritenuto che gli atti di causa (comprensivi dei piani delle domande di costruzione e delle fotografie dell'edificio preesistente e di quello attuale) sono sufficienti per potersi pronunciare sul gravame, il sopralluogo chiesto dal ricorrente non appare necessario. Tanto meno si giustifica di assumere il suddetto parere, ove solo si consideri che l'oggetto della causa è unicamente la conformità dell'ordine di demolizione dell'edificio del ricorrente e non la problematica generale dei rustici nel Cantone Ticino.
2.3. Già la Corte cantonale si è invero rifiutata di assumere ulteriori prove, ritenendole superflue. Il ricorrente non spiega, con una motivazione conforme alle esigenze degli art. 42 cpv. 2 e 106 cpv. 2 LTF, per quali ragioni essa avrebbe disatteso il divieto dell'arbitrio e il diritto di essere sentito rinunciando ad assumerle sulla base di un apprezzamento anticipato della loro irrilevanza. La garanzia del diritto di essere sentito non impedisce infatti all'autorità cantonale di procedere a un apprezzamento anticipato delle prove richieste e di rinunciare ad assumerle se è convinta che non possono condurla a modificare il suo giudizio. Nell'ambito di questa valutazione le spetta un vasto margine di apprezzamento e il Tribunale federale interviene solo in caso di arbitrio (<ref-ruling> consid. 3.3; <ref-ruling> consid. 5.3 e rinvii).
3.
3.1. Anche in questa sede il ricorrente non contesta l'ordine di eliminare la strada d'accesso, di rimuovere i blocchi in granito e le recinzioni e di ripristinare lo stato naturale del terreno circostante. Ritiene per contro sproporzionata la demolizione totale dell'abitazione, adducendo che gli interventi da lui proposti sulla base di una perizia commissionata all'arch. C._ consentirebbero di eseguire un ripristino soltanto parziale, sufficiente per rispettare quanto autorizzato con la licenza edilizia del 3 febbraio 2003. Secondo il ricorrente, gli interventi abusivi non avrebbero sovvertito né la struttura né l'aspetto esterno originari ed avrebbero persino comportato una diminuzione della volumetria rispetto al progetto iniziale approvato.
3.2. Secondo il principio della proporzionalità, invocato dal ricorrente, le misure adottate dall'autorità devono essere idonee a raggiungere lo scopo di interesse pubblico perseguito e non eccedere i limiti dell'indispensabile (<ref-ruling> consid. 6.2.1; <ref-ruling> consid. 4.2.1). Già la legislazione cantonale prevede la demolizione delle opere abusive (art. 43 della legge edilizia cantonale, del 13 marzo 1991); in ogni caso, anche in assenza di disposizioni esplicite, l'eliminazione di opere vietate dal diritto federale (nel caso concreto dalla LPT) può essere imposta sulla base della normativa federale (<ref-ruling> consid. 1c; <ref-ruling>). Si può prescindere dal provvedimento di ripristino, quando l'opera eseguita diverge solo in modo irrilevante da quanto autorizzato, quando la demolizione non persegue scopi d'interesse pubblico, oppure se il proprietario poteva ritenere in buona fede che la costruzione fosse lecita e al mantenimento dello stato di fatto non ostino importanti interessi pubblici (<ref-ruling> consid. 6; <ref-ruling> consid. 6).
3.3. La Corte cantonale ha accertato che gli interventi eseguiti sul vecchio rustico si scostano notevolmente dalla ristrutturazione conservativa prevista dai piani approvati. Ha rilevato che dell'edificio originario è stata mantenuta soltanto una parte dei muri perimetrali ad ovest e a nord, mentre tutto il resto è stato demolito o trasformato. Ha in particolare constatato che al pianterreno, nella parte interrata, i vecchi muri in sasso sono stati consolidati integrandoli in un muro di cemento armato, ampiamente visibile. Il muro verso il portico è stato quasi interamente abbattuto. Al primo piano, i muri in sasso sono stati conservati solo in parte, rimanendo visibili unicamente due spezzoni larghi poco più di un metro ciascuno: per il resto sono stati demoliti per ampliare le aperture preesistenti. Il pavimento del primo piano è stato sostituito con una soletta in cemento armato, che sporge dalla facciata sud per formare un ballatoio e una platea, sotto la quale, nella trincea escavata, è stato formato un portico. Il tetto è stato rifatto, innalzandolo leggermente sulle facciate sud e nord, ed è stato coperto con nuove tegole, anziché con vecchi coppi. La facciata est e quelle contigue (sud e nord) sono state realizzate in muratura invece che con listoni di legno. I pilastri in sasso del portico a pianterreno sono stati sostituiti da nuovi pilastri di un materiale diverso (verosimilmente cemento armato, secondo quanto esposto nel giudizio impugnato). La Corte cantonale ha inoltre accertato che il portico originario è stato chiuso e trasformato in camera da letto.
3.4. Questi accertamenti non sono censurati d'arbitrio con una motivazione conforme alle esigenze degli art. 42 cpv. 2 e 106 cpv. 2 LTF (cfr., su queste esigenze, <ref-ruling> consid. 2.1 e 2.2). Essi sono quindi vincolanti per il Tribunale federale (<ref-law>) e consentono di confermare la conclusione della Corte cantonale secondo cui l'edificio realizzato è praticamente nuovo ed ha sostituito quello preesistente. Il ricorrente si limita in sostanza a minimizzare l'entità degli interventi eseguiti e la loro difformità rispetto a quanto autorizzato, riprendendo nel gravame le misure proposte dall'arch. C._ per "ripristinare" le caratteristiche dell'edificio originario. Con simili argomentazioni, egli espone in modo appellatorio la sua diversa valutazione delle difformità riscontrate, prospettando delle modifiche che ridurrebbero l'impatto della costruzione sul territorio, ma non si confronta puntualmente con gli specifici accertamenti eseguiti dai giudici cantonali sulla base dei piani e della documentazione fotografica agli atti, da cui emerge chiaramente la portata delle rilevanti modifiche apportate. Per motivare l'arbitrio non basta infatti criticare semplicemente la decisione impugnata contrapponendole una versione propria, ma occorre dimostrare per quale motivo l'accertamento dei fatti o la valutazione delle prove sono manifestamente insostenibili, si trovano in chiaro contrasto con la fattispecie, si fondano su una svista manifesta o contraddicono in modo urtante il sentimento della giustizia e dell'equità (<ref-ruling> consid. 2.2; <ref-ruling> consid. 5.4; <ref-ruling> consid. 2.1).
3.5. Il ricorrente sostiene che l'abitazione realizzata manterrebbe sia la struttura dei muri originari sia la volumetria dell'edificio precedente. Disattende tuttavia che la Corte cantonale ha rilevato, in modo conforme agli atti, che del rustico originario è stata conservata soltanto una minima parte, segnatamente il muro perimetrale ad ovest ed alcuni spezzoni delle facciate contigue nella misura in cui non sono state demolite per ampliare le aperture preesistenti. Quanto alla volumetria, il ricorrente non considera che il portico al pianterreno, aperto su tre lati, è stato chiuso e trasformato in un locale abitabile. È inoltre stato realizzato un nuovo portico mediante la costruzione della platea e l'escavazione della trincea sottostante ed è stato edificato un ballatoio, prima inesistente, prolungando la soletta del primo piano (ricostruita in cemento armato) e lo spiovente del tetto sulla facciata sud.
Il ricorrente critica l'accertamento dei giudici cantonali secondo cui il tetto è stato innalzato leggermente sulle facciate sud e nord. Sostiene che, confrontando i piani della domanda di costruzione del 2002 con quelli della domanda in sanatoria del 2007, risulterebbe la stessa pendenza del tetto, ciò che escluderebbe un suo innalzamento. Con questa argomentazione il ricorrente non si confronta però con l'accertamento eseguito dalla precedente istanza sulla base di un confronto tra le fotografie del 4 dicembre 2002 del rustico preesistente e quelle della situazione attuale, prendendo come riferimento la posizione delle pietre marcanti nei muri perimetrali. Non sostanzia quindi arbitrio alcuno, disattendendo altresì che il progetto approvato nel 2003 prevedeva unicamente un intervento di natura conservativa, che avrebbe mantenuto l'edificio esistente, aggiungendo unicamente un vano per i servizi interrato nel terreno a monte e un'apertura sul retro per accedervi. Il ricorrente non considera poi che in concreto il tetto è stato completamente riedificato e coperto con nuove tegole, anziché con coppi vecchi, e che in corrispondenza della facciata sud la falda è stata prolungata per coprire il ballatoio.
3.6. Secondo il ricorrente, gli interventi edilizi realizzati costituirebbero delle aggiunte che potrebbero essere eliminate in modo da rendere l'opera conforme alla licenza edilizia del 3 febbraio 2003. Come visto, la Corte cantonale ha tuttavia accertato che nella fattispecie è stata realizzata una nuova costruzione, rilevando che le parti nuove sono nettamente prevalenti su quelle preesistenti e per la maggior parte irreversibili, sicché l'intervento conservativo autorizzato con la suddetta licenza edilizia non è più attuabile. Ha segnatamente precisato che i muri del pianterreno non possono più essere ripristinati, siccome sono stati integrati in un muro di cemento armato. Ha inoltre stabilito che nemmeno il pavimento in legno del primo piano, che il progetto approvato nel 2003 prevedeva di mantenere, può essere recuperato, essendo stato sostituito da una soletta in cemento armato. Parimenti, sono stati demoliti e sostituiti in cemento armato i pilastri in sasso che formavano il portico al piano terreno ed è stato realizzato un nuovo tetto. Al riguardo, il ricorrente si limita a sminuire l'entità delle trasformazioni eseguite e a ribadire le proposte d'intervento suggerite dall'arch. C._. Non si confronta tuttavia puntualmente con gli esposti accertamenti e le valutazioni della Corte cantonale, spiegando con una motivazione chiara e dettagliata in che misura sarebbero manifestamente in contrasto con gli atti e del tutto insostenibili. Non v'è quindi motivo di rivenire sulla conclusione della Corte cantonale secondo cui le importanti modifiche eseguite hanno definitivamente compromesso la possibilità di ripristinare l'edificio preesistente nelle caratteristiche conservative autorizzate con la licenza edilizia del 2003. In simili circostanze, alla luce dell'entità degli interventi edilizi eseguiti in contrasto con il diritto materiale applicabile, la precedente istanza ha quindi ritenuto a ragione che non si poteva prescindere dalla demolizione totale della casa d'abitazione (cfr. sentenza 1C_619/2014 del 24 febbraio 2015 consid. 4, in: RtiD II-2015 pag. 53 segg.).
3.7. Il ricorrente sostiene che la sentenza impugnata si scosterebbe da quella del 24 giugno 2008, in cui la Corte cantonale ha precisato che la licenza edilizia del 3 febbraio 2003 era cresciuta in giudicato. A torto. In quel giudizio i giudici cantonali hanno semplicemente rilevato che oggetto dello stesso era esclusivamente la domanda di costruzione in sanatoria relativa agli interventi realizzati in modo difforme rispetto alla licenza edilizia del 3 febbraio 2003. Hanno specificato che la legittimità di questa autorizzazione esulava dal tema della causa e non doveva essere esaminata. Nella sentenza del 24 giugno 2008 i giudici cantonali hanno ritenuto l'abuso manifesto, rilevando che la costruzione realizzata era nuova e diversa dal rustico originario, di cui era stata conservata solo una parte dei muri perimetrali. Hanno peraltro già allora osservato che "non è dato di vedere come potrà l'autorità adottare provvedimenti volti a ripristinare una situazione conforme al diritto che evitino di rimuovere in modo radicale le conseguenze del clamoroso abuso posto in essere dall'insorgente". In tali circostanze, non esiste alcuna contraddizione tra le due sentenze della Corte cantonale, che sono anzi del tutto coerenti.
4.
4.1. Accennando al principio della buona fede, il ricorrente sostiene che suo padre, precedente proprietario del fondo, si sarebbe affidato a dei professionisti nel campo edilizio, che avrebbero eseguito interventi in contrasto con l'autorizzazione del 2003. Rileva altresì che, durante la fase dei lavori di costruzione, le autorità non avrebbero sollevato obiezioni, lasciandogli quindi credere che gli interventi fossero conformi alla licenza edilizia.
4.2. Nella fattispecie, la buona fede del precedente proprietario deve essere esclusa, ove si consideri ch'egli ha sottoscritto la domanda di costruzione del 16 dicembre 2002 e i relativi piani, da cui risulta chiaramente la portata del progetto, limitato alla ristrutturazione conservativa del rustico preesistente. L'interessato, che ha partecipato alla procedura edilizia quale proprietario e committente dell'opera, conosceva quindi i limiti del permesso di costruzione rilasciatogli il 3 febbraio 2003. Peraltro, le violazioni dell'ordinamento edilizio commesse dalle persone ausiliarie professioniste del ramo sono, di massima, ascritte anche al committente, che di regola non può quindi prevalersi con successo del principio della buona fede (cfr. sentenza 1P.781/1999 del 23 febbraio 2000 consid. 3b/aa, in: RDAT II-2000, pag. 142 segg.). Invocando poi genericamente la tolleranza delle autorità, che non sarebbero intervenute subito a bloccare i lavori, il ricorrente non dimostra ch'esse avrebbero rilasciato al proprietario concrete assicurazioni vincolanti riguardo alla possibilità di realizzare gli interventi eseguiti in contrasto con il progetto approvato (cfr. <ref-ruling> consid. 2.5.1; <ref-ruling> consid. 6.1).
5.
5.1. Il ricorrente ritiene violato il principio della parità di trattamento, poiché nel Comune di X._ sorgerebbero imprecisati altri immobili oggetto di abusi edilizi, anche più gravi di quello in esame, ma che sarebbero stati sanzionati meno severamente.
5.2. La censura è formulata in termini generali ed è quindi inammissibile. La questione concerne invero l'ipotesi di una parità di trattamento nell'illegalità. Al riguardo, il ricorrente non adduce tuttavia l'esistenza di una prassi costante contraria alla legge e, in ogni caso, trattandosi di una costruzione illecita fuori della zona edificabile, le condizioni poste dalla giurisprudenza per ammettere eccezionalmente una parità di trattamento nell'illegalità non sarebbero comunque realizzate (cfr. <ref-ruling> consid. 4; sentenza 1C_89/2009 dell'11 giugno 2009 consid. 4.2, in: RtiD II-2009 pag. 162 segg.).
6.
Ne segue che il ricorso deve essere respinto nella misura della sua ammissibilità. Le spese giudiziarie seguono la soccombenza e sono di conseguenza poste a carico del ricorrente (<ref-law>).
L'emanazione del presente giudizio rende priva d'oggetto la domanda di conferimento dell'effetto sospensivo contenuta nel gravame.

Per questi motivi, il Tribunale federale pronuncia:
1.
Nella misura in cui è ammissibile, il ricorso è respinto.
2.
Le spese giudiziarie di fr. 3'000.-- sono poste a carico del ricorrente.
3.
Comunicazione al patrocinatore del ricorrente, al Municipio di X._, all'Ufficio delle domande di costruzione del Dipartimento del territorio, al Consiglio di Stato e al Tribunale amministrativo del Cantone Ticino.