Fatti:
A.
A._ è proprietario nel Comune di X._ dei fondi part. xxx, yyy e zzz, situati nella zona del nucleo storico. Il 27 settembre 2002 ha presentato una domanda di costruzione per ristrutturare ed ampliare gli edifici esistenti sui fondi. Dopo una serie di atti che non occorre qui evocare, con decisione del 2 dicembre 2003 l'Autorità edilizia comunale gli ha rilasciato la licenza edilizia richiesta. Gli ha contestualmente imposto che il muro di recinzione previsto a sud-ovest e a nord ovest non oltrepassasse l'altezza di 1.50 m e rientrasse di 0.50 m dal confine con l'area pubblica (strada comunale).
B.
Constatato che alcuni interventi edilizi si scostavano dai piani approvati, l'Autorità edilizia comunale ha invitato il proprietario a presentare dei piani aggiornati riguardo alle modifiche apportate al progetto. Dopo avere eseguito dei sopralluoghi, con decisione del 9 luglio 2013 la stessa Autorità ha segnatamente stabilito che il muro di cinta verso Carà Y._ era materialmente illegale, non rispettando la distanza dalla strada comunale e l'altezza massima consentita: non poteva pertanto essere autorizzato mediante il rilascio di una licenza edilizia in sanatoria. L'Autorità ha inoltre inflitto a A._ una multa di fr. 3'000.--.
C.
Il proprietario ha impugnato la decisione comunale dinanzi al Tribunale amministrativo del Cantone dei Grigioni che, dopo avere eseguito un sopralluogo, con sentenza del 25 agosto 2014 ha parzialmente accolto il ricorso nel senso dei considerandi e rinviato gli atti al Comune per una nuova decisione. Per il resto, la Corte cantonale ha respinto il gravame, in particolare ha confermato l'accertamento dell'illegalità del muro di cinta verso Carà Y._, rinviando gli atti al Comune affinché aggiungesse alla sua decisione di rifiuto dell'autorizzazione in sanatoria l'obbligo di demolizione del manufatto.
D.
Con decisione del 23 maggio 2016, l'Autorità edilizia comunale ha ordinato a A._ di ripristinare lo stato di legalità sui fondi part. xxx e zzz di X._ e precisamente di allontanare completamente il muro di cinta fino ad una distanza di 0.50 m dal confine con la strada comunale, rilevato altresì che la sua altezza non poteva eccedere 1.50 m. Essa lo ha altresì condannato al pagamento di una multa di fr. 4'000.--.
E.
Adito dal proprietario, il Tribunale amministrativo del Cantone dei Grigioni ne ha respinto il ricorso con sentenza del 15 dicembre 2016. Ha sostanzialmente confermato la decisione comunale di ripristino, siccome era fondata sulla sua precedente sentenza, vincolante, del 25 agosto 2014.
F.
A._ impugna la sentenza del 15 dicembre 2016 della Corte cantonale con un ricorso in materia di diritto pubblico al Tribunale federale, chiedendo di annullarla e di rinviarle gli atti per una nuova decisione. Il ricorrente chiede inoltre di conferire l'effetto sospensivo al gravame.
Non sono state chieste osservazioni sul ricorso, ma è stato richiamato l'incarto cantonale.

Diritto:
1.
Presentato tempestivamente (art. 100 cpv. 1 in relazione con l'art. 46 cpv. 1 lett. c LTF) contro una decisione finale dell'ultima istanza cantonale in ambito edilizio, il ricorso in materia di diritto pubblico è di massima ammissibile sotto il profilo degli art. 82 lett. a, 86 cpv. 1 lett. d e 90 LTF. La legittimazione del ricorrente giusta l'art. 89 cpv. 1 LTF è pacifica.
2.
In concreto, il ricorrente impugna esclusivamente la sentenza finale del 15 dicembre 2016. Non si aggrava invece contro la sentenza del 25 agosto 2014 che, in quanto decisione di rinvio, era di natura incidentale ed avrebbe quindi potuto essere impugnata in questa sede con il ricorso contro la sentenza finale, ritenuto che ha influito sul contenuto della stessa (cfr. art. 93 cpv. 3 LTF; <ref-ruling> consid. 4.2 e 5.2.2).
3.
3.1. Il ricorrente, che come detto non impugna la decisione incidentale del 25 agosto 2014, sostiene che la stessa sarebbe comunque nulla, siccome non poggerebbe su alcuna base legale. Rileva al riguardo che la Corte cantonale ha riconosciuto nel giudizio finale come sia la sua precedente sentenza sia la decisione comunale si fondavano a torto su una versione della legge edilizia comunale del 1991, la quale non era tuttavia entrata in vigore, non essendo stata approvata dal Governo: alla fattispecie rimaneva quindi applicabile il regolamento edilizio comunale del 1978, vigente al momento del rilascio della licenza edilizia.
3.2. Se una decisione o un giudizio difettano di qualsiasi forza obbligatoria a seguito di nullità, ciò deve essere rilevato in ogni momento e d'ufficio dall'autorità adita, e quindi pure da questa Corte (<ref-ruling> consid. 3.1; <ref-ruling> consid. 2.4.3 pag. 226). Una decisione è nulla soltanto quando è affetta da un vizio particolarmente grave e manifesto, che sia riconoscibile con evidenza o perlomeno con una certa facilità. L'accertamento della nullità non deve inoltre mettere in pericolo in modo serio la sicurezza del diritto. Quali motivi di nullità entrano innanzitutto in considerazione gravi errori di procedura, come per esempio l'incompetenza dell'autorità giudicante, mentre gli errori nel merito della decisione provocano solo raramente la nullità dell'atto (cfr. <ref-ruling> consid. 3.1; <ref-ruling> consid. 3.1; <ref-ruling> consid. 2.4.3; <ref-ruling> consid. 3.2).
3.3. Il fatto che il Comune di X._ e la Corte cantonale abbiano applicato a torto alla fattispecie una legge edilizia del 1991 in luogo del previgente regolamento edilizio del 1978, che sarebbe stato in vigore al momento del rilascio della licenza edilizia, costituisce un errore nel merito, che avrebbe potuto essere tempestivamente contestato mediante le vie di ricorso ordinarie. Si tratta infatti di un vizio concernente la valutazione della conformità del manufatto litigioso al diritto, che non appare particolarmente grave e manifesto al punto tale da comportare la nullità della sentenza del 25 agosto 2014. Del resto, il contenuto della disposizione della legge edilizia del 1991, relativa all'altezza massima delle opere di cinta e alla loro distanza dall'area pubblica, è stato ripreso e integrato nella licenza edilizia del 2 dicembre 2003 quale condizione per il rilascio della stessa e non è stata allora contestata dal ricorrente. Il difetto in questione, sollevato dal ricorrente con il ricorso del 24 giugno 2016 alla Corte cantonale, non era quindi evidente e facilmente riconoscibile. Esso poteva semmai comportare l'annullabilità della sentenza del 25 agosto 2014, che non deve tuttavia essere vagliata in questa sede non essendo stata impugnata dinanzi al Tribunale federale.
4.
4.1. Il ricorrente sostiene che, alla luce del grave vizio riscontrato, il Tribunale amministrativo cantonale avrebbe dovuto trattare il ricorso del 24 giugno 2016 contro la decisione comunale del 23 maggio 2016 quale istanza di revisione (ai sensi dell'art. 67 della legge cantonale sulla giustizia amministrativa, del 31 agosto 2006 [LGA]) del precedente giudizio del 25 agosto 2014, che avrebbe dovuto essere revocato.
4.2. Le esigenze di motivazione di un ricorso al Tribunale federale sono accresciute laddove è invocata la violazione di diritti fondamentali e di norme del diritto cantonale (art. 106 cpv. 2 LTF; cfr. <ref-ruling> consid. 2.2; <ref-ruling> consid. 1.4.1). Trattandosi in concreto dell'applicazione di normative procedurali cantonali, la loro eventuale lesione è esaminata dal Tribunale federale sotto il ristretto profilo dell'arbitrio (<ref-ruling> consid. 1.2.1, 133 I 201 consid. 1). Il ricorrente si limita a richiamare gli art. 25 e 67 LGA, che disciplinano la revoca, rispettivamente la revisione delle decisioni, ma non sostanzia una loro applicazione manifestamente insostenibile e pertanto arbitraria. Né appare seriamente ravvisabile un caso d'arbitrio alla luce delle circostanze concrete, segnatamente ove si consideri ch'egli non ha formalmente presentato una domanda di revisione dinanzi alla Corte cantonale. In tali condizioni, la censura non deve essere vagliata oltre.
5.
5.1. Il ricorrente sostiene che determinante per valutare la portata della sentenza del 25 agosto 2014 sarebbe unicamente il suo dispositivo, che non contempla esplicitamente il rinvio degli atti al Comune per ordinare la demolizione del muro. Rileva inoltre che il tema di quella procedura era unicamente quello della licenza edilizia in sanatoria, rifiutata con riferimento a tale manufatto, sicché la misura del ripristino avrebbe dovuto essere esaminata (solo) nell'ambito della sentenza qui impugnata, che sotto questo profilo sarebbe quindi insufficientemente motivata.
5.2. Per determinarne esattamente il contenuto e la portata di un dispositivo occorre sovente fondarsi sui considerandi del giudizio (<ref-ruling> consid. 4a pag. 478; <ref-ruling> consid. 2a pag. 743 seg.). Nella sentenza incidentale del 25 agosto 2014, la Corte cantonale, oltre a confermare il diniego della licenza edilizia in sanatoria per il muro in questione, ha chiaramente imposto al Comune di ordinarne la demolizione, precisando che il ripristino era vincolante (cfr. sentenza del 25 agosto 2014 consid. 3a/bb pag. 16 e consid. 5 pag. 21). In quella sede, i giudici cantonali si sono quindi espressi sia sull'illegalità del manufatto sia sulla necessità di rimuoverlo, rilevando che il ricorrente aveva inizialmente accettato le condizioni stabilite nella licenza edilizia e che, ponendo l'autorità di fronte al fatto compiuto, doveva attendersi che la stessa attribuisse maggiore importanza al ripristino della situazione legale piuttosto che agli inconvenienti a lui derivanti. In tali circostanze, l'obbligo di demolizione era pertanto già contenuto nel precedente giudizio della Corte cantonale ed in seguito è semplicemente stato confermato sia dall'Autorità edilizia comunale, che al riguardo era vincolata alla decisione di rinvio, sia dalla Corte cantonale medesima nella sentenza finale del 15 dicembre 2016. Di conseguenza, allo scopo di contestare il provvedimento del ripristino, sarebbe spettato al ricorrente impugnare in questa sede anche la sentenza del 25 agosto 2014, spiegando puntualmente, con una motivazione conforme alle esigenze degli art. 42 cpv. 2 e 106 cpv. 2 LTF, per quali ragioni i considerandi contenuti in quel giudizio violerebbero il diritto (cfr. sentenza 1C_442/2015 del 22 gennaio 2016 consid. 1.2 e rinvii).
6.
6.1. Ne segue che il ricorso deve essere respinto nella misura della sua ammissibilità. Le spese giudiziarie seguono la soccombenza e sono di conseguenza poste a carico del ricorrente (art. 66 cpv. 1 LTF). Non si assegnano ripetibili al Comune di X._, che non è stato invitato a presentare una risposta al gravame e che vince la causa nell'esercizio delle sue attribuzioni ufficiali (art. 68 cpv. 3 LTF).
6.2. L'emanazione del presente giudizio rende priva d'oggetto la domanda di conferimento dell'effetto sospensivo contenuta nel gravame.

Per questi motivi, il Tribunale federale pronuncia:
1.
Nella misura in cui è ammissibile, il ricorso è respinto.
2.
Le spese giudiziarie di fr. 3'000.-- sono poste a carico del ricorrente.
3.
Comunicazione ai patrocinatori delle parti e al Tribunale amministrativo del Cantone dei Grigioni, 5a Camera.