Fatti:
A.
Il 20 gennaio 1981 il Municipio di X._, previa autorizzazione cantonale, ha rilasciato a E.A._ la licenza edilizia per riattare, ampliare con un piccolo vano e trasformare in abitazione secondaria una stalla, sita fuori della zona edificabile, di proprietà dei figli A.A._, B.A._, C.A._ e D.A._. Il 30 marzo 1985 ha rilasciato una licenza edilizia a posteriori per alcune varianti, non realizzate secondo i piani approvati. Il 22 settembre e il 18 novembre 1998, il Municipio ha concesso due permessi per addossare all'abitazione un locale ripostiglio e aggiungervi una finestra. Il primo prevedeva inoltre la costruzione di un piccolo muro in pietra a fianco del ripostiglio. Al suo posto ne è stato realizzato uno con una conformazione diversa, più alto e più esteso, nel quale è stata ricavata tra l'altro anche una legnaia.
Sul fronte opposto, a est, è stato eretto un muro alto fino a m 1.50, con nicchie ad uso grill e deposito, sopra cui è stata realizzata una staccionata di legno; mentre più a est, sul fondo vicino, è stata posata una canaletta. Verso valle è stato costruito un muro di sostegno. Il padre dei proprietari ha comunicato al Municipio, per la prima volta il 26 agosto 1999, l'esistenza di queste opere: la relativa domanda di costruzione a posteriori è stata respinta il 26 aprile 2000.
B.
Il 23 giugno 2009 il Municipio ha accertato la realizzazione di diversi interventi non autorizzati o in contrasto con i permessi rilasciati, in particolare i muretti esterni con diverse nicchie a uso grill e deposito. Il 7 febbraio 2011 esso ha negato un permesso a posteriori per questi muri, provvedimento confermato il 12 ottobre 2011 dal Consiglio di Stato. Il 15 marzo 2012 ha poi ordinato la demolizione del muro di sostegno nord-est con nicchie a uso grill/deposito, decisione condivisa dal Governo cantonale. Con giudizio dell'11 novembre 2013 il Tribunale cantonale amministrativo ha respinto un ricorso dei proprietari.
C.
Avverso questa decisione A.A._, B.A._, C.A._ e D.A._ presentano un ricorso in materia di diritto pubblico al Tribunale federale. Chiedono di annullare la decisione della Corte cantonale, quella governativa, nonché quella municipale del 15 marzo 2012 limitatamente alla demolizione del muro di sostegno a nord-est con nicchie a uso grill/deposito.
Non sono state chieste osservazioni al ricorso, ma è stato richiamato l'incarto cantonale.

Diritto:
1.
1.1. Il Tribunale federale esamina d'ufficio se e in che misura un ricorso può essere esaminato nel merito (<ref-ruling> consid. 2).
1.2. Presentato tempestivamente (art. 100 cpv. 1 in relazione all'art. 46 cpv. 1 lett. c LTF) contro una decisione finale in ambito edilizio, il ricorso in materia di diritto pubblico è di massima ammissibile sotto il profilo degli art. 82 lett. a e 86 cpv. 1 lett. d LTF. La legittimazione dei ricorrenti è pacifica.
1.3. Essi precisano che oggetto del ricorso è unicamente l'ordine di demolizione limitatamente al muro a est del rustico. Lo smantellamento di quelli a sud ovest e di quello prospiciente la facciata principale del rustico a sud-est non è per contro contestato, per l'assenza di prove circa il periodo della loro realizzazione.
1.4. Secondo l'art. 42 cpv. 1 e 2 LTF nel ricorso occorre spiegare perché l'atto impugnato viola il diritto. Questa Corte non è pertanto tenuta a vagliare, come lo farebbe un'autorità di prima istanza, tutte le questioni giuridiche che si pongono, se queste non sono presentate nella sede federale (<ref-ruling> consid. 1.2 pag. 309, 229 consid. 2.2 pag. 232). Per di più, quando il ricorrente invoca, come in concreto, la violazione di diritti fondamentali (divieto dell'arbitrio, diritto di essere sentito), nonché l'arbitrio nell'accertamento dei fatti e nella valutazione delle prove, poiché ciò equivale a sostenere che i fatti sono stati accertati in violazione dell'<ref-law> (<ref-ruling> consid. 2.4 pag. 313), il Tribunale federale, in applicazione dell'<ref-law>, esamina le censure sollevate soltanto se siano state esplicitamente sollevate e motivate in modo chiaro e preciso (<ref-ruling> consid. 1.4 pag. 176; <ref-ruling> consid. 1.4.1).
2.
2.1. La Corte cantonale ha reso il giudizio sulla base degli atti, ritenendo che le diverse fotografie e i documenti agli atti prodotti dalle parti permettono di stabilire che, contrariamente all'assunto ricorsuale, le opere litigiose sono state costruite meno di 30 anni fa, motivo per cui l'ordine di demolizione non sarebbe perento. Ha poi ricordato che la violazione del diritto materiale era già stata accertata da ultimo nel quadro della decisione municipale del 7 febbraio 2011, con la quale ai ricorrenti era stato negato il rilascio di una licenza edilizia a posteriori per il muro litigioso, confermata dal Governo e cresciuta in giudicato.
Il Tribunale cantonale amministrativo, rilevato che i ricorrenti hanno ammesso che i muri a ovest e a valle del rustico sono stati realizzati verso la fine degli anni '90, ha ritenuto "molto verosimile" che anche il muro a est, con nicchie a uso grill e deposito, sia stato costruito in quell'epoca. Il padre dei ricorrenti ha infatti comunicato al Municipio per la prima volta l'esistenza di muretti esterni soltanto il 26 agosto 1999, scritto al quale, su sollecito del Comune, ha fatto seguito la domanda di costruzione del 26 aprile 2000, negata. L'esistenza del muro litigioso non risulta inoltre da nessuna delle precedenti domande di costruzione, accertamento avvalorato dalla fotografia prodotta dai ricorrenti, al loro dire risalente al 1985, unitamente a quella del 1991 figurante nell'incarto. Secondo i giudici cantonali, dalla prima non risulta alcun muro con nicchie in beton, ma soltanto un grill in pietra inglobato nel muro, che i ricorrenti si sono dichiarati disposti a demolire, e la presenza di assi di legno accatastati sul terreno, riscontrabili ancora sulla fotografia del 1991, dalla quale risulta una situazione sostanzialmente invariata. Ne hanno concluso che la tesi governativa, secondo cui il muro in esame è stato eretto dopo il 1991, è corretta.
2.2. I ricorrenti fanno valere un accertamento dei fatti manifestamente inesatto (<ref-law>; al riguardo vedi <ref-ruling> consid. 4.2 pag. 560), una valutazione arbitraria delle prove (<ref-law>) e un'asserita violazione del diritto di essere sentito (<ref-law>).
L'accenno ricorsuale a una motivazione insufficiente della decisione impugnata non regge, ritenuto ch'essa si esprime su tutti i punti rilevanti per il giudizio (<ref-ruling> consid. 2.2; <ref-ruling> consid. 5.1 pag. 237; <ref-ruling> consid. 5.2).
2.2.1. Certo, i ricorrenti adducono che la Corte cantonale avrebbe omesso di valutare prove asseritamente decisive, segnatamente una dichiarazione, da loro prodotta dinanzi ad essa, di precedenti locatari. Ora, la Corte cantonale l'ha menzionata nei fatti (E) della sentenza impugnata, ma rettamente sulla base di un implicito apprezzamento anticipato delle prove (al riguardo vedi DTF <ref-ruling> consid. 5.3; <ref-ruling> consid. 5.3), l'ha ritenuta irrilevante. In effetti, sia la dichiarazione dei coniugi F._ sia quella del signor G._, come pure quella nuova prodotta, in maniera inammissibile poiché non ne ha dato motivo la decisione impugnata in quanto la questione era litigiosa già dinanzi all'autorità municipale, dinanzi al Tribunale federale (<ref-law>; <ref-ruling> consid. 4.2 pag. 12), si limitano a rilevare in maniera del tutto generica la presenza di un grill, ma non, ciò che è decisivo, di un muro con nicchie in beton. L'esistenza di un grill in pietra, visibile anche sulla fotografia prodotta dai ricorrenti, non è infatti determinante, ricordato che i ricorrenti si sono dichiarati disposti a demolirlo, come accertato in modo vincolante dalla Corte cantonale (<ref-law>).
2.2.2. Le conclusioni tratte dal Tribunale cantonale amministrativo dalle citate fotografie sono peraltro corrette. Esso non ha valutato in maniera insostenibile o in contraddizione palese con la situazione effettiva, e quindi arbitraria, i mezzi di prova, ma li ha apprezzati compiutamente e globalmente, giungendo a un risultato non arbitrario (DTF <ref-ruling> consid. 6.2 pag. 239; <ref-ruling> consid. 2.4 pag. 5).
2.2.3. I ricorrenti disattendono inoltre che, come accertato in maniera vincolante nel criticato giudizio, l'illegalità dell'opera in esame è stata definitivamente accertata con decisione cresciuta in giudicato, conclusione con la quale essi non si confrontano. Ora, quando la decisione impugnata, come in concreto, si fonda su diverse motivazioni indipendenti e di per sé sufficienti per definire l'esito della causa, il ricorrente è tenuto, pena l'inammissibilità, a dimostrare che ognuna di esse viola il diritto (<ref-ruling> consid. 4.1.4 pag. 100; <ref-ruling> consid. 6.3 pag. 121).
3.
Il ricorso, in quanto ammissibile, dev'essere pertanto respinto. Le spese seguono la soccombenza (<ref-law>).

Per questi motivi, il Tribunale federale pronuncia:
1.
Nella misura in cui è ammissibile, il ricorso è respinto.
2.
Le spese giudiziarie di fr. 2'000.-- sono poste a carico dei ricorrenti.
3.
Comunicazione al patrocinatore dei ricorrenti, al Comune di X._, al Consiglio di Stato e al Tribunale amministrativo del Cantone Ticino nonché all'Ufficio federale dello sviluppo territoriale.