Fatti:
A.
A.A._ e B.A._ sono proprietari, in ragione di 1⁄2 ciascuno, del fondo part. yyy di X._ (sezione di Z._), situato in località www, sul versante collinare che si erge a sud-est del nucleo di Z._. La particella, su cui sorge un edificio di 99 m2, presenta una superficie complessiva di 2'934 m2.
B.
Il piano regolatore intercomunale dei Comuni del X._, approvato dal Consiglio di Stato il 12 luglio 1985, inseriva il fondo part. yyy in zona residenziale estensiva R2, ad eccezione di una striscia di terreno boschivo sul confine ovest. Prevedeva inoltre una strada di raccordo SR2, che toccava la proprietà. Dopo una serie di atti che non occorre qui evocare, il tracciato stradale è stato realizzato ed ha in particolare comportato a carico dei proprietari A._ il pagamento nel dicembre del 2009 di fr. 214'611.10 a titolo di contributi di miglioria.
C.
Il 18 febbraio 2009 il consiglio consortile del Consorzio per il piano regolatore dei Comuni del X._ ha adottato la revisione del piano regolatore del 1985. Una superficie di 1'252 m2, nel settore nord del fondo part. yyy, è stata inserita nella zona residenziale estensiva con particolari prescrizioni paesaggistiche, mentre una parte nel settore sud (di 1'377 m2) è stata attribuita alla zona agricola. La superficie rimasta edificabile è inoltre stata gravata da un vincolo di abitazione primaria. Una fascia sul confine ovest della particella (di 305 m2) è infine stata accertata come boschiva. A.A._ e B.A._ non hanno impugnato la nuova pianificazione, che è stata approvata dal Consiglio di Stato con risoluzione del 21 luglio 2011.
D.
Con istanza del 17 ottobre 2012, i proprietari hanno promosso una procedura di espropriazione materiale contro il Comune di X._ (frattanto subentrato al Consorzio a seguito di una fusione dei Comuni interessati) dinanzi al Tribunale di espropriazione, relativamente all'inserimento in zona agricola di 1'377 m2 del fondo e all'imposizione del vincolo di residenza primaria. Hanno chiesto un'indennità di fr. 500.-- al m2 per la superficie asseritamente dezonata e di fr. 300'000.-- per la perdita di valore derivante dal vincolo di residenza primaria, oltre interessi a partire dal 21 luglio 2011. Dopo avere eseguito un sopralluogo e concluso la procedura istruttoria, con sentenza del 23 dicembre 2014 il Tribunale di espropriazione ha respinto l'istanza. Ha ritenuto che il parziale inserimento del fondo in zona agricola configurava un rifiuto di attribuirlo alla zona edificabile, che non realizzava in concreto gli estremi per riconoscere, in via eccezionale, un'espropriazione materiale. Ha inoltre rilevato che il vincolo di residenza primaria non pregiudicava l'uso attuale o futuro dell'abitazione esistente, né comprometteva gravemente i diritti di proprietà.
E.
Con sentenza del 10 maggio 2016 il Tribunale cantonale amministrativo ha respinto un ricorso dei proprietari contro il giudizio di primo grado. Ha considerato che l'inserimento in zona agricola di 1'377 m2 costituiva un parziale dezonamento del fondo (e non un rifiuto di attribuirlo alla zona edificabile), che non realizzava tuttavia gli estremi di un'espropriazione materiale, siccome il fondo poteva ancora essere usato in modo economicamente ragionevole. La Corte cantonale ha parimenti negato un indennizzo in relazione con il vincolo di residenza primaria.
F.
A.A._ e B.A._ impugnano questa sentenza con un ricorso in materia di diritto pubblico e un ricorso sussidiario in materia costituzionale al Tribunale federale, chiedendo di annullarla e di rinviare la causa alle istanze cantonali per un nuovo giudizio ai sensi dei considerandi. In via subordinata, chiedono che la sentenza impugnata venga riformata nel senso di annullare la decisione di primo grado e di riconoscere un'espropriazione materiale in relazione con il dezonamento della superficie attribuita alla zona agricola e all'imposizione del vincolo di residenza primaria. Postulano al riguardo un'indennità di almeno fr. 650'000.--, oltre interessi, a carico del Comune di X._. I ricorrenti fanno valere la violazione degli art. 5 cpv. 2 LPT e 26 cpv. 2 Cost., nonché degli art. 8, 9 e 29 Cost.
G.
La Corte cantonale si conferma nella sua sentenza. Il Comune di X._ chiede in via principale di dichiarare il ricorso inammissibile e in via subordinata di respingerlo. I ricorrenti hanno replicato l'8 novembre 2016 alla risposta del Comune, confermandosi nelle loro conclusioni. Con osservazioni del 28 novembre 2016, il Comune si è confermato nella sua risposta.

Diritto:
1.
1.1. La sentenza impugnata è una decisione cantonale di ultima istanza che nega ai ricorrenti un'indennità per espropriazione materiale derivante da una restrizione della proprietà fondata su una misura pianificatoria secondo l'art. 5 cpv. 2 LPT. Essa può essere oggetto di un ricorso in materia di diritto pubblico giusta gli art. 82 segg. LTF (cfr. art. 34 cpv. 1 LPT).
1.2. Il Comune di X._ sostiene che i ricorrenti sarebbero esclusi dalla presente procedura espropriativa, siccome a suo tempo non hanno impugnato la modifica pianificatoria che ha inserito parte del fondo nella zona agricola. A torto. Il fatto ch'essi non si siano aggravati contro la revisione del piano regolatore non significa che abbiano anche rinunciato a fare valere pretese d'indennità per l'eventuale espropriazione materiale del fondo. Quali comproprietari della particella, che sostengono essere colpita da espropriazione materiale, i ricorrenti sono legittimati a ricorrere in applicazione dell'<ref-law>.
Il ricorso in materia di diritto pubblico, tempestivo (<ref-law>) e diretto contro una decisione finale (<ref-law>), resa da un'autorità cantonale di ultima istanza (art. 86 cpv. 1 lett. d LTF), è di principio ammissibile. Non vi è pertanto spazio per un ricorso sussidiario in materia costituzionale (<ref-law>).
2.
2.1. I ricorrenti condividono la decisione della Corte cantonale secondo cui l'assegnazione di 1'377 m2 alla zona agricola mediante la revisione del piano regolatore approvata dal Governo il 21 luglio 2011 costituisce un dezonamento. Le rimproverano tuttavia di avere ritenuto a torto che, nonostante la soppressione parziale del diritto di costruire, il fondo potesse ancora essere utilizzato conformemente alla sua destinazione e in maniera economicamente adeguata. Il Comune di X._ contesta per contro l'esistenza di un dezonamento, ritenendo che la misura pianificatoria costituirebbe un rifiuto di attribuire il fondo alla zona edificabile, circostanza che comporterebbe soltanto in casi eccezionali, qui non realizzati, il versamento di un'indennità.
2.2. In virtù degli art. 5 cpv. 2 LPT e <ref-law>, per le restrizioni della proprietà equivalenti a espropriazione derivanti da misure pianificatorie è dovuta piena indennità. Secondo la giurisprudenza, vi è espropriazione materiale quando l'uso attuale o il prevedibile uso futuro di una cosa è vietato o limitato in modo particolarmente grave, tale che il proprietario è privato di una delle facoltà essenziali derivanti dal diritto di proprietà. Una limitazione di minore importanza può ugualmente costituire un'espropriazione materiale, se essa colpisce uno solo o un numero limitato di proprietari, al punto che, fosse negato l'indennizzo, essi dovrebbero sopportare un sacrificio eccessivamente gravoso e incompatibile con il principio d'uguaglianza. In entrambi i casi, il miglior uso del fondo può essere preso in considerazione solo se, nel momento determinante, che coincide con l'entrata in vigore del provvedimento restrittivo, appare molto probabile in un avvenire prossimo. Quale miglior uso futuro viene di regola considerata la possibilità di costruire: al riguardo deve essere tenuto conto di tutti gli elementi di fatto e di diritto da cui tale possibilità dipende (cfr. <ref-ruling> consid. 2.1, 728 consid. 2 e rispettivi rinvii).
2.3. Secondo la giurisprudenza del Tribunale federale, si è in presenza di un rifiuto di attribuire il fondo alla zona edificabile ("Nichteinzonung") quando l'autorità adotta per la prima volta un piano di utilizzazione conforme alle esigenze del diritto federale, segnatamente della LPT, entrata in vigore il 1° gennaio 1980, e non inserisce il fondo in alcuna zona edificabile. Al riguardo è irrilevante che il terreno in discussione fosse edificabile secondo il diritto previgente. Il rifiuto di attribuire un fondo alla zona edificabile non attua, di massima, i presupposti di un'espropriazione materiale e non dà quindi luogo a indennità (<ref-ruling> consid. 2.1 e rinvii). Ciò vale non soltanto nel caso della revisione di un piano di utilizzazione emanato prima dell'entrata in vigore della LPT, ma anche nell'ambito dell'adattamento di un piano adottato sotto l'egida della LPT, ma non rispettoso dei principi pianificatori del diritto federale (sentenza 1C_573/2011 del 30 agosto 2013 consid. 2.2 e rinvii, in: ZBl 116/2015 pag. 201 segg.). È per contro dato un dezonamento ("Auszonung"), che comporta di regola un obbligo d'indennizzo, quando una particella già inserita nella zona edificabile sulla base di una pianificazione conforme alla LPT, ne venga successivamente esclusa, attribuendola a una zona non edificabile (<ref-ruling> consid. 2.3 e rinvii).
2.4. La data determinante per valutare l'esistenza di un'espropriazione materiale è di principio quella dell'entrata in vigore della restrizione della proprietà (<ref-ruling> consid. 2.4). Come rettamente rilevato dalla Corte cantonale, e non contestato dalle parti, in concreto il momento determinante è il 21 luglio 2011, quando il Consiglio di Stato ha approvato la revisione pianificatoria che ha attribuito parte del fondo dei ricorrenti alla zona agricola (cfr. art. 26 cpv. 3 LPT).
3.
3.1. Per valutare se il provvedimento pianificatorio a carico del fondo part. yyy realizza i presupposti di un'espropriazione materiale occorre innanzitutto esaminare se esso deve essere qualificato quale dezonamento, come stabilito dal Tribunale cantonale amministrativo, oppure quale rifiuto di attribuire il fondo alla zona edificabile, come ritenuto invece dal Tribunale di espropriazione. Al proposito, si pone quindi la questione di sapere se il previgente piano regolatore, adottato nel 1983 e approvato dal Consiglio di Stato il 12 luglio 1985, sotto il profilo materiale era conforme o meno alla LPT. Il fatto che l'adozione e l'approvazione del piano siano successive all'entrata in vigore della LPT, non significa ancora ch'esso adempia alle esigenze del diritto federale.
3.2. Un ordinamento pianificatorio è materialmente conforme alla LPT in particolare se attua una separazione del territorio edificabile da quello inedificabile secondo i criteri dell'art. 15 e degli art. 1-3 LPT. Una corretta delimitazione delle zone edificabili non può fondarsi esclusivamente su aspetti di idoneità all'edificazione, di fabbisogno o di eventuali altri criteri che depongono per un'utilizzazione a scopo edilizio. Occorre tenere conto anche degli altri aspetti pianificatori rilevanti nell'ambito della ponderazione degli interessi. In particolare deve essere esaminato se siano date altre utilizzazioni ed esigenze di protezione indicate agli art. 1 e 3 LPT, le quali possono comportare una limitazione della zona edificabile (cfr. sentenze 1C_573/2011, citata, consid. 3.2 e 1A.8/2002 del 22 luglio 2002 consid. 3.5). Se la pianificazione è stata eseguita in modo conforme alla LPT, un successivo ridimensionamento della zona edificabile a seguito di un cambiamento delle circostanze deve di regola essere considerato quale dezonamento (<ref-ruling> consid. 2.3 pag. 732). La questione di sapere se sia realizzato un rifiuto di attribuire il fondo alla zona edificabile oppure un dezonamento ai sensi dell'esposta giurisprudenza concerne l'applicazione del diritto ed è pertanto esaminata d'ufficio dal Tribunale federale (<ref-law>; cfr. sentenza 1C_573/2011, citata, consid. 3.4).
3.3. Secondo il Comune di X._, la Corte cantonale avrebbe ravvisato a torto un caso di dezonamento. Sostiene che il piano regolatore approvato dal Governo il 12 luglio 1985 non sarebbe stato conforme alla LPT sotto il profilo materiale: la revisione pianificatoria approvata il 21 luglio 2011 sarebbe quindi la prima a rispettarla, ciò che per la parte inedificabile del fondo dei ricorrenti avrebbe comportato una mancata attribuzione alla zona edificabile. Richiamando la sentenza del Tribunale di espropriazione, il Comune sostiene infatti che, benché approvato sotto l'egida della LPT, il piano regolatore previgente non operava una separazione chiara e vincolante delle diverse zone e presentava un sovradimensionamento delle zone edificabili rispetto alla presumibile evoluzione demografica.
3.4. La Corte cantonale richiamando una sua sentenza del 28 giugno 2013, con cui ha statuito su un ricorso presentato dal Comune contro la decisione del 21 luglio 2011 di approvazione del piano regolatore, ha per contro ribadito che la pianificazione anteriore prevedeva già una chiara distinzione della zona edificabile da quella inedificabile e le ipotesi di sviluppo demografico non erano esagerate, essendo altresì state approvate senza riserve dal Consiglio di Stato con la decisione del 12 luglio 1985.
3.5. Risulta tuttavia che nella decisione del 12 luglio 1985 di approvazione del previgente piano regolatore, il Consiglio di Stato (pag. 29) ha ammesso che "la delimitazione delle zone edificabili nel comprensorio del X._ è stata condizionata dalla situazione attuale degli insediamenti sparsi su tutto il territorio, escludendo quindi la possibilità di concentrare l'edificazione in certe zone. È stato assai arduo adottare dei principi pianificatori quali quelli della compattezza delle zone costruite e della riduzione sensata e ragionevole delle zone potenzialmente edificabili. La dispersione delle costruzioni esistenti non concedono spazio alla previsione di uno sviluppo organico e razionale". Il Governo ha invero accennato ad "alcuni correttivi per arginare questo stato di cose", senza invero specificarli, aggiungendo che "la scelta delle zone edificabili è pure derivata dalla presenza o meno delle infrastrutture principali (...) ". Queste considerazioni sono state citate nella sentenza del 28 giugno 2013 della Corte cantonale, che non ne ha tuttavia tratto specifiche conclusioni quanto alla conformità alla LPT del piano regolatore previgente, confrontandosi per contro essenzialmente sui risultati diversi tra autorità comunale e cantonale concernenti il calcolo della contenibilità.
In sostanza, nella decisione di approvazione del precedente piano regolatore il Consiglio di Stato ha riconosciuto di avere convalidato una zona edificabile la cui estensione dipendeva dalla dispersione delle costruzioni su tutto il territorio comunale. Anche dagli atti pianificatori, segnatamente dal piano delle zone, emerge infatti che i comparti edificabili comprendevano numerose ed ampie superfici sostanzialmente libere da costruzioni o edificate in misura ridotta e in modo sparso, in parte confinanti con il bosco. Simili azzonamenti disattendevano tuttavia il principio di concentrazione e quello dell'utilizzazione parsimoniosa del suolo (cfr. art. 1 cpv. 1 e art. 3 cpv. 3 LPT), che imponevano in linea di massima di raggruppare gli insediamenti e di utilizzare innanzitutto le riserve esistenti all'interno del comparto edificato prima di estendere la zona edificabile (<ref-ruling> consid. 6.2.2).
Pure l'art. 15 lett. a vLPT esigeva che la zona edificabile fosse prioritariamente delimitata in corrispondenza del comprensorio già largamente edificato (<ref-ruling> consid. 4a; ALEXANDRE FLÜCKIGER/ STÉPHANE GRODECKI, in: Kommentar zum Bundesgesetz über die Raumplanung, 2010, n. 37 all'art. 15). Come rettamente rilevato dal Tribunale di espropriazione, non risulta però che nella fattispecie la zona edificabile sia stata determinata sulla base di questo criterio. Nella sua decisione di approvazione del 12 luglio 1985, il Consiglio di Stato aveva piuttosto richiamato l'art. 16 della previgente legge edilizia cantonale del 19 febbraio 1973, che in particolare ai cpv. 1 e 2 disciplinava il contenuto del piano regolatore e la sua estensione territoriale, ma non regolava le condizioni materiali per l'attribuzione di un fondo alla zona edificabile e non contemplava una disposizione analoga all'art. 15 lett. a vLPT.
D'altra parte, pur ritenendo corretta e sostenibile dal profilo pianificatorio la delimitazione del territorio edificabile del primo piano regolatore, il Governo ha riconosciuto che la contenibilità andava "oltre i presumibili bisogni del X._ per l'immediato futuro" (cfr. decisione di approvazione del 12 luglio 1985, pag. 56). Che tale piano fosse sovradimensionato è poi stato confermato dall'autorità cantonale medesima nell'ambito della decisione del 21 luglio 2011 di approvazione della revisione pianificatoria (pag. 19). Nel contesto di questa revisione, il Consiglio di Stato ha conseguentemente condiviso le riduzioni delle aree edificabili, disattendendo per contro i prospettati ampliamenti. Pure il fatto che le unità insediative effettivamente accertate nel 2009 sono state sensibilmente inferiori alla contenibilità del piano regolatore del 1985, determinata tenendo conto di una prospettiva di 10-15 anni, avvalora la conclusione relativa al sovradimensionamento del primo piano.
Alla luce dell'insieme di queste circostanze, risulta quindi che il piano regolatore previgente non era conforme alla LPT per quanto concerne l'estensione e la delimitazione della zona edificabile. Il provvedimento pianificatorio litigioso, che ha inserito una parte del fondo part. yyy in zona agricola, deve quindi essere considerato quale rifiuto di attribuirlo alla zona edificabile e non quale dezonamento.
4.
4.1. La Corte cantonale ha ritenuto che nonostante la soppressione parziale del diritto di costruire, il fondo dei ricorrenti poteva ancora essere utilizzato conformemente alla sua destinazione in maniera economicamente adeguata. Ha rilevato che la superficie attribuita al comparto agricolo e resa quindi inedificabile (1'377 m2) confina ad ovest ed a sud con il bosco, dal quale le costruzioni devono di principio rispettare una distanza di almeno 10 m. Ha quindi considerato che, tenuto altresì conto delle distanze che devono essere rispettate dal confine est e dall'edificio esistente sulla particella, questa superficie sarebbe praticamente inedificabile e non si presterebbe ad uno sfruttamento edilizio autonomo. Secondo la Corte cantonale un'edificazione del fondo, pur se meno vantaggiosa, rimaneva comunque possibile nel settore nord.
4.2. Queste considerazioni non possono essere condivise. Come peraltro rilevato dalla stessa Corte cantonale, il provvedimento pianificatorio litigioso ha praticamente dimezzato l'area edificabile del fondo. La superficie attribuita alla zona agricola è assai ampia (1'377 m2) e di forma regolare. Pur tenendo conto delle distanze da rispettare, in particolare dal bosco, essa avrebbe consentito un'edificazione supplementare rilevante del fondo, decisamente superiore rispetto a quanto realizzabile nel solo comparto a nord, di 1'252 m2. La restrizione delle possibilità edificatorie valutate sul complesso del fondo appaiono quindi importanti per i proprietari colpiti.
Trattandosi, come visto, in concreto di una mancata attribuzione di un fondo alla zona edificabile, la Corte cantonale avrebbe dovuto esaminare alla luce della relativa giurisprudenza del Tribunale federale se essa realizzava gli estremi di un'espropriazione materiale. Secondo questa giurisprudenza, un risarcimento spetta al proprietario soltanto in casi eccezionali, qualora, di regola cumulativamente, il suo terreno sia edificabile o almeno dotato delle infrastrutture di urbanizzazione primaria, sia compreso nel perimetro di un piano generale delle canalizzazioni conforme alla legge e il proprietario abbia già sopportato rilevanti spese per l'urbanizzazione e l'edificazione del terreno stesso. Anche considerazioni legate alla protezione della buona fede possono imporre l'inclusione di un fondo in una zona edificabile. Inoltre, una siffatta esigenza può pure sussistere quando il fondo sia situato in un comprensorio già largamente edificato secondo il previgente art. 15 lett. a LPT. Le esposte circostanze permettono, in linea di massima, di ritenere che al momento determinante il proprietario potesse contare sul fatto che un'edificazione del suo fondo fosse realizzabile con grande probabilità in un futuro prossimo (cfr. <ref-ruling> consid. 2; <ref-ruling> consid. 3b e 4a; sentenza 1C_314/2016 del 13 settembre 2016 consid. 2.2).
Nel loro ricorso dinanzi al Tribunale cantonale amministrativo i ricorrenti non hanno invocato soltanto un preteso dezonamento, ma hanno anche addotto argomenti per cui ritenevano adempiuti i presupposti di un indennizzo nel caso di una mancata attribuzione del fondo alla zona edificabile. Spetterà quindi alla Corte cantonale vagliarli nel seguito della procedura.
5.
5.1. Ne segue che il ricorso deve essere accolto. La sentenza impugnata è pertanto annullata e la causa rinviata alla Corte cantonale, affinché si pronunci nuovamente sulle pretese d'indennità dei ricorrenti, tenendo conto dell'esposta giurisprudenza.
5.2. Le spese giudiziarie e le ripetibili seguono la soccombenza e sono pertanto poste a carico del Comune di X._, che, pur agendo nell'esercizio delle sue attribuzioni ufficiali, aveva un interesse pecuniario nella causa (art. 66 cpv. 4 e art. 68 cpv. 1 LTF). Anche se ha ottenuto ragione sulla questione della qualifica del provvedimento pianificatorio, il Comune deve essere ritenuto soccombente, siccome ha chiesto di dichiarare inammissibile il ricorso o di respingerlo.

Per questi motivi, il Tribunale federale pronuncia:
1.
Il ricorso è accolto. La sentenza emanata il 10 maggio 2016 dal Tribunale amministrativo del Cantone Ticino è annullata e la causa gli viene rinviata per un nuovo giudizio.
2.
Le spese giudiziarie di fr. 3'000.-- sono poste a carico del Comune di X._, che rifonderà ai ricorrenti un'indennità complessiva di fr. 2'000.-- a titolo di ripetibili della sede federale.
3.
Comunicazione ai patrocinatori delle parti, al Tribunale di espropriazione e al Tribunale amministrativo del Cantone Ticino.