Fatti: A. A.A._ e B.A._ sono proprietari, in ragione di 1⁄2 ciascuno, del fondo part. yyy di X._ (sezione di Z._), situato in località www, sul versante collinare che si erge a sud-est del nucleo di Z._. La particella, su cui sorge un edificio di 99 m2, presenta una superficie complessiva di 2'934 m2. B. Il piano regolatore intercomunale dei Comuni del X._, approvato dal Consiglio di Stato il 12 luglio 1985, inseriva il fondo part. yyy in zona residenziale estensiva R2, ad eccezione di una striscia di terreno boschivo sul confine ovest. Prevedeva inoltre una strada di raccordo SR2, che toccava la proprietà. Dopo una serie di atti che non occorre qui evocare, il tracciato stradale è stato realizzato ed ha in particolare comportato a carico dei proprietari A._ il pagamento nel dicembre del 2009 di fr. 214'611.10 a titolo di contributi di miglioria. C. Il 18 febbraio 2009 il consiglio consortile del Consorzio per il piano regolatore dei Comuni del X._ ha adottato la revisione del piano regolatore del 1985. Una superficie di 1'252 m2, nel settore nord del fondo part. yyy, è stata inserita nella zona residenziale estensiva con particolari prescrizioni paesaggistiche, mentre una parte nel settore sud (di 1'377 m2) è stata attribuita alla zona agricola. La superficie rimasta edificabile è inoltre stata gravata da un vincolo di abitazione primaria. Una fascia sul confine ovest della particella (di 305 m2) è infine stata accertata come boschiva. A.A._ e B.A._ non hanno impugnato la nuova pianificazione, che è stata approvata dal Consiglio di Stato con risoluzione del 21 luglio 2011. D. Con istanza del 17 ottobre 2012, i proprietari hanno promosso una procedura di espropriazione materiale contro il Comune di X._ (frattanto subentrato al Consorzio a seguito di una fusione dei Comuni interessati) dinanzi al Tribunale di espropriazione, relativamente all'inserimento in zona agricola di 1'377 m2 del fondo e all'imposizione del vincolo di residenza primaria. Hanno chiesto un'indennità di fr. 500.-- al m2 per la superficie asseritamente dezonata e di fr. 300'000.-- per la perdita di valore derivante dal vincolo di residenza primaria, oltre interessi a partire dal 21 luglio 2011. Dopo avere eseguito un sopralluogo e concluso la procedura istruttoria, con sentenza del 23 dicembre 2014 il Tribunale di espropriazione ha respinto l'istanza. Ha ritenuto che il parziale inserimento del fondo in zona agricola configurava un rifiuto di attribuirlo alla zona edificabile, che non realizzava in concreto gli estremi per riconoscere, in via eccezionale, un'espropriazione materiale. Ha inoltre rilevato che il vincolo di residenza primaria non pregiudicava l'uso attuale o futuro dell'abitazione esistente, né comprometteva gravemente i diritti di proprietà. E. Con sentenza del 10 maggio 2016 il Tribunale cantonale amministrativo ha respinto un ricorso dei proprietari contro il giudizio di primo grado. Ha considerato che l'inserimento in zona agricola di 1'377 m2 costituiva un parziale dezonamento del fondo (e non un rifiuto di attribuirlo alla zona edificabile), che non realizzava tuttavia gli estremi di un'espropriazione materiale, siccome il fondo poteva ancora essere usato in modo economicamente ragionevole. La Corte cantonale ha parimenti negato un indennizzo in relazione con il vincolo di residenza primaria. F. A.A._ e B.A._ impugnano questa sentenza con un ricorso in materia di diritto pubblico e un ricorso sussidiario in materia costituzionale al Tribunale federale, chiedendo di annullarla e di rinviare la causa alle istanze cantonali per un nuovo giudizio ai sensi dei considerandi. In via subordinata, chiedono che la sentenza impugnata venga riformata nel senso di annullare la decisione di primo grado e di riconoscere un'espropriazione materiale in relazione con il dezonamento della superficie attribuita alla zona agricola e all'imposizione del vincolo di residenza primaria. Postulano al riguardo un'indennità di almeno fr. 650'000.--, oltre interessi, a carico del Comune di X._. I ricorrenti fanno valere la violazione degli art. 5 cpv. 2 LPT e 26 cpv. 2 Cost., nonché degli art. 8, 9 e 29 Cost. G. La Corte cantonale si conferma nella sua sentenza. Il Comune di X._ chiede in via principale di dichiarare il ricorso inammissibile e in via subordinata di respingerlo. I ricorrenti hanno replicato l'8 novembre 2016 alla risposta del Comune, confermandosi nelle loro conclusioni. Con osservazioni del 28 novembre 2016, il Comune si è confermato nella sua risposta.