Fatti: A. Il 25 gennaio 2012 A._ ha presentato al Comune di X._ una domanda di costruzione per la trasformazione parziale e il cambiamento di destinazione del ristorante-albergo esistente sul fondo part. yyy in un istituto per il recupero di tossicodipendenti. La struttura sarebbe stata locata all'associazione B._, che vi avrebbe esercitato una comunità terapeutica. Il fondo è situato in località Z._, in zona nucleo. Il progetto prevede inoltre di realizzare dodici posteggi sul fondo part. www, ubicato dirimpetto, fuori della zona edificabile e parzialmente ricoperto da bosco. B. Alla domanda di costruzione si sono opposti diversi proprietari di fondi vicini o situati nel comprensorio di Z._, tra cui C._, D._, E._ e F._. Con decisioni del 28 ottobre 2013, il Municipio di X._ ha respinto la domanda di costruzione, accogliendo contestualmente le opposizioni dei vicini. L'autorità comunale ha sostanzialmente ritenuto il progetto edilizio non conforme alla destinazione della zona del nucleo, disciplinata dall'art. 43 della legge edilizia del Comune di X._ allora vigente (LE). C. Adito da A._ e dall'associazione B._, il Tribunale amministrativo del Cantone dei Grigioni ha respinto il ricorso con sentenza del 19 agosto 2014, comunicata il 1° dicembre 2014. La Corte cantonale ha essenzialmente ritenuto che negando il rilascio della licenza edilizia il Municipio non aveva abusato del proprio potere di apprezzamento nell'interpretazione del diritto comunale. D. A._ e l'associazione B._ impugnano questa sentenza con un ricorso in materia di diritto pubblico al Tribunale federale. Chiedono di annullarla e di ordinare al Comune di rilasciare la licenza edilizia. In via subordinata, postulano di rinviare gli atti al Municipio per la continuazione della procedura edilizia e l'emanazione di una nuova decisione. I ricorrenti fanno valere la violazione del diritto di essere sentiti, l'applicazione arbitraria del diritto edilizio comunale e l'abuso del potere di apprezzamento del Municipio. Essi hanno prodotto, il 17 febbraio 2015, delle fotografie aeree del comparto interessato dal progetto negli anni 1971 e 1978. Non sono state chieste osservazioni sul gravame, ma è stato richiamato l'incarto cantonale.