Fatti: A. A._ è proprietario del fondo part. n. 2017 di X._, situato fuori della zona edificabile, a lato di via Y._. Sulla particella sorge un'osteria con alloggio, sviluppata su tre livelli e diversi corpi di fabbrica contigui. Vi si trovano inoltre venti posteggi esterni. L'osteria è stata edificata prima del 1° gennaio 1980 ed è stata oggetto di successivi interventi edilizi. In particolare, come risulta dagli atti di causa, con una licenza edilizia del 7 agosto 2002 è stato autorizzato un ampliamento mediante il quale sono state ricavate da un appartamento situato al piano inferiore, cinque camere al servizio dei clienti, tutte dotate di servizi igienici e doccia. B. Il 22 settembre 2014 A._ ha presentato al Municipio di X._ una domanda di costruzione per il cambiamento di destinazione di parte dello stabile da osteria con alloggio a postribolo. La modifica della destinazione d'uso concerne gli spazi al piano terreno occupati dall'esercizio pubblico (sala principale, sala fumatori, bar, cucina e veranda) e le cinque camere al piano inferiore, che verrebbero trasformate in otto camere destinate all'esercizio della prostituzione. Il progetto non interessa per contro quattro camere situate al piano superiore. Con avviso del 16 gennaio 2015 l'autorità cantonale si è opposta alla domanda. Preso atto di tale opposizione, il 18 maggio 2015 il Municipio ha negato il rilascio della licenza edilizia. Adito dal proprietario, con decisione del 4 novembre 2015 il Consiglio di Stato ha respinto il ricorso e confermato il diniego del permesso di costruzione. C. Con sentenza del 22 marzo 2017 il Tribunale cantonale amministrativo ha respinto un ricorso del proprietario contro la decisione governativa. La Corte cantonale ha ritenuto che il progetto in contrasto con l'art. 43 cpv. 1 lett. b OPT (RS 700.1), siccome comportava l'insorgenza di nuove implicazioni rilevanti sul territorio e sull'ambiente. D. A._ impugna questa sentenza con un ricorso in materia di diritto pubblico del 15 maggio 2017 al Tribunale federale, chiedendo di annullarla. Postula contestualmente l'annullamento della decisione governativa, come pure di quella municipale e il rilascio della licenza edilizia richiesta. Il ricorrente fa valere la violazione del diritto federale, segnatamente degli art. 24a e 37a LPT, nonché dell'art. 43 OPT. E. La Corte cantonale si conferma nella sua sentenza. Il Consiglio di Stato e il Municipio di X._ si rimettono al giudizio del Tribunale federale. L'Ufficio delle domande di costruzione del Dipartimento del territorio e l'Ufficio federale dello sviluppo territoriale (ARE) chiedono di respingere il ricorso. Invitato ad esprimersi sulle risposte, il 15 novembre 2017 il ricorrente si è confermato nel suo ricorso.