Fatti:
A.
A._ è proprietario del fondo part. n. 2017 di X._, situato fuori della zona edificabile, a lato di via Y._. Sulla particella sorge un'osteria con alloggio, sviluppata su tre livelli e diversi corpi di fabbrica contigui. Vi si trovano inoltre venti posteggi esterni. L'osteria è stata edificata prima del 1° gennaio 1980 ed è stata oggetto di successivi interventi edilizi. In particolare, come risulta dagli atti di causa, con una licenza edilizia del 7 agosto 2002 è stato autorizzato un ampliamento mediante il quale sono state ricavate da un appartamento situato al piano inferiore, cinque camere al servizio dei clienti, tutte dotate di servizi igienici e doccia.
B.
Il 22 settembre 2014 A._ ha presentato al Municipio di X._ una domanda di costruzione per il cambiamento di destinazione di parte dello stabile da osteria con alloggio a postribolo. La modifica della destinazione d'uso concerne gli spazi al piano terreno occupati dall'esercizio pubblico (sala principale, sala fumatori, bar, cucina e veranda) e le cinque camere al piano inferiore, che verrebbero trasformate in otto camere destinate all'esercizio della prostituzione. Il progetto non interessa per contro quattro camere situate al piano superiore. Con avviso del 16 gennaio 2015 l'autorità cantonale si è opposta alla domanda. Preso atto di tale opposizione, il 18 maggio 2015 il Municipio ha negato il rilascio della licenza edilizia. Adito dal proprietario, con decisione del 4 novembre 2015 il Consiglio di Stato ha respinto il ricorso e confermato il diniego del permesso di costruzione.
C.
Con sentenza del 22 marzo 2017 il Tribunale cantonale amministrativo ha respinto un ricorso del proprietario contro la decisione governativa. La Corte cantonale ha ritenuto che il progetto in contrasto con l'<ref-law> (RS 700.1), siccome comportava l'insorgenza di nuove implicazioni rilevanti sul territorio e sull'ambiente.
D.
A._ impugna questa sentenza con un ricorso in materia di diritto pubblico del 15 maggio 2017 al Tribunale federale, chiedendo di annullarla. Postula contestualmente l'annullamento della decisione governativa, come pure di quella municipale e il rilascio della licenza edilizia richiesta. Il ricorrente fa valere la violazione del diritto federale, segnatamente degli art. 24a e 37a LPT, nonché dell'<ref-law>.
E.
La Corte cantonale si conferma nella sua sentenza. Il Consiglio di Stato e il Municipio di X._ si rimettono al giudizio del Tribunale federale. L'Ufficio delle domande di costruzione del Dipartimento del territorio e l'Ufficio federale dello sviluppo territoriale (ARE) chiedono di respingere il ricorso.
Invitato ad esprimersi sulle risposte, il 15 novembre 2017 il ricorrente si è confermato nel suo ricorso.

Diritto:
1.
Presentato tempestivamente contro una decisione finale dell'ultima istanza cantonale, che ha confermato il diniego della licenza edilizia, il ricorso in materia di diritto pubblico è di massima ammissibile sotto il profilo degli art. 82 lett. a, art. 86 cpv. 1 lett. d, art. 90 e art. 100 cpv. 1 LTF (quest'ultimo in relazione con gli art. 46 cpv. 1 lett. a e 45 LTF). Il ricorrente, proprietario del fondo oggetto del cambiamento di destinazione ed istante in licenza, è legittimato a ricorrere giusta l'<ref-law>.
2.
La Corte cantonale ha rilevato che l'osteria in questione è stata costruita prima del 1° gennaio 1980 e costituisce un edificio utilizzato a scopo commerciale, non più conforme alla destinazione della zona. Ha ritenuto che, ammettendo che sia stata realizzata legalmente, per valutare l'ammissibilità del cambiamento di destinazione sotto il profilo della protezione della situazione acquisita secondo l'art. 37a LPT, fosse determinante il confronto tra le nuove destinazioni e l'attività esercitata nell'edificio al momento dell'entrata in vigore della LPT. La Corte cantonale ha accertato che il controverso cambiamento di destinazione dell'esercizio pubblico in postribolo prevede in particolare di suddividere i locali occupati dalle cinque camere al livello inferiore, autorizzate nel 2002, per formarne otto, tutte dotate di servizi igienici e di docce. Ha stabilito che prima dell'entrata in vigore della LPT, l'osteria disponeva al piano terreno di una cucina, un locale dotato di forno per le pizze, un bar, due sale, una terrazza ed una piccola camera, in seguito convertita in ufficio. Al piano superiore si trovavano quattro camere, a disposizione degli avventori, con un unico bagno comune. La precedente istanza ha poi accertato che il piano inferiore dello stabile era stato oggetto di importanti trasformazioni, segnatamente a seguito dell'ampliamento autorizzato nel 2002, quando da un appartamento con una superficie di circa 150 m2 sono state ricavate cinque camere con servizi. Ha rilevato che già questa modifica aveva accresciuto in misura apprezzabile l'impatto della struttura sul territorio, considerata la maggiore intensità delle immissioni dell'attività commerciale di affittacamere, rispetto alla situazione precedente. Ha quindi considerato che con il prospettato nuovo intervento l'osteria passerà in sostanza dalle originarie quattro camere sopra il ristorante (oltre alla piccola camera convertita in ufficio) ad un totale di dodici camere, di cui otto destinate all'esercizio della prostituzione. La Corte cantonale ha ritenuto che questo cambiamento di destinazione comporta un aumento degli utenti dello stabilimento e delle relative immissioni. I nuovi clienti non vi trascorreranno l'intera notte, ma si avvicenderanno nelle camere situate al piano inferiore per tutto l'orario di apertura del postribolo, generando un aumento del traffico ed un maggiore sfruttamento dell'edificio. Secondo i giudici cantonali, la nuova utilizzazione comporterà pure un aumento del personale, già solo per la presenza delle prostitute, e determinerà un ulteriore maggior traffico veicolare, certamente superiore a quello registrabile nella situazione originaria, anteriore al 1980. Sulla base di una valutazione dell'insieme di queste circostanze, i giudici cantonali hanno quindi riconosciuto un aggravio rilevante delle ripercussioni sul territorio e sull'ambiente, incompatibile con l'<ref-law>.
3.
3.1. Il ricorrente rimprovera alla Corte cantonale di avere negato a torto le condizioni per il rilascio di un'autorizzazione eccezionale secondo l'art. 37a LPT. Sostiene che l'ampliamento autorizzato con la licenza edilizia del 7 agosto 2002, cresciuta in giudicato, è successivo all'entrata in vigore della LPT, il 1° gennaio 1980, e non dovrebbe essere preso in considerazione nella valutazione dell'intervento litigioso. A suo dire, occorrerebbe eseguire l'esame del prospettato nuovo cambiamento di destinazione fondandosi esclusivamente sulla situazione attuale, già definitivamente autorizzata.
3.2. Giusta l'art. 37a LPT, il Consiglio federale stabilisce a quali condizioni sono autorizzati i cambiamenti di destinazione degli edifici e impianti utilizzati a scopi commerciali eretti prima del 1° gennaio 1980 o non più conformi alla destinazione della zona in seguito a modifica dei piani di utilizzazione. La disposizione mira a permettere alle imprese commerciali situate fuori della zona edificabile di continuare la loro attività, di modernizzarsi e di ristrutturarsi in modo tale da mantenere la competitività (<ref-ruling> consid. 2.2 e 2.7 e relativi riferimenti, sentenza 1C_145/2015 del 29 maggio 2015 consid. 3.2, in: RtiD I-2016, pag. 220 segg.). Il Consiglio federale ha fissato all'<ref-law> le condizioni alle quali possono essere autorizzati cambiamenti di destinazione ed ampliamenti, esigendo che l'edificio o l'impianto sia stato legalmente costruito o modificato (cpv. 1 lett. a), che non insorgano nuove implicazioni rilevanti su territorio e ambiente (cpv. 1 lett. b) e che la nuova utilizzazione non sia inammissibile secondo un altro atto legislativo federale (cpv. 1 lett. c). Per il resto, l'<ref-law> prevede che la superficie utilizzata in modo non conforme alla destinazione della zona può essere ampliata del 30 %, gli ampliamenti all'interno del volume esistente dell'edificio essendo computati soltanto per la metà. Secondo il cpv. 3 della disposizione, se la superficie utilizzata in modo non conforme alla destinazione della zona deve essere ampliata fuori del volume esistente dell'edificio per più di 100 m2, tale ampliamento può essere autorizzato soltanto se necessario al proseguimento dell'azienda.
Rientrano nel campo di applicazione dell'art. 37a LPT gli edifici e gli impianti commerciali che sono stati costruiti conformemente al diritto materiale a suo tempo in vigore e che successivamente sono divenuti non più conformi alla destinazione della zona in seguito a modifiche del diritto o dei piani di utilizzazione. Lo stato di riferimento per determinare la portata dell'ampliamento ammissibile è quello esistente al momento della modifica legislativa o pianificatoria mediante la quale l'edificio o l'impianto è divenuto non più conforme alla destinazione della zona. Le modifiche eseguite successivamente devono essere computate sull'ampliamento ammissibile (cfr. sentenza 1C_655/2015 del 16 novembre 2016 consid. 2.2 e 3.1 e riferimenti).
3.3. In concreto, l'osteria del ricorrente è stata edificata prima del 1° gennaio 1980 e costituisce un edificio o impianto utilizzato a scopi commerciali giusta l'art. 37a LPT. La Corte cantonale non ha stabilito se esso è stato costruito o modificato legalmente. Si tratta questa di una condizione che deve essere adempiuta per il rilascio di un'autorizzazione eccezionale sulla base delle citate disposizioni (<ref-law>). La questione può tuttavia essere lasciata indecisa anche in questa sede, siccome il gravame deve comunque essere respinto. In effetti, analogamente a quanto vale nell'ambito dell'applicazione dell'art. 24c LPT in relazione con l'<ref-law>, per valutare se i cambiamenti di destinazione e gli ampliamenti rispettano i limiti previsti dall'<ref-law>, occorre tenere conto di tutte le trasformazioni e gli ampliamenti eseguiti dal momento della modifica legislativa o pianificatoria che ha comportato la non conformità della costruzione alla destinazione della zona (cfr. sentenza 1C_328/2010 del 7 marzo 2011 consid. 4.3, in: URP 2011 pag. 209 segg.; <ref-ruling> consid. 3d). Nella fattispecie, l'edificio del ricorrente è diventato non più conforme alla zona almeno a partire dall'entrata in vigore della LPT, il 1° gennaio 1980, sicché la Corte cantonale ha valutato la portata dell'intervento sotto il profilo degli art. 37a LPT e 43 OPT tenendo rettamente conto anche dell'ampliamento eseguito nel 2002. La tesi del ricorrente, secondo cui occorrerebbe fondarsi esclusivamente sulla situazione attuale, senza prendere in considerazione le maggiori ripercussioni sul territorio generate dall'attività di affittacamere, siccome tale ampliamento era già stato autorizzato con la licenza edilizia del 2002, non può essere condivisa. Qualora ci si dovesse basare soltanto sulla situazione esistente dall'ultimo intervento eseguito, nel caso di trasformazioni a tappe, assai facilmente, in ultima analisi, potrebbero essere oltrepassati i limiti massimi fissati dall'art. 43 seg. OPT. La censura ricorsuale è pertanto infondata.
3.4. Il ricorrente non contesta che, tenendo conto dell'ampliamento autorizzato nel 2002, con il progettato nuovo cambiamento di destinazione l'osteria passerebbe, dalle quattro camere originarie al piano superiore, a dodici camere, di cui otto destinate all'esercizio della prostituzione. Non mette in dubbio che in simili circostanze, l'aggravio delle implicazioni sul territorio e sull'ambiente sarà complessivamente rilevante e in contrasto con l'<ref-law>. Riconosce anzi esplicitamente che il maggiore impatto della struttura sul territorio è già riconducibile al solo ampliamento autorizzato nel 2002 e non deriverebbe dal nuovo cambiamento di destinazione in postribolo. In tale evenienza, poiché, come è stato esposto, anche il precedente intervento edilizio è rilevante sotto il profilo dell'applicazione degli art. 37a LPT e 43 OPT, non vi sono ragioni per rivedere la conclusione della Corte cantonale, che ha ritenuto disattesa la condizione dell'<ref-law>.
3.5. Il ricorso è infine infondato nella misura della sua ammissibilità laddove il ricorrente sostiene che la licenza edilizia avrebbe dovuto essergli rilasciata già sulla base dell'art. 24a LPT. Questa disposizione presuppone che il cambiamento di destinazione non necessiti di lavori di trasformazione ai sensi dell'art. 22 cpv. 1 LPT e che dallo stesso non derivi alcuna nuova ripercussione sul territorio, sull'urbanizzazione e sull'ambiente (cfr. art. 24a cpv. 1 lett. a LPT). In concreto, la Corte cantonale ha tuttavia rilevato che il progetto prevede alcuni interventi costruttivi soggetti al permesso di costruzione, quali l'allargamento di un posteggio, l'ampliamento del locale che ospita i servizi igienici di una camera e lo spostamento dell'ingresso di quest'ultima all'esterno. Questa considerazione non è contestata dal ricorrente, che non sostanzia quindi una violazione del diritto con una motivazione conforme alle esigenze dell'<ref-law>. Inoltre, come visto, il progetto comporta anche nuove implicazioni sul territorio. Il rilascio di un'autorizzazione eccezionale sulla base dell'art. 24a LPT non entra pertanto in considerazione.
4.
Ne segue che il ricorso deve essere respinto nella misura della sua ammissibilità. Le spese giudiziarie seguono la soccombenza e sono pertanto poste a carico del ricorrente (<ref-law>).

Per questi motivi, il Tribunale federale pronuncia:
1.
Nella misura in cui è ammissibile, il ricorso è respinto.
2.
Le spese giudiziarie di fr. 2'000.-- sono poste a carico del ricorrente.
3.
Comunicazione al patrocinatore del ricorrente, al Municipio di X._, all'Ufficio delle domande di costruzione del Dipartimento del territorio, al Consiglio di Stato, al Tribunale amministrativo del Cantone Ticino e all'Ufficio federale dello sviluppo territoriale.