Fatti: A. A._, cittadino italo-tedesco, è giunto in Svizzera il 1° maggio 2014, il 16 giugno successivo ha ottenuto un permesso di dimora UE/AELS valido fino al 30 aprile 2019 per svolgere un'attività lucrativa dipendente. In un primo tempo, aveva indicato di lavorare come direttore commerciale per la B._SA e di alloggiare in via vvv a X._ (TI). Nel dicembre 2015, ha notificato il suo arrivo in via www a Y._ (TI). Siccome diversi cittadini stranieri risultavano annunciati in via vvv a X._ (TI), con dimora ed attività che apparivano fittizie, e dopo aver saputo che A._ era presidente con firma individuale della C._SA, Z._ (TI), di cui era direttore commerciale, l'8 agosto 2016 la Sezione della popolazione del Dipartimento delle istituzioni del Cantone Ticino ha segnalato il caso all'Ufficio per la sorveglianza del mercato del lavoro e al Ministero pubblico. B. Giunta alla conclusione che quello di A._ era un recapito fittizio, il 7 febbraio 2017 la Sezione della popolazione gli ha revocato il permesso di dimora UE/AELS di cui disponeva. La correttezza di tale provvedimento è stata confermata sia dal Consiglio di Stato (27 settembre 2017), che dal Tribunale cantonale amministrativo (4 febbraio 2019). C. Con ricorso dell'11 marzo 2019, A._ ha impugnato il giudizio della Corte cantonale davanti al Tribunale federale, chiedendo che, in riforma dello stesso, gli venga riconosciuto il diritto a un permesso di dimora UE/AELS. Il Tribunale cantonale amministrativo si è riconfermato nelle motivazioni e nelle conclusioni della propria sentenza e ad essa ha fatto rinvio anche la Sezione della popolazione. Il Consiglio di Stato si è invece rimesso al giudizio di questa Corte. Con decreto presidenziale del 13 marzo 2019, al ricorso è stato concesso l'effetto sospensivo.