Fatti: A. A._, cittadino spagnolo nato nel..., è giunto in Svizzera il 22 gennaio 2010. In un primo tempo, sulla base della garanzia finanziaria fornita da B._, con la quale aveva appena avuto un figlio, ha ottenuto un permesso per soggiornare nel nostro Paese senza svolgere nessuna attività lucrativa. Dopo essersi separato dalla compagna ed avere beneficiato a due riprese di permessi di soggiorno di breve durata, è stato quindi posto a beneficio di un permesso di dimora UE/AELS valido fino al 29 febbraio 2016 per svolgere un'attività lucrativa dipendente. B. Con decisione del 26 aprile 2016, la Sezione della popolazione del Dipartimento delle istituzioni del Cantone Ticino ha rifiutato a A._ il rinnovo del permesso di dimora. Alla base del citato provvedimento vi era la constatazione del fatto che egli era stato condannato penalmente e che aveva pure contratto diversi debiti privati. Su ricorso, il diniego del diritto a rimanere in Svizzera è stato confermato sia dal Consiglio di Stato (12 aprile 2017) che dal Tribunale amministrativo ticinesi (21 novembre 2018). C. Il 10 gennaio 2019, A._ ha inoltrato dinanzi al Tribunale federale un ricorso in materia di diritto pubblico, con cui domanda l'annullamento del giudizio della Corte cantonale, di quello del Consiglio di Stato, e il rinnovo del permesso di dimora. Il Tribunale federale ha concesso l'effetto sospensivo al gravame (18 gennaio 2019) e chiesto alle autorità cantonali la trasmissione degli atti. Non ha per contro ordinato scambi di scritti.