Fatti: A. Dopo avere beneficiato di un permesso di dimora temporaneo L UE/AELS (gennaio-ottobre 2007) e di un permesso per confinanti UE/AELS (novembre 2007-novembre 2008) A._ (1961), cittadino italiano, ha ottenuto un permesso di dimora UE/AELS valido fino al 3 dicembre 2013 per esercitare un'attività lucrativa dipendente nel nostro Paese. Durante la sua permanenza egli è rimasto senza lavoro per oltre due anni, ha accumulato dei debiti e ha interessato più volte le autorità giudiziarie penali. B. Il 26 novembre 2013 A._ ha chiesto il rinnovo del suo permesso di dimora UE/AELS per, questa volta, esercitare un'attività indipendente. Nell'ambito dell'istruttoria della sua istanza egli ha fornito, su richiesta dell'autorità, il certificato generale del suo casellario giudiziale italiano datato 19 novembre 2013, sul quale figuravano tre provvedimenti (2003, 2005, 2008). Egli inoltre è stato invitato ad esprimersi sulla continuazione del suo soggiorno in Svizzera. Il 10 febbraio 2015 la Sezione della popolazione del Dipartimento delle istituzioni del Canton Ticino ha rifiutato di rinnovargli il permesso di dimora UE/AELS per motivi di ordine pubblico (avendo egli interessato le autorità giudiziarie penali svizzere e italiane) e gli ha impartito un termine per lasciare la Svizzera. Questa decisione è stata confermata su ricorso dapprima dal Consiglio di Stato ticinese, il 10 dicembre 2015, e poi dal Tribunale cantonale amministrativo, con sentenza del 15 marzo 2017. La Corte cantonale ha ritenuto, in sintesi, che detto diniego non disattendeva né l'art. 5 Allegato I dell'Accordo del 21 giugno 1999 tra la Comunità europea e i suoi Stati membri, da una parte, e la Confederazione Svizzera, dall'altra, sulla libera circolazione delle persone (Accordo sulla libera circolazione o ALC; RS 0.142.112.681) né la legge federale del 16 dicembre 2005 sugli stranieri (LStr; RS 142.20) né il principio della proporzionalità né, infine, l'art. 8 CEDU, con particolare riferimento al fatto che, pendente causa, due dei figli maggiorenni dell'insorgente si erano trasferiti in Svizzera. C. Il 10 maggio 2017 A._ ha presentato dinanzi al Tribunale federale un ricorso in materia di diritto pubblico nel quale censura una valutazione eccessivamente formalista dei suoi precedenti penali nonché la disattenzione dell'art. 5 Allegato I ALC, del principio della proporzionalità e dell'art. 8 CEDU. Chiede che gli sia concesso il rinnovo del proprio permesso di dimora UE/AELS e di essere tutto al più ammonito. Chiamato ad esprimersi, il Tribunale cantonale amministrativo si è riconfermato nella propria sentenza. Il Consiglio di Stato si è rimesso al giudizio di questa Corte mentre la Sezione della popolazione ha chiesto il rigetto del gravame. La Segreteria di Stato della migrazione SEM ha rinunciato ad esprimersi. D. Con decreto presidenziale del 15 maggio 2017 è stato conferito l'effetto sospensivo al ricorso.