Fatti: A. A._, cittadino cileno, è entrato in Svizzera il 27 marzo 1974 quale richiedente d'asilo e ha ottenuto lo statuto di rifugiato, di cui ha disposto fino all'11 luglio 1996, quando gli è stato revocato a seguito della normalizzazione della situazione nel suo Paese. Dal 27 marzo 1979, egli è stato posto a beneficio di un permesso di domicilio. Il 20 agosto 1999, A._ si è sposato con la cittadina italiana B._, dalla quale, sempre in quell'anno, ha avuto la figlia C._. Con sentenza del 6 luglio 2005, il Giudice civile competente ha pronunciato il divorzio dei coniugi. La figlia C._ è rimasta a vivere in Romandia con la madre. B. . A._ ha in passato più volte interessato le autorità penali svizzere: con decreto d'accusa del 21 marzo 1991 gli è stata inflitta una multa di fr. 800.-- per infrazione alle norme della circolazione; con sentenza delle Assise correzionali di Lugano del 14 settembre 1993 è stato riconosciuto colpevole di ripetuto furto, ripetuta truffa, ripetuta falsità in documenti, circolazione con veicolo a motore senza licenza di condurre e condannato alla pena detentiva di 8 mesi, sospesa condizionalmente per un periodo di prova di 2 anni, nonché al versamento di fr. 3'860.-- a titolo di risarcimento per il danno causato; con decreto d'accusa del 2 maggio 1995 gli è stata inflitta una multa di fr. 100.-- per violazione all'allora vigente legge federale sul trasporto pubblico; con decreto d'accusa del 22 giugno 1998 gli è stata inflitta una multa di fr. 100.-- per furto di poca entità; con decreto d'accusa del 13 settembre 1999 gli è stata inflitta una multa di fr. 200.-- per incendio colposo; con decreto d'accusa del 28 febbraio 2000 è stato condannato a una pena detentiva di 10 giorni, sospesa condizionalmente per un periodo di prova di 1 anno, per infrazione alla LStup; con sentenza del 31 gennaio 2002 della Prefettura di Morges è stato riconosciuto colpevole di infrazione grave alle norme della circolazione e condannato al pagamento di una multa di fr. 640.--; con sentenza del 7 febbraio 2002 della Prefettura di Cossonay è stato riconosciuto colpevole di infrazione grave alle norme della circolazione e condannato al pagamento di una multa di fr. 640.--; con sentenza del 13 agosto 2002 della Prefettura d'Echallens è stato riconosciuto colpevole di infrazione grave alle norme della circolazione e condannato al pagamento di una multa di fr. 700.--; con sentenza del 28 luglio 2003 del Giudice istruttore di Losanna è stato riconosciuto colpevole di guida nonostante il rifiuto o la revoca della licenza di condurre e condannato a 30 giorni di arresto, nonché a una multa di fr. 1'200.--; con sentenza del 10 novembre 2003 del Giudice istruttore di Losanna è stato riconosciuto colpevole di infrazione grave alle norme della circolazione, guida nonostante il rifiuto o la revoca della licenza di condurre, inosservanza da parte del debitore di norme della procedura di esecuzione e di fallimento, contravvenzione alla LStup e condannato a una pena detentiva di 15 giorni, nonché a una multa di fr. 300.--; con decreto d'accusa del 18 ottobre 2004 è stato condannato a una pena detentiva di 20 giorni, sospesa condizionalmente con un periodo di prova di 3 anni (poi portato a 4 anni in occasione della successiva condanna) per contravvenzione all'allora vigente legge federale sul trasporto pubblico, ripetuto abuso di un impianto per l'elaborazione di dati, ripetuta falsità in documenti, ripetuta appropriazione indebita, appropriazione semplice, frode allo scotto, ripetuta truffa; con sentenza dell'11 luglio 2005 del Tribunal de police de la Broye et du Nord vaudois è stato riconosciuto colpevole di trascuranza degli obblighi di mantenimento, inosservanza da parte del debitore di norme della procedura di esecuzione e di fallimento e condannato a una pena detentiva di 3 mesi da espiare; con decreto d'accusa del 16 febbraio 2007 è stato condannato a una pena detentiva di 6 giorni da espiare per conseguimento fraudolento di una prestazione, falsità in documenti, contravvenzione alla LStup e contravvenzione all'allora vigente legge federale sul trasporto pubblico; con decreto d'accusa 2 luglio 2007 è stato condannato al pagamento di una multa di fr. 100.-- e al versamento di fr. 100.-- a titolo di risarcimento per contravvenzione all'allora vigente legge federale sul trasporto pubblico; con sentenza del 12 febbraio 2010 della Corte delle assise criminali di Lugano è stato riconosciuto colpevole di infrazione aggravata alla LStup, trascuranza degli obblighi di mantenimento, truffa, contravvenzione alla LStup e condannato a una pena detentiva di 3 anni e 10 mesi da espiare. C. A seguito di quest'ultima condanna penale, l'11 aprile 2011 l'Ufficio federale della migrazione ha pronunciato nei confronti di A._ un divieto d'entrata in Svizzera valido fino al 10 aprile 2026. Contro tale decisione, egli ha quindi ricorso al Tribunale amministrativo federale. D. Sempre a seguito della menzionata sentenza del 12 febbraio 2010, dopo avere in passato pronunciato già due ammonimenti nei suoi confronti (una prima volta, il 27 ottobre 1993; una seconda volta, il 5 marzo 2007), in data 27 maggio 2011 la Sezione della popolazione del Dipartimento delle istituzioni del Canton Ticino ha da parte sua revocato il permesso di domicilio ad A._ per motivi di ordine pubblico, intimandogli di lasciare il territorio elvetico appena scontata la pena inflittagli. Tale provvedimento è stato confermato su ricorso, dapprima dal Consiglio di Stato, con decisione del 12 ottobre 2011, quindi dal Tribunale cantonale amministrativo, che si è espresso in merito con sentenza del 28 febbraio 2012, qui impugnata. E. Il 5 aprile 2012 A._ (nel seguito: ricorrente) ha inoltrato un "ricorso di diritto pubblico" davanti al Tribunale federale con cui, in riforma del giudizio del Tribunale cantonale amministrativo, chiede che il provvedimento di revoca del suo permesso di dimora sia annullato. Con decreto presidenziale del 10 aprile 2012, al gravame è stato concesso l'effetto sospensivo. Il Tribunale cantonale amministrativo si è riconfermato nelle motivazioni e nelle conclusioni della propria sentenza. Ad essa hanno fatto in sostanza rinvio anche la Sezione della popolazione e l'Ufficio federale della migrazione. Il Consiglio di Stato si è invece rimesso al giudizio di questa Corte.