Fatti: A. A.A._, cittadino portoghese, già beneficiario in Svizzera di permessi per stagionali dall'aprile 1988, ha ottenuto dapprima un permesso di dimora (30 gennaio 1992), quindi un permesso di domicilio (21 gennaio 1994). Nel settembre 1995 è rientrato in Portogallo. A partire dal 1° giugno 1999, A.A._ - nel frattempo diventato padre di una bambina, rimasta in Portogallo con la madre - ha nuovamente lavorato in Svizzera, in qualità di stagionale. Il 31 ottobre 2002 ha ottenuto un permesso di dimora CE/AELS e, a far tempo dal 1° novembre 2007, è stato posto al beneficio di un'autorizzazione di domicilio CE/AELS. B. Il 27 maggio 2008, A.A._ si è sposato con la cittadina rumena B._, da cui, nel giugno 2008, ha avuto il figlio C.A._, pure lui titolare della nazionalità portoghese e di un permesso di domicilio CE/AELS. Con sentenza del 13 gennaio 2011, il Giudice civile competente ha autorizzato i coniugi a vivere separati e ha affidato il figlio a A.A._, la madre essendo di ignota dimora dall'agosto precedente. C. A.A._ è stato in passato oggetto di procedimenti penali sfociati in condanne a suo carico. Con decreto d'accusa del 1° dicembre 2008, egli è stato condannato alla pena pecuniaria di 15 aliquote giornaliere da fr. 60.-- ciascuna, sospesa condizionalmente per un periodo di prova di 3 anni, e ad una multa di fr. 1'100.--, per grave infrazione alle norme della circolazione. Dopo essere stato arrestato il 13 gennaio 2010 ed essere rimasto in stato di detenzione fino al 7 giugno successivo, con sentenza del 15 settembre 2010 A.A._ è stato condannato dalla Corte delle assise criminali ad una pena detentiva di 3 anni - a valere quale pena unica giusta l'art. 46 CP e senza che fosse revocata la sospensione condizionale della pena pecuniaria inflittagli in precedenza - di cui due anni e sei mesi sospesi condizionalmente con un periodo di prova di quattro anni, per ripetuta infrazione, in parte aggravata, alla legge federale sugli stupefacenti e sulle sostanze psicotrope (LStup; RS 812.121). D. Sulla base di questi fatti, segnatamente della seconda condanna menzionata, il 21 gennaio 2011 la Sezione della popolazione del Dipartimento delle istituzioni del Canton Ticino ha revocato il permesso di domicilio CE/AELS a A.A._, per motivi di ordine pubblico. Essa gli ha quindi intimato di lasciare il territorio elvetico entro il 28 febbraio 2011. Tale provvedimento è stato confermato su ricorso, dapprima dal Consiglio di Stato, con decisione del 3 maggio 2011, quindi dal Tribunale cantonale amministrativo, che si è espresso in merito con sentenza del 23 settembre 2011. E. Il 2 novembre 2011, A.A._ ha inoltrato un ricorso davanti al Tribunale federale con cui, in riforma del giudizio del Tribunale cantonale amministrativo, chiede che la revoca del suo permesso di domicilio sia annullata. Con decreto presidenziale del 3 novembre 2011, al gravame è stato concesso l'effetto sospensivo. In corso di procedura, il Tribunale cantonale amministrativo si è riconfermato nelle motivazioni e nelle conclusioni della propria sentenza. Ad essa hanno fatto rinvio anche la Sezione della popolazione e l'Ufficio federale della migrazione. Il Consiglio di Stato si è invece rimesso al giudizio di questa Corte. Al 27 febbraio 2012 risalgono le ultime osservazioni depositate dal ricorrente, di cui verrà detto, per quanto necessario, nel seguito.