Fatti: A. A._, cittadino italiano nato in Svizzera nel 1975, è titolare di un permesso di domicilio dal 15 febbraio 1977. Egli ha in passato interessato le autorità penali svizzere nei seguenti termini: Con decreto d'accusa del 18 ottobre 2004, il Procuratore pubblico gli ha inflitto una multa di fr. 100.-- per contravvenzione all'allora vigente legge federale sul trasporto pubblico. Con sentenza del 12 febbraio 2010, la Corte delle assise criminali ha condannato A._ ad una pena detentiva di tre anni, di cui due sospesi condizionalmente con un periodo di prova di tre anni, per infrazione aggravata e contravvenzione alla legge federale del 3 ottobre 1951 sugli stupefacenti e sulle sostanze psicotrope (LStup; RS 812.121), nonché per riciclaggio di denaro. Con decreto d'accusa del 18 novembre 2010, concernente reati commessi prima di quelli per cui era stato condannato il 12 febbraio 2010, il Procuratore pubblico lo ha ritenuto nuovamente colpevole di infrazione alla LStup, di circolazione senza licenza di circolazione ed assicurazione RC, di abuso della licenza e delle targhe e di danneggiamento. Essendo quest'ultima condanna integralmente aggiuntiva a quella pronunciata dalle assise criminali, ha però mandato A._ esente da pena. A._ ha iniziato a scontare la pena inflittagli dalla Corte delle assise criminali in data 23 giugno 2010; due giorni più tardi, ha beneficiato del regime di semiprigionia; il 19 febbraio 2011 è stato quindi trasferito presso il carcere aperto a Torricella. B. Sulla base di questi fatti, segnatamente della menzionata sentenza del 12 febbraio 2010, il 4 aprile 2011 la Sezione della popolazione del Dipartimento delle istituzioni del Canton Ticino ha revocato il permesso di domicilio CE/AELS a A._ per motivi di ordine pubblico, intimandogli di lasciare il territorio elvetico appena scontata la pena inflittagli. Tale provvedimento è stato confermato su ricorso, dapprima dal Consiglio di Stato, con decisione del 28 giugno 2011, quindi dal Tribunale cantonale amministrativo, che si è espresso in merito con sentenza del 28 novembre 2011. C. Con ricorso in materia di diritto pubblico del 13 gennaio 2012, A._ (nel seguito: ricorrente) chiede al Tribunale federale l'annullamento del giudizio del Tribunale cantonale amministrativo e della decisione del 4 aprile 2011 della Sezione della popolazione, quindi la conferma della validità del suo permesso di domicilio. Il Tribunale cantonale amministrativo si è riconfermato nelle motivazioni e nelle conclusioni della propria sentenza. Ad essa hanno fatto in sostanza rinvio anche la Sezione della popolazione e l'Ufficio federale della migrazione. Il Consiglio di Stato si è invece rimesso al giudizio di questa Corte.