Fatti:
A. A.A._, cittadino portoghese, già beneficiario in Svizzera di permessi per stagionali dall'aprile 1988, ha ottenuto dapprima un permesso di dimora (30 gennaio 1992), quindi un permesso di domicilio (21 gennaio 1994). Nel settembre 1995 è rientrato in Portogallo.
A partire dal 1° giugno 1999, A.A._ - nel frattempo diventato padre di una bambina, rimasta in Portogallo con la madre - ha nuovamente lavorato in Svizzera, in qualità di stagionale.
Il 31 ottobre 2002 ha ottenuto un permesso di dimora CE/AELS e, a far tempo dal 1° novembre 2007, è stato posto al beneficio di un'autorizzazione di domicilio CE/AELS.
B. Il 27 maggio 2008, A.A._ si è sposato con la cittadina rumena B._, da cui, nel giugno 2008, ha avuto il figlio C.A._, pure lui titolare della nazionalità portoghese e di un permesso di domicilio CE/AELS.
Con sentenza del 13 gennaio 2011, il Giudice civile competente ha autorizzato i coniugi a vivere separati e ha affidato il figlio a A.A._, la madre essendo di ignota dimora dall'agosto precedente.
C. A.A._ è stato in passato oggetto di procedimenti penali sfociati in condanne a suo carico.
Con decreto d'accusa del 1° dicembre 2008, egli è stato condannato alla pena pecuniaria di 15 aliquote giornaliere da fr. 60.-- ciascuna, sospesa condizionalmente per un periodo di prova di 3 anni, e ad una multa di fr. 1'100.--, per grave infrazione alle norme della circolazione.
Dopo essere stato arrestato il 13 gennaio 2010 ed essere rimasto in stato di detenzione fino al 7 giugno successivo, con sentenza del 15 settembre 2010 A.A._ è stato condannato dalla Corte delle assise criminali ad una pena detentiva di 3 anni - a valere quale pena unica giusta l'<ref-law> e senza che fosse revocata la sospensione condizionale della pena pecuniaria inflittagli in precedenza - di cui due anni e sei mesi sospesi condizionalmente con un periodo di prova di quattro anni, per ripetuta infrazione, in parte aggravata, alla legge federale sugli stupefacenti e sulle sostanze psicotrope (LStup; RS 812.121).
D. Sulla base di questi fatti, segnatamente della seconda condanna menzionata, il 21 gennaio 2011 la Sezione della popolazione del Dipartimento delle istituzioni del Canton Ticino ha revocato il permesso di domicilio CE/AELS a A.A._, per motivi di ordine pubblico. Essa gli ha quindi intimato di lasciare il territorio elvetico entro il 28 febbraio 2011.
Tale provvedimento è stato confermato su ricorso, dapprima dal Consiglio di Stato, con decisione del 3 maggio 2011, quindi dal Tribunale cantonale amministrativo, che si è espresso in merito con sentenza del 23 settembre 2011.
E. Il 2 novembre 2011, A.A._ ha inoltrato un ricorso davanti al Tribunale federale con cui, in riforma del giudizio del Tribunale cantonale amministrativo, chiede che la revoca del suo permesso di domicilio sia annullata.
Con decreto presidenziale del 3 novembre 2011, al gravame è stato concesso l'effetto sospensivo.
In corso di procedura, il Tribunale cantonale amministrativo si è riconfermato nelle motivazioni e nelle conclusioni della propria sentenza. Ad essa hanno fatto rinvio anche la Sezione della popolazione e l'Ufficio federale della migrazione. Il Consiglio di Stato si è invece rimesso al giudizio di questa Corte. Al 27 febbraio 2012 risalgono le ultime osservazioni depositate dal ricorrente, di cui verrà detto, per quanto necessario, nel seguito.

Diritto:
1. 1.1 Presentata in tempo utile (<ref-law>) dal destinatario della decisione querelata (<ref-law>), l'impugnativa è nella fattispecie ammissibile quale ricorso in materia di diritto pubblico ai sensi degli art. 82 segg. LTF, in quanto concerne la revoca di un permesso che avrebbe altrimenti ancora effetti giuridici (art. 83 lett. c n. 2 LTF; <ref-ruling> consid. 1.2.1 pag. 4).
1.2 Cittadino portoghese, il ricorrente può nel contempo appellarsi all'Accordo del 21 giugno 1999 tra la Comunità europea e i suoi Stati membri, da una parte, e la Confederazione Svizzera, dall'altra, sulla libera circolazione delle persone (ALC; RS 0.142.112.681) per far valere un diritto a soggiornare in Svizzera, per svolgervi un'attività lucrativa (sentenza 2C_980/2011 del 22 marzo 2012 consid. 1.1 con rinvii).
2. 2.1 Con il ricorso in materia di diritto pubblico può venir censurata sia la violazione del diritto federale (<ref-law>) che di quello internazionale (<ref-law>). In via generale, confrontato con una motivazione conforme all'<ref-law>, il Tribunale federale applica il diritto d'ufficio (<ref-law>); esso non è vincolato né agli argomenti fatti valere nel ricorso né ai considerandi sviluppati dall'istanza precedente (<ref-ruling> consid. 1.4.1 pag. 254). Esigenze più severe valgono tuttavia in relazione alla denuncia della violazione di diritti fondamentali. Il Tribunale federale esamina infatti simili censure solo se l'insorgente le ha sollevate in modo preciso (<ref-law>; <ref-ruling> consid. 2.2 pag. 246).
Tenuto conto degli obblighi di motivazione indicati, i generici richiami al patto internazionale del 16 dicembre 1966 relativo ai diritti civili e politici (Patto ONU II; RS 0.103.2) contenuti nel ricorso sono pertanto a priori inammissibili (sentenza 2C_465/2009 del 6 novembre 2009 consid. 3).
2.2 Il Tribunale federale fonda il suo ragionamento giuridico sull'accertamento dei fatti svolto dall'autorità inferiore (<ref-law>); esso può scostarsene se è stato eseguito violando il diritto ai sensi dell'<ref-law> o in modo manifestamente inesatto (<ref-law>). Possono inoltre essere addotti nuovi fatti e nuovi mezzi di prova solo se ne dà motivo la decisione impugnata (<ref-law>).
Per quanto precede, anche la produzione dei documenti allegati al ricorso dev'essere considerata inammissibile.
3. La procedura riguarda un provvedimento di revoca del permesso di domicilio conferito al ricorrente il 1° novembre 2007. Quest'ultimo sostiene che la conferma della misura presa nei suoi confronti da parte del Tribunale cantonale amministrativo leda sia la legge federale del 16 dicembre sugli stranieri (LStr; RS 142.20), sia il citato Accordo sulla libera circolazione delle persone, sia la Convenzione del 4 novembre 1950 per la salvaguardia dei diritti dell'uomo e delle libertà fondamentali (CEDU; RS 0.101).
3.1 L'art. 63 cpv. 1 lett. a LStr prevede la revoca del permesso di domicilio se sono date le condizioni di cui all'art. 62 lett. a o b LStr, quindi anche quando lo straniero è stato condannato a una pena detentiva di lunga durata. Una pena privativa della libertà è considerata di lunga durata se è stata pronunciata per più di un anno, a prescindere dal fatto che la pena comminata sia stata sospesa in tutto o in parte oppure che la stessa vada o sia stata effettivamente espiata (<ref-ruling> consid. 4.2 pag. 379 segg.; sentenza 2C_515/2009 del 27 gennaio 2010 consid. 2.1).
3.2 Siccome il permesso di domicilio non è regolato nell'Accordo sulla libera circolazione delle persone e viene concesso in base alla legge federale sugli stranieri, il motivo indicato è parimenti valido per la revoca di un'autorizzazione di domicilio CE/AELS (art. 2 cpv. 2 LStr; art. 5 e 23 cpv. 2 dell'ordinanza del 22 maggio 2002 sull'introduzione della libera circolazione delle persone [OLCP; RS 142.203]; sentenza 2C_831/2010 del 27 maggio 2011 consid. 2.2).
In simile contesto, assume ciò nondimeno rilievo l'art. 5 Allegato I ALC, in base al quale i diritti conferiti dall'Accordo possono essere limitati soltanto da misure giustificate da motivi di ordine pubblico, pubblica sicurezza e pubblica sanità.
Secondo la giurisprudenza, che si orienta alla direttiva CEE 64/221 del 25 febbraio 1964 ed alla prassi della Corte di giustizia dell'Unione europea ad essa relativa (art. 5 cpv. 2 Allegato I ALC), le deroghe alla libera circolazione garantita dall'ALC vanno interpretate in modo restrittivo. Al di là della turbativa insita in ogni violazione della legge, il ricorso di un'autorità nazionale alla nozione di ordine pubblico presuppone il sussistere di una minaccia attuale, effettiva e sufficientemente grave di un interesse fondamentale per la società. In applicazione dell'art. 5 Allegato I ALC, una condanna penale va di conseguenza considerata come motivo per limitare i diritti conferiti dall'Accordo solo se dalle circostanze che l'hanno determinata emerga un comportamento personale costituente una minaccia attuale per l'ordine pubblico (<ref-ruling> consid. 4.3 pag. 24; <ref-ruling> consid. 3.4.1 pag. 183 seg.; <ref-ruling> consid. 7.4 pag. 222 con rinvii alla giurisprudenza della Corte di Giustizia dell'Unione europea). A seconda delle circostanze, già la sola condotta tenuta in passato può comunque adempiere i requisiti di una simile messa in pericolo dell'ordine pubblico. Per valutare l'attualità della minaccia, non occorre prevedere quasi con certezza che lo straniero commetterà altre infrazioni in futuro; d'altro lato, per rinunciare a misure di ordine pubblico, non si deve esigere che il rischio di recidiva sia praticamente nullo. La misura dell'apprezzamento dipende in sostanza dalla gravità della potenziale infrazione: tanto più questa appare importante, quanto minori sono le esigenze in merito al rischio di recidiva (<ref-ruling> consid. 4.3.2 pag. 30; <ref-ruling> consid. 4.2 pag. 20; <ref-ruling> consid. 3.3 pag. 499 seg. con rinvii; sentenze 2C_908/2010 del 7 aprile 2011 consid. 4.1 e 2C_547/2010 del 10 dicembre 2010 consid. 3).
3.3 In presenza di motivi di revoca, una tale misura si giustifica infine solo quando è proporzionata. Nell'esercizio del loro potere discrezionale, le autorità competenti tengono conto degli interessi pubblici e della situazione personale dello straniero, considerando la gravità di quanto gli viene rimproverato, la durata del suo soggiorno in Svizzera, il suo grado d'integrazione e il pregiudizio che l'interessato e la sua famiglia subirebbero se la misura presa venisse confermata (art. 96 LStr). Nel caso il provvedimento preso abbia ripercussioni sulla vita privata e familiare ai sensi dell'art. 8 CEDU, un analogo esame della proporzionalità si impone inoltre anche nell'ottica di questa norma (<ref-ruling> consid. 4.3 pag. 381 seg.; sentenza della Corte europea dei diritti dell'uomo in re Trabelsi contro Germania del 13 ottobre 2011, n. 41548/06, § 53 segg.).
4. Tenuto conto della pena privativa della libertà pronunciata nei suoi confronti il 15 settembre 2010, il ricorrente a ragione non contesta la sussistenza di un motivo di revoca del suo permesso di domicilio (art. 63 cpv. 1 lett. a in relazione con l'art. 62 lett. b LStr; precedente consid. 3.1).
Contrariamente a quanto da lui sostenuto, facendo in sostanza valere un erroneo apprezzamento dei fatti, la Corte cantonale ha però pure proceduto ad una valutazione dei singoli aspetti della fattispecie che non risulta criticabile né in relazione alla legge sugli stranieri, né all'Accordo sulla libera circolazione delle persone e al diritto convenzionale richiamato (CEDU).
4.1 Secondo i vincolanti ed incontestati accertamenti contenuti nel giudizio impugnato (<ref-law>) - ai cui pertinenti considerandi può qui essere rinviato a titolo completivo - il ricorrente è stato condannato una prima volta con decreto d'accusa del 1° dicembre 2008 alla pena pecuniaria di 15 aliquote giornaliere da fr. 60.-- ciascuna, sospesa condizionalmente con un periodo di prova di 3 anni, e ad una multa di fr. 1'100.-- per grave infrazione alle norme della circolazione commessa il 27 agosto 2008. In tale contesto, gli è in effetti stato rimproverato di aver causato un serio pericolo per la sicurezza altrui, circolando ad una velocità - accertata mediante apparecchio radar - di 102 km/h su di un tratto di strada in cui vigeva il limite di 60 km/h.
Dopo essere stato arrestato il 13 gennaio 2010 ed essere rimasto in detenzione preventiva fino al 7 giugno successivo, con sentenza del 15 settembre 2010, la Corte delle assise criminali lo ha quindi condannato ad una pena detentiva di 3 anni - a valere quale pena unica giusta l'<ref-law> e senza che fosse revocata la sospensione condizionale della pena pecuniaria inflittagli in precedenza - di cui due anni e sei mesi sospesi condizionalmente con un periodo di prova di quattro anni, per ripetuta infrazione, in parte aggravata, alla LStup.
Oltre al possesso e alla vendita di piccoli quantitativi di marijuana, situati essenzialmente tra il 2006 e il 2007, la condanna a tre anni di detenzione sanziona in effetti il possesso di ca. 90 gr. di cocaina - rinvenuti tra le mura domestiche al momento dell'arresto e destinati anch'essi al commercio - e la vendita di ca. 600 gr. di cocaina, protrattasi per un lasso di tempo tra il febbraio 2008 e il gennaio 2010.
4.2 Riferendosi soprattutto all'ultima condanna menzionata - pur evidenziando correttamente anche il pericoloso comportamento sanzionato con il decreto d'accusa del 1° dicembre 2008 - il Tribunale amministrativo, che ha ricordato come nella sentenza del 15 settembre 2010 i giudici penali abbiano considerato che il ricorrente si sia macchiato di una colpa grave, ha a buon diritto condiviso tale giudizio.
4.2.1 La protezione della collettività da attività di spaccio dell'entità di quella per cui il ricorrente è stato sanzionato costituisce un interesse pubblico alla cui tutela la giurisprudenza accorda particolare importanza (<ref-ruling> consid. 2c pag. 436; sentenza 2C_908/2010 del 7 aprile 2011 consid. 4.2).
4.2.2 Sempre come rilevato dalla Corte cantonale, il quantitativo complessivo di droga che il ricorrente ha detenuto e venduto tra il febbraio 2008 e il gennaio 2010 era tale da mettere in pericolo la salute di parecchie persone, ciò che egli non poteva ignorare e che, del resto, ha portato ad infliggergli una pena che sorpassa di molto anche il limite di un anno a partire dal quale una pena privativa della libertà è considerata come di lunga durata ai sensi dell'art. 62 lett. b LStr (<ref-ruling> consid. 4.2 pag. 381).
4.3 Oltre che secondo il diritto interno - per il quale la condanna inflitta costituisce il primo criterio per valutare la gravità della colpa - i trascorsi delittuosi del ricorrente non sono stati considerati troppo severamente nemmeno alla luce delle condizioni previste dall'art. 5 Allegato I ALC, a lui più favorevoli e qui determinanti (precedente consid. 3.2).
Gli elementi oggettivi e soggettivi della colpa evidenziati nella sentenza penale del 15 settembre 2010 - resa appena l'anno precedente il giudizio del Tribunale amministrativo e riferita a reati recenti, compiuti fino all'inizio del 2010 - giustificavano in effetti un apprezzamento rigoroso anche nell'ottica dell'art. 5 Allegato I ALC (<ref-ruling> consid. 4.3.2 pag. 30; <ref-ruling> consid. 4.2 pag. 20; <ref-ruling> consid. 3.3 pag. 499 seg.) e quindi la conclusione tratta dalla Corte cantonale, sulla base delle circostanze indicate nel seguito, secondo cui un rischio di recidiva non può nella fattispecie essere escluso e il ricorrente costituisce pertanto ancora una minaccia attuale per l'ordine e la sicurezza pubblici.
4.3.1 In proposito occorre rilevare che, oltre a riferirsi ad un ingente quantitativo di droga, venduto nell'arco di un periodo di quasi due anni, l'attività di spaccio che ha portato alla condanna del ricorrente ad una pena detentiva di tre anni è stata da lui intrapresa in età adulta e in maniera deliberata: alla base di tale scelta, compiuta quando già da anni viveva e lavorava nel nostro Paese e pure già disponeva di un permesso di domicilio, non vi era infatti nessuna dipendenza, bensì la sola volontà di lucrare (sentenze 2C_908/2010 del 7 aprile 2011 consid. 4 e 2C_14/2008 del 21 agosto 2008 consid. 5). Alla formulazione di una prognosi più positiva nei suoi confronti si oppone poi un'ulteriore circostanza, ovvero il fatto che una volta iniziata, l'attività delittuosa del ricorrente si è protratta ben oltre il matrimonio e la nascita del suo secondo figlio, nella primavera del 2008.
4.3.2 Anche gli elementi sottolineati dal ricorrente nel suo ricorso a sostegno del mantenimento del permesso di domicilio non permettono di giungere a diverso risultato.
Dell'atteggiamento collaborativo da lui dimostrato agli inquirenti, è già stato tenuto conto nella commisurazione della pena inflittagli (sentenza 2C_642/2009 del 25 marzo 2010 consid. 4.2.1 con ulteriori rinvii). Secondo prassi costante, all'atteggiamento tenuto durante la detenzione, così come a quello riscontrato nel periodo di prova - che nella fattispecie non è ancora concluso (precedente consid. 4.1) - può essere del resto accordato solo un rilievo minore (sentenza 2C_542/2009 del 15 dicembre 2009 consid. 3.3 con ulteriori rinvii).
Analoga conclusione va inoltre tratta in relazione alla sospensione condizionale della pena (sentenza 2C_4/2011 del 15 dicembre 2011 consid. 3.4.2) così come al fatto che, con sentenza del 13 gennaio 2011, il Giudice civile competente gli abbia affidato il figlio nato nel giugno 2008. A prescindere dal fatto che il Giudice civile competente non aveva reali alternative, in quanto la madre del bambino è da tempo irreperibile, occorre in effetti ricordare che le responsabilità di genitore non hanno impedito al ricorrente di delinquere nemmeno in passato e non hanno quindi avuto nei suoi confronti un reale effetto dissuasivo (sentenza 2C_908/2010 del 7 aprile 2011 consid. 4.2).
4.3.3 Come detto, alla luce dei fatti accertati nel giudizio impugnato ed evidenziati più sopra, la conclusione secondo cui il ricorrente rappresenta ancora una minaccia attuale ed effettiva per l'ordine e la sicurezza pubblici merita pertanto conferma.
4.4 Sia nell'ottica del diritto interno che di quello convenzionale, all'interesse pubblico alla revoca del permesso di domicilio dev'essere contrapposto l'interesse fatto valere al suo mantenimento (precedente consid. 3.3).
4.4.1 Il ricorrente, poco più che quarantenne, vive stabilmente in Svizzera dalla fine di ottobre del 2002, momento in cui ha nuovamente ricevuto un permesso di dimora. Vi aveva inoltre soggiornato - a vario titolo - anche tra l'aprile 1988 e il settembre 1995 ed a partire dal 1° giugno 1999 (precedente consid. A). Procedendo ad una ponderazione degli interessi in gioco, il suo soggiorno in Svizzera dev'essere quindi effettivamente considerato di una certa durata. Come rilevato dall'istanza precedente (<ref-law>), egli ha comunque trascorso oltre metà della sua vita in Portogallo, Paese in cui ha seguito le scuole e l'apprendistato, di cui conosce lingua e cultura e in cui vivono i suoi genitori, parte dei suoi parenti, nonché la figlia di primo letto. Su tali basi, la Corte cantonale era pertanto legittimata a concludere che un rientro nel Paese d'origine, a seguito dei reati commessi, non sarà forse evidente ma è comunque esigibile.
4.4.2 Ad una simile conclusione nulla muta neppure il fatto che il quadro economico che troverà al suo ritorno in Portogallo possa essere sostanzialmente più difficile di quello svizzero e che un suo rimpatrio lo colpirebbe quindi in maniera pesante anche dal punto di vista del reddito che potrebbe conseguire. Tale conseguenza è in effetti unicamente ascrivibile al comportamento penalmente rilevante da lui tenuto (sentenza 2C_642/2009 del 25 marzo 2010 consid. 4.3.1 con ulteriori rinvii).
4.4.3 Errata non risulta infine la conclusione dell'istanza inferiore in base alla quale una partenza dalla Svizzera sia sostenibile anche per il figlio del ricorrente.
Cittadino portoghese come il padre, il piccolo, nato nel giugno 2008, ha infatti un'età in cui un eventuale trasferimento - accompagnato da un necessario periodo di adattamento - è del tutto accettabile (per fattispecie analoghe, concernenti bambini di pochi anni d'età, cfr. sentenze 2C_526/2011 del 17 novembre 2011 consid. 2.3.2 e 2C_590/2011 del 28 luglio 2011 consid. 2.2). Ritenuto che la sua partenza con il padre è di principio esigibile, il giudizio impugnato non lede nel contempo nemmeno l'art. 8 CEDU (<ref-ruling> consid. 2.1 pag. 155; <ref-ruling> consid. 3.1 pag. 286; <ref-ruling> consid. 3b pag. 297).
Alla possibile partenza con il padre, cui il bambino è stato affidato e di cui il padre può pertanto di principio disporre anche il trasferimento all'estero (<ref-ruling> consid. 3.3 pag. 357 seg.), non si oppone d'altra parte la necessità del mantenimento dei rapporti con la madre, poiché, come già detto, dall'agosto 2010 quest'ultima risulta purtroppo essere d'ignota dimora.
4.4.4 La misura di revoca decisa dalla Sezione della popolazione e confermata dal Tribunale cantonale amministrativo rispetta quindi pure il principio della proporzionalità.
5. Per quanto precede, e per quanto ammissibile, il ricorso deve essere respinto. Le spese giudiziarie seguono la soccombenza (<ref-law>). Non si assegnano ripetibili ad autorità vincenti (<ref-law>).

Per questi motivi, il Tribunale federale pronuncia:
1. Nella misura in cui è ammissibile, il ricorso è respinto.
2. Le spese giudiziarie di fr. 2'000.-- sono poste a carico del ricorrente.
3. Comunicazione al patrocinatore del ricorrente, alla Sezione della popolazione del Dipartimento delle istituzioni, al Consiglio di Stato e al Tribunale amministrativo del Cantone Ticino, nonché all'Ufficio federale della migrazione.