Fatti: A. A._ (1989), cittadino del Kosovo, è giunto in Svizzera il 13 novembre 1989 insieme alla madre, per ricongiungersi con il padre. Con sentenza del 25 giugno 2009, cresciuta in giudicato senza che ne venisse richiesta la motivazione, A._ è stato condannato alla pena detentiva di 2 anni e 2 mesi, di cui 12 mesi da espiare e 14 sospesi condizionalmente con un periodo di prova di 4 anni, per essere stato riconosciuto colpevole dei seguenti reati: aggressione ripetuta, per avere in correità con terzi, in data 19 ottobre 2008, partecipato all'aggressione ai danni di: (a) B._, che ha subito un trauma cranico, un ematoma in regione occipitale destra e delle ferite lacero contuse alla spalla destra; (b) C._, che ha subito un trauma cranico commotivo, la frattura del seno mascellare, della parete mediale e superiore destra, dell'arcata zigomale destra ed una ferita lacero contusa alla palpebra destra; complicità in furto, per avere: nel periodo tra gennaio e luglio 2008, al fine di appropriarsene e trarne indebito profitto, aiutato una terza persona a sottrarre cose mobili altrui per un valore di almeno fr. 4'000.--; lesioni semplici, per avere: in data 16 gennaio 2009, strattonato e colpito con pugni un minorenne, causandogli ferite; minacce ripetute, per avere: (a) tra il settembre 2006 e il 13 giugno 2007, in più occasioni, incusso spavento e timore a D._ e E._, minacciandole sia di morte che di ritorsioni; (b) tra il 23 dicembre 2008 e il 16 gennaio 2009, in più occasioni, incusso spavento e timore al minorenne di cui sopra, minacciandolo sia di morte che di ritorsioni; coazione ripetuta, consumata e tentata, per avere: tra il 26 marzo e il 14 aprile 2007, in più occasioni, usando violenza o minaccia di grave danno e intralciando la loro libertà di agire, indotto D._ a interrompere la relazione sentimentale intrattenuta con F._ e a non più frequentare E._, nonché indotto quest'ultima a togliere alcune immagini da un sito internet; vie di fatto ripetute, per avere, senza cagionare un danno al corpo o alla salute: (a) il 16 dicembre 2006, colpito con una sberla D._; (b) il 14 aprile 2007, colpito con una sberla E._; ingiurie ripetute, per avere: (a) tra settembre 2006 e il 13 giugno 2007, in più occasioni, offeso l'onore di D._ e E._; (b) tra il 23 dicembre 2008 e l'8 gennaio 2009, in più occasioni, offeso l'onore del minorenne di cui sopra; infrazione alla legge federale sulle armi, per avere: il 19 ottobre 2008, senza diritto, portato, detenuto e utilizzato un tirapugni di metallo. B. Sulla base di questi fatti, il 15 settembre 2009 la Sezione dei permessi e dell'immigrazione del Dipartimento delle istituzioni del Canton Ticino (ora: Sezione della popolazione) ha comunicato a A._ la decadenza (recte: la revoca) del permesso di domicilio di cui beneficiava, per gravi motivi di polizia e di ordine pubblico. Essa gli ha quindi intimato di abbandonare la Svizzera al momento del suo rilascio. Tale decisione è stata confermata su ricorso dal Consiglio di Stato il 2 marzo 2010 e, in seguito, dal Tribunale cantonale amministrativo, con sentenza del 9 agosto 2010. C. Il 14 settembre 2010, A._ ha inoltrato un ricorso in materia di diritto pubblico al Tribunale federale con cui chiede l'annullamento della sentenza cantonale e la pronuncia di un ammonimento. Sia nel caso la sua domanda principale venisse accolta che in quello in cui fosse respinta, egli postula inoltre espressamente l'annullamento del p.to 2 del dispositivo della decisione del 2 marzo 2010 del Consiglio di Stato, che lo obbliga a pagare una tassa di giustizia di fr. 600.--, ed il riconoscimento di un adeguato importo a titolo di ripetibili, quale conseguenza della violazione del suo diritto di essere sentito da parte della Sezione della popolazione del Dipartimento delle istituzioni del Cantone Ticino, di cui chiede l'accertamento. Chiamato ad esprimersi, il Tribunale cantonale amministrativo si è riconfermato nelle motivazioni e nelle conclusioni della propria sentenza. Ad essa hanno fatto rinvio anche la Sezione della popolazione e l'Ufficio federale della migrazione, il quale ha però inoltrato la propria risposta tardivamente. Il Consiglio di Stato si è invece rimesso al giudizio di questa Corte. Con scritti del 4 dicembre 2010, del 7 e dell'8 febbraio 2011, il ricorrente ha infine ribadito le richieste formulate con la sua impugnativa e fatto pervenire al Tribunale federale ulteriore documentazione.