Fatti:
A. A._ (1989), cittadino del Kosovo, è giunto in Svizzera il 13 novembre 1989 insieme alla madre, per ricongiungersi con il padre.
Con sentenza del 25 giugno 2009, cresciuta in giudicato senza che ne venisse richiesta la motivazione, A._ è stato condannato alla pena detentiva di 2 anni e 2 mesi, di cui 12 mesi da espiare e 14 sospesi condizionalmente con un periodo di prova di 4 anni, per essere stato riconosciuto colpevole dei seguenti reati:
aggressione ripetuta, per avere in correità con terzi, in data 19 ottobre 2008, partecipato all'aggressione ai danni di: (a) B._, che ha subito un trauma cranico, un ematoma in regione occipitale destra e delle ferite lacero contuse alla spalla destra; (b) C._, che ha subito un trauma cranico commotivo, la frattura del seno mascellare, della parete mediale e superiore destra, dell'arcata zigomale destra ed una ferita lacero contusa alla palpebra destra;
complicità in furto, per avere: nel periodo tra gennaio e luglio 2008, al fine di appropriarsene e trarne indebito profitto, aiutato una terza persona a sottrarre cose mobili altrui per un valore di almeno fr. 4'000.--;
lesioni semplici, per avere: in data 16 gennaio 2009, strattonato e colpito con pugni un minorenne, causandogli ferite;
minacce ripetute, per avere: (a) tra il settembre 2006 e il 13 giugno 2007, in più occasioni, incusso spavento e timore a D._ e E._, minacciandole sia di morte che di ritorsioni; (b) tra il 23 dicembre 2008 e il 16 gennaio 2009, in più occasioni, incusso spavento e timore al minorenne di cui sopra, minacciandolo sia di morte che di ritorsioni;
coazione ripetuta, consumata e tentata, per avere: tra il 26 marzo e il 14 aprile 2007, in più occasioni, usando violenza o minaccia di grave danno e intralciando la loro libertà di agire, indotto D._ a interrompere la relazione sentimentale intrattenuta con F._ e a non più frequentare E._, nonché indotto quest'ultima a togliere alcune immagini da un sito internet;
vie di fatto ripetute, per avere, senza cagionare un danno al corpo o alla salute: (a) il 16 dicembre 2006, colpito con una sberla D._; (b) il 14 aprile 2007, colpito con una sberla E._;
ingiurie ripetute, per avere: (a) tra settembre 2006 e il 13 giugno 2007, in più occasioni, offeso l'onore di D._ e E._; (b) tra il 23 dicembre 2008 e l'8 gennaio 2009, in più occasioni, offeso l'onore del minorenne di cui sopra;
infrazione alla legge federale sulle armi, per avere: il 19 ottobre 2008, senza diritto, portato, detenuto e utilizzato un tirapugni di metallo.
B. Sulla base di questi fatti, il 15 settembre 2009 la Sezione dei permessi e dell'immigrazione del Dipartimento delle istituzioni del Canton Ticino (ora: Sezione della popolazione) ha comunicato a A._ la decadenza (recte: la revoca) del permesso di domicilio di cui beneficiava, per gravi motivi di polizia e di ordine pubblico. Essa gli ha quindi intimato di abbandonare la Svizzera al momento del suo rilascio. Tale decisione è stata confermata su ricorso dal Consiglio di Stato il 2 marzo 2010 e, in seguito, dal Tribunale cantonale amministrativo, con sentenza del 9 agosto 2010.
C. Il 14 settembre 2010, A._ ha inoltrato un ricorso in materia di diritto pubblico al Tribunale federale con cui chiede l'annullamento della sentenza cantonale e la pronuncia di un ammonimento.
Sia nel caso la sua domanda principale venisse accolta che in quello in cui fosse respinta, egli postula inoltre espressamente l'annullamento del p.to 2 del dispositivo della decisione del 2 marzo 2010 del Consiglio di Stato, che lo obbliga a pagare una tassa di giustizia di fr. 600.--, ed il riconoscimento di un adeguato importo a titolo di ripetibili, quale conseguenza della violazione del suo diritto di essere sentito da parte della Sezione della popolazione del Dipartimento delle istituzioni del Cantone Ticino, di cui chiede l'accertamento.
Chiamato ad esprimersi, il Tribunale cantonale amministrativo si è riconfermato nelle motivazioni e nelle conclusioni della propria sentenza. Ad essa hanno fatto rinvio anche la Sezione della popolazione e l'Ufficio federale della migrazione, il quale ha però inoltrato la propria risposta tardivamente. Il Consiglio di Stato si è invece rimesso al giudizio di questa Corte.
Con scritti del 4 dicembre 2010, del 7 e dell'8 febbraio 2011, il ricorrente ha infine ribadito le richieste formulate con la sua impugnativa e fatto pervenire al Tribunale federale ulteriore documentazione.

Diritto:
1. 1.1 II Tribunale federale esamina d'ufficio e con piena cognizione la sua competenza (<ref-law>) e l'ammissibilità dei gravami che gli vengono sottoposti (<ref-ruling> consid. 1 pag. 24).
1.2 Presentata in tempo utile (<ref-law>) dal destinatario della decisione querelata (<ref-law>), l'impugnativa è nella fattispecie di principio ammissibile quale ricorso in materia di diritto pubblico ai sensi degli art. 82 segg. LTF. Concerne infatti la revoca di un'autorizzazione che, essendo di durata illimitata, continuerebbe altrimenti a produrre effetti giuridici (art. 83 lett. c n. 2 LTF; <ref-ruling> consid. 1.2.1 pag. 4).
1.3 In ragione dell'effetto devolutivo dei ricorsi interposti in precedenza, con tale atto il ricorrente è però unicamente legittimato a formulare conclusioni riguardanti l'annullamento o la riforma della sentenza del Tribunale cantonale amministrativo. Per quanto espressamente rivolto alla modifica del p.to 2 del dispositivo del giudizio del Consiglio di Stato del 2 marzo 2010, implicante l'accertamento della violazione del diritto di essere sentito del ricorrente da parte della Sezione della popolazione, il ricorso è pertanto inammissibile (<ref-ruling> consid. 1.4 pag. 144; sentenza 2C_768/2010 del 18 aprile 2011 consid. 1.3).
1.4 Al ricorso è allegata una serie di documenti, prodotti per la prima volta davanti al Tribunale federale. Per quanto posteriori alla sentenza impugnata, anch'essi risultano inammissibili (<ref-ruling> consid. 2.1 pag. 343 seg.). Medesima conclusione dev'essere tratta nella misura in cui sono invece precedenti alla stessa. Il ricorrente non spiega infatti perché la loro produzione si sia giustificata per la prima volta a seguito della sua emanazione (<ref-law>). Per gli stessi motivi, e ritenuto inoltre che la loro produzione non è comunque avvenuta entro i termini di ricorso (sentenza 2C_746/2009 del 16 giugno 2010 consid. 2), inammissibili sono infine pure i documenti prodotti con lettere del 4 dicembre 2010, del 7 e dell'8 febbraio 2011.
2. 2.1 Con il ricorso in materia di diritto pubblico può tra l'altro venir censurata la violazione del diritto federale (<ref-law>), nozione che comprende i diritti costituzionali dei cittadini (<ref-ruling> consid. 3.1 pag. 447 seg.). Rispettate le condizioni di cui all'<ref-law>, il Tribunale federale applica comunque il diritto d'ufficio (<ref-law>) e può accogliere o respingere un ricorso anche per motivi diversi da quelli invocati o su cui si è fondata l'autorità precedente (<ref-ruling> consid. 1.4.1 pag. 254). La violazione di diritti fondamentali è per contro esaminata unicamente se il ricorrente ha sollevato e motivato tale censura (<ref-law>; <ref-ruling> consid. 2.2 pag. 246).
2.2 Il Tribunale federale fonda il suo ragionamento giuridico sull'accertamento dei fatti svolto dall'autorità inferiore (<ref-law>); può scostarsene solo se è stato svolto in modo manifestamente inesatto o in violazione del diritto ai sensi dell'<ref-law>, fattispecie data anche quando i fatti sono stati constatati in maniera incompleta (<ref-law>; sentenza 2C_273/2010 del 6 ottobre 2010 consid. 1.3). In questo ultimo caso, l'incarto dev'essere ritornato all'autorità precedente o all'autorità che ha statuito in prima istanza, così come prescritto dall'<ref-law> (sentenza 2C_98/2009 del 10 giugno 2009 consid. 2.1).
3. La procedura riguarda un provvedimento di revoca del permesso di domicilio di una persona nata nel 1989 e giunta nel nostro Paese ancora quell'anno.
3.1 Giusta l'art. 63 cpv. 2 della legge federale sugli stranieri del 16 dicembre 2005 (LStr; RS 142.20), il permesso di domicilio di uno straniero che soggiorna regolarmente e ininterrottamente da oltre 15 anni in Svizzera può essere revocato per i motivi di cui al capoverso 1 lett. b della medesima norma, rispettivamente se, in base all'art. 62 lett. b LStr, egli è stato condannato a una pena detentiva di lunga durata, condizione adempiuta quando la condanna inflitta è superiore ad un anno (<ref-ruling> consid. 4.2 pag. 379 segg.).
Anche in presenza di motivi di revoca giusta l'art. 63 cpv. 2 LStr, una simile misura si giustifica solo se, alla luce dei differenti interessi in discussione, risulta essere proporzionata (art. 96 LStr). In via generale, va tenuto conto della gravità della colpa, del tempo trascorso dal compimento di eventuali reati, della durata del soggiorno in Svizzera e degli svantaggi incombenti sullo straniero e sulla sua famiglia a dipendenza della misura decisa (<ref-ruling> consid. 3.3 pag. 217; sentenza 2C_825/2008 del 7 maggio 2009 consid. 2). Nel caso il provvedimento preso abbia ripercussioni sulla vita privata e familiare ai sensi dell'art. 8 CEDU - disposto considerato inapplicabile alla fattispecie dalla Corte cantonale e cui il ricorrente per altro non si appella in questa sede - un analogo esame della proporzionalità si impone inoltre nell'ottica di questa norma (<ref-ruling> consid. 4.3 pag. 381 seg.; <ref-ruling> consid. 3 pag. 439 segg.).
3.2 Se un permesso di domicilio viene revocato perché è stato commesso un reato, il primo criterio per valutare la gravità della colpa è costituito dalla condanna inflitta dal giudice penale. Per ammettere la revoca di un permesso di domicilio devono però essere poste esigenze tanto più elevate quanto più lungo è il tempo trascorso in Svizzera.
Anche nei confronti di stranieri che sono nati ed hanno sempre vissuto nel nostro Paese una simile misura non è tuttavia a priori esclusa e può essere adottata sia quando una persona si sia macchiata di delitti particolarmente gravi - di carattere violento, a sfondo sessuale, o in relazione con il commercio di stupefacenti -, sia quando il soggetto in discussione si è reso punibile a più riprese di azioni delittuose di un certo peso, segnatamente nel caso di una situazione che va peggiorando o di recidiva (<ref-ruling> consid. 4.4.2 pag. 190; <ref-ruling> consid. 2b pag. 523 seg.; <ref-ruling> consid. 2 seg. pag. 435 segg.; al riguardo, confronta inoltre le recenti sentenze 2C_768/2010 del 18 aprile 2011 consid. 3.2 seg. e 2C_901/2010 del 23 marzo 2011 consid. 3.2 e 5.2.3).
4. Considerati i precedenti a suo carico, che lo hanno portato a una condanna di due anni e due mesi di detenzione, quindi di lunga durata ai sensi della giurisprudenza, a ragione il ricorrente non contesta l'esistenza di un motivo di revoca del suo permesso (art. 63 cpv. 2 in relazione con l'art. 62 lett. b LStr). Ciò nondimeno, postula l'annullamento della decisione impugnata poiché sarebbe frutto, a suo dire, di un'errata ponderazione dei differenti interessi in discussione e chiede che il provvedimento di revoca venga sostituito da un ammonimento (art. 96 cpv. 2 LStr).
Da una parte, il ricorrente rileva di non poter essere considerato un pericolo effettivo per la sicurezza e l'ordine pubblici tale da giustificare un suo allontanamento. D'altra parte, censura le conclusioni tratte in merito alle conseguenze della revoca del permesso di domicilio dal punto di vista personale e in relazione al suo stato di salute.
5. 5.1 Nella fattispecie, con riferimento alla loro descrizione contenuta nella sentenza penale emessa a carico del ricorrente, il Tribunale amministrativo cantonale ha a ragione rilevato che le azioni delittuose di cui egli si è reso ripetutamente colpevole - commesse in parte all'età di 17 anni ma che si sono poi protratte ben oltre la maggiore età, raggiunta nel giugno 2007 - sono di una gravità non certo trascurabile e che la sua colpa non può quindi affatto essere minimizzata (sentenza 2C_745/2008 del 24 febbraio 2009 consid. 4.2 e 5.4.3). In questo contesto, esso ha giustamente sottolineato la varietà dei beni giuridici cui egli ha attentato coi suoi atti tra cui - oltre all'onore, alla libertà personale e al patrimonio - l'integrità fisica e psichica altrui e quindi l'entità non indifferente della pena detentiva comminatagli, di cui 12 mesi da espiare.
In effetti, dopo aver compiuto un certo numero di reati quando ancora era diciassettenne (minacce; coazione, consumata e tentata; ingiurie e vie di fatto), una volta raggiunta la maggiore età il ricorrente si è reso colpevole di complicità in furto (gennaio-luglio 2008), nonché di aggressione a danno di più persone e di infrazione alla legge federale sulle armi (19 ottobre 2008), causando alle sue due vittime dei traumi cranici così come fratture e ferite, servendosi tra l'altro di un tirapugni in metallo. Dopo essere stato arrestato e posto in carcere preventivo (22 ottobre 2008-22 dicembre 2008), ha inoltre subito ripreso a delinquere: minacciando e offendendo ripetutamente un minorenne (23 dicembre 2008-16 gennaio 2009) e rendendosi infine colpevole di lesioni semplici per averlo strattonato, colpito con dei pugni e avergli fatto sbattere la testa (16 gennaio 2009; cfr. al riguardo anche la descrizione contenuta nel giudizio impugnato, consid. 4.2). In tal modo, egli ha quindi dimostrato di non aver compreso i propri errori neanche a seguito della sua prima carcerazione, rendendone necessaria una seconda (16 gennaio-4 febbraio 2009).
Preso atto del carattere dei reati descritti, della modalità vieppiù violenta del loro compimento, della pena comminata dal giudice competente in relazione agli stessi, così come del fatto che neppure una sua prima carcerazione lo ha distolto dal commettere reati, occorre pertanto concludere che una revoca del permesso di domicilio finora detenuto dal ricorrente non può essere affatto esclusa a priori neppure nella fattispecie, riguardante una persona cresciuta in Svizzera (sentenza 2C_98/2009 del 10 giugno 2009, che concerne un caso in cui la delinquenza risaliva per altro alla minore età).
5.2 Gli elementi indicati dal Tribunale cantonale amministrativo, di principio vincolanti anche per questa Corte (<ref-law>), permettevano nel contempo lecitamente di ritenere che il ricorrente abbia dimostrato di avere rilevanti problemi di integrazione sia in ambito sociale che lavorativo.
5.2.1 I vari reati di cui si è reso colpevole così come le circostanze in cui essi sono stati commessi, in parte anche dopo una prima carcerazione e nonostante la vicinanza dei suoi familiari, attestano in effetti che egli non vuole o non è in grado di adattarsi all'ordinamento vigente nel Paese che lo ospita, per la cui sicurezza pubblica costituisce quindi un pericolo. La mancata conclusione, almeno finora, di una formazione conferma nel contempo che tale disagio non si limita all'aspetto indicato ma tocca anche l'ambito professione (sentenze 2C_901/2010 del 23 marzo 2011 consid. 5.2.1 e 2C_650/2010 del 10 febbraio 2011 consid. 3.2.3).
5.2.2 Nel giudizio impugnato non sono stati inoltre nemmeno a torto trascurati il comportamento durante l'esecuzione e il fatto che il ricorrente abbia beneficiato, come da lui sostenuto, di una carcerazione in sezione aperta. Questo perché, secondo prassi costante, l'atteggiamento tenuto durante la detenzione, come del resto il fatto che una persona venga rilasciata condizionalmente, non può permettere di concludere che il soggetto in questione non costituisca più un pericolo per la società (<ref-ruling> consid. 4.3.3 pag. 187 segg.; sentenza 2C_542/2009 del 15 dicembre 2009 consid. 3.3 con rinvii).
5.3 Più differenziata è per contro la valutazione che occorre esprimere in merito all'esame dell'esigibilità di un rientro del ricorrente nel suo Paese di origine.
5.3.1 In via generale, gli elementi indicati dalla Corte cantonale permettono senz'altro di ritenere che un rientro in Kosovo del ricorrente non sarebbe evidente ma è comunque di principio possibile (sentenze 2C_650/2010 del 10 febbraio 2011 consid. 3.2.3 e 2C_315/2009 del 27 ottobre 2009 consid. 5.2.1). Benché sostenga di averne una scarsa padronanza, egli comprende e conosce infatti la lingua materna così come gli usi e i costumi locali. Non nega inoltre di avere mantenuto contatti con il proprio Paese, in cui si è finora recato con una certa regolarità (cfr. lettera dell'8 ottobre 2009 del patrocinatore del ricorrente al Consiglio di Stato; sentenza 2C_768/2010 del 18 aprile 2011 consid. 5.2.2).
5.3.2 A differenza di quanto concluso dalla Corte cantonale, una valutazione complessiva degli interessi in discussione, che occorre svolgere nell'ambito dell'esame della liceità della revoca del permesso di domicilio (precedente consid. 3.1), impone però anche di considerare la patologia cardiaca di cui il ricorrente ha dichiarato di soffrire, quindi in particolare di accertare: la natura e la gravità di questa patologia; quali cure (tipo, frequenza, ecc.) ed interventi chirurgici abbia comportato e ancora comporterà; infine, in che misura egli possa essere seguito dalle strutture sanitarie del suo Paese d'origine.
È infatti vero che, per consolidata giurisprudenza, motivi di salute non conferiscono per sé soli nessun diritto di permanenza in Svizzera (con riferimento all'abrogata legge federale sul domicilio e la dimora degli stranieri del 26 marzo 1931 [LDDS], cfr. ad esempio la sentenza 2C_187/2008 del 15 maggio 2008 consid. 2.3 con rinvii). Altrettanto vero è però che, per poter essere deciso conformemente ai disposti applicabili, il caso in esame richiede una ponderazione di tutti gli interessi in discussione, quindi anche dei problemi di salute del ricorrente (precedente consid. 3.1 seg.; Messaggio dell'8 marzo 2002 relativo alla legge federale sugli stranieri, FF 2002 pag. 3327 segg., p.to 2.12; cfr. inoltre ancora la sentenza 2C_187/2008 del 15 maggio 2008 consid. 2.3, che riguarda per altro una fattispecie in cui si ponevano problemi almeno parzialmente analoghi).
Dato che la procedura concerne la revoca di un'autorizzazione che continuerebbe altrimenti a produrre effetti giuridici, occorre d'altra parte rilevare che il caso in esame si distingue da quello trattato nella sentenza 2C_424/2009 del 4 gennaio 2010 in cui - venute meno le condizioni per soggiornare col coniuge (art. 50 LStr) - il ricorrente veniva invitato a richiedere un permesso per motivi di cura giusta l'art. 29 LStr (Messaggio dell'8 marzo 2002 relativo alla legge federale sugli stranieri, FF 2002 pag. 3327 segg., p.to 2.4.3). L'art. 29 LStr, cui rinvia anche la Corte cantonale nel suo giudizio, prevede in effetti un nuovo motivo di ammissione in Svizzera. Ma, appunto, tale questione si pone di principio solo al momento in cui il diritto di soggiorno su altre basi non è più dato, aspetto che nella fattispecie è invece ancora aperto.
5.4 Per quanto precede, preso atto della necessità di procedere agli approfondimenti ed alle verifiche evidenziati (precedenti consid. 2.2 e 5.3.2), per poter svolgere una corretta ponderazione di tutti gli interessi in gioco e quindi confermare il provvedimento di revoca oppure annullarlo, sostituendolo con un ammonimento (art. 96 cpv. 2 LStr), nella misura in cui è ammissibile, il ricorso dev'essere accolto.
6. 6.1 Di conseguenza, l'incarto è rinviato al Tribunale cantonale amministrativo affinché, proceduto ai necessari complementi istruttori, renda un nuovo giudizio nel senso dei considerandi (<ref-law>).
6.2 Soccombente, lo Stato del Cantone Ticino è dispensato dal pagamento delle spese giudiziarie, siccome è intervenuto in causa senza alcun interesse pecuniario (<ref-law>). Esso dovrà però corrispondere al ricorrente, assistito da un avvocato, un'indennità per ripetibili per la sede federale (art. 68 cpv. 1 e 2 LTF).

Per questi motivi, il Tribunale federale pronuncia:
1. Nella misura in cui è ammissibile, il ricorso è accolto e la sentenza impugnata è annullata. La causa viene rinviata al Tribunale cantonale amministrativo affinché, dopo aver proceduto ai necessari complementi istruttori, renda un nuovo giudizio nel senso dei considerandi.
2. Non vengono prelevate spese.
3. Lo Stato del Cantone Ticino verserà al ricorrente un'indennità di fr. 2'000.-- a titolo di ripetibili per la sede federale.
4. Comunicazione al ricorrente, alla Sezione della popolazione del Dipartimento delle istituzioni, al Consiglio di Stato e al Tribunale amministrativo del Cantone Ticino, nonché all'Ufficio federale della migrazione.