Fatti: A. A._, cittadino kosovaro, i fratelli e la madre sono entrati in Svizzera il 15 agosto 1994 al fine di ricongiungersi con il loro padre, rispettivamente marito. Posto dapprima al beneficio di un permesso di dimora, egli si è visto rilasciare il 7 dicembre 2005 un permesso di domicilio. Il 10 agosto 2006 si è sposato in patria con una connazionale, dalla quale ha divorziato, sempre nel paese d'origine, l'8 dicembre 2010. A._ ha interessato a diverse riprese le autorità amministrative e penali svizzere nei seguenti termini: - 3 settembre 2001: DAP 1834/01 per grave infrazione alle norme della circolazione e condanna alla pena detentiva di 15 giorni, sospesi condizionalmente con un periodo di prova di 3 anni, e a una multa di fr. 500.---; - 11 ottobre 2001: Ammonimento dell'allora Sezione dei permessi e dell'immigrazione (adesso Sezione della popolazione) e avvertimento riguardo alle conseguenze in caso di recidiva e di comportamento scorretto; - 18 maggio 2009: Sentenza della Corte delle assise correzionali di Bellinzona per ripetuto furto, in parte tentato e per complicità (nel corso del 2005), violazione di domicilio, in parte tentata, danneggiamento, infrazione grave (nel 2006) alla legge federale del 19 dicembre 1958 sulla circolazione stradale (LCStr; RS 741.01), infrazione (sempre nel 2006) alla legge federale del 20 giugno 1997 sulle armi (LArm; RS 514.54) e condanna alla pena pecuniaria di 300 aliquote giornaliere da fr. 60.-- ciascuna, sospesa condizionalmente con un periodo di prova di 2 anni, e a una multa di fr. 600.--; - 25 giugno 2009: Secondo ammonimento da parte della Sezione della popolazione; - 6 giugno 2012: Sentenza della Corte delle assise correzionali di Riviera per due risse (nel 2009 e nel 2010) e condanna alla pena detentiva di 16 mesi, a valere quale unica pena richiamata la sentenza penale del 18 maggio 2009, di cui 10 sospesi condizionalmente con un periodo di prova di 3 anni. L'8 novembre 2012 il Giudice dei provvedimenti coercitivi ha ordinato il suo collocamento in sezione aperta e in regime di semi prigionia. B. Sulla base dei fatti citati, segnatamente della sentenza penale del 6 giugno 2012 e dopo avere concesso a A._ la facoltà di esprimersi, ciò che ha fatto il 20 dicembre 2012, la Sezione della popolazione del Dipartimento delle istituzioni del Cantone Ticino gli ha revocato, il 14 gennaio 2013, il permesso di domicilio per motivi di ordine pubblico e gli ha fissato un termine con scadenza al 29 aprile successivo per lasciare la Svizzera. Il citato provvedimento è stato confermato su ricorso dapprima dal Consiglio di Stato ticinese, il 3 luglio 2013, e poi dal Tribunale cantonale amministrativo, con sentenza del 4 luglio 2014. Nel frattempo, e più precisamente il 21 giugno 2013, l'Ufficio della migrazione e del diritto civile dei Grigioni non è entrato nel merito della domanda di A._ volta ad ottenere l'autorizzazione a cambiare cantone e a trasferirsi nei Grigioni. C. Il 15 settembre 2014 A._ ha presentato un ricorso in materia di diritto pubblico al Tribunale federale, con cui chiede l'annullamento della sentenza cantonale. Censura, in sintesi, la violazione dei principi della proporzionalità e della parità di trattamento nonché un diniego di giustizia. Chiamati ad esprimersi, il Tribunale cantonale amministrativo, senza formulare osservazioni, si è riconfermato nelle motivazioni e nelle conclusioni della propria sentenza, mentre il Consiglio di Stato si è rimesso al giudizio di questa Corte. La Sezione della popolazione ha rinviato alla propria decisione e alle osservazioni presentate in sede cantonale dal Governo ticinese e, infine, l'Ufficio federale della migrazione si è allineato alle considerazioni formulate dalle autorità cantonali. Con scritto del 7 novembre 2014 il ricorrente si è espresso sulle osservazioni formulate dalle autorità cantonali e da quella federale.