Fatti: A. A._ (1978), cittadino serbo, è entrato in Svizzera il 1° settembre 1991 per ricongiungersi con i genitori. A beneficio di un permesso di domicilio dal 1993, egli si è unito in matrimonio con B._ (1980), connazionale domiciliata in Svizzera, nell'agosto 1997. Dalla loro unione è nato il figlio C._ (2000). B. A._ è stato in passato più volte condannato, segnatamente: il 7 novembre 2002, tenendo conto che egli aveva agito in parte in giovane età, a una pena di 18 mesi di detenzione e all'espulsione dal territorio svizzero per 3 anni, pene sospese condizionalmente con un periodo di prova di 5 e 2 anni per ripetuto furto consumato, tentato e in parte aggravato, ripetuto danneggiamento, ripetuta truffa, appropriazione semplice, ripetuta violazione di domicilio, rissa e aggressione (per reati commessi tra il 1996 e la fine del 2001). In quell'occasione, una pena di 10 mesi di detenzione è stata pure inflitta alla di lui moglie, per ripetuto furto consumato e tentato aggravato e ripetuto danneggiamento. il 14 giugno 2006, tenendo conto di uno stato di scemata responsabilità, a una pena di 12 mesi di detenzione e alla revoca della sospensione condizionale della pena inflittagli il 7 novembre 2002 per infrazione aggravata e contravvenzione alla LStup (per reati commessi tra il 2003 e la fine del 2005). il 21 novembre 2008, ad una pena detentiva di 22 mesi da scontare, comprensiva del ripristino del residuo della pena inflittagli il 14 giugno 2006 per ripetuto furto consumato e tentato, ripetuto danneggiamento e ripetuta violazione di domicilio (per reati commessi nel gennaio del 2008). C. Sulla base di questi fatti, il 26 gennaio 2009 la Sezione dei permessi e dell'immigrazione del Dipartimento delle istituzioni del Canton Ticino, dopo averlo in passato a più riprese ammonito, ha revocato il permesso di domicilio a A._, per motivi di ordine pubblico. Essa gli ha quindi intimato di lasciare il territorio elvetico al momento del suo rilascio (avvenuto il 16 aprile 2009). Tale decisione è stata confermata su ricorso dal Consiglio di Stato il 29 aprile 2009 e, in seguito, dal Tribunale cantonale amministrativo, con sentenza del 17 agosto 2009. D. Il 1° ottobre 2009 A._ ha inoltrato un ricorso al Tribunale federale con cui chiede l'annullamento della sentenza cantonale. Con decreto presidenziale del 6 ottobre 2009, è stato concesso l'effetto sospensivo al gravame. Chiamato ad esprimersi, il Tribunale cantonale amministrativo si è riconfermato nelle motivazioni e nelle conclusioni della propria sentenza. Ad essa hanno fatto rinvio anche la Sezione dei permessi e dell'immigrazione e l'Ufficio federale della migrazione. Il Consiglio di Stato si è invece rimesso al giudizio di questa Corte.