Fatti:
A. B.A._ è proprietaria del fondo part. xxx di Carabietta, di complessivi 4'978 m2, ubicato in località Roncaccio. La particella è edificata ed è attribuita in parte alla zona edificabile e in parte a quella agricola. L'11 marzo 2005 A.A._, marito della proprietaria, ha presentato al Municipio di Carabietta una domanda di costruzione in sanatoria per la sistemazione e il rifacimento di un muro in pietrame costruito ad angolo con un lato di 6 m e l'altro di 3 m, alto 2,20 m, realizzato alla distanza di circa 5 m dall'abitazione. Il manufatto dovrebbe sostituire un precedente muro di sostegno che era situato a una distanza di circa 2 m dalla casa e che è stato demolito in occasione di lavori di trasformazione eseguiti all'interno dell'abitazione.
B. Preso atto dell'opposizione del Dipartimento del territorio del Cantone Ticino, il Municipio ha negato la licenza edilizia con decisione del 20 luglio 2005. Un ricorso presentato dall'istante contro la risoluzione municipale è stato respinto il 13 dicembre 2005 dal Consiglio di Stato.
C. Adito dall'istante, il Tribunale cantonale amministrativo ne ha respinto con sentenza del 20 febbraio 2006 il gravame, ritenendo che il manufatto non era conforme alla zona agricola e non poteva beneficiare di un'autorizzazione eccezionale, poiché non era realizzato il requisito dell'ubicazione vincolata né era data l'identità con il manufatto preesistente.
D. A.A._ impugna, con un ricorso di diritto amministrativo del 22 marzo 2006 al Tribunale federale, il giudizio della Corte cantonale, chiedendo di annullarlo e di rilasciargli la licenza edilizia richiesta. Dei motivi si dirà, per quanto necessario, nei considerandi.
E. La Corte cantonale si riconferma nella sua sentenza. Il Consiglio di Stato si rimette al giudizio del Tribunale federale, mentre il Municipio di Carabietta chiede di respingere il ricorso.
F.
F.
G.

Diritto:
1. 1.1 Secondo l'art. 34 cpv. 1 LPT il ricorso di diritto amministrativo al Tribunale federale è ammesso contro le decisioni cantonali di ultima istanza concernenti indennità per restrizioni della proprietà (art. 5 LPT), conformità alla destinazione della zona di edifici o impianti fuori della zona edificabile, nonché autorizzazioni ai sensi degli art. 24-24d LPT (<ref-ruling> consid. 1.1). La sentenza impugnata, emanata dall'ultima istanza cantonale, nega sia la conformità del manufatto alla zona agricola sia il rilascio della licenza edilizia sulla base degli art. 24 e 24c LPT. Il ricorso di diritto amministrativo, tempestivo, è pertanto di principio ammissibile.
1.2 Il ricorrente, istante nella procedura volta al rilascio della licenza edilizia, ha un interesse degno di protezione all'annullamento della decisione impugnata ed è quindi legittimato a ricorrere (art. 103 lett. a OG).
1.3 Con il ricorso di diritto amministrativo si può far valere la violazione del diritto federale, compreso l'eccesso o l'abuso del potere di apprezzamento (art. 104 lett. a OG). L'accertamento dei fatti vincola il Tribunale federale se l'istanza inferiore, come è qui il caso, è un'autorità giudiziaria e i fatti non risultino manifestamente inesatti o incompleti oppure siano stati accertati violando norme essenziali di procedura (art. 105 cpv. 2 OG). Né può essere vagliata l'eventuale inadeguatezza della decisione impugnata, non prevista dall'art. 34 cpv. 1 LPT (cfr. art. 104 lett. c n. 3 OG).
2. 2.1 Secondo il ricorrente, il manufatto sarebbe conforme alla zona agricola perché servirebbe essenzialmente a sostenere il terreno ed a permettere in ultima analisi di esercitare sul fondo (in futuro) l'agricoltura, altrimenti impossibile a causa del degrado provocato dalle intemperie e dalla spinta naturale del terreno dovuta alla sua inclinazione.
2.2 Giusta l'art. 16a cpv. 1 LPT sono conformi alla zona agricola gli edifici e gli impianti che sono necessari alla coltivazione agricola o all'orticoltura. Affinché la conformità sia adempiuta, il suolo deve costituire il fattore produttivo indispensabile (<ref-ruling> consid. 3a e rinvii). L'<ref-law> riprende questa nozione, precisando che sono conformi alla zona agricola gli edifici e gli impianti necessari alla coltivazione dipendente dal suolo o all'ampliamento interno (<ref-ruling> consid. 3.1). Ora, il semplice fatto che il muro litigioso sostenga un terreno, che potrebbe venire utilizzato per futuri scopi agricoli, non ne fonda di per sé la conformità alla zona agricola. Sul fondo non viene infatti svolta una specifica attività legata all'agricoltura, sicché, nelle circostanze attuali, non è dato di vedere in che misura il manufatto realizzato sia effettivamente necessario a una tale determinata utilizzazione.
3. 3.1 Il ricorrente ritiene adempiuto il requisito dell'ubicazione vincolata, poiché l'edificazione del muro fuori della zona edificabile sarebbe imposta da necessità oggettive, quali la sostituzione del manufatto preesistente e la stabilizzazione del terreno. Adduce inoltre che l'argomentazione dei giudici cantonali, secondo cui il terreno sovrastante potrebbe essere sistemato altrimenti, per esempio mediante gradoni, non è fondata su una visita dei luoghi e rappresenterebbe una soluzione che snaturerebbe il terreno e romperebbe l'omogeneità dei luoghi, caratterizzati dalla presenza non di gradoni, tipici invece delle zone viticole del Cantone Ticino, ma di scarpate.
3.2 Alla realizzazione del requisito dell'ubicazione vincolata (art. 24 lett. a LPT) la giurisprudenza pone presupposti severi, esigendo segnatamente che sia necessario costruire l'edificio o l'impianto in quel preciso luogo e nelle dimensioni progettate per motivi tecnici o inerenti al suo esercizio o per la natura del terreno; il vincolo può anche essere negativo, imposto cioè dall'esclusione di ogni altra ubicazione, ma motivi puramente finanziari, personali o di comodità non sono sufficienti (<ref-ruling> consid. 3.1, 124 II 252 consid. 4a). Come ha rilevato la Corte cantonale, in modo vincolante per il Tribunale federale (art. 105 cpv. 2 OG), la costruzione del muro litigioso è riconducibile alla demolizione del precedente manufatto contestualmente alla realizzazione di una nuova camera e di un nuovo locale per il serbatoio dell'olio combustibile all'interno dell'abitazione. L'opera risponde quindi alle esigenze personali dell'interessato e, in quella specifica ubicazione e con quelle precise caratteristiche, non risulta imposta da ragioni oggettive. Sulla base degli atti e senza violare il diritto federale, la Corte cantonale poteva quindi negare in concreto il requisito dell'ubicazione vincolata. Non spetta per il resto al Tribunale federale esaminare nell'ambito di un ricorso di diritto amministrativo se l'alternativa di sistemare il terreno a gradoni e di stabilizzarlo con vegetazione di copertura sia la soluzione più adeguata sotto il profilo dell'inserimento del manufatto nel paesaggio (cfr. art. 104 lett. c OG).
4. 4.1 Il ricorrente sostiene infine che la Corte cantonale avrebbe escluso a torto il manufatto litigioso dal campo di applicazione dell'art. 24c LPT. Le rimprovera di avere accertato in modo inesatto che il muro preesistente era stato lasciato deperire e di avere erroneamente applicato i limiti numerici dell'<ref-law>, che riguarderebbero soprattutto gli edifici.
4.2 Secondo l'<ref-law>, trasformazioni a edifici e impianti, ai quali è applicabile l'art. 24c LPT, sono ammesse nella misura in cui l'identità dell'edificio o dell'impianto unitamente ai dintorni rimanga conservata nei tratti essenziali. Sono ammessi miglioramenti volti a cambiare l'aspetto esterno. Ora, il nuovo muro di sostegno sorge in una differente ubicazione, arretrata di circa 3 m rispetto al precedente manufatto e l'intervento edilizio ha comportato l'asportazione mediante scavo di 40 m3 di terreno in pendio e l'ampliamento apprezzabile dello spiazzo attorno all'abitazione. La nuova opera ha quindi modificato in misura non trascurabile la conformazione dei luoghi e non può essere ritenuta identica alla precedente, sicché, negando in concreto un caso di trasformazione o ricostruzione ai sensi dell'art. 24c LPT, la Corte cantonale non ha violato il diritto federale. Poiché la censura deve essere respinta già per il mancato assolvimento del requisito dell'identità, non occorre esaminare ulteriormente le argomentazioni ricorsuali.
5. Ne segue che il ricorso deve essere respinto. Le spese seguono la soccombenza (art. 156 cpv. 1 OG). Non si assegnano ripetibili ad autorità vincenti nella procedura del ricorso di diritto amministrativo (art. 159 cpv. 2 OG).

Per questi motivi, il Tribunale federale pronuncia:
1. Il ricorso è respinto.
2. La tassa di giustizia di fr. 3'000.-- è posta a carico del ricorrente.
3. Comunicazione al patrocinatore del ricorrente, al Municipio di Carabietta, al Consiglio di Stato e al Tribunale amministrativo del Cantone Ticino.