Fatti:
A. Nella seduta del 15 febbraio 2000 il Consiglio comunale del Comune di B._, al quale è ora subentrato per aggregazione il Comune di A._, ha adottato la revisione generale del piano regolatore. In quell'ambito, il Comune ha inserito una porzione di circa 6'000 m2 del fondo part. xxx nella zona speciale Zs, mentre per la parte rimanente, nella misura in cui non era boschiva, è stata confermata la destinazione agricola. L'autorità comunale ha inoltre assegnato la particella confinante yyy, di circa 1'000 m2, alla zona insediamenti tradizionali sparsi Ns. Il Consiglio comunale ha contestualmente approvato un credito di fr. 200'000.--, destinato al pagamento del contributo pecuniario sostitutivo per la diminuzione dell'area agricola che non poteva essere compensata con altre aree agricole.
B. Con risoluzione del 9 luglio 2002 il Consiglio di Stato ha approvato il piano regolatore, in particolare per quanto riguarda i suddetti azzonamenti, che hanno comportato una diminuzione del territorio agricolo. Con risoluzione dell'8 giugno 2010 il Governo ha imposto al Comune un contributo pecuniario sostitutivo di fr. 132'970.--.
C. Contro la risoluzione governativa dell'8 giugno 2010, il Comune ha adito il Tribunale cantonale amministrativo che, con sentenza del 7 marzo 2012, ha respinto il ricorso. La Corte cantonale ha in sostanza confermato l'obbligo contributivo a carico del Comune.
D. Il Comune di A._ impugna questa sentenza con un ricorso in materia di diritto pubblico e un ricorso sussidiario in materia costituzionale al Tribunale federale, chiedendo in via principale di annullarla, di annullare pure la risoluzione governativa e di negare un obbligo di compensazione. In via subordinata, postula di rinviare gli atti alla Corte cantonale per una nuova decisione. Il ricorrente fa valere l'accertamento inesatto dei fatti, la violazione del diritto federale e segnatamente degli art. 9 e 29 cpv. 2 Cost.
E. La Corte cantonale si riconferma nella sua sentenza. Il Consiglio di Stato chiede di respingere il gravame. Invitato ad esprimersi, l'Ufficio federale dello sviluppo territoriale comunica di non avere osservazioni da formulare.
Con decreto presidenziale del 30 maggio 2012 è stato conferito effetto sospensivo al gravame.

Diritto:
1. Il ricorso in materia di diritto pubblico è presentato tempestivamente contro una decisione finale dell'ultima istanza cantonale, che ha confermato definitivamente l'obbligo del contributo sostitutivo a carico del Comune per la diminuzione della sua zona agricola. Il gravame adempie quindi i requisiti degli art. 86 cpv. 1 lett. d, 90 e 100 cpv. 1 LTF (quest'ultimo in relazione con l'<ref-law>). Il ricorso sussidiario in materia costituzionale (art. 113 segg. LTF), che rinvia peraltro all'argomentazione del ricorso ordinario, non è pertanto proponibile.
2. 2.1 Il diritto di ricorso del Comune è innanzitutto disciplinato dall'art. 89 cpv. 2 lett. c LTF, secondo cui i Comuni e gli altri enti di diritto pubblico sono legittimati a ricorrere se fanno valere la violazione di garanzie loro conferite dalla costituzione cantonale o da quella federale. Questa disposizione consente in particolare al Comune di fare valere la violazione della sua autonomia. Nella fattispecie, il ricorrente non invoca però questa garanzia. A ragione, giacché il Tribunale federale ha già avuto modo di precisare che il Comune ticinese, pur essendo di principio autonomo in materia di pianificazione del territorio, non dispone di autonomia in materia di compensazione per la diminuzione dell'area agricola. La legge cantonale sulla conservazione del territorio agricolo, del 19 dicembre 1989 (LTAgr; RL 8.1.1.2), regola infatti nel dettaglio sia i presupposti e le modalità della compensazione sia il calcolo dei contributi pecuniari sostitutivi, attribuendo al Consiglio di Stato la competenza di stabilirli e di imporli ai Comuni. La normativa cantonale disciplina la materia in modo esaustivo e non lascia ai Comuni nessuno spazio normativo o decisionale. Che l'onere contributivo possa in qualche modo orientare o persino condizionare le scelte delle autorità comunali quanto ai terreni da destinare all'agricoltura, restringe semmai la sfera autonoma del Comune nell'ambito della pianificazione, ma non fonda autonomia laddove il diritto cantonale non ne conferisce (cfr. sentenze 1P.731/2005 del 13 ottobre 2006 consid. 2.4, in: RtiD I-2007, pag. 137 segg. e 1C_234/2007 del 27 maggio 2008 consid. 8.2, in: RtiD I-2009, pag. 195 segg.).
2.2 Se le condizioni dell'<ref-law> non sono adempiute, il Comune può prevalersi della legittimazione ricorsuale fondata sulla clausola generale dell'<ref-law>. Secondo questa disposizione, ha diritto di interporre ricorso in materia di diritto pubblico chi ha partecipato al procedimento dinanzi all'autorità inferiore o è stato privato della possibilità di farlo (lett. a), è particolarmente toccato dalla decisione impugnata (lett. b) e ha un interesse degno di protezione al suo annullamento o alla sua modifica (lett. c). Questa norma si indirizza in primo luogo ai privati, ma anche una corporazione di diritto pubblico può fondarvisi, quando impugna una sentenza che la colpisce analogamente a un privato oppure quando è toccata nei suoi interessi di pubblico imperio degni di protezione (<ref-ruling> consid. 1.4; <ref-ruling> consid. 2.3 e 2.4; <ref-ruling> consid. 1.3; <ref-ruling> consid.1.2.1).
Nella fattispecie, il Comune è tenuto a compensare la diminuzione della superficie agricola quale ente pianificante. Non è quindi toccato alla stregua di un cittadino privato, bensì nella sua veste di detentore del pubblico potere, in quanto autorità di pianificazione. Esso può semmai essere colpito nei suoi interessi di pubblico imperio degni di protezione. Una legittimazione ricorsuale in questo senso può in particolare essergli riconosciuta in presenza di interessi patrimoniali importanti, quando il Comune è toccato in maniera qualificata nelle proprie prerogative specifiche. L'interesse generale alla corretta applicazione del diritto e il semplice interesse finanziario della collettività, non specialmente e direttamente legato all'adempimento di un compito pubblico, non bastano tuttavia a conferirgli la legittimazione a ricorrere (<ref-ruling> consid. 3.3.2; <ref-ruling> consid. 2.4 e riferimenti; sentenza 2C_931/2010 del 28 marzo 2011 consid. 2.5). Visto l'esito del gravame, la questione di sapere se il contributo pecuniario sostitutivo imposto in concreto al Comune lo colpisce nei suoi interessi di pubblico imperio degni di protezione può rimanere indecisa. Spetta del resto al ricorrente addurre i motivi a sostegno della sua legittimazione quand'essi non risultino chiaramente dalla decisione impugnata o dagli atti di causa (cfr. <ref-ruling> consid. 1).
3. 3.1 Il ricorrente lamenta un accertamento inesatto dei fatti, rimproverando alla Corte cantonale di non avere preso in considerazione una decisione del 1993 con cui il Gran Consiglio, accogliendo un ricorso del Comune di B._, aveva stralciato l'area in questione dalle superfici per l'avvicendamento delle colture (SAC) del piano direttore cantonale. Le addebita inoltre di non avere applicato la LTAgr nella versione in vigore al momento della decisione del 9 luglio 2002 di approvazione del piano regolatore, né di avere considerato che, secondo il Gran Consiglio e in particolare per quanto esposto dalla sua commissione speciale per la pianificazione del territorio nel rapporto di maggioranza del 4 dicembre 1989, il compenso per la diminuzione del territorio agricolo sarebbe dovuto solo per le superfici esplicitamente indicate come tali nel piano direttore.
3.2 Conformemente a quanto stabilito dagli art. 95 e 96 LTF, il ricorso in materia di diritto pubblico al Tribunale federale può essere presentato per violazione del diritto, nel quale rientra pure il diritto costituzionale (<ref-ruling> consid. 3; <ref-ruling> consid. 1.4.1). Giusta l'<ref-law>, il ricorrente può censurare l'accertamento dei fatti soltanto se è stato svolto in modo manifestamente inesatto o in violazione del diritto ai sensi dell'<ref-law> e l'eliminazione del vizio può essere determinante per l'esito del procedimento. Secondo l'<ref-law>, nel ricorso occorre spiegare per quali ragioni l'atto impugnato viola il diritto. Il ricorrente deve quindi almeno concisamente confrontarsi con le considerazioni esposte nella decisione impugnata, spiegando per quali motivi tale giudizio viola il diritto (<ref-ruling> consid. 1.4.1). Le esigenze di motivazione sono inoltre accresciute laddove è invocata la violazione di diritti fondamentali e di norme del diritto cantonale (<ref-law>), nonché l'arbitrio nell'accertamento dei fatti e nella valutazione delle prove, dato che ciò equivale a sostenere che i fatti sono stati accertati in violazione dell'<ref-law> e del diritto federale (<ref-ruling> consid. 2.4 e 2.5, 49 consid. 1.4.1).
3.3 La Corte cantonale ha riconosciuto che sia le rappresentazioni grafiche del piano direttore del 1990 sia quelle del nuovo piano direttore del 2009 non inseriscono l'area considerata per il compenso pecuniario litigioso né nelle SAC né negli altri terreni idonei all'utilizzazione agricola. Ha nondimeno accertato ch'essa era idonea all'agricoltura sulla base del catasto delle idoneità agricole allestito ed aggiornato dalla Sezione dell'agricoltura, che classificava la superficie in questione come "molto idonea allo sfalcio". Il ricorrente non si confronta con questo accertamento, né tantomeno lo censura di arbitrio con una motivazione conforme alle esigenze degli art. 42 cpv. 2 e 106 cpv. 2 LTF. Esso è quindi vincolante per il Tribunale federale (<ref-law>). D'altra parte, non può di per sé essere rimproverato alla precedente istanza di avere emanato una decisione manifestamente insostenibile per essersi fondata, riguardo all'idoneità alla coltivazione agricola della superficie in esame, sulle indicazioni dell'autorità specialistica, in mancanza di un formale inserimento nel piano direttore cantonale. L'arbitrio non è infatti ravvisabile nel semplice fatto che anche un'altra soluzione potrebbe entrare in linea di conto o sarebbe addirittura preferibile (cfr. <ref-ruling> consid. 1.3; <ref-ruling> consid. 5.4). La Corte cantonale ha infatti pure rilevato che il territorio agricolo cantonale definito nel piano direttore rappresenta l'estensione minima della zona agricola (cfr. art. 4 cpv. 1 LTAgr) e che se nell'ambito dell'allestimento del piano regolatore, dovessero risultare ulteriori terreni idonei alla coltivazione agricola o all'orticoltura produttiva, anche essi devono di massima essere attribuiti alla zona agricola giusta gli art. 16 cpv. 1 lett. a LPT e 68 cpv. 1 lett. a della legge cantonale di applicazione della LPT, del 23 maggio 1990 (LALPT).
3.4 Il giudizio impugnato fonda l'obbligo di compensazione sull'art. 8 LTAgr, nella versione in vigore dal 1° giugno 2003 al 31 dicembre 2011, secondo cui "la diminuzione delle aree agricole di cui all'art. 68 cpv. 1 lett. a LALPT" doveva essere compensata dall'ente pianificante. L'art. 68 LALPT definiva le zone agricole e al cpv. 1 lett. a prevedeva ch'esse comprendevano in particolare "i terreni idonei alla coltivazione agricola o all'orticoltura produttiva (giardinaggio produttivo) necessari all'adempimento dei vari compiti dell'agricoltura e fra questi, segnatamente, le superfici per l'avvicendamento colturale (SAC) e gli ulteriori terreni idonei alla campicoltura e foraggicoltura di prima e seconda priorità". La lett. b del medesimo cpv. 1, che non entra qui in considerazione, contemplava i terreni che, nell'interesse generale, devono essere coltivati dall'agricoltura.
Nella versione previgente, richiamata dal ricorrente, l'art. 8 LTAgr imponeva che fosse compensata "la diminuzione delle aree agricole di cui alle lettere a e b dell'art. 5". Quest'ultima norma, abrogata contestualmente all'entrata in vigore dell'art. 68 LALPT (cfr. BU 2003, pag. 179 segg.), definiva la zona agricola, indicando ch'essa comprendeva in particolare "a) le superfici per l'avvicendamento colturale (SAC); b) gli ulteriori terreni idonei alla campicoltura e foraggicoltura di prima e seconda priorità". La lett. c dell'art. 5, che non entra qui in considerazione, contemplava i terreni sussidiari che nell'interesse generale devono essere utilizzati dall'agricoltura.
La modifica legislativa ha in sostanza riportato e disciplinato nella LALPT la nozione di zona agricola, consentendo l'abrogazione dell'art. 5 LTAgr, che la definiva precedentemente in modo sostanzialmente analogo. Non ha mutato il sistema della compensazione reale e pecuniaria dovuta per la diminuzione del territorio agricolo (cfr. messaggio n. 5223 del 20 marzo 2002 del Consiglio di Stato, pag. 12 e 14; rapporto n. 5223 R del 23 gennaio 2003 della Commissione speciale per la pianificazione del territorio, pag. 6 seg.). La portata dell'art. 8 LTAgr non è quindi stata modificata per il rinvio all'art. 68 cpv. 1 lett. a LALPT anziché al previgente art. 5 lett. a e b LTAgr. Anche nella versione precedentemente in vigore, la norma prevedeva infatti il principio della compensazione in caso di diminuzione di territorio agricolo idoneo all'agricoltura.
3.5 Come visto, la Corte cantonale ha accertato, in modo vincolante per il Tribunale federale, che la superficie in questione è classificata come molto idonea allo sfalcio secondo il catasto delle idoneità agricole. Indipendente dal quesito di sapere quale sia la versione dell'art. 8 LTAgr applicabile in concreto, ha quindi ritenuto in modo sostenibile che la diminuzione di tale area, in quanto idonea all'agricoltura, comportava un obbligo di compensazione. Le circostanze di cui il ricorrente lamenta la mancata presa in considerazione, relative alla delimitazione del territorio agricolo nel piano direttore e al tenore del diritto previgente, non muterebbero pertanto l'esito del giudizio e non sono di conseguenza decisive.
4. 4.1 Secondo il ricorrente, la Corte cantonale avrebbe violato il divieto di retroattività della legge e il suo diritto di essere sentito applicando la LTAgr nella versione entrata in vigore il 1° giugno 2003 senza spiegarne le ragioni, in particolare senza esprimersi sulla censura riguardante l'applicabilità del diritto previgente.
4.2 Tuttavia, come è stato esposto, l'obbligo di compensazione sussisteva anche secondo l'art. 8 LTAgr nella versione previgente e, sotto questo profilo, la modifica entrata in vigore il 1° giugno 2003 non ha comportato cambiamenti di rilievo. La critica non ha quindi portata pratica e non deve perciò essere esaminata dal Tribunale federale, che non è tenuto ad esprimersi su questioni teoriche, anche se di natura formale (cfr. <ref-ruling> consid. 1.2).
5. 5.1 Il ricorrente lamenta inoltre una violazione del divieto dell'arbitrio e del principio della buona fede (<ref-law>). Al riguardo, ribadisce gli argomenti già addotti con riferimento al preteso accertamento inesatto dei fatti e alla pretesa applicazione retroattiva della legge, sostenendo che la decisione sul compenso agricolo avrebbe dovuto essere emanata dal Governo contestualmente all'approvazione del piano regolatore, il 9 luglio 2002.
5.2 Il ricorrente disattende tuttavia che la precedente istanza ha riconosciuto che il Governo ha fissato il contributo pecuniario sostitutivo soltanto nel 2010, a distanza di anni dall'approvazione del piano regolatore. Ha nondimeno rilevato che la decisione di imposizione è stata emanata entro il termine di prescrizione e non metteva in discussione gli azzonamenti adottati dal Comune già approvati, né esigeva una compensazione reale. Il ricorrente non si confronta conformemente alle esigenze degli art. 42 cpv. 2 e 106 cpv. 2 LTF con le considerazioni esposte nel giudizio impugnato, spiegando per quali ragioni sarebbero manifestamente insostenibili e pertanto arbitrarie. Non fa in particolare valere che la pretesa sarebbe prescritta, né critica l'ammontare del contributo pecuniario sostitutivo concretamente stabilito. Fondandosi nuovamente sul presupposto, errato, secondo cui sotto l'egida del diritto previgente la diminuzione dell'area agricola in questione non sarebbe stata soggetta all'obbligo di compensazione, il ricorrente non sostanzia arbitrio alcuno, né fa valere un'ulteriore violazione del diritto (<ref-law>). Il gravame non deve quindi essere esaminato oltre.
6. Ne segue che il ricorso deve essere respinto nella misura della sua ammissibilità. Le spese giudiziarie seguono la soccombenza e sono pertanto poste a carico del ricorrente, che, pur avendo agito nell'esercizio delle sue attribuzioni ufficiali, aveva un interesse pecuniario evidente nella causa (<ref-law>).

Per questi motivi, il Tribunale federale pronuncia:
1. Nella misura in cui è ammissibile, il ricorso è respinto.
2. Le spese giudiziarie di fr. 2'000.-- sono poste a carico del ricorrente.
3. Comunicazione al patrocinatore del ricorrente, al Consiglio di Stato, al Tribunale amministrativo del Cantone Ticino e all'Ufficio federale dello sviluppo territoriale.