Sachverhalt:
A. A.a X.A._ ist Eigentümer der in der Landwirtschaftszone der Gemeinde A._/SZ befindlichen Liegenschaft KTN xxxx. Am 23. Dezember 2002 erteilte ihm der Gemeinderat A._ die Baubewilligung für den Neubau eines Zweifamilienhauses mit Einliegerwohnung. Die gleichzeitig eröffnete Raumplanungsbewilligung des damaligen Meliorationsamtes des Kantons Schwyz vom 10. Dezember 2002 (heute zuständig: Amt für Raumentwicklung des Kantons Schwyz) wurde zum integrierenden Bestandteil der Baubewilligung erklärt; gemäss deren Ziffer 2 ist das alte Wohnhaus bis spätestens ein Jahr nach Bezug des Neubaus vollständig abzubrechen. Die Baubewilligung erwuchs in Rechtskraft. Der Bezug der ersten Wohnung im Neubau erfolgte im Oktober 2004 (Sohn des Beschwerdeführers), der zweiten im April 2005 (Mieter) und der dritten Wohnung im April 2007 (Mieter).
A.b Bei der Schlussabnahme des Neubaus am 30. Oktober 2007 wurde festgestellt, dass das alte Wohnhaus noch nicht abgebrochen worden war. Der Gemeinderat A._ forderte deshalb X.A._ am 26. Mai 2008 auf, das alte Wohnhaus auf KTN xxxx bis spätestens zum 31. Dezember 2008 vollständig abzubrechen. Dagegen erhob X.A._ beim Regierungsrat des Kantons Schwyz Verwaltungsbeschwerde und beantragte unter anderem, der Abbruch des Wohnhauses sei auf 20 Jahre aufzuschieben. Auf Ersuchen des Gemeinderates A._ und des Amtes für Landwirtschaft wurde das Verfahren sistiert, und es fanden Gespräche zwischen X.A._ und den involvierten Behörden statt. Mit Eingabe vom 30. Oktober 2009 beantragte X.A._, vom Abbruch des Wohnhauses Nr. yyy auf KTN xxxx sei abzusehen, eventuell sei davon bis nach dem Tod von Herrn und Frau X.A._ und X.B._ abzusehen. Mit Beschluss vom 24. November 2009 trat der Regierungsrat auf die Beschwerde nicht ein und überwies die Sache zuständigkeitshalber an das Verwaltungsgericht des Kantons Schwyz. Das Verwaltungsgericht wies die Beschwerde am 20. Januar 2010 ab und verfügte, dass das alte Wohnhaus B._ Gebäude Nr. yyy auf KTN xxxx innert sechs Monaten seit Rechtskraft dieses Beschlusses vollständig abzubrechen sei. Dieser Verwaltungsgerichtsentscheid erwuchs unangefochten in Rechtskraft.
A.c Der Gemeinderat ergänzte am 22. Februar 2010 in Nachachtung des Entscheides des Verwaltungsgerichtes vom 20. Januar 2010 den Abbruchbefehl mit folgenden Vollstreckungsmassnahmen: Es werde festgestellt, dass das Verwaltungsgericht in seinem Entscheid vom 20. Januar 2010 festgelegt habe, das alte Wohnhaus B._ (Gebäude Nr. yyy auf KTN xxxx) sei innert sechs Monaten seit Rechtskraft des Beschlusses vom 26. Mai 2008 vollständig abzubrechen (Ziffer 1). Komme X.A._ der Aufforderung gemäss Ziffer 1 nicht oder nicht fristgemäss nach, so werde er gestützt auf Art. 292 des Strafgesetzbuches angezeigt (Ziffer 2.1) und es werde ihm für jeden Tag der Nichterfüllung der Vorgaben eine Ordnungsbusse von Fr. 100.-- angedroht (Ziffer 2.2).
B. B.a Mit Eingabe vom 28. September 2010 stellte X.A._ beim Gemeinderat A._ ein Wiedererwägungsgesuch, mit dem er beantragte, vom Abbruch des Wohnhauses Nr. yyy auf KTN xxxx sei bis nach dem Tod von Herrn und Frau X.A._ und X.B._ abzusehen. Der Gemeinderat A._ leitete das Gesuch am 18. Oktober 2010 an den Regierungsrat des Kantons Schwyz weiter, welcher es an das Amt für Landwirtschaft überwies.
B.b Am 14. Februar 2011 trat das Amt für Landwirtschaft auf das Wiedererwägungsgesuch nicht ein. In Ziffer 2 hielt es den Gemeinderat A._ an, X.A._ eine kurze Frist zum vollständigen Abbruch des alten Wohnhauses B._ (Gebäude Nr. yyy auf KTN xxxx) anzusetzen.
Der Gemeinderat A._ eröffnete am 28. Februar 2011 X.A._ die Verfügung des Amtes für Landwirtschaft vom 14. Februar 2011 und stellte fest, dass das Amt für Landwirtschaft mit Verfügung vom 14. Februar 2011 auf das Wiedererwägungsgesuch von X.A._ nicht eingetreten sei. Die mit GRB Nr. zz-zzzz vom 22. Februar 2011 (richtig: 2010) festgelegte Frist werde neu festgesetzt und betrage vom Zeitpunkt der Rechtskraft dieses Beschlusses und der Verfügung des Amtes für Landwirtschaft vom 14. Februar 2011 an vier Monate.
B.c X.A._ erhob sowohl gegen die Verfügung des Amtes für Landwirtschaft vom 14. Februar 2011 als auch gegen den Beschluss des Gemeinderates A._ vom 28. Februar 2011 beim Regierungsrat des Kantons Schwyz Beschwerde. Der Regierungsrat wies mit Beschluss vom 17. August 2011 die Beschwerden ab, soweit er darauf eintrat. Am 21. Dezember 2011 wies das hierauf angerufene Verwaltungsgericht des Kantons Schwyz, Kammer III, die Beschwerde ab.
C. Dagegen führt X.A._ beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten. Er beantragt, der Entscheid des Verwaltungsgerichts vom 21. Dezember 2011, der Beschluss des Regierungsrates vom 17. August 2011, der Gemeinderatsbeschluss der Gemeinde A._ vom 28. Februar 2011 sowie die Verfügung des Amtes für Landwirtschaft vom 14. Februar 2011 seien vollumfänglich aufzuheben. In Wiedererwägung der Baubewilligung vom 23. Dezember 2002 sei der Abbruch des Wohnhauses Nr. yyy des Beschwerdeführers auf dem Grundstück KTN xxxx A._ bis zum 30. September 2021, "ev. bis wann", aufzuschieben. Eventuell sei die Sache zur Neubeurteilung an das Verwaltungsgericht des Kantons Schwyz zurückzuweisen.
D. Der Regierungsrat des Kantons Schwyz beantragt die Abweisung der Beschwerde. Das Verwaltungsgericht des Kantons Schwyz schliesst auf Abweisung der Beschwerde, soweit darauf eingetreten werden könne. Das Amt für Raumentwicklung des Kantons Schwyz und das Bundesamt für Raumentwicklung haben auf eine Vernehmlassung verzichtet. Der Gemeinderat A._ liess sich nicht vernehmen. In der Replik hält der Beschwerdeführer an seinem Rechtsbegehren fest.
E. Mit Verfügung vom 15. Juni 2012 wurde der Beschwerde die aufschiebende Wirkung erteilt.
Erwägungen:
1. 1.1 Beim angefochtenen Urteil handelt es sich um einen kantonal letztinstanzlichen Endentscheid (Art. 86 Abs. 1 lit. d BGG). Ihm liegt ein Beschwerdeverfahren über ein Wiedererwägungsgesuch in Bezug auf einen Abbruchbefehl einer Liegenschaft und damit eine öffentlich-rechtliche Angelegenheit zugrunde (Art. 82 lit. a BGG; BGE 133 II 249 E. 1.2 S. 251, 409 E. 1.1 S. 411). Ein Ausschlussgrund nach Art. 83 BGG liegt nicht vor. Der Beschwerdeführer hat vor der Vorinstanz am Verfahren teilgenommen. Er ist Eigentümer der Liegenschaft, die Gegenstand des allenfalls in Wiedererwägung zu ziehenden Abbruchbefehls ist, und ist damit durch den angefochtenen Entscheid besonders berührt. Er hat demnach ein schutzwürdiges Interesse an der Aufhebung oder Änderung des Urteils der Vorinstanz, weshalb er zur Beschwerde beim Bundesgericht berechtigt ist (vgl. Art. 89 Abs. 1 BGG). Auf die frist- und formgerecht eingereichte Beschwerde ist unter Vorbehalt von E. 1.2 und 1.3 hiernach einzutreten.
1.2 Nach Art. 42 Abs. 2 BGG ist in der Begründung in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt. Dies setzt voraus, dass sich der Beschwerdeführer wenigstens kurz mit den Erwägungen des angefochtenen Entscheids auseinandersetzt. Genügt die Beschwerdeschrift diesen Begründungsanforderungen nicht, so ist darauf nicht einzutreten. Zwar wendet das Bundesgericht das Recht grundsätzlich von Amtes wegen an (Art. 106 Abs. 1 BGG); dies setzt aber voraus, dass auf die Beschwerde überhaupt eingetreten werden kann, diese also wenigstens die minimalen Begründungsanforderungen von Art. 42 Abs. 2 BGG erfüllt.
Strengere Anforderungen gelten, wenn die Verletzung von Grund-rechten geltend gemacht wird. Diese prüft das Bundesgericht nicht von Amtes wegen, sondern nur insoweit, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG). Für derartige Rügen gelten die gleichen Begründungsanforderungen, wie sie gestützt auf Art. 90 Abs. 1 lit. b des Bundesrechtspflegegesetzes (OG; BS 3 531) für die staatsrechtliche Beschwerde gegolten haben (BGE 136 I 49 E. 1.4.1 S. 53; 133 II 249 E. 1.4.2 S. 254; je mit Hinweisen). Die Beschwerdeschrift muss die wesentlichen Tatsachen und eine kurz gefasste Darlegung darüber enthalten, welche verfassungsmässigen Rechte bzw. welche Rechts-sätze inwiefern durch den angefochtenen Erlass oder Entscheid verletzt worden sind. Das Bundesgericht prüft nur klar und detailliert erhobene und, soweit möglich, belegte Rügen; auf rein appellatorische Kritik am angefochtenen Entscheid tritt es nicht ein. Wird eine Verletzung des Willkürverbots geltend gemacht, muss anhand der angefochtenen Subsumtion im Einzelnen dargelegt werden, inwiefern der Entscheid an einem qualifizierten und offensichtlichen Mangel leidet (BGE 130 I 258 E. 1.3 S. 261 f. mit Hinweisen).
Ob die Beschwerdeschrift diesen Begründungsanforderungen im Einzelnen genügt, bleibt im jeweiligen Sachzusammenhang zu prüfen.
1.3 Nicht einzutreten ist auf die Eventualanträge des Beschwerdeführers, auch die Entscheide des Regierungsrates und des Gemeinderates A._ sowie die Verfügung des Amtes für Landwirtschaft aufzuheben. Unterinstanzliche Entscheide sind mit Beschwerde in öffentlich-rechtlichen Angelegenheiten nicht selbstständig anfechtbar. Sie werden mit Blick auf den Devolutiveffekt durch den Entscheid der letzten kantonalen Instanz ersetzt und gelten inhaltlich mit der dagegen gerichteten Beschwerde als mitangefochten (vgl. BGE 134 II 142 E. 1.4 S. 144 mit Hinweis).
2. 2.1 Der Beschwerdeführer rügt die Verletzung seines verfassungs-rechtlichen Anspruchs auf rechtliches Gehör gemäss Art. 29 Abs. 2 BV in verschiedener Hinsicht.
2.1.1 Der Beschwerdeführer macht zunächst geltend, die Vorinstanz habe sich geweigert, auf die alte Abbruchfrist überhaupt noch zurückzukommen. Unter Ziffer 5.5, Seite 12, des angefochtenen Entscheides, habe sich das Verwaltungsgericht bloss pro forma (nicht effektiv) zur Verhältnismässigkeit der Abbruchfrist geäussert, und zwar mit einem einzigen Halbsatz. Die Vorinstanz habe sich mit den neuen Sachverhaltselementen bzw. mit der Notlage des Beschwerdeführers nur pro forma auseinandergesetzt. Sie habe die persönliche Situation des Beschwerdeführers auch nicht dem öffentlichen Interesse gegenübergestellt. Durch die fehlende Auseinandersetzung mit allen relevanten Sachvorbringen habe die Vorinstanz gegenüber dem Beschwerdeführer den Anspruch auf rechtliches Gehör nach Art. 29 Abs. 2 BV verletzt.
2.1.2 Der Anspruch auf rechtliches Gehör verlangt von der Behörde, dass sie die Vorbringen der Beschwerdeführer tatsächlich hört, ernsthaft prüft und in ihrer Entscheidfindung angemessen berücksichtigt (BGE 136 I 184 E. 2.2.1 S. 188 mit Hinweis). Die Begründung muss so abgefasst sein, dass der Betroffene den Entscheid gegebenenfalls sachgerecht anfechten kann. Sie muss kurz die wesentlichen Überlegungen nennen, von denen sich das Gericht hat leiten lassen und auf die es seinen Entscheid stützt. Nicht erforderlich ist, dass sich die Begründung mit allen Parteistandpunkten einlässlich auseinandersetzt und jedes einzelne Vorbringen ausdrücklich widerlegt (BGE 134 I 83 E. 4.1 S. 88 mit Hinweisen).
2.1.3 Die Vorinstanz hat erwogen, dass die Abbruchpflicht und deren Einhaltung mit Bezug auf die Erhaltung der Zonenkonformität eine conditio sine qua non sei. Daraus sei wiederum zwingend zu folgern, dass der Bewilligungsbehörde bei der Bemessung der Abbruchfrist nur ein geringer Ermessensspielraum zukomme, ansonsten in rechtswidriger Weise längerfristig zonenwidrige Verhältnisse toleriert würden. Mit der Konsumation der Raumplanungsbewilligung sei zwingend die Auflage betreffend Abbruchpflicht umzusetzen. Davon könne höchstens abgesehen werden, wenn sich nachträglich eine zusätzliche Wohnraumerweiterung als rechtmässig erweise. Dies werde indes vor Verwaltungsgericht weder geltend gemacht noch sei ein solcher Sachverhalt erkennbar. Der Beschwerdeführer wende sinngemäss vielmehr ein, die Abbruchfrist sei wegen der angeführten veränderten Verhältnisse nachträglich fehlerhaft geworden. Dies würde dann zutreffen, wenn die veränderten Verhältnisse, wären sie bereits im Bewilligungsverfahren eingetreten, eine längere Abbruchfrist zur Folge gehabt hätten. Solches müsse jedoch klar verneint werden, zumal eine überlange Abbruchfrist wegen des zonenwidrigen Zustandes per se nicht zulässig wäre. Hätte sich im Zeitpunkt der Bewilligungserteilung die Sachlage so dargestellt, dass die Hofübergabe und Weiterführung des Landwirtschaftsbetriebes wegen der gescheiterten Ehe des Sohnes, der daraus entstehenden Finanzierungsschwierigkeiten, der verschärften Voraussetzungen für Direktzahlungen, der Verpachtung der landwirtschaftlichen Nutzflächen, der ARA-Anschlusspflicht sowie des Alters und der Krankheit des Beschwerdeführers nicht möglich gewesen wäre, hätte sich nicht die Frage einer verlängerten Abbruchfrist, sondern vielmehr der Bewilligungsfähigkeit des Ersatzbaus gestellt. Aus dem Umstand, dass die Bewilligungsfähigkeit aufgrund der nachträglich veränderten Verhältnisse allenfalls fragwürdig erscheine, könne der Beschwerdeführer nach der Konsumation der Baubewilligung, die er im Übrigen in Kenntnis der heiklen Finanzierung vorgenommen habe, nichts zu seinen Gunsten ableiten. Mit der Gewährung einer überlangen Abbruchfrist würde die Frage der Rechtmässigkeit vielmehr zusätzlich verschärft. Der Beschwerdeführer habe im Wissen um die Auflage den Ersatzbau erstellt, worauf er zu behaften sei. Selbst wenn die veränderten Verhältnisse nachträglich wiedererwägungsweise unter dem Titel der Verhältnismässigkeit zu berücksichtigen wären, sei dem mit der bereits rechtlich und faktisch eingeräumten Verlängerung um mehr als drei Jahre mehr als Genüge getan.
2.1.4 Damit hat sich die Vorinstanz entgegen der Behauptung des Beschwerdeführers mit der Frage, ob veränderte Verhältnisse vorliegen, auseinandergesetzt und auf nachvollziehbare Weise dargelegt, weshalb keine wesentlich veränderten Verhältnisse anzunehmen seien, welche die anbegehrte Verlängerung der Abbruchfrist rechtfertigen würden. Auch hat die Vorinstanz die privaten Interessen des Beschwerdeführers den öffentlichen Interessen gegenübergestellt, indem sie erwogen hat, dass das erhebliche öffentliche Interesse an der Durchsetzung der Zonenkonformität einem weiteren Entgegenkommen zugunsten des Beschwerdeführers widersprechen würde. Zudem hat die Vorinstanz Überlegungen zur Verhältnismässigkeit einbezogen. Obschon die Vorinstanz der Rechtsauffassung des Beschwerdeführers nicht gefolgt ist, hat sie ihm gleichwohl Gehör gewährt. Von einer Verletzung des verfassungsmässigen Anspruchs auf rechtliches Gehör kann in diesem Punkt daher keine Rede sein.
2.1.4 Damit hat sich die Vorinstanz entgegen der Behauptung des Beschwerdeführers mit der Frage, ob veränderte Verhältnisse vorliegen, auseinandergesetzt und auf nachvollziehbare Weise dargelegt, weshalb keine wesentlich veränderten Verhältnisse anzunehmen seien, welche die anbegehrte Verlängerung der Abbruchfrist rechtfertigen würden. Auch hat die Vorinstanz die privaten Interessen des Beschwerdeführers den öffentlichen Interessen gegenübergestellt, indem sie erwogen hat, dass das erhebliche öffentliche Interesse an der Durchsetzung der Zonenkonformität einem weiteren Entgegenkommen zugunsten des Beschwerdeführers widersprechen würde. Zudem hat die Vorinstanz Überlegungen zur Verhältnismässigkeit einbezogen. Obschon die Vorinstanz der Rechtsauffassung des Beschwerdeführers nicht gefolgt ist, hat sie ihm gleichwohl Gehör gewährt. Von einer Verletzung des verfassungsmässigen Anspruchs auf rechtliches Gehör kann in diesem Punkt daher keine Rede sein.
2.2 2.2.1 Der Beschwerdeführer sieht seinen Anspruch auf rechtliches Gehör im Weiteren darin verletzt, dass sich die Vorinstanz geweigert habe, auf die Wiedererwägung überhaupt einzutreten. Die Verhältnisse hätten sich seit dem ersten Entscheid wesentlich geändert, so dass ein bundesrechtlicher Anspruch auf Behandlung des Wiedererwägungsgesuches bestehe. Die neuen Tatsachen seien nicht zur Kenntnis genommen worden.
2.2.2 Die Verwaltungsbehörden können unter bestimmten Voraussetzungen ihre Verfügungen in Wiedererwägung ziehen. Sie sind dazu angehalten, soweit sich eine entsprechende Pflicht aus einer gesetzlichen Regelung oder einer konstanten Verwaltungspraxis ergibt; überdies leitet sich aus Art. 29 BV ein Anspruch auf Wiedererwägung ab, wenn sich die Verhältnisse seit dem ersten Entscheid erheblich geändert haben oder wenn der Gesuchsteller Tatsachen und Beweismittel anführt, die ihm im früheren Verfahren nicht bekannt waren oder die schon damals geltend zu machen, für ihn rechtlich oder tatsächlich unmöglich war oder hierzu keine Veranlassung bestand. Die Wiedererwägung oder Revision darf aber nicht dazu dienen, rechtskräftige Entscheide immer wieder in Frage zu stellen oder gesetzliche Vorschriften über die Rechtsmittelfristen zu umgehen (BGE 136 II 177 E. 2.1 S. 181; 130 IV 72 E. 2.2 S. 74; 127 I 133 E. 6 S. 137 f.; 124 II 1 E. 3a S. 5 f.; 120 Ib 42 E. 2b S. 46 f.; 113 Ia 146 E. 3a S. 152; Urteile 1C_217/2010 vom 3. Februar 2011 E. 3.3; 2C_274/2009 vom 28. Oktober 2009 E. 2.2).
2.2.3 Das Verwaltungsgericht ist in seinem Entscheid zum Schluss gekommen, dass die Vorinstanzen zu Recht keine wesentlichen Veränderungen angenommen hätten, um die angestrebte Verlängerung der Abbruchfrist zu rechtfertigen. Es ging vielmehr davon aus, dass die vom Beschwerdeführer geltend gemachten veränderten Verhältnisse (Unmöglichkeit der Hofübergabe und Weiterführung des Landwirtschaftsbetriebes wegen der gescheiterten Ehe des Sohnes, daraus entstehende Finanzierungsschwierigkeiten, strengere Voraussetzungen für Direktzahlungen, Verpachtung der landwirtschaftlichen Nutzflächen, ARA-Anschlusspflicht, Kosten für neuen Deckbelag der Zufahrtsstrasse und Dachsanierung sowie Alter und Krankheit des Beschwerdeführers), wären sie im Zeitpunkt der Raumplanungsbewilligung bekannt gewesen, die Bewilligungsfähigkeit des Ersatzbaus an sich in Frage gestellt hätten. Insofern hat die Vorinstanz zu Recht erwogen, dass der Beschwerdeführer aus der wegen nachträglich veränderter Verhältnisse allenfalls im Nachhinein fragwürdig erscheinenden Bewilligungsfähigkeit der Ersatzbaute im Hinblick auf die Dauer der Abbruchfrist nichts zu seinen Gunsten ableiten kann. Was der Beschwerdeführer dagegen einwendet, erschöpft sich in appellatorischer Kritik am angefochtenen Entscheid. Er beschränkt sich darauf, seine Sicht der Dinge nochmals darzulegen, ohne in rechtsgenüglicher Weise eine Verletzung des Anspruchs auf rechtliches Gehör darzutun (vgl. oben E. 1.2). Auf die entsprechende Rüge ist folglich nicht einzutreten.
3. 3.1 Der Beschwerdeführer rügt ferner, die Vorinstanz habe den Sachverhalt unrichtig und unvollständig festgestellt, weil sie den vom Beschwerdeführer im Detail geschilderten und belegten Sachverhalt, so die neuen Sachumstände seit der erstmaligen Anordnung der Abbruchfrist, gar nicht erst festgestellt habe. Die fehlende Feststellung dieser neuen Sachumstände verhindere eine Neubeurteilung der Abbruchfrist. Die Behebung dieses Sachverhaltsmangels sei für den Ausgang des Verfahrens entscheidend.
3.2 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Die Feststellung des Sachverhalts kann nur gerügt bzw. vom Bundesgericht von Amtes wegen berichtigt oder ergänzt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 97 Abs. 1 bzw. Art. 105 Abs. 2 BGG). Der Einwand, der Sachverhalt sei offensichtlich unrichtig festgestellt worden, ist gleichzusetzen mit der Willkürrüge (BGE 137 I 58 E. 4.1.2 S. 62; 133 II 249 E. 1.2.2 S. 252). Diese Rüge, welche rechtsgenüglich substantiiert vorzubringen ist (Art. 42 Abs. 2 und Art. 106 Abs. 2 BGG; vgl. BGE 133 II 249 E. 1.4.3 S. 254 f.), setzt zudem voraus, dass die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG).
3.3 Die Rüge der unrichtigen und unvollständigen Sachverhaltsermittlung erweist sich als unbegründet. Es trifft nicht zu, dass die Vorinstanz die vom Beschwerdeführer seit der erstmaligen Anordnung der Abbruchfrist angeführten veränderten Sachumstände unbeachtet liess. Diese Umstände werden im angefochtenen Entscheid ausdrücklich mehrmals erwähnt und auch gewürdigt (Ziffern 2, 4 und 5 des angefochtenen Entscheides).
4. Soweit der Beschwerdeführer eine Verletzung des Willkürverbotes nach Art. 9 BV rügt, lässt er es bei einer appellatorischen Kritik am vorinstanzlichen Urteil bewenden und bringt nichts vor, was geeignet wäre, die verwaltungsgerichtlichen Erwägungen verfassungswidrig erscheinen zu lassen. Insbesondere setzt er sich nicht substantiiert mit den Erwägungen der Vorinstanz auseinander und legt nicht dar, inwiefern diese Bundesrecht verletzen. Auf diesen Einwand ist nicht einzutreten (vgl. oben E. 1.2).
5. 5.1 Demnach ist die Beschwerde abzuweisen, soweit darauf eingetreten werden kann.
5.2 Dem Verfahrensausgang entsprechend wird der Beschwerdeführer kostenpflichtig (Art. 66 Abs. 1 und Art. 65 BGG). Parteientschädigungen sind keine zuzusprechen (Art. 68 Abs. 3 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 4'000.-- werden dem Beschwerdeführer auferlegt.
3. Parteientschädigungen werden keine zugesprochen.
4. Dieses Urteil wird dem Beschwerdeführer, dem Gemeinderat A._, dem Amt für Landwirtschaft, dem Regierungsrat des Kantons Schwyz, dem Verwaltungsgericht des Kantons Schwyz, Kammer III, und dem Bundesamt für Raumentwicklung schriftlich mitgeteilt.
Lausanne, 2. November 2012
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Geisser