Sachverhalt: A. A.a X.A._ ist Eigentümer der in der Landwirtschaftszone der Gemeinde A._/SZ befindlichen Liegenschaft KTN xxxx. Am 23. Dezember 2002 erteilte ihm der Gemeinderat A._ die Baubewilligung für den Neubau eines Zweifamilienhauses mit Einliegerwohnung. Die gleichzeitig eröffnete Raumplanungsbewilligung des damaligen Meliorationsamtes des Kantons Schwyz vom 10. Dezember 2002 (heute zuständig: Amt für Raumentwicklung des Kantons Schwyz) wurde zum integrierenden Bestandteil der Baubewilligung erklärt; gemäss deren Ziffer 2 ist das alte Wohnhaus bis spätestens ein Jahr nach Bezug des Neubaus vollständig abzubrechen. Die Baubewilligung erwuchs in Rechtskraft. Der Bezug der ersten Wohnung im Neubau erfolgte im Oktober 2004 (Sohn des Beschwerdeführers), der zweiten im April 2005 (Mieter) und der dritten Wohnung im April 2007 (Mieter). A.b Bei der Schlussabnahme des Neubaus am 30. Oktober 2007 wurde festgestellt, dass das alte Wohnhaus noch nicht abgebrochen worden war. Der Gemeinderat A._ forderte deshalb X.A._ am 26. Mai 2008 auf, das alte Wohnhaus auf KTN xxxx bis spätestens zum 31. Dezember 2008 vollständig abzubrechen. Dagegen erhob X.A._ beim Regierungsrat des Kantons Schwyz Verwaltungsbeschwerde und beantragte unter anderem, der Abbruch des Wohnhauses sei auf 20 Jahre aufzuschieben. Auf Ersuchen des Gemeinderates A._ und des Amtes für Landwirtschaft wurde das Verfahren sistiert, und es fanden Gespräche zwischen X.A._ und den involvierten Behörden statt. Mit Eingabe vom 30. Oktober 2009 beantragte X.A._, vom Abbruch des Wohnhauses Nr. yyy auf KTN xxxx sei abzusehen, eventuell sei davon bis nach dem Tod von Herrn und Frau X.A._ und X.B._ abzusehen. Mit Beschluss vom 24. November 2009 trat der Regierungsrat auf die Beschwerde nicht ein und überwies die Sache zuständigkeitshalber an das Verwaltungsgericht des Kantons Schwyz. Das Verwaltungsgericht wies die Beschwerde am 20. Januar 2010 ab und verfügte, dass das alte Wohnhaus B._ Gebäude Nr. yyy auf KTN xxxx innert sechs Monaten seit Rechtskraft dieses Beschlusses vollständig abzubrechen sei. Dieser Verwaltungsgerichtsentscheid erwuchs unangefochten in Rechtskraft. A.c Der Gemeinderat ergänzte am 22. Februar 2010 in Nachachtung des Entscheides des Verwaltungsgerichtes vom 20. Januar 2010 den Abbruchbefehl mit folgenden Vollstreckungsmassnahmen: Es werde festgestellt, dass das Verwaltungsgericht in seinem Entscheid vom 20. Januar 2010 festgelegt habe, das alte Wohnhaus B._ (Gebäude Nr. yyy auf KTN xxxx) sei innert sechs Monaten seit Rechtskraft des Beschlusses vom 26. Mai 2008 vollständig abzubrechen (Ziffer 1). Komme X.A._ der Aufforderung gemäss Ziffer 1 nicht oder nicht fristgemäss nach, so werde er gestützt auf Art. 292 des Strafgesetzbuches angezeigt (Ziffer 2.1) und es werde ihm für jeden Tag der Nichterfüllung der Vorgaben eine Ordnungsbusse von Fr. 100.-- angedroht (Ziffer 2.2). B. B.a Mit Eingabe vom 28. September 2010 stellte X.A._ beim Gemeinderat A._ ein Wiedererwägungsgesuch, mit dem er beantragte, vom Abbruch des Wohnhauses Nr. yyy auf KTN xxxx sei bis nach dem Tod von Herrn und Frau X.A._ und X.B._ abzusehen. Der Gemeinderat A._ leitete das Gesuch am 18. Oktober 2010 an den Regierungsrat des Kantons Schwyz weiter, welcher es an das Amt für Landwirtschaft überwies. B.b Am 14. Februar 2011 trat das Amt für Landwirtschaft auf das Wiedererwägungsgesuch nicht ein. In Ziffer 2 hielt es den Gemeinderat A._ an, X.A._ eine kurze Frist zum vollständigen Abbruch des alten Wohnhauses B._ (Gebäude Nr. yyy auf KTN xxxx) anzusetzen. Der Gemeinderat A._ eröffnete am 28. Februar 2011 X.A._ die Verfügung des Amtes für Landwirtschaft vom 14. Februar 2011 und stellte fest, dass das Amt für Landwirtschaft mit Verfügung vom 14. Februar 2011 auf das Wiedererwägungsgesuch von X.A._ nicht eingetreten sei. Die mit GRB Nr. zz-zzzz vom 22. Februar 2011 (richtig: 2010) festgelegte Frist werde neu festgesetzt und betrage vom Zeitpunkt der Rechtskraft dieses Beschlusses und der Verfügung des Amtes für Landwirtschaft vom 14. Februar 2011 an vier Monate. B.c X.A._ erhob sowohl gegen die Verfügung des Amtes für Landwirtschaft vom 14. Februar 2011 als auch gegen den Beschluss des Gemeinderates A._ vom 28. Februar 2011 beim Regierungsrat des Kantons Schwyz Beschwerde. Der Regierungsrat wies mit Beschluss vom 17. August 2011 die Beschwerden ab, soweit er darauf eintrat. Am 21. Dezember 2011 wies das hierauf angerufene Verwaltungsgericht des Kantons Schwyz, Kammer III, die Beschwerde ab. C. Dagegen führt X.A._ beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten. Er beantragt, der Entscheid des Verwaltungsgerichts vom 21. Dezember 2011, der Beschluss des Regierungsrates vom 17. August 2011, der Gemeinderatsbeschluss der Gemeinde A._ vom 28. Februar 2011 sowie die Verfügung des Amtes für Landwirtschaft vom 14. Februar 2011 seien vollumfänglich aufzuheben. In Wiedererwägung der Baubewilligung vom 23. Dezember 2002 sei der Abbruch des Wohnhauses Nr. yyy des Beschwerdeführers auf dem Grundstück KTN xxxx A._ bis zum 30. September 2021, "ev. bis wann", aufzuschieben. Eventuell sei die Sache zur Neubeurteilung an das Verwaltungsgericht des Kantons Schwyz zurückzuweisen. D. Der Regierungsrat des Kantons Schwyz beantragt die Abweisung der Beschwerde. Das Verwaltungsgericht des Kantons Schwyz schliesst auf Abweisung der Beschwerde, soweit darauf eingetreten werden könne. Das Amt für Raumentwicklung des Kantons Schwyz und das Bundesamt für Raumentwicklung haben auf eine Vernehmlassung verzichtet. Der Gemeinderat A._ liess sich nicht vernehmen. In der Replik hält der Beschwerdeführer an seinem Rechtsbegehren fest. E. Mit Verfügung vom 15. Juni 2012 wurde der Beschwerde die aufschiebende Wirkung erteilt.