Sachverhalt:
A. X._ ist seit 2006 Eigentümer der im abgelegenen Gebiet Valdarsch der Gemeinde Flums gelegenen Parzelle Nr. 988. Diese befindet sich gemäss kommunalem Zonenplan in der Landwirtschaftszone, nach dem kantonalen Richtplan im ausgeschiedenen Bereich "Lebensraum bedrohter Arten - Schongebiet". Das Grundstück ist mit einem Wohnhaus, einem Nebengebäude, einer Remise und einem Stall überbaut. Knapp ein Drittel der Fläche von rund 5,5 ha ist bewaldet.
B. Der Eigentümer ersuchte 2007 um Bewilligung für die Abparzellierung des Wohnhauses. Anfangs 2008 bewilligte das Landwirtschaftsamt die Abparzellierung des 966 m2 grossen Grundstücks Nr. 3603, mit der Begründung, das Wohnhaus und das Nebengebäude gehörten zu keinem landwirtschaftlichen Gewerbe.
C. 2007 reichte der Grundeigentümer ein Gesuch für die Sanierung des Wohnhauses und für den Abbruch der ehemals ohne Baubewilligung erstellten Remise ein. Die Sanierung sollte die Isolation des Gebäudes mit einer neuen Schalung, neue Fenster, eine neue Schleppgaube, die Neueindeckung des Daches und einen gewichtigen Ausbau des Hauses umfassen.
Das St. Gallische Amt für Raumentwicklung (heute Amt für Raumentwicklung und Geoinformation, AREG) erteilte mit raumplanungsrechtlicher Teilverfügung vom 27. September 2007 seine Zustimmung, unter Hinweis darauf, dass der Pächter des Grundstücks Nr. 988 den entsprechenden Landwirtschaftsbetrieb von seinem eigenen Hof aus bewirtschaften müsse und dass das Wohnhaus nicht mehr für die Landwirtschaft gebraucht werde, es sich diesbezüglich um ein zonenfremdes Vorhaben gemäss Art. 24d Abs. 1 RPG handle und insbesondere eine Auskernung der Gebäudehülle ausgeschlossen sei. Das St. Gallische Amt für Umweltschutz (heute Amt für Umweltschutz und Energie, AFU) verweigerte die landwirtschaftliche Entsorgung der häuslichen Abwässer, worauf der Grundeigentümer ein Baugesuch für eine Abwassereinzelreinigungsanlage einreichte.
Der Gemeinderat Flums erteilte hierauf am 10. Januar 2008 die Baubewilligung und ordnete den Grundbucheintrag "Beschränkung der baulichen Nutzungserweiterung nach Raumplanungsverordnung" an.
D. Der Gemeinderat stellte in der Folge fest, dass der Grundeigentümer am Stall ohne Bewilligung bewilligungspflichtige Änderungen vorgenommen hatte, und verfügte am 4. Juli 2008 einen Baustopp. Am 19. Januar 2009 erliess er einen weitern Baustopp wegen nicht bewilligter Arbeiten am Wohnhaus.
X._ reichte sowohl für den Stall als auch für das Wohnhaus nachträgliche Baugesuche ein. Dagegen gingen Einsprachen ein: von Seiten des ehemaligen Eigentümers des Hofes, Y._, in Bezug auf beide nachträglichen Baugesuche, von Seiten Pro Natura St. Gallen-Appenzell in Bezug auf Bachumlegung, Feuerweiher, neue Teiche und Waldterrassierung im Zusammenhang mit dem Stallumbau.
Das AREG verweigerte seine Zustimmung mit zwei separaten raumplanungsrechtlichen Teilverfügungen vom 11. Juni 2009 und lud die Baubehörde ein, die Wiederherstellung des rechtmässigen Zustands anzuordnen.
Der Gemeinderat hiess die Einsprachen am 29. Juni 2009 in zwei separaten Entscheiden (betreffend das Wohnhaus und betreffend den Stall) gut. Unter Hinweis auf die raumplanungsrechtlichen Teilverfügungen des AREG wies er die nachträglichen Baugesuche für die Sanierung des Stalls und für den Ersatzbau des Wohnhauses ab. Mangels anderer Möglichkeiten ordnete er den ersatzlosen Abbruch des ausgehöhlten Wohnhauses und des veränderten Stalls an.
E. Gegen den Bauabschlag und die Abbruchverfügung rekurrierte X._ erfolglos beim Baudepartement des Kantons St. Gallen. Gegen dessen Rekursabweisung vom 7. Juli 2010 gelangte X._ an das Verwaltungsgericht des Kantons St. Gallen. Mit Urteil vom 16. März 2011 erkannte dieses:
"1. Die Beschwerde wird teilweise gutgeheissen, indem die Ziff. 1 des Entscheids der Vorinstanz vom 7. Juli 2010 insoweit aufgehoben wird, als damit der Abbruch des Stalls Vers.-Nr. 60 bestätigt wurde. Dementsprechend wird auch Ziff. 3 des Beschlusses des Gemeinderats Flums vom 29. Juni 2009 betreffend Stallumbau aufgehoben. Im übrigen wird die Beschwerde abgewiesen.
2. Zur Sicherung des Verbots, den Stall Vers.-Nr. 60 zonenwidrig zu nutzen, insbesondere für die hobbymässige Tierhaltung, wird das Grundbuchamt Flums angewiesen, zu Lasten des Grundstücks Nr. 988 folgende öffentlich-rechtliche Eigentumsbeschränkung einzutragen:
'Verbot für zonenwidrige Nutzung nach RPV.'"
..."
F. Gegen diesen Entscheid des Verwaltungsgerichts hat X._ beim Bundesgericht am 21. April 2011 Beschwerde in öffentlich-rechtlichen Angelegenheiten erhoben. Er stellt folgende Anträge;
"Das Urteil des Verwaltungsgerichts (...) sei (betreffend Dispositiv-Ziffer 1) aufzuheben, soweit die Beschwerde abgewiesen worden ist. Die Ziff. 2, 3 und 4 des Urteils (...) seien aufzuheben. Die Sache sei im Umfang der Aufhebung zu neuer Entscheidung an die Vorinstanz zurückzuweisen.
Eventualiter seien das angepasste Baugesuch betreffend GS Nr. 3603 und das Baugesuch betreffend GS Nr. 988, subeventualiter unter Auflagen, zu bewilligen.
Subsubeventualiter sei dem Beschwerdeführer unter angemessener Fristansetzung - ohne Abbruch des Wohnhauses innert angesetzter Frist - die Veräusserung des Grundstücks Nr. 3603 zu landwirtschaftlicher Nutzung an einen Landwirtschaftsbetrieb zu ermöglichen und ein Nutzungsverbot für nichtlandwirtschaftliche Zwecke nach Art. 16b RPG zu verfügen.
Auf die Begründung im Einzelnen ist in den Erwägungen einzugehen.
G. Pro Natura St. Gallen-Appenzell beantragt die Abweisung der Beschwerde in Bezug auf die Teilprojekte Zuschüttung des Feuerweihers, Erstellung neuer Teiche und Bachumlegungen. Das Verwaltungsgericht und das Baudepartement verweisen auf ihre Entscheide und beantragen Abweisung der Beschwerde. Der Gemeinderat Flums verzichtet auf eine Vernehmlassung und ersucht um Bestätigung des Verwaltungsgerichtsentscheids. Das Bundesamt für Raumentwicklung ARE hat auf eine Stellungnahme verzichtet.
Am 13. Juli 2011 äusserte sich Y._ unaufgefordert zur Sache.
Am 7. Oktober 2011 verfügte die Gemeinde Flums gegenüber dem Beschwerdeführer, die Pferdehaltung umgehend einzustellen und die Pferde vom Grundstück Nr. 988 wegzuschaffen, die nachträglichen baulichen Veränderungen unverzüglich zu entfernen und während der Hängigkeit des bundesgerichtlichen Verfahrens jegliche Nutzung der Liegenschaft sowie vom Wohnhaus und Stall zu unterlassen.
H. Mit einer weitern Eingabe vom 23. Dezember 2011 hat der Beschwerdeführer darauf hingewiesen, dass die Eigenössischen Räte Art. 24c Abs. 2-5 RPG neu gefasst hätten (vgl. Referendumsvorlage in BBl 2012, 59). Diese Gesetzesänderung solle sicherstellen, dass die zur Gewährleistung von zeitgemässen Wohnverhältnissen sinnvollen baulichen Massnahmen einschliesslich einen allfälligen Wiederaufbau möglich sind.
I. Mit Verfügung vom 24. Mai 2011 ist der Beschwerde hinsichtlich der Abbruchverfügungen die aufschiebende Wirkung zuerkannt worden.
Erwägungen:
1. Angefochten ist ein letztinstanzlicher kantonaler Endentscheid in einer Angelegenheit des öffentlichen Rechts, die unter keinen Ausschlussgrund gemäss Art. 83 BGG fällt. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten nach Art. 82 lit. a BGG ist zulässig. Der Beschwerdeführer ist als Eigentümer des abzubrechenden Wohnhauses im Sinne von Art. 89 Abs. 1 BGG zur Beschwerde legitimiert. Mit der Beschwerde kann laut Art. 95 lit. a BGG namentlich die Verletzung von Bundesrecht (inkl. Bundesverfassungsrecht) geltend gemacht werden. Der Beschwerdeführer hat gemäss Art. 42 Abs. 2 BGG in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt. Die Verletzung von Grundrechten prüft das Bundesgericht nach Art. 106 Abs. 2 BGG nur, soweit solche Rügen vorgebracht und begründet werden. Ob diese Anforderungen an die Beschwerdeschrift erfüllt sind, wird im entsprechenden Sachzusammenhang zu prüfen sein. In diesem Sinne kann auf die vorliegende Beschwerde eingetreten werden.
Der Beschwerdeführer stellt ausdrücklich den Antrag, es sei auch Dispositiv-Ziffer 2 des angefochtenen Entscheids aufzuheben. Wie es sich damit verhält, ist unten zu beurteilen (E. 4).
2. 2.1 Im Wesentlichen hat das Verwaltungsgericht im angefochtenen Entscheid die Verweigerung einer nachträglichen Baubewilligung für das Wohnhaus bestätigt, im Grundsatz eine Pflicht zur Wiederherstellung bejaht und wegen praktischer Unmöglichkeit der Wiederherstellung die Anordnung des Abbruchs des Wohnhauses bestätigt.
Im Einzelnen hat es ausgeführt, das Wohnhaus liege in der Landwirtschaftszone und könnte daher als zonenkonform bezeichnet werden, wenn es zur landwirtschaftlichen Bewirtschaftung nötig wäre (Art. 16a Abs. 1 RPG). Mit den Vorinstanzen kam es zum Schluss, dass der Beschwerdeführer keine eigentliche Landwirtschaft betreiben würde, der angestrebte Betrieb lediglich als zonenwidrige Freizeitlandwirtschaft betrachtet werden könne. Eine ordentliche Baubewilligung falle daher ausser Betracht. Zu prüfen war daher, ob eine Ausnahmebewilligung in Frage komme. Dabei ging es von Art. 24c RPG aus. Nach Abs. 1 dieser Bestimmung werden bestimmungsgemäss nutzbare, aber zonenwidrig gewordene Anlagen ausserhalb der Bauzone grundsätzlich in ihrem Bestand geschützt. Diese Möglichkeit fällt nach der Ansicht des Verwaltungsgerichts allerdings nur in Betracht, wenn die Zonenwidrigkeit durch eine nachträgliche Änderung von Erlassen oder Plänen bewirkt worden ist. Sie sei ausgeschlossen, wenn die Zonenwidrigkeit allein durch tatsächliche Änderungen wie insbesondere durch Aufgabe des Landwirtschaftsbetriebs entstanden ist. Im vorliegenden Fall wurde der Landwirtschaftsbetrieb schon vor 1972 und über das Inkrafttreten der Raumplanungsgesetzes 1980 bewirtschaftet, bis er dann erst vor wenigen Jahren aufgegeben worden ist. Daraus schloss das Verwaltungsgericht, dass eine Bewilligung nach Art. 24c RPG ausgeschlossen sei.
Bei dieser Sachlage prüfte das Verwaltungsgericht die Voraussetzungen für eine Bewilligung nach Art. 24d RPG. Die Bestimmung erlaubt in landwirtschaftlichen Wohnbauten, die in ihrer Substanz erhalten sind, landwirtschaftsfremde Wohnnutzungen. Voraussetzung hierfür ist u.a., dass die äussere Erscheinung und die bauliche Grundstruktur im Wesentlichen unverändert bleiben (Art. 24d Abs. 3 lit. b RPG). Nach der Auffassung des Verwaltungsgerichts schliesst diese Regelung einen vollständigen Abbruch einer Wohnbaute mit anschliessendem Wiederaufbau grundsätzlich aus. In Anbetracht des Umstandes, dass der Beschwerdeführer wesentliche Teile des Wohnhauses abbrechen liess folgerte das Verwaltungsgericht, dass es sich um einen unzulässigen Wiederaufbau handle. Daher sei eine Ausnahmebewilligung auch aufgrund von Art. 24d RPG ausgeschlossen.
Bei dieser Sachlage konnte keine nachträgliche Baubewilligung erteilt werden. Zu prüfen war daher eine Wiederherstellung. Da die Bausubstanz endgültig verloren gegangen ist, erschien es dem Verwaltungsgericht unmöglich, im Rahmen eines Wiederaufbaus denjenigen Zustand zu erzielen, der dem dazumal bewilligten Baugesuch entsprechen würde. Es bestätigte daher unter Bejahung der Verhältnismässigkeit den vorinstanzlich angeordneten vollständigen Abbruch.
2.2 Das Verwaltungsgericht hat sich bei der Anwendung von Art. 24c und Art. 24d RPG auf die bundesgerichtliche Rechtsprechung gestützt. Danach ist Art. 24c RPG ausschliesslich auf Bauten anwendbar, die seinerzeit in Übereinstimmung mit dem materiellen Recht erstellt oder geändert wurden, jedoch durch die nachträgliche Änderung von Erlassen oder Plänen zonenwidrig geworden sind. Wird ein Wohnhaus nicht [recte: Wohnhaus durch] durch ein tatsächliches Verhalten wie der Aufgabe der landwirtschaftlichen Tätigkeit zonenwidrig, fällt Art. 24c RPG ausser Betracht (vgl. BGE 129 II 396 E. 4.2.1 S. 398; Urteil 1C_157/2011 vom 21. Juli 2011 E. 4.1; Urteil 1C_391/2010 vom 19. Januar 2011 E. 4.2). Umgekehrt ist nach Art. 24d RPG ein freiwilliger Abbruch und anschliessender Wiederaufbau grundsätzlich ausgeschlossen (vgl. BGE 137 II 338 E. 2.1 S. 340).
2.3 Die Anordnung einer Wiederherstellung des rechtmässigen Zustands oder eines Abbruchs stellt eine Eigentumsbeschränkung dar. Sie ist verfassungsrechtlich nur zulässig, wenn sie gemäss Art. 36 BV auf einer gesetzlichen Grundlage beruht, im öffentlichen Interesse liegt und verhältnismässig ist.
Im vorliegenden Fall hat der Beschwerdeführer nach Abschluss des Schriftenwechsels auf eine von den Eidgenössischen Räten am 23. Dezember 2011 beschlossene Änderung von Art. 24c RPG hingewiesen. Er macht sinngemäss geltend, diese Bestimmung würde ihm den geplanten Umbau ermöglichen und ihn daher vor einem Abbruch bewahren können.
Das öffentliche Interesse und die Verhältnismässigkeit einer Wiederherstellung des rechtmässigen Zustands oder eines Abbruchs erschienen als fragwürdig, wenn ein neuer Erlass gewissermassen als lex mitior das umstrittene Bauvorhaben abdecken würde, mit der Folge, dass das (nachträgliche) Baugesuch bewilligt und von einer Wiederherstellung bzw. dem Abbruch abgesehen werden könnte. Bei dieser Sachlage ist zu prüfen, ob eine Anwendung der Neufassung von Art. 24c RPG (im Folgenden: nRPG) grundsätzlich überhaupt in Betracht fällt.
3. 3.1 Gestützt auf den Bericht der Kommission für Umwelt, Raumplanung und Energie des Nationalrats vom 22. August 2011 (im Folgenden: Bericht bzw. Bericht UREK-N; BBl 2011, 7083) beschloss die Bundesversammlung am 23. Dezember 2011 eine Änderung der Abs. 2-5 von Art. 24c RPG (Referendumsvorlage in BBl 2012, 59); der Abs. 1 von Art. 24c RPG blieb unverändert. Die neuen Bestimmungen haben folgenden Wortlaut:
Art. 24c Abs. 2-5
2 Solche Bauten und Anlagen können mit Bewilligung der zuständigen Behörde erneuert, teilweise geändert, massvoll erweitert oder wiederaufgebaut werden, sofern sie rechtmässig erstellt oder geändert worden sind.
3 Dies gilt auch für landwirtschaftliche Wohnbauten sowie angebaute Ökonomiebauten, die rechtmässig erstellt oder geändert worden sind, bevor das betreffende Grundstück Bestandteil des Nichtbaugebietes im Sinne des Bundesrechts wurde. Der Bundesrat erlässt Vorschriften, um negative Auswirkungen auf die Landwirtschaft zu vermeiden.
4 Veränderungen am äusseren Erscheinungsbild müssen für eine zeitgemässe Wohnnutzung oder eine energetische Sanierung nötig oder darauf ausgerichtet sein, die Einpassung in die Landschaft zu verbessern.
5 In jedem Fall bleibt die Vereinbarkeit mit den wichtigen Anliegen der Raumplanung vorbehalten.
3.2 Die UREK-N führte in ihrem Bericht u.a. das Folgende aus:
"Seit das Bundesrecht die Trennung von Baugebiet und Nichtbaugebiet vorschreibt, werden Bauten und Anlagen privilegiert, die bereits rechtmässig bestanden, bevor das betreffende Grundstück Bestandteil des Nichtbaugebietes im Sinne des Bundesrechts wurde (nachfolgend «altrechtliche» Bauten bzw. Anlagen genannt). An einer solchen Privilegierung soll (...) festgehalten werden (Ziff. 2.1, S. 7086).
Altrechtlichen landwirtschaftlichen Wohnbauten wurden faktisch die gleichen Erweiterungsmöglichkeiten zugestanden wie den nichtlandwirtschaftlichen, mit zwei Einschränkungen: Erstens wurden wegen der in der Regel bei aufgegebenen Landwirtschaftsbetrieben vorhandenen Reserven an ungenutztem Gebäudevolumen Erweiterungen grundsätzlich nur innerhalb des bestehenden Gebäudevolumens zugelassen. Und zweitens wurde auf das Recht verzichtet, solche Wohnbauten freiwillig abbrechen und wieder aufbauen zu können. Insbesondere wurde befürchtet, wegen der grossen Anzahl solcher Bauten könnte eine allzu grosszügige Regelung bezüglich Abbruch und Wiederaufbau dazu führen, dass das Landschaftsbild im ländlichen Raum seinen Charakter mittel- bis langfristig verlieren könnte. Um negative Auswirkungen zu vermeiden, wurden damals zudem weitere ausdrückliche Bewilligungsvoraussetzungen vorgesehen (Art. 24d Abs. 3 RPG; Ziff. 2.1, S. 7086).
Mit der Revision soll nun bewirkt werden, dass künftig für altrechtliche Wohnbauten sowie für solche mit angebauten Ökonomieteilen die gleichen Veränderungsmöglichkeiten bestehen, unabhängig davon, ob sie 1972 landwirtschaftlich oder nichtlandwirtschaftlich bewohnt beziehungsweise genutzt wurden. Dazu wird der Anwendungsbereich von Artikel 24c erweitert (Ziff. 2.2, S. 7087).
Für das Ausmass der zulässigen Änderungen an altrechtlichen Wohnbauten sollen grundsätzlich die - grosszügigeren - Grenzen weiter gelten, die bisher nach Artikel 24c anwendbar waren. Insbesondere soll grundsätzlich der freiwillige Abbruch und Wiederaufbau möglich bleiben bzw. werden (Ziff. 2.2, S. 7087).
Mit einer Präzisierung soll allerdings ein Zeichen gesetzt werden, um dem schleichenden Verlust des Charakters der landwirtschaftlich geprägten Landschaften durch Abbruch und Wiederaufbau entgegenzuwirken: Es soll ausdrücklich im Gesetz verankert werden, dass Veränderungen am äusseren Erscheinungsbild für eine zeitgemässe Wohnnutzung oder eine energetische Sanierung nötig oder darauf ausgerichtet sein müssen, die Einpassung in die Landschaft zu verbessern (Ziff. 2.2, S. 7087).
Die Absätze 2 und 5 entsprechen dem Absatz 2 nach geltendem Recht. Absatz 3 bewirkt die Gleichstellung altrechtlicher landwirtschaftlicher Wohnbauten, einschliesslich der zum Teil angebauten Ökonomieteile mit den entsprechenden nichtlandwirtschaftlichen Wohnbauten. Diese Bauten müssen rechtmässig erstellt oder geändert worden sein, bevor das betreffende Grundstück Bestandteil des Nichtbaugebietes im Sinne des Bundesrechts wurde (Erläuterungen, Art. 24c Abs. 2-5, Ziff. 3, S. 7088).
Allerdings darf es sich hierbei gemäss Artikel 24c Absatz 2 bloss um eine massvolle Erweiterung der bestehenden Wohnnutzung handeln (vgl. hierzu auch Art. 42 Abs. 3 der Raumplanungsverordnung vom 28. Juni 2000, RPV; SR 700.1). Neu soll diese Möglichkeit explizit im Gesetz erwähnt werden (Erläuterungen, Art. 24c Abs. 2-5, Ziff. 3, S. 7088).
Mit Absatz 4 schliesslich soll insbesondere verhindert werden, dass die Landschaft ihren Charakter nach und nach verliert, weil traditionelle Wohnbauten abgebrochen und durch Bauten ersetzt werden, die einen sichtbar anderen Charakter haben (Erläuterungen, Art. 24c Abs. 2-5, Ziff. 3, S. 7088).
Absatz 2 wird, da gegenüber dem geltenden Recht unverändert, nur so weit erläutert, als dies für das Verständnis der Tragweite nötig ist. Solche Bauten und Anlagen bezieht sich auf Absatz 1 und meint demnach bestimmungsgemäss nutzbare Bauten und Anlagen ausserhalb der Bauzonen, die nicht mehr zonenkonform sind. Dies sind Bauten und Anlagen, die bestanden, bevor das betreffende Grundstück Bestandteil des Nichtbaugebietes im Sinne des Bundesrechts wurde, und die damals nichtlandwirtschaftlich genutzt wurden (vgl. dazu Art. 41 RPV und Bundesamt für Raumentwicklung, Neues Raumplanungsrecht, Erläuterungen zur Raumplanungsverordnung und Empfehlungen für den Vollzug, Bern 2001, Register V, «Bewilligungen nach Artikel 24c RPG: Änderungen an zonenwidrig gewordenen Bauten und Anlagen» [nachfolgend: Bewilligungen nach Artikel 24c RPG]). Bezüglich der Frage, was mit erneuert, teilweise geändert, massvoll erweitert oder wiederaufgebaut gemeint ist, kann auf Artikel 42 RPV, auf die Publikation «Bewilligungen nach Artikel 24c RPG» sowie auf die bundesgerichtliche Rechtsprechung verwiesen werden (Erläuterungen, Art. 24c Abs. 2-5, Ziff. 3, S. 7089).
Mit Wohnbauten in Absatz 3 sind einmal alle Bauten gemeint, in denen ganzjährig gewohnt wird, und die noch bestimmungsgemäss nutzbar sind (vgl. Art. 24c Abs 1 RPG). (...) Insbesondere bei Abbruch und Wiederaufbau werden solche Bauten allerdings in der Regel an die Grenze der Wesensgleichheit stossen. Aus Gründen der Rechtssicherheit wird der Bundesrat in der Verordnung bei Bedarf diesbezüglich vollzugstaugliche Schranken zu setzen haben (Erläuterungen, Art. 24c Abs. 2-5, Ziff. 3, S. 7089)."
3.3 Aufgrund der Neufassung von Art. 24c nRPG ergibt sich das Folgende: Wie bisher werden nach Abs. 1 bestimmungsgemäss nutzbare Bauten ausserhalb der Bauzonen, die nicht mehr zonenkonform sind, in ihrem Bestand geschützt. Unverändert können solche Bauten mit behördlicher Bewilligung erneuert, teilweise geändert, massvoll erweitert oder wiederaufgebaut werden, sofern sie rechtmässig erstellt oder geändert worden sind (Art. 24c Abs. 2 Satz 1 RPG bzw. Art. 24c Abs. 2 nRPG). Das gilt neu auch für landwirtschaftliche Wohnbauten, die rechtmässig erstellt oder geändert worden sind, bevor das betreffende Grundstück Bestandteil des Nichtbaugebietes im Sinne des Bundesrechts wurde (Art. 24c Abs. 3 Satz 1 nRPG). Die Neuregelung bezweckt, die Beschränkung des Abbruchs und Wiederaufbaus von landwirtschaftlichen Bauten gemäss Art. 24d Abs. 3 RPG zu beseitigen. Sie bewirkt die Gleichstellung altrechtlicher landwirtschaftlicher Wohnbauten. Es sollen künftig für alle altrechtlichen Wohnbauten die gleichen Veränderungsmöglichkeiten bestehen, unabhängig davon, ob sie 1972 landwirtschaftlich oder nichtlandwirtschaftlich bewohnt und genutzt wurden.
In Anbetracht des Wortlauts und der Zielsetzung der Neuregelung ist es für die entsprechenden Bauten nicht mehr entscheidend, ob die Zonenwidrigkeit der Baute auf eine Erlass- oder Planänderung zurückgeht oder ob sie durch tatsächliches Verhalten wie insbesondere der Aufgabe eines Landwirtschaftsbetriebs bewirkt worden ist (vgl. zur bisherigen Rechtsprechung oben E. 2.2). Das hat wiederum zur Folge, dass die entsprechenden Bauten gemäss Art. 24c Abs. 2 und 3 nRPG - neben der Erneuerung, teilweisen Änderung und massvollen Erweiterung - bei gegebenen Umständen nach einem entsprechenden Abbruch auch wieder aufgebaut werden können.
3.4 Diese neue Regelung im Raumplanungsgesetz ist geeignet, sich auf die vorliegende Sache auszuwirken. Insbesondere kann nicht ausgeschlossen werden, dass nunmehr die Neufassung von Art. 24c RPG zur Anwendung kommt und insoweit grundsätzlich auch ein Wiederaufbau in Betracht fällt, nachdem der Beschwerdeführer das Wohnhaus zu einem beträchtlichen Teil abgebrochen hat. Demgegenüber hat das Verwaltungsgericht im angefochtenen Entscheid die Anwendbarkeit der bisherigen Regelung von Art. 24c RPG im vorliegenden Fall ausgeschlossen.
Die Neuregelung von Art. 24c nRPG ist am 23. Dezember 2011 verabschiedet worden. Die Referendumsfrist läuft bis am 13. April 2012. Es zeichnet sich ab, dass kein Referendum ergriffen wird, und es kann damit gerechnet werden, dass die Regelung auf den Herbst 2012 in Kraft gesetzt wird. Zu einer Revision der Raumplanungsverordnung liegt ein Entwurf vor, der bis am 1. Juni 2012 in Vernehmlassung steht.
Bei dieser Sachlage wäre es im Sinne von Art. 36 BV unverhältnismässig, das Wohnhaus des Beschwerdeführers entsprechend dem angefochtenen Entscheid des Verwaltungsgerichts abzubrechen, ohne die Möglichkeit der Anwendung von Art. 24c nRPG eingehender zu prüfen. Daran ändert nichts, dass die Neuregelung des Gesetzs und der Verordnung noch nicht in Kraft sind. Die zurzeit vorhandenen Grundlagen sollten für eine Beurteilung ausreichen. Wäre dies nicht der Fall, so könnte mit einer Neubeurteilung auch noch zugewartet werden.
3.5 Eine Neubeurteilung hat von der dargestellten Neuregelung von Art. 24c nRPG auszugehen. Auf der einen Seite ist somit zu prüfen, ob die neuen Bestimmungen des Raumplanungsgesetzes (und allenfalls der Raumplanungsverordnung) generell gesehen auf den vorliegenden Sachverhalt angewendet werden können.
Ist dies der Fall, so sind auf der andern Seite die Randbedingungen einer sorgfältigen Prüfung zu unterziehen. Im Sinne von Art. 24c Abs. 3 nRPG sind allfällige negative Auswirkungen auf die Landwirtschaft zu untersuchen. Ferner ist zu prüfen, ob das Bauprojekt vor Art. 24c Abs. 4 nRPG standhält. Danach müssen Veränderungen am äusseren Erscheinungsbild für eine zeitgemässe Wohnnutzung oder eine energetische Sanierung notwendig sein oder darauf ausgerichtet sein, die Einpassung in die Landschaft zu verbessern. Ganz allgemein ist die Vereinbarkeit mit den wichtigen Anliegen der Raumplanung vorbehalten (Art. 24c Abs. 5 nRPG bzw. Art. 24c Abs. 2 Satz 2 RPG). Darüber hinaus hat die UREK-N darauf hingewiesen, dass nach Art. 24c Abs. 2 nRPG bloss massvolle Erweiterungen zugelassen sind, und hat hierfür auf Art. 42 Abs. 3 RPV verwiesen. Ferner hat sie ausgeführt, dass mit Art. 24c Abs. 4 nRPG vermieden werden soll, dass die Landschaft ihren Charakter nach und nach verliert, weil traditionelle Wohnbauten abgebrochen und durch Bauten ersetzt werden, die einen sichtbar andern Charakter haben. Schliesslich hat sie festgehalten, dass die Begriffe der Erneuerung, teilweisen Änderung, massvollen Erweiterung und des Wiederaufbaus nach wie vor im Sinne von Art. 42 RPV, der einschlägigen Publikationen und der bundesgerichtlichen Praxis zu verstehen seien.
4. Zusammenfassend ergibt sich, dass die Dispositiv-Ziffer 1 des angefochtenen Urteils in Bezug auf das Wohnhaus in Gutheissung der Beschwerde aufzuheben ist. Die Sache ist an das Verwaltungsgericht zu neuer Prüfung unter dem Gesichtswinkel von Art. 24c nRPG zurückzuweisen (mit der Möglichkeiten einer weitern Rückweisung an die zuständigen Verwaltungsbehörden). Ferner sind auch die Dispositiv-Ziffern 3 und 4 aufzuheben. Das Verwaltungsgericht wird über die Kostenregelung im kantonalen Verfahren neu befinden (vgl. Art. 68 Abs. 5 BGG). Im Übrigen wird es allfällig erforderliche vorsorgliche Anordnungen zu treffen haben.
Der Beschwerdeführer hat zudem Dispositiv-Ziffer 2 des angefochtenen Entscheids angefochten. Danach wird zur Sicherung des Verbots, den Stall zonenwidrig zu nutzen und insbesondere eine hobbymässige Tierhaltung zu betreiben, das Grundbuchamt Flums angewiesen, zulasten des Grundstücks die öffentlich-rechtliche Eigentumsbeschränkung "Verbot für zonenwidrige Nutzung nach RPV" einzutragen. - Der Beschwerdeführer begründet in seiner Beschwerdeschrift nicht, dass und inwieweit eine solche Eigentumsbeschränkung gegen Bundesrecht verstossen sollte. Er legt auch nicht dar, inwiefern er im Sinne von Art. 89 Abs. 1 BGG durch die Dispositiv-Ziffer 2 besonders berührt sei und ein schutzwürdiges Interesse an der Aufhebung des rein deklaratorischen Eintrags im Grundbuch habe. Insoweit fällt in Betracht, auf die Beschwerde gar nicht einzutreten. Es rechtfertigt sich indes, zusammen mit Dispositiv-Ziffer 1 (soweit das Wohnhaus betreffend) auch Dispositiv-Ziffer 2 aufzuheben, um eine gesamthafte Neubeurteilung zu erlauben.
Bei diesem Ausgang des Verfahrens sind keine Kosten zu erheben. Dem Beschwerdeführer ist keine Parteientschädigung zuzusprechen. Denn die Gutheissung der Beschwerde ist ausschliesslich auf die RPG-Revision und die Eingabe vom 23. Dezember 2011 zurückzuführen und weist keinen Zusammenhang mit der ursprünglichen Beschwerde vom 21. April 2011 auf.
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen; Dispositiv-Ziffer 1 in Bezug auf das Wohnhaus und die Dispositiv-Ziffern 2-4 des Urteils des Verwaltungsgerichts des Kantons St. Gallen vom 16. März 2011 werden aufgehoben. Die Sache wird dem Verwaltungsgericht zu neuer Prüfung im Sinne der Erwägungen zurückgewiesen.
2. Es werden keine Kosten erhoben.
3. Es wird keine Parteientschädigung zugesprochen.
4. Dieses Urteil wird den Parteien, der Politischen Gemeinde Flums, dem Baudepartement und dem Verwaltungsgericht des Kantons St. Gallen und dem Bundesamt für Raumentwicklung schriftlich mitgeteilt.
Lausanne, 15. März 2012
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Steinmann