Sachverhalt:
A.
A._ erwarb im Jahr 2006 im Gebiet "Valdarsch" der Gemeinde Flums die in der Landwirtschaftszone sowie im Schongebiet "Lebensraum bedrohter Arten" gemäss kantonalem Richtplan gelegene Parzelle Nr. 988. Diese hatte eine Fläche von rund 5,5 ha und war zu rund einem Drittel bewaldet sowie mit einem Wohnhaus, einem Nebengebäude, einem Unterstand und einem Stall überbaut. Im Jahr 2007 wurde ein 966 m 2 grosser Grundstücksteil mit dem Wohnhaus und dem Nebengebäude abparzelliert (Parzelle Nr. 3603). Im Januar 2008 bewilligte der Gemeinderat Flums unter anderem gestützt auf die zustimmende raumplanungsrechtliche Teilverfügung des kantonalen Amts für Raumentwicklung (heute Amt für Raumentwicklung und Geoinformation [AREG]) eine Sanierung des Wohnhauses und den Abbruch der Remise.
B.
Im Juli 2008 und Januar 2009 verfügte der Gemeinderat wegen unbewilligter Bauarbeiten am Stall und am Wohnhaus Baustopps, worauf A._ hinsichtlich beider Gebäude nachträgliche Baugesuche einreichte. Diese wies der Gemeinderat im Juni 2009 gestützt auf die ablehnenden raumplanungsrechtlichen Teilverfügungen des AREG ab; zudem ordnete er den Abbruch des Wohnhauses und des Stalls an. Dagegen gelangte A._ zunächst erfolglos an das Baudepartement und anschliessend an das Verwaltungsgericht des Kantons St. Gallen, das die Abbruchanordnung hinsichtlich des Stalls aufhob und stattdessen ein Verbot zonenwidriger Nutzung verfügte, ansonsten das Rechtsmittel aber abwies. Die von A._ dagegen erhobene Beschwerde hiess das Bundesgericht im März 2012 wegen einer absehbaren wesentlichen Änderung des Raumplanungsrechts gut (vgl. Urteil 1C_187/2011 vom 15. März 2012). Es wies die Sache zu neuer Prüfung im Sinne der Erwägungen an das Verwaltungsgericht zurück, das sie an die Gemeinde weiterverwies.
C.
Während der erneuten öffentlichen Auflage der Baugesuchsunterlagen im Juni 2012 erhoben B._ (zum zweiten Mal) und der WWF Schweiz (neu) Einsprache. Mit Entscheid vom 1. Juli 2013 hiess der Gemeinderat die Einsprache des WWF gut und wies die beiden nachträglichen Baugesuche gestützt auf die ablehnende raumplanungsrechtliche Teilverfügung des AREG vom 6. Juni 2013 ab; zudem ordnete er den Abbruch des Wohnhauses und die Wiederherstellung des Stalls an. B._ setzte er Frist zur Erhebung einer Zivilklage an. Den von A._ dagegen erhobenen Rekurs hiess das Baudepartement am 30. Mai 2016 insoweit gut, als es die Wiederherstellungsanordnung für den Stall aufhob und stattdessen ein Verbot zonenwidriger Nutzung verfügte; im Übrigen wies es ihn ab.
D.
Gegen den Rekursentscheid gelangte A._ an das Verwaltungsgericht. Mit Entscheid vom 23. Mai 2018 stellte dieses fest, B._ sei zu Unrecht am Verfahren beteiligt worden; ansonsten wies es das Rechtsmittel ab, soweit darauf einzutreten sei.
E.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 2. Juli 2018 an das Bundesgericht beantragt A._ im Wesentlichen, den Entscheid des Verwaltungsgerichts aufzuheben, soweit damit seinem Rechtsmittel nicht stattgegeben worden sei, und die Sache zur Bewilligung des nachträglichen Baugesuchs zum Wohnhaus zurückzuweisen oder dieses Gesuch zu bewilligen. Subeventuell sei für das Wohnhaus anstelle der Abbruchanordnung ein Benutzungsverbot zu verfügen und eine Frist von fünf Jahren zur Veräusserung des Grundstücks zur landwirtschaftlichen Nutzung anzusetzen.
Der Gemeinderat hat auf eine Vernehmlassung verzichtet. Der WFF Schweiz, das Baudepartement und das Verwaltungsgericht sowie das Bundesamt für Raumentwicklung ARE schliessen auf Abweisung der Beschwerde. A._ hat keine weitere Stellungnahme eingereicht.
F.
Mit Verfügung vom 28. August 2018 erteilte der Präsident der I. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde die aufschiebende Wirkung.
Erwägungen:
1.
Angefochten ist ein kantonal letztinstanzlicher Endentscheid über die Bewilligungsfähigkeit zweier (bereits begonnener) Bauvorhaben sowie die Zulässigkeit einer Abbruchanordnung und eines Verbots zonenwidriger Nutzung. Dagegen steht die Beschwerde in öffentlich-rechtlichen Angelegenheiten offen (vgl. Art. 82 lit. a, Art. 86 Abs. 1 lit. d und Abs. 2 sowie Art. 90 BGG); ein Ausschlussgrund nach Art. 83 BGG liegt nicht vor. Der Beschwerdeführer nahm am vorinstanzlichen Verfahren teil, ist durch den angefochtenen Entscheid auch materiell beschwert und damit nach Art. 89 Abs. 1 BGG zur Beschwerde legitimiert. Auch sonst steht einem Sachurteil grundsätzlich nichts entgegen.
2.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann insbesondere die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). Das Bundesgericht wendet dieses von Amtes wegen an (Art. 106 Abs. 1 BGG). Es prüft die bei ihm angefochtenen Entscheide aber grundsätzlich nur auf Rechtsverletzungen hin, die der Beschwerdeführer vorbringt und begründet (vgl. Art. 42 Abs. 2 BGG). Erhöhte Anforderungen an die Begründung gelten, soweit die Verletzung von Grundrechten gerügt wird (Art. 106 Abs. 2 BGG). Das Bundesgericht legt seinem Urteil weiter den von der Vorinstanz festgestellten Sachverhalt zugrunde (Art. 105 Abs. 1 BGG). Es kann deren Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG). Die beschwerdeführende Person wiederum darf die vorinstanzliche Sachverhaltsfeststellung nur rügen, wenn sie mit einem solchen Mangel behaftet ist und dessen Behebung für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Eine entsprechende Rüge ist substanziiert vorzubringen (Art. 42 Abs. 2 BGG i.V.m. Art. 106 Abs. 2 BGG). Neue Tatsachen und Beweismittel dürfen nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (Art. 99 Abs. 1 BGG).
3.
3.1. Der Beschwerdeführer rügt in formeller Hinsicht als Erstes, die Verfahrensleiterin des Baudepartements habe ihn noch vor der Gewährung des rechtlichen Gehörs zum Augenscheinprotokoll zum Rückzug des Rekurses gedrängt und ihm für den Unterlassungsfall alternativlos angedroht, beim formell für den Rekursentscheid verantwortlichen Departementsvorsteher die kostenfällige Abweisung des Rechtsmittels zu beantragen. Obschon sie deshalb zum Ausstand verpflichtet gewesen wäre und er gegen sie und ihre Vorgesetzten umgehend ein entsprechendes Begehren gestellt habe, habe sie am Rekursentscheid mitgewirkt und diesen samt der Ablehnung des Ausstandsbegehrens vollständig redigiert. Damit sei der angefochtene Entscheid aufzuheben und die Sache zu neuer Prüfung und neuem Entscheid durch eine unbefangene "Verfahrensleitung" an die Vorinstanzen zurückzuweisen, zumal ihm unter den genannten Umständen das rechtliche Gehör zum Augenscheinprotokoll bloss scheinbar gewährt worden sei.
3.2. In Verfahren vor Gerichts- und Verwaltungsinstanzen hat jede Person Anspruch auf gleiche und gerechte Behandlung (Art. 29 Abs. 1 BV). Dieses Grundrecht umfasst in Verfahren vor nichtgerichtlichen Behörden auch das Gebot der Unbefangenheit. Es verpflichtet eine rechtmässig mitwirkende Amtsperson in Analogie zu Art. 30 Abs. 1 BV zum Ausstand, wenn Umstände vorliegen, die nach objektiven Gesichtspunkten geeignet sind, den Anschein der Befangenheit und Voreingenommenheit zu erwecken. Im Kern der Garantie der Unbefangenheit steht bei Richtern wie Verwaltungsbeamten, dass sie sich in Bezug auf die Beurteilung des Sachverhalts nicht bereits festgelegt haben. Die für Gerichte geltenden Anforderungen können allerdings nicht unbesehen auf das Verwaltungsverfahren übertragen werden (vgl. zum Ganzen BGE 140 I 326 E. 5.2 S. 329 f.; 139 I 121 E. 5.1 S. 125 f.).
Die Mitteilung einer vorläufigen Einschätzung der Prozessaussichten vonseiten des zuständigen Richters bzw. Referenten an eine Verfahrenspartei kann den Anschein der Befangenheit erwecken. Zwar sind mögliche zulässige Fälle denkbar, etwa wenn einer Partei mit dem Hinweis auf einen allfälligen Rückzug möglicherweise weitere Kosten und ein aufwändiges Verfahren erspart werden können. Grundsätzlich ist mit Blick auf den Anspruch auf einen unbefangenen Richter jedoch grosse Zurückhaltung geboten. Keinesfalls sollte ein Richter den Rückzug des Rechtsmittels fordern und dabei offen oder verdeckt Druck ausüben. Ebenso wenig darf der Eindruck entstehen, er wolle sich mit der Sache nicht urteilsmässig befassen (vgl. zum Ganzen BGE 137 I 227, insb. E. 2.6.4 S. 234; 134 I 238, insb. E. 2.4 S. 242 f.).
3.3. Vorliegend setzte die mit der Leitung des Rekursverfahrens betraute Juristin der Rechtsabteilung des Baudepartements den Parteien mit Schreiben vom 4. September 2015 Frist an, um sich zum Augenscheinprotokoll zu äussern. Anschliessend legte sie unter Hinweis auf eine offenbar am Augenschein erfolgte Ankündigung ihre "vorläufige Beurteilung" der Streitsache dar bzw. führte aus, wieso die nachträglichen Baugesuche des Beschwerdeführers zum Wohnhaus und zum Stall auch nach den geänderten raumplanungsrechtlichen Bestimmungen nicht bewilligungsfähig seien. Abschliessend hielt sie Folgendes fest (ohne Hervorhebung im Original) :
Aufgrund dieser vorläufigen Beurteilung lade ich den Rekurrenten ein, den eingangs erwähnten Rekurs bis 21. September 2015 zurückzuziehen. Das Rekursverfahren würde sodann ohne Auferlegung von amtlichen Kosten und unter vollständiger Rückerstattung des geleisteten Kostenvorschusses von der Geschäftsliste des Baudepartements abgeschrieben (Art. 57 Abs. 1 VRP). Sollte der Rekurrent am Rekurs festhalten, würde als Nächstes ein kostenpflichtiger Entscheid ergehen, wobei dem Vorsteher des Baudepartements eine Abweisung des Rekurses beantragt werden müsste.
Angesichts dieser grundsätzlich zurückhaltenden und sachlichen Formulierung erscheint die Darstellung des Beschwerdeführers, die Verfahrensleiterin habe ihn zum Rückzug des Rekurses "gedrängt" und ihm für den gegenteiligen Fall einen Antrag auf kostenpflichtige Abweisung "angedroht", als überzogen. Dass ihn die Verfahrensleiterin unter Druck gesetzt hätte, den Rekurs zurückzuziehen, oder einen Rückzug gefordert hätte, ist nicht ersichtlich. Hingegen teilte sie ihm und den weiteren Verfahrensbeteiligten noch vor Eingehen allfälliger Stellungnahmen zum Augenscheinprotokoll gestützt auf ihre "vorläufige Beurteilung" mit, bei einem Festhalten am Rekurs "müsste" dessen Abweisung beantragt werden. Es stellt sich deshalb die Frage, ob sie aus diesem Grund den Anschein der Befangenheit erweckte.
3.4. Das Bundesgericht führte in seiner Rechtsprechung zur Mitteilung einer vorläufigen Einschätzung der Prozessaussichten aus, mache der Referent schon im Voraus aktiv eine derartige Mitteilung, werde der Eindruck erweckt, er habe sich bereits eine abschliessende Meinung gebildet und das Verfahren - auch unter Beachtung der noch bevorstehenden Berufungsverhandlung - sei nicht mehr offen, der Prozess somit bereits verloren. Der Betroffene werde nicht ohne Weiteres verstehen, dass die Mitteilung des Referenten - nach durchgeführtem Verfahren vor erster Instanz - möglicherweise auf eine Ersparnis an Aufwand und Kosten im Rechtsmittelverfahren abziele. Vielmehr bekomme er den Eindruck, dass die Berufungssache in rascher Weise erledigt werden solle, "kurzer Prozess" gemacht werde. Bei dieser Sachlage erwecke der den Kontakt mit dem Rechtsvertreter aufnehmende Referent den Anschein, in der Sache nicht mehr offen und daher voreingenommen zu sein. Die Partei könne mit Grund befürchten, der Referent unterziehe seine geäusserte Auffassung anlässlich der Verhandlung und Beratung nicht mehr einer unvoreingenommenen Prüfung. Das Misstrauen in die Unvoreingenommenheit des Richters erscheine in einer solchen Situation aus objektiver Sicht als begründet (vgl. BGE 137 I 227 E. 2.6.2 S. 232 f.; 134 I 238 E. 2.6 S. 245 ff.).
Die vorliegende Streitsache unterscheidet sich in verschiedener Hinsicht von den in dieser Rechtsprechung beurteilten Fällen, in denen jeweils ein Oberrichter vor der Durchführung der strafrechtlichen Berufungsverhandlung auf eigene Initiative mit dem Rechtsvertreter des erstinstanzlich Verurteilten Kontakt aufgenommen hatte. Insbesondere erfolgte die Mitteilung der vorläufigen Einschätzung der Prozessaussichten in einem Rekursverfahren vor einer nichtgerichtlichen Verwaltungsbehörde und erst nach weitgehender Durchführung dieses Verfahrens sowie vonseiten der den Rechtsmittelentscheid lediglich vorbereitenden verfahrensleitenden Juristin der departementsinternen Rechtsabteilung. Auch war sie offenbar vorgängig angekündigt worden, ohne dass - soweit ersichtlich - der Beschwerdeführer, der sich im bis dahin durchgeführten Verfahren bereits ausführlich zur Sache geäussert hatte, dieses Vorgehen beanstandet hätte. Unter diesen Umständen erweckte die Mitteilung nicht den Eindruck, der Rekurs solle in rascher Weise erledigt werden bzw. es werde "kurzer Prozess" gemacht. Vielmehr legte sie in erster Linie nahe, dem Beschwerdeführer solle vor dem bevorstehenden Abschluss des Rekursverfahrens in einem Zeitpunkt, in dem die Verfahrensleiterin keine wesentlichen neuen Erkenntnisse mehr erwartete, empfohlen und Gelegenheit gegeben werden, den als nicht erfolgversprechend beurteilten Rekurs zurückzuziehen und dadurch unnötige Kosten zu sparen. Auch wenn mit der Mitteilung zusätzlich die Hoffnung verbunden gewesen sein mag, weiteren Aufwand für die Rekursinstanz zu vermeiden, erschien sie somit vorwiegend als Dienstleistung zugunsten des Beschwerdeführers. Bei dieser Sachlage hatte dieser grundsätzlich keinen begründeten Anlass zur Befürchtung, die Verfahrensleiterin werde sich allfälligen massgeblichen Vorbringen in seiner Stellungnahme zum Augenscheinprotokoll von vornherein verschliessen, auch wenn gewisse Zweifel nahe gelegen haben mögen. Wie es sich damit genau verhält und ob in der vorliegenden Konstellation gegebenenfalls nach Art. 29 Abs. 1 BV von einer Ausstandspflicht der Verfahrensleiterin auszugehen wäre, kann allerdings aus folgendem Grund offenbleiben.
3.5. Der Anspruch auf eine unbefangene Entscheidinstanz ist formeller Natur. Ein Entscheid, der in Missachtung der Ausstandsvorschriften getroffen wurde, ist deshalb regelmässig unabhängig von den Erfolgsaussichten in der Sache selbst aufzuheben. Die bundesgerichtliche Praxis lässt indes eine Heilung zu und sieht im Interesse der Verwaltungseffizienz von einer Aufhebung ausnahmsweise ab, wenn die Ausstandspflichtverletzung im Verwaltungsverfahren nicht schwer wiegt und ein Einfluss auf den Inhalt der Entscheidung praktisch ausgeschlossen werden kann (vgl. Urteil 1C_96/2014 vom 5. Mai 2014 E. 2.5 mit zahlreichen Hinweisen).
Die der Verfahrensleiterin des Baudepartements vorgeworfene unzulässige Mitwirkung am Rekursentscheid beträfe in der Sache im Wesentlichen die Würdigung und den Einbezug der nach der Mitteilung der Prozessaussichten erfolgten Stellungnahme des Beschwerdeführers zum Augenscheinprotokoll in die Entscheidfindung. Da diese Stellungnahme keine für den Entscheid ausschlaggebenden neuen Vorbringen enthielt (vgl. hinten E. 6.3 f.), wöge die Ausstandspflichtverletzung nicht schwer; zudem könnte ein Einfluss auf den Inhalt des Rekursentscheids praktisch ausgeschlossen werden. Wenn die Verfahrensleiterin - wie geltend gemacht wird - auch den Entscheid über das gegen sie gerichtete Ausstandsbegehren redigiert haben sollte, so hätte sie im Weiteren zwar an jenem mitgewirkt, obschon eine Mitwirkung am Entscheid über den eigenen Ausstand grundsätzlich unzulässig ist (vgl. Urteil 1C_96/2014 vom 5. Mai 2014 E. 2.4 mit Hinweisen). Den Entscheid über das Ausstandsbegehren hat aber jedenfalls der Departementsvorsteher gefällt. Eine schwere Missachtung der Ausstandspflicht würde insoweit deshalb nicht vorliegen (vgl. Urteil 1C_96/2014 vom 5. Mai 2014 E. 2.5). Zudem ist davon auszugehen, der Departementsvorsteher hätte angesichts der gegebenen Konstellation auch ohne Mitwirkung der Verfahrensleiterin gleich entschieden. Damit wären die Voraussetzungen für die Heilung einer Ausstandspflichtverletzung auch insoweit erfüllt. Soweit im Rekursverfahren vor dem Baudepartement eine derartige Verletzung erfolgte, ist diese daher im Ergebnis als durch den Entscheid der Vorinstanz geheilt zu betrachten.
3.6. Soweit der Beschwerdeführer ausserdem vorbringt, im Rekursverfahren sei ihm wegen der Befangenheit der Verfahrensleiterin lediglich zum Schein die Möglichkeit zur Stellungnahme zum Augenscheinprotokoll eingeräumt worden, hätte eine allfällige Gehörsverletzung im Ergebnis ebenfalls als im vorinstanzlichen Verfahren geheilt zu gelten (vgl. zu den Heilungsvoraussetzungen BGE 137 I 195 E. 2.3.2 S. 197 f. mit Hinweisen). Sie wöge nicht besonders schwer. Zudem wird aus der Begründung des angefochtenen Entscheids deutlich, dass die Vorinstanz, die den Sachverhalt und die Rechtslage frei überprüfen konnte (vgl. Art. 61 Abs. 1 und 2 des Gesetzes vom 16. Mai 1965 über die Verwaltungsrechtspflege des Kantons St. Gallen [VRP/SG; sGS 951.1]), die Stellungnahme zur Kenntnis nahm, jedoch nicht als ausschlaggebend beurteilte. Dass sie die Sache nicht an das Baudepartement zurückwies, was einem prozessualen Leerlauf gleichgekommen wäre, ist daher auch insoweit nicht zu beanstanden.
4.
4.1. Der Beschwerdeführer bringt in formeller Hinsicht weiter vor, der angefochtene Entscheid sei auch deshalb aufzuheben, weil er den Grundsatz der Bindungswirkung von Rückweisungsentscheiden und der Rechtskraftwirkung von Gerichtsentscheiden sowie die Legitimationsregel von Art. 12 des Bundesgesetzes vom 1. Juli 1966 über den Natur- und Heimatschutz (NHG; SR 451) verletze. Das Bundesgericht habe in seinem Rückweisungsentscheid lediglich verlangt, dass die Rechtsfrage der Anwendung von Art. 24c des Raumplanungsgesetzes vom 22. Juni 1979 (RPG; SR 700) in neuer Fassung und das Nutzungsverbot für den bereits rechtskräftig bewilligten Stall geprüft würden. Dennoch seien die beiden nachträglichen Baugesuche zum Wohnhaus und zum Stall erneut öffentlich aufgelegt worden. Zudem seien neue Einsprachen von B._ und vom WWF Schweiz zugelassen worden, obschon diese keine Befugnis zur Teilnahme am Verfahren gehabt hätten, was die Vorinstanz jedoch lediglich in Bezug auf Ersteren anerkannt habe.
4.2. Im Fall eines bundesgerichtlichen Rückweisungsentscheids hat die mit dem neuen Entscheid befasste kantonale Instanz ihrem Urteil die rechtliche Beurteilung zugrunde zu legen, mit der die Rückweisung begründet wird. Jene bindet auch das Bundesgericht, falls ihm die Sache erneut unterbreitet wird. Aufgrund dieser Bindungswirkung ist es den erneut mit der Sache befassten Gerichten wie auch den Parteien, abgesehen von allenfalls zulässigen Noven, verwehrt, der Überprüfung einen anderen als den bisherigen Sachverhalt zu unterstellen oder die Sache unter rechtlichen Gesichtspunkten zu prüfen, die im Rückweisungsentscheid ausdrücklich abgelehnt oder überhaupt nicht in Erwägung gezogen wurden. Der neue Entscheid der kantonalen Instanz ist somit auf diejenige Thematik beschränkt, die sich aus den bundesgerichtlichen Erwägungen als Gegenstand der neuen Beurteilung ergibt. Das Verfahren wird nur insoweit neu in Gang gesetzt, als dies notwendig ist, um den verbindlichen Erwägungen des Bundesgerichts Rechnung zu tragen (zum Ganzen BGE 135 III 334 E. 2 und E. 2.1 S. 335 f.; Urteil 6B_278/2017 vom 12. Februar 2018 E. 1.3; jeweils mit Hinweisen).
4.3. Das Bundesgericht kam in seinem Rückweisungsentscheid zum Schluss, die Vorinstanz habe das nachträgliche Baugesuch zum Wohnhaus nach dem damals geltenden Recht zutreffend als nicht bewilligungsfähig beurteilt. Wegen des absehbaren Inkrafttretens der geänderten Regelung von Art. 24c Abs. 2-5 RPG (Änderung vom 23. Dezember 2011 [AS 2012 5535]; in Kraft seit 1. November 2012) sei das Gesuch jedoch noch anhand dieser neuen Bestimmungen zu prüfen. Dispositivziffer 1 des Entscheids des Verwaltungsgerichts sei deshalb aufzuheben, soweit sie das Wohnhaus betreffe, und die Sache zu entsprechender Prüfung an das Verwaltungsgericht zurückzuweisen, das sie an die zuständigen Verwaltungsbehörden weiterverweisen könne. Um eine gesamthafte Neubeurteilung zu erlauben, rechtfertige es sich ausserdem, auch Dispositivziffer 2 dieses Entscheids aufzuheben, mit der das Verwaltungsgericht bezüglich des Stalls ein Verbot zonenwidriger Nutzung angeordnet habe. Aufzuheben seien zudem Dispositivziffern 3 und 4 (Kosten und Entschädigung).
Aus diesen Erwägungen wird deutlich, dass es dem Bundesgericht bei seinem Rückweisungsentscheid um eine gesamthafte Neubeurteilung der beiden nachträglichen Baugesuche zum Wohnhaus und zum Stall unter dem Gewichtswinkel der erwähnten neuen RPG-Regelung ging. Dem steht nicht entgegen, dass es in Bezug auf den Stall dem Wortlaut des Urteilsdispositivs nach bloss das Verbot zonenwidriger Nutzung aufhob und Dispositivziffer 1 des Entscheids des Verwaltungsgerichts lediglich bezüglich des Wohnhauses kassierte. Diese Einschränkung erfolgte, weil das Verwaltungsgericht mit dieser Dispositivziffer die von seinen Vorinstanzen verfügte bzw. bestätigte Anordnung zum Abbruch des Stalls aufgehoben und der Beschwerdeführer dies beim Bundesgericht nicht angefochten hatte. Sie zielte mithin nicht darauf ab, den Entscheid des Verwaltungsgerichts bezüglich der Frage der Bewilligungsfähigkeit des Baugesuchs zum Stall zu bestätigen. Dies ergibt sich auch daraus, dass das Verwaltungsgericht mit Dispositivziffer 1 seines Entscheids dem Rechtsmittel des Beschwerdeführers in Bezug auf den Stall lediglich hinsichtlich der Abbruchanordnung, nicht aber bezüglich der Bewilligung des nachträglichen Baugesuchs stattgeben hatte. Eine Bestätigung dieses Entscheids durch das Bundesgericht hätte die rechtskräftige Abweisung dieses Gesuchs bedeutet, was mit der Forderung einer gesamthaften Neubeurteilung im Rückweisungsentscheid nicht zu vereinbaren gewesen wäre.
4.4. Da das Bundesgericht die erwähnte Neubeurteilung der beiden nachträglichen Baugesuche verlangte und über keines dieser Gesuche bereits rechtskräftig entschieden war, verletzte deren erneute öffentliche Auflage den Grundsatz der Bindungswirkung von Rückweisungsentscheiden und der Rechtskraftwirkung von Gerichtsurteilen nicht. Vielmehr wurde damit dem Rückweisungsentscheid des Bundesgerichts angemessen Rechnung getragen, war doch nur so eine ordnungsgemässe Prüfung der beiden Gesuche unter dem Blickwinkel der damals absehbar in Kraft tretenden neuen RPG-Regelung möglich. Namentlich hatten dadurch auch die nach Art. 12 NHG beschwerdebefugten Organisationen die Möglichkeit, sich in Bezug auf diese Frage am Verfahren zu beteiligen und allfällige Einwände zu erheben. Dies gilt auch für Organisationen, die sich am ersten Verfahrenszug nicht beteiligt hatten. Da eine entsprechende Überprüfung der beiden Bauvorhaben nicht Gegenstand des ersten Umgangs gebildet hatte, sondern erst durch den Rückweisungsentscheid veranlasst wurde, gereichte diesen insoweit ihre Nichtteilnahme nach Art. 12 und 12c NHG nicht zum Nachteil. Dass sich der WWF Schweiz, der von der kantonalrechtlich bestehenden Möglichkeit zur Einsprache rechtzeitig Gebrauch machte, im zweiten Umgang neu am kantonalen Verfahren beteiligen konnte, verstösst demnach weder gegen den vom Beschwerdeführer genannten Art. 12 NHG noch sonst gegen Bundesrecht.
4.5. Der Beschwerdeführer macht im vorliegenden Zusammenhang ausserdem geltend, der Gemeinderat sei nicht auf seine Rügen betreffend die fehlende Legitimation der beiden Einsprecher und die Unzulässigkeit eines erneuten Einspracheverfahrens eingegangen und auch das Baudepartement habe sich mit seinen Legitimationsrügen nicht befasst. Damit hätten beide ihre Begründungspflicht sowie seinen Anspruch auf rechtliches Gehör verletzt; ausserdem liege eine formelle Rechtsverweigerung vor. Diese Kritik ist bezüglich der Verletzung der Begründungspflicht und damit des rechtlichen Gehörs grundsätzlich berechtigt. Der Gemeinderat und das Baudepartement äusserten sich in ihren Entscheiden nicht ausdrücklich zu den entsprechenden Vorbringen des Beschwerdeführers, auch wenn sie diese implizit zurückwiesen. Die Gehörsverletzungen wogen indes nicht besonders schwer. Die Vorinstanz ging in ihrem Entscheid zudem auf diese Fragen ein und hiess die Beschwerde in Bezug auf die Legitimation des Einsprechers B._ gut. Die Gehörsverletzungen haben deshalb im Ergebnis als im vorinstanzlichen Verfahren geheilt zu gelten (vgl. zu den Heilungsvoraussetzungen BGE 137 I 195 E. 2.3.2 S. 197 f. mit Hinweisen). Dass sich die unzulässige Teilnahme von B._ entscheidwesentlich zuungunsten des Beschwerdeführers ausgewirkt hätte, wie dieser ausserdem vorbringt, ist nicht ersichtlich.
5.
5.1. Der Beschwerdeführer rügt in formeller Hinsicht ausserdem, er habe seitens des Amts für Raumentwicklung und Geoinformation (AREG) weder Akteneinsicht noch Gelegenheit zur Stellungnahme erhalten. Im Verfahren der Gemeinde seien ihm bloss die beiden Einsprachen, nicht aber die (weiteren) entscheidrelevanten Akten zur Kenntnis gebracht worden, zu denen er sich auch nicht habe äussern können. Im Ergebnis habe er seinen Gehörsanspruch vor allem in der Rekursfrist wahrnehmen müssen, während der ihm die Verfahrensakten aber noch nicht eröffnet gewesen seien. Insoweit lägen somit Gehörsverletzungen vor. Die Vorinstanz habe sich im Weiteren mit seiner Rüge, die einverlangten Akten seien ihm in Verletzung seines Akteneinsichtsrechts vor Ablauf der Rekursschrift nicht zugestellt worden, nicht befasst. Auch dies sei eine Gehörsverletzung und auch deshalb sei der angefochtene Entscheid aufzuheben.
5.2. Werden Verwaltungsverfahren durch Gesuch eingeleitet, übernimmt in erster Linie die Gesuchseinreichung selbst die Funktionen des rechtlichen Gehörs (vgl. BGE 111 Ia 101 E. 2b S. 103 f.; Urteil 5A_648/2017 vom 22. Januar 2018 E. 4.2.2; MICHELE ALBERTIN i, Der verfassungsmässige Anspruch auf rechtliches Gehör im Verwaltungsverfahren des modernen Staates, Bern 2000, S. 322 f.). Dies gilt auch für das baurechtliche Gesuchsverfahren, und zwar umso mehr, wenn über das Gesuch in einem koordinierten Verfahren unter Beteiligung mehrerer Behörden entschieden wird. Aus dem verfassungsmässigen Anspruch auf rechtliches Gehör ergibt sich aber in allen Verfahren, die durch individuell-konkrete Anordnungen abzuschliessen sind, das Recht, zu allen Vorbringen der Behörden oder der Gegenpartei Stellung zu nehmen, die neu und materiell geeignet sind, den Entscheid zu beeinflussen (vgl. BGE 138 I 154 E. 2.3.2 S. 156 f.; Urteil 1C_597/2014 vom 1. Juli 2015 E. 3.6.2). Art. 29 Abs. 2 BV verpflichtet die Behörden zudem, die Berechtigten über entscheidwesentliche Aktenergänzungen zu informieren und ihnen Gelegenheit zur Stellungnahme einzuräumen (vgl. Urteil 1A.60/2002 E. 2.3 mit Hinweisen). Hingegen vermittelt der verfassungsmässige Gehörsanspruch grundsätzlich keinen Anspruch auf Einsichtnahme und Stellungnahme zu Verfügungsentwürfen (vgl. BGE 131 II 13 E. 4.2 S. 21 mit Hinweisen). Ebenso wenig besteht, von gewissen Ausnahmen abgesehen, eine Verpflichtung der Behörde, die Parteien vorgängig zur rechtlichen Würdigung anzuhören (vgl. Urteil 1C_597/2014 vom 1. Juli 2015 E. 3.6.3 mit Hinweisen).
5.3. Der Beschwerdeführer legt nicht dar, wieso ihm das AREG nach den vorstehend dargelegten Grundsätzen Gelegenheit zur Äusserung hätte geben müssen. Weder bringt er vor, es hätten Stellungnahmen oder Aktenergänzungen im erwähnten Sinn vorgelegen, noch macht er geltend, ausnahmsweise sei er berechtigt gewesen, sich zum Entwurf der raumplanungsrechtlichen Teilverfügung des AREG vom 6. Juni 2013 bzw. zu dessen rechtlicher Würdigung zu äussern. Er erläutert auch nicht, über welche Stellungnahmen oder Aktenergänzungen im erwähnten Sinn ihn das AREG hätte informieren bzw. hinsichtlich welcher derartiger Akten es ihm hätte Akteneinsicht gewähren sollen. Dies ist auch nicht ersichtlich. Mit der raumplanungsrechtlichen Teilverfügung verweigerte das AREG im Rahmen des koordinierten Baubewilligungsverfahrens in Verfügungsform und in für den Gemeinderat verbindlicher Weise die erforderliche Zustimmung zur Bewilligung der beiden nachträglichen Baugesuche zum Wohnhaus und zum Stall (vgl. insb. Art. 87 bis Abs. 2 des damals geltenden Baugesetzes vom 6. Juni 1972 des Kantons St. Gallen [BauG/SG; sGS 731.1]; Art. 112 des am 1. Oktober 2017 in Kraft getretenen neuen Planungs- und Baugesetzes vom 5. Juli 2016 des Kantons St. Gallen [PBG/SG; sGS 731.1]; Art. 25 Abs. 2 RPG). Die Teilverfügung bildete integrierender Bestandteil des Bauentscheids des Gemeinderats vom 1. Juli 2013 (Gesamtbauentscheid) und wurde dem Beschwerdeführer, wenn auch erst im zweiten Anlauf, zusammen mit diesem Entscheid eröffnet. Dies entsprach den Regeln des koordinierten Verfahrens (vgl. Art. 4 lit. f des damals geltenden Gesetzes vom 18. Juni 1998 über die Verfahrenskoordination in Bausachen des Kantons St. Gallen [VKoG/SG; sGS 731.2]; Art. 133 lit. f PBG/SG) und trug dem Gebot der formellen Koordination nach Art. 25a Abs. 2 lit. d RPG Rechnung. Obschon sich der Entscheid des Gemeinderats zwangsläufig auf die Teilverfügung des AREG stützte, handelte es sich bei dieser somit nicht um eine Stellungnahme oder eine Aktenergänzung im erwähnten Sinn (vgl. E. 5.2), hinsichtlich derer dem Beschwerdeführer im Verfahren der Gemeinde das rechtliche Gehör zu gewähren gewesen wäre. Auf die (ebenfalls negativen) Stellungnahmen des Tiefbauamts vom 8. Mai 2013 und des Amts für Energie und Wasser vom 13. Mai 2013 kam es angesichts der fehlenden kantonalen Zustimmung gemäss Art. 25 Abs. 2 RPG nicht mehr an, weshalb nicht weiter untersucht zu werden braucht, inwiefern insoweit ein Äusserungsrecht bestanden hätte.
5.4. Soweit der Beschwerdeführer ausserdem rügt, er habe seinen Gehörsanspruch vor allem während der Rekursfrist wahrnehmen müssen, während der ihm die Verfahrensakten aber noch nicht eröffnet gewesen seien, ist darauf hinzuweisen, dass ihm die Gemeinde am 4. Juli 2013 im zweiten Anlauf den Bauentscheid des Gemeinderats samt der raumplanungsrechtlichen Teilverfügung des AREG und den Stellungnahmen des Tiefbauamts und des Amts für Umwelt und Energie eröffnete. Damit verfügte er noch vor der Einreichung des Rekurses am 11. Juli 2013 über diese Dokumente. Welcher weiterer, ihm nicht bekannter Dokumente er für die Abfassung des Rekurses bedürft hätte, erläutert er nicht. Die Rechtsabteilung des Baudepartements räumte ihm im Weiteren eine Nachfrist bis zum 30. August 2013 ein, um seinen Rekurs zu ergänzen, worauf er am 29. August 2013 eine ergänzte Rekursschrift einreichte, der neu ein Aktenverzeichnis der Gemeinde vom 11. Juli 2013 beigelegt war, auf das er sich in der ergänzten Rekursschrift auch bezog. Dass und gegebenenfalls wieso ihm trotz dieses ihm vorliegenden Aktenverzeichnisses und der gewährten Nachfrist allfällige für die Abfassung des Rekurses zusätzlich erforderliche Dokumente nicht bekannt gewesen wären bzw. gewesen sein sollten, erklärt er nicht. Auch insoweit ist daher keine Gehörsverletzung ersichtlich.
5.5. Unbegründet ist schliesslich auch der Vorwurf des Beschwerdeführers, die Vorinstanz habe sich mit seiner Rüge, die einverlangten Akten seien ihm bis zum Ablauf der Rekursfrist nicht zugestellt worden, in gehörsverletzender Weise nicht befasst. Der Beschwerdeführer wies in seiner Beschwerde an die Vorinstanz lediglich mit zwei Sätzen darauf hin, dass ihm die einverlangten Akten bis zur Rekurseingabe nicht zugestellt worden seien, ohne dies mit dem Vorwurf der Verletzung des Akteneinsichtsrechts zu verbinden. Seine weiteren Ausführungen im fraglichen Zusammenhang wie auch die konkret gerügten Gehörsverletzungen bezogen sich auf die angeblichen Mängel im Verfahren des AREG und der Gemeinde. Bei dieser Sachlage brauchte die Vorinstanz nicht auf seine Bemerkung einzugehen.
5.6. Soweit der Beschwerdeführer im Rahmen seiner materiellen Ausführungen weitere Gehörsverletzungen rügt, ist darauf im jeweiligen Zusammenhang einzugehen.
6.
6.1. Der Beschwerdeführer rügt in materieller Hinsicht als Erstes, die Vorinstanz sei zu Unrecht zum Schluss gekommen, das Wohnhaus sei bei Baubeginn nicht mehr bestimmungsgemäss nutzbar gewesen, die Erteilung einer Baubewilligung nach Art. 24c RPG daher ausgeschlossen. Diese Beurteilung beruhe auf einer willkürlichen Beweiswürdigung und einer unzutreffenden Auslegung des Erfordernisses "bestimmungsgemäss nutzbar".
6.2. Gemäss Art. 24c RPG werden bestimmungsgemäss nutzbare Bauten ausserhalb der Bauzonen, die nicht mehr zonenkonform sind, in ihrem Bestand grundsätzlich geschützt (Abs. 1). Solche Bauten können mit Bewilligung der zuständigen Behörde erneuert, teilweise geändert, massvoll erweitert oder wiederaufgebaut werden, sofern sie rechtmässig erstellt oder geändert worden sind (Abs. 2). Dies gilt auch für landwirtschaftliche Wohnbauten sowie angebaute Ökonomiebauten, die rechtmässig erstellt oder geändert worden sind, bevor das betreffende Grundstück Bestandteil des Nichtbaugebiets im Sinne des Bundesrechts wurde (Abs. 3 Satz 1). Damit eine Baute als bestimmungsgemäss nutzbar gilt, müssen unter anderem ihre tragenden Strukturen mehrheitlich intakt sein (vgl. Urteile 1C_301/2016 vom 4. Januar 2017 E. 2.4; 1C_575/2014 vom 4. Januar 2016 E. 4.5; 1C_125/2012 vom 30. Oktober 2012 E. 2.3).
6.3. Die Vorinstanz stützt ihre Beurteilung, das Wohnhaus sei bereits vor Baubeginn nicht mehr bestimmungsgemäss nutzbar gewesen, im Wesentlichen auf ein Schreiben des Beschwerdeführers vom 23. Februar 2009 an die Gemeinde, in dem dieser erläuterte, wieso die ohne Bewilligung durchgeführten Bauarbeiten am Wohnhaus erforderlich gewesen seien. Aus diesem Schreiben gehe hervor, dass die tragenden Gebäudeteile fast gänzlich nicht mehr in einem brauchbaren Zustand gewesen seien. Die Ausführungen im Schreiben widerspiegelten sich in den getroffenen Baumassnahmen und erklärten diese schlüssig. Es sei geradezu offensichtlich, dass die Neukonstruktion auf den unbrauchbaren Zustand fast der gesamten tragenden Bausubstanz zurückgehe. Der Beschwerdeführer bringt dagegen zwar insbesondere vor, die Vorinstanz habe sein Schreiben falsch interpretiert und bei der Beweiswürdigung massgebliche Umstände ohne ernsthaften Grund ausser Acht gelassen. Seine Ausführungen zu diesem Schreiben und den weiteren Umständen lassen die Beweiswürdigung der Vorinstanz jedoch nicht als willkürlich erscheinen (vgl. BGE 144 II 281 E. 3.6.2 S. 287; 137 III 226 E. 4.2 S. 233 f. mit Hinweisen). Weder ist ersichtlich, dass diese sein Schreiben offensichtlich verkannt, noch, dass sie wichtige und entscheidwesentliche Beweismittel ohne sachlichen Grund unberücksichtigt gelassen hätte; ebenso wenig ist erkennbar, dass sie auf der Grundlage der festgestellten Tatsachen unhaltbare Schlussfolgerungen gezogen hätte. Ihre Beweiswürdigung erscheint vielmehr nachvollziehbar und grundsätzlich überzeugend.
So durfte die Vorinstanz aus dem fraglichen Schreiben insbesondere willkürfrei folgern, der erfolgte Ersatz der tragenden Strukturen sei nicht erst wegen der beabsichtigten energetischen Sanierung des Wohnhauses ins Auge gefasst und realisiert worden. Auch brauchte sie namentlich dem Umstand, dass das (damalige) Amt für Raumentwicklung im Januar 2008 nach Art. 24d RPG eine Sanierung des Wohnhauses bewilligt hatte, keine massgebliche Bedeutung beizumessen, lag dieser Bewilligung doch keine eingehende Prüfung des damaligen Zustands des Wohnhauses zugrunde. Der Beschwerdeführer hat in seinem Schreiben vom 23. Februar 2009 zudem selber ausgeführt, bei Gesuchseinreichung sei es unmöglich gewesen, das genaue Ausmass der notwendigen Sanierungen zu erfassen. Die Beweiswürdigung der Vorinstanz erscheint im Weiteren auch nicht deshalb als willkürlich, weil diese erklärt, der Beschwerdeführer bestreite, dass sich die Ausführungen im fraglichen Schreiben auf das Wohnhaus bezogen hätten, was nicht glaubhaft sei, da diese Ausführungen mit den tatsächlichen Feststellungen und seinen Aussagen am Augenschein des Baudepartements übereinstimmten. Zwar verkennt die Vorinstanz damit, dass der Beschwerdeführer im vorinstanzlichen Verfahren wie bereits im Verfahren vor dem Baudepartement geltend machte, seine Aussage am Augenschein bezüglich verfaulter Konstruktionen habe sich entgegen dem Augenscheinprotokoll nicht auf das Wohnhaus, sondern den Stall bezogen. Dies wirkt sich auf ihre Beweiswürdigung jedoch nicht weiter aus. Für diese hat weder das im angefochtenen Entscheid erwähnte angebliche Vorbringen des Beschwerdeführers noch die von diesem bestrittene Aussage am Augenschein massgebliche Bedeutung. Entscheidend waren vielmehr die Erkenntnisse vor Ort, die vom Beschwerdeführer selber als unumgänglich erachteten baulichen Massnahmen und seine Beschreibung des Zustands des Wohngebäudes im Schreiben vom 23. Februar 2009. Daraus durfte die Vorinstanz ohne Willkür folgern, dass das Wohngebäude mit vernünftigem Aufwand nicht mehr zu retten war.
Nicht erkennbar ist sodann, dass die Vorinstanz mit der Annahme, weitere Abklärungen versprächen wegen der klaren Ausgangslage keinen zusätzlichen Erkenntnisgewinn, in Willkür verfallen wäre. Wegen der vom Beschwerdeführer eigenmächtig veranlassten Baumassnahmen besteht keine Möglichkeit mehr, den damaligen Zustand der tragenden Strukturen des Wohnhauses direkt zu untersuchen oder zu dokumentieren. Die Vorinstanz durfte daher unter den gegebenen Umständen willkürfrei davon ausgehen, ein Gutachten, wie es der Beschwerdeführer zum Beweis offerierte, die von ihm zudem angebotene Zeugenbefragung des am Bau beteiligten Architekten oder allfällige sonstige Beweiserhebungen brächten keine Erkenntnisse, die ihre auf der erwähnten Grundlage gewonnene Überzeugung in Frage zu stellen vermöchten.
6.4. Die Vorinstanz durfte demnach auch in antizipierter Beweiswürdigung von der Erhebung der vom Beschwerdeführer offerierten Beweise absehen (vgl. BGE 141 I 60 E. 3.3 S. 64). Zwar ist richtig, dass ihre Begründung für den Verzicht auf weitere Beweiserhebungen knapp ausgefallen ist. Aus ihrem Verweis auf die klare Ausgangslage geht jedoch hervor, sie halte unter den gegebenen Umständen die Ausführungen im erwähnten Schreiben für dermassen eindeutig, dass für abweichende Beweise kein Raum mehr bestehe. Dies gilt nicht nur für das von ihr ausdrücklich erwähnte Gutachten, sondern auch die Zeugenbefragung. Da der damalige Zustand der tragenden Strukturen gerade die entscheidwesentliche Frage war, brauchte sie überdies keine Ausführungen zur Erheblichkeit der zu beweisenden Tatsache zu machen. Sie verletzte daher ihre Begründungspflicht und den Anspruch auf rechtliches Gehör des Beschwerdeführers im vorliegenden Zusammenhang nicht.
Da die im Augenscheinprotokoll enthaltene, vom Beschwerdeführer bestrittene Aussage bezüglich verfaulter Konstruktionen wie auch dieses Protokoll sonst für die Beweiswürdigung und damit den angefochtenen Entscheid der Vorinstanz nicht ausschlaggebend waren, verletzte diese den Anspruch auf rechtliches Gehör des Beschwerdeführers ferner auch nicht dadurch, dass sie im angefochtenen Entscheid nicht auf dessen Rügen der unzutreffenden Protokollierung einging.
6.5. Es ergibt sich, dass die Sachverhaltsfeststellung der Vorinstanz bezüglich des Zustands der tragenden Strukturen des Wohnhauses bei Baubeginn nicht willkürlich ist und auch nicht auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht. Damit ist sie für das Bundesgericht verbindlich (vgl. vorne E. 2). Nach dessen Rechtsprechung ist das Wohnhaus damit als im massgeblichen Zeitpunkt nicht mehr bestimmungsgemäss nutzbar zu beurteilen (vgl. vorne E. 6.2). Die Beurteilung der Vorinstanz beruht demnach auch nicht auf einer unzutreffenden Auslegung dieses Erfordernisses. Da es bei Baubeginn an der bestimmungsgemässen Nutzbarkeit mangelte, kommt Art. 24c RPG auf das Wohnhaus nicht zur Anwendung. Das nachträgliche Baugesuch kann daher nach dieser Bestimmung nicht bewilligt werden. Der angefochtene Entscheid verletzt insoweit kein Bundesrecht.
7.
7.1. Der Beschwerdeführer bringt in materieller Hinsicht weiter vor, da das Wohnhaus bewilligt werden müsse, sei nach Art. 24e RPG auch die hobbymässige Tierhaltung im Stall zu bewilligen. Die Nutzungsbeschränkung für diesen sei daher aufzuheben, eventuell nach Rückweisung der Sache an die Vorinstanzen neu zu beurteilen. Die Stallsanierung, soweit durchgeführt, sei hingegen nicht mehr Verfahrensgegenstand.
7.2. Gemäss Art. 24e Abs. 1 RPG werden bauliche Massnahmen in unbewohnten Gebäuden oder Gebäudeteilen, die in ihrer Substanz erhalten sind, bewilligt, wenn sie Bewohnern oder Bewohnerinnen einer nahe gelegenen Wohnbaute zur hobbymässigen Tierhaltung dienen und eine tierfreundliche Haltung gewährleisten. Die hobbymässige Tierhaltung gilt als Erweiterung der Wohnnutzung der nahe gelegenen Wohnbaute (Art. 42b Abs. 1 der Raumplanungsverordnung vom 28. Juni 2000 [RPV; SR 700.1]). Art. 24e RPG trat zwar erst auf den 1. Mai 2014 und damit nach Ergehen des Rückweisungsentscheids des Bundesgerichts in Kraft. Er ersetzt aber den damals geltenden Art. 24d Abs. 1bis RPG (AS 3638) und ist als grosszügigere Regelung bei der vorliegend strittigen Neubeurteilung zu berücksichtigen (vgl. Urteil 1C_144/2013 vom 29. September 2014 E. 2). Diese betrifft entgegen dem Vorbringen des Beschwerdeführers nicht bloss die Frage der hobbymässigen Tierhaltung, sondern in erster Linie die Bewilligungsfähigkeit des nachträglichen Baugesuchs zum Stall (vgl. vorne E. 4.3).
7.3. Die Vorinstanz hat sich im angefochtenen Entscheid hinsichtlich der Frage der Bewilligungsfähigkeit der Beurteilung des Baudepartements angeschlossen. Dieses führte in seinem Entscheid aus, Art. 24e Abs. 1 RPG verlange eine räumliche Nähe des Stalls zu einem Wohngebäude. Die Anwendung dieser Bestimmung auf den umzunutzenden und umzubauenden Stall setze deshalb voraus, dass der Zustand des Wohnhauses zumindest formell rechtmässig sei. Dies sei jedoch nicht der Fall, da Art. 24c RPG auf dieses nicht anwendbar sei. Der Gemeinderat habe daher die Baubewilligung für den Stall zu Recht nicht erteilt.
Diese Beurteilung verstösst nicht gegen Bundesrecht. Da es an einer bewilligten oder bewilligungsfähigen Wohnbaute mangelt, kommt Art. 24e Abs. 1 RPG nicht zur Anwendung. Das nachträgliche Baugesuch zum Stall kann daher nach dieser Bestimmung nicht bewilligt werden.
7.4. Der Beschwerdeführer begründet seine Ablehnung des Verbots zonenwidriger Nutzung einzig mit der angeblichen Bewilligungsfähigkeit des nachträglichen Baugesuchs zum Wohnhaus. Dass das Verbot aufzuheben oder neu zu beurteilen wäre, obschon dieses Gesuch nicht bewilligt werden kann, bringt er nicht vor; ebenso wenig nennt er entsprechende Gründe. Insoweit ist auf seine Beschwerde daher mangels Begründung nicht einzutreten (vgl. E. 2).
8.
8.1. Der Beschwerdeführer rügt in materieller Hinsicht ausserdem, die Anordnung, das Wohnhaus abzubrechen, sei unverhältnismässig und verletze Art. 16b RPG. Das wiederaufgebaute Wohnhaus könne sehr wohl landwirtschaftlich genutzt werden. Selbst wenn die Behörden begründete Zweifel hätten, dass das Grundstück mit dem in Bau befindlichen Wohnhaus veräusserbar sei, hätten sie weiter die Möglichkeit, als mildere Massnahme zunächst ein Nutzungsverbot zu verfügen und ihm eine angemessene Frist von fünf Jahren einzuräumen, innert der er das Grundstück mit dem Wohnhaus zu einem landwirtschaftlichen Zweck veräussern müsse. Art. 16b RPG sehe solches vor. Am Abbruch bestehe auch kein öffentliches Interesse. Vielmehr bestehe ein solches am Erhalt landwirtschaftlich nutzbarer Bausubstanz in der Landwirtschaftszone.
8.2. Der Anordnung der Wiederherstellung des rechtmässigen Zustands kommt massgebendes Gewicht für den ordnungsgemässen Vollzug des Raumplanungsrechts zu. Werden illegal errichtete, dem RPG widersprechende Bauten nicht beseitigt, sondern auf unabsehbare Zeit geduldet, so wird der Grundsatz der Trennung von Bau- und Nichtbaugebiet in Frage gestellt und rechtswidriges Verhalten belohnt. Formell rechtswidrige Bauten, die auch nachträglich nicht legalisiert werden können, müssen daher grundsätzlich beseitigt werden (vgl. zum Ganzen BGE 136 II 359 E. 6 S. 364; vgl. auch Art. 130 Abs. 2 BauG/SG; Art. 159 Abs. 1 PBG/SG).
Die Befugnis der Behörden, im Fall einer rechtswidrig errichteten bzw. genutzten Baute die Wiederherstellung des rechtmässigen Zustands anzuordnen, ist im Interesse der Rechtssicherheit grundsätzlich auf 30 Jahre beschränkt (vgl. BGE 132 II 21 E. 6.3 S. 35; mit gewissen Vorbehalten BGE 136 II 359 E. 8 S. 367). Auch vorher ist die Anordnung der Wiederherstellung des rechtmässigen Zustands im Einzelfall unzulässig, wenn sie allgemeinen Prinzipien des Verfassungs- und Verwaltungsrechts entgegensteht. Dazu gehören namentlich die in Art. 5 Abs. 2 und 3 sowie Art. 9 BV festgehaltenen Grundsätze der Verhältnismässigkeit und des Schutzes des guten Glaubens (vgl. BGE 136 II 359 E. 6 S. 364 f.). So kann die Wiederherstellung des rechtmässigen Zustands unterbleiben, wenn die Abweichung vom Erlaubten nur unbedeutend ist oder die Wiederherstellung nicht im öffentlichen Interesse liegt (vgl. BGE 132 II 21 E. 6 S. 35). Auf die Verhältnismässigkeit berufen kann sich auch ein Bauherr, der nicht gutgläubig gehandelt hat. Er muss aber in Kauf nehmen, dass die Behörden aus grundsätzlichen Erwägungen, namentlich zum Schutz der Rechtsgleichheit und der baulichen Ordnung, dem Interesse an der Wiederherstellung des gesetzmässigen Zustands erhöhtes Gewicht beimessen und die dem Bauherrn allenfalls erwachsenden Nachteile nicht oder nur in verringertem Masse berücksichtigen (vgl. BGE 132 II 21 E. 6.4 S. 39 f.).
8.3. Die Vorinstanz führt im angefochtenen Entscheid aus, das Wohnhaus sei für die künftige landwirtschaftliche Nutzung entbehrlich. Dies ergebe sich namentlich daraus, dass das fragliche Grundstück abparzelliert worden sei, dürfe doch nur objektiv nicht mehr betriebsnotwendiger Wohnraum aus dem Geltungsbereich des Bundesgesetzes vom 4. Oktober 1991 über das bäuerliche Bodenrecht (BGBB; SR 211.412.11) entlassen werden. Weiter sei nicht denkbar, dass ein Betriebsleiterwohnhaus zur Führung eines Betriebs mit einer Fläche von 5,5 ha, die überdies zu einem Drittel bewaldet sei, objektiv unentbehrlich im Sinne der bundesgerichtlichen Rechtsprechung sei. Es liege auf der Hand, dass das Grundstück mit dem Wohnhaus wie auch die landwirtschaftliche Parzelle Nr. 988 durch Verkauf oder Verpachtung zu einem bestehenden Landwirtschaftsbetrieb geschlagen würden.
Der Beschwerdeführer erachtet letzteres Vorbringen zwar als richtig, hält es aber dennoch für möglich, dass das Wohnhaus künftig im Sinne der Rechtsprechung für die landwirtschaftliche Nutzung unentbehrlich sein könnte. Dass dies mehr als eine theoretische Möglichkeit wäre, geht aus seinen Ausführungen allerdings nicht hervor; konkrete mögliche Interessenten nennt er keine. Ebenso wenig äussert er sich dazu, wieso trotz der von ihm geltend gemachten möglichen Unentbehrlichkeit seinerzeit eine Abparzellierung verlangt und bewilligt wurde. Aus seinen Vorbringen ergibt sich nicht, dass die Beurteilung der Vorinstanz offensichtlich unrichtig wäre oder ihr ein falsches Verständnis der für die Zonenkonformität von Wohnbauten in der Landwirtschaftszone geltenden Bestimmungen zugrunde läge. Solches ist auch nicht ersichtlich. Weder dargetan noch erkennbar ist im Weiteren, dass die Vorinstanz mit der Annahme, das vom Beschwerdeführer in diesem Zusammenhang offerierte Gutachten verspreche keinen zusätzlichen Erkenntnisgewinn, in Willkür verfallen wäre.
8.4. Die Vorinstanz durfte demnach auch in antizipierter Beweiswürdigung auf die Einholung dieses Beweismittels verzichten (vgl. BGE 141 I 60 E. 3.3 S. 64). Zwar ist richtig, dass sie ihren Verzicht nur knapp begründet hat. Aus dem Kontext erschliesst sich jedoch, dass sie angesichts der von ihr dargelegten konkreten Umstände ausschloss, ein abstrakt-theoretisches Gutachten, wie es der Beschwerdeführer offerierte, vermöge ihre gestützt auf diese Umstände gewonnene Überzeugung massgeblich in Frage zu stellen. Da eine allfällige konkrete und absehbare Nachfrage nach dem Wohnhaus für eine landwirtschaftliche Wohnnutzung klarerweise entscheidrelevant wäre, eine allfällige bloss abstrakt-theoretische Möglichkeit hingegen nicht, brauchte die Vorinstanz überdies keine Ausführungen zur Erheblichkeit der zu beweisenden Tatsache zu machen. Sie verletzte demnach ihre Begründungspflicht und den Anspruch auf rechtliches Gehör des Beschwerdeführers im vorliegenden Zusammenhang nicht.
Da kein konkretes Gesuch für die Nutzung des Wohnhauses als Betriebsleiterwohnung zu prüfen war, brauchte die Vorinstanz im Weiteren nicht näher auf die Voraussetzungen für die Zonenkonformität solchen Wohnraums einzugehen. Sie verletzte deshalb auch insofern weder ihre Begründungspflicht noch den Anspruch auf rechtliches Gehör des Beschwerdeführers.
8.5. Die Sachverhaltsfeststellung der Vorinstanz, das Wohnhaus sei für die künftige landwirtschaftliche Nutzung entbehrlich, ist somit weder offensichtlich unrichtig noch beruht sie auf einer Rechtsverletzung im Sinne von Art. 95 BGG. Sie ist für das Bundesgericht daher verbindlich (vgl. vorne E. 2). Damit erscheint der Abbruch des Wohnhauses bzw. der ausgehöhlten und teilsanierten Aussenhülle, wie die Vorinstanz zutreffend ausführte, als im öffentlichen Interesse sowie grundsätzlich erforderlich, zumal der damalige Zustand nicht wiederhergestellt werden kann.
8.6. Gemäss Art. 16b RPG dürfen Bauten, die nicht mehr zonenkonform verwendet werden und für die eine Nutzung im Sinne der Art. 24-24e RPG nicht zulässig ist, nicht mehr benutzt werden. Dieses Verbot entfällt, sobald sie wieder zonenkonform genutzt werden können (Abs. 1). Wurde die Bewilligung befristet oder mit einer auflösenden Bedingung erteilt, sind die Bauten bei Wegfall der Bewilligung zu beseitigen, und der frühere Zustand ist wiederherzustellen (Abs. 2). Art. 16b RPG gilt für Bauten, deren zonenkonformer Verwendungszweck oder auf Zonenkonformität gestützte Bewilligung weggefallen ist. Auf Bauten, die in der Landwirtschaftszone nie zonenkonform gewesen oder mittels Ausnahmebewilligung als nichtzonenkonform bewilligt worden sind, kommt er hingegen nicht zur Anwendung (vgl. WALDMANN/HÄNNI, Handkommentar Raumplanungsgesetz, 2006, Art. 16b RPG N. 1; RUDOLF MUGGLI, in: Aemisegger/Moor/Ruch/ Tschannen, Praxiskommentar RPG: Bauen ausserhalb der Bauzone, 2017, Art. 16b N. 2). Er gilt somit nicht für das Wohnhaus im heutigen Zustand, wurden die vom Beschwerdeführer eigenmächtig veranlassten Baumassnahmen doch nicht bewilligt und ist das nachträgliche Baugesuch nicht bewilligungsfähig. Eine Pflicht der Baubehörde, anstelle der Abbruchanordnung ein Nutzungsverbot zu verfügen und dem Beschwerdeführer zunächst Frist zum Verkauf des Wohnhauses anzusetzen, folgt aus Art. 16b RPG demnach nicht.
Eine solche Pflicht ergibt sich auch nicht aus dem Grundsatz der Verhältnismässigkeit. Da davon auszugehen ist, das Wohnhaus sei für die künftige landwirtschaftliche Nutzung entbehrlich, wäre mit einem Zuwarten nichts gewonnen; der gegenwärtige rechtswidrige Zustand bliebe lediglich über Jahre hinweg bestehen. Die vom Beschwerdeführer beantragte mildere Massnahme ist mithin im Unterschied zum angeordneten Abbruch nicht geeignet, den bestehenden rechtswidrigen Zustand zu beseitigen, und kommt daher nicht in Frage.
8.7. Der Abbruch des Wohnhauses bzw. der ausgehöhlten und teilsanierten Aussenhülle ist demnach im öffentlichen Interesse sowie geeignet und erforderlich. Er ist unter den gegebenen Umständen trotz der damit einhergehenden, nicht unbeträchtlichen Nachteile für den Beschwerdeführer zudem zumutbar. Dieser bringt denn auch nichts Konkretes vor, was die Zumutbarkeit in Frage stellen würde. Damit erweist sich die Abbruchanordnung als verhältnismässig. Sie verstösst ausserdem weder gegen Art. 16b RPG noch sonst gegen Bundesrecht. Die Vorinstanz hat die Rechtmässigkeit der Anordnung demzufolge zu Recht bejaht.
9.
Demnach ist die Beschwerde abzuweisen, soweit darauf einzutreten ist.
Bei diesem Ausgang des Verfahrens wird der Beschwerdeführer kostenpflichtig (Art. 66 Abs. 1 BGG). Da im vorinstanzlichen Verfahren weder die Ausstandspflicht noch das rechtliche Gehör verletzt wurde, rechtfertigt sich keine Kostenreduktion. Der Beschwerdegegner hat Anspruch auf eine Parteientschädigung für das bundesgerichtliche Verfahren (Art. 68 Abs. 1 und 2 BGG). Weitere Parteientschädigungen sind keine auszurichten (Art. 68 Abs. 3 BGG).
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 5'000.-- werden dem Beschwerdeführer auferlegt.
3.
Der Beschwerdeführer hat den Beschwerdegegner für das bundesgerichtliche Verfahren mit Fr. 3'000.-- zu entschädigen.
4.
Dieses Urteil wird den Parteien, der Politischen Gemeinde Flums, dem Baudepartement des Kantons St. Gallen, dem Verwaltungsgericht des Kantons St. Gallen, Abteilung I, und dem Bundesamt für Raumentwicklung ARE schriftlich mitgeteilt.
Lausanne, 15. März 2019
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Chaix
Der Gerichtsschreiber: Baur