Sachverhalt: A. A._ erwarb im Jahr 2006 im Gebiet "Valdarsch" der Gemeinde Flums die in der Landwirtschaftszone sowie im Schongebiet "Lebensraum bedrohter Arten" gemäss kantonalem Richtplan gelegene Parzelle Nr. 988. Diese hatte eine Fläche von rund 5,5 ha und war zu rund einem Drittel bewaldet sowie mit einem Wohnhaus, einem Nebengebäude, einem Unterstand und einem Stall überbaut. Im Jahr 2007 wurde ein 966 m 2 grosser Grundstücksteil mit dem Wohnhaus und dem Nebengebäude abparzelliert (Parzelle Nr. 3603). Im Januar 2008 bewilligte der Gemeinderat Flums unter anderem gestützt auf die zustimmende raumplanungsrechtliche Teilverfügung des kantonalen Amts für Raumentwicklung (heute Amt für Raumentwicklung und Geoinformation [AREG]) eine Sanierung des Wohnhauses und den Abbruch der Remise. B. Im Juli 2008 und Januar 2009 verfügte der Gemeinderat wegen unbewilligter Bauarbeiten am Stall und am Wohnhaus Baustopps, worauf A._ hinsichtlich beider Gebäude nachträgliche Baugesuche einreichte. Diese wies der Gemeinderat im Juni 2009 gestützt auf die ablehnenden raumplanungsrechtlichen Teilverfügungen des AREG ab; zudem ordnete er den Abbruch des Wohnhauses und des Stalls an. Dagegen gelangte A._ zunächst erfolglos an das Baudepartement und anschliessend an das Verwaltungsgericht des Kantons St. Gallen, das die Abbruchanordnung hinsichtlich des Stalls aufhob und stattdessen ein Verbot zonenwidriger Nutzung verfügte, ansonsten das Rechtsmittel aber abwies. Die von A._ dagegen erhobene Beschwerde hiess das Bundesgericht im März 2012 wegen einer absehbaren wesentlichen Änderung des Raumplanungsrechts gut (vgl. Urteil 1C_187/2011 vom 15. März 2012). Es wies die Sache zu neuer Prüfung im Sinne der Erwägungen an das Verwaltungsgericht zurück, das sie an die Gemeinde weiterverwies. C. Während der erneuten öffentlichen Auflage der Baugesuchsunterlagen im Juni 2012 erhoben B._ (zum zweiten Mal) und der WWF Schweiz (neu) Einsprache. Mit Entscheid vom 1. Juli 2013 hiess der Gemeinderat die Einsprache des WWF gut und wies die beiden nachträglichen Baugesuche gestützt auf die ablehnende raumplanungsrechtliche Teilverfügung des AREG vom 6. Juni 2013 ab; zudem ordnete er den Abbruch des Wohnhauses und die Wiederherstellung des Stalls an. B._ setzte er Frist zur Erhebung einer Zivilklage an. Den von A._ dagegen erhobenen Rekurs hiess das Baudepartement am 30. Mai 2016 insoweit gut, als es die Wiederherstellungsanordnung für den Stall aufhob und stattdessen ein Verbot zonenwidriger Nutzung verfügte; im Übrigen wies es ihn ab. D. Gegen den Rekursentscheid gelangte A._ an das Verwaltungsgericht. Mit Entscheid vom 23. Mai 2018 stellte dieses fest, B._ sei zu Unrecht am Verfahren beteiligt worden; ansonsten wies es das Rechtsmittel ab, soweit darauf einzutreten sei. E. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 2. Juli 2018 an das Bundesgericht beantragt A._ im Wesentlichen, den Entscheid des Verwaltungsgerichts aufzuheben, soweit damit seinem Rechtsmittel nicht stattgegeben worden sei, und die Sache zur Bewilligung des nachträglichen Baugesuchs zum Wohnhaus zurückzuweisen oder dieses Gesuch zu bewilligen. Subeventuell sei für das Wohnhaus anstelle der Abbruchanordnung ein Benutzungsverbot zu verfügen und eine Frist von fünf Jahren zur Veräusserung des Grundstücks zur landwirtschaftlichen Nutzung anzusetzen. Der Gemeinderat hat auf eine Vernehmlassung verzichtet. Der WFF Schweiz, das Baudepartement und das Verwaltungsgericht sowie das Bundesamt für Raumentwicklung ARE schliessen auf Abweisung der Beschwerde. A._ hat keine weitere Stellungnahme eingereicht. F. Mit Verfügung vom 28. August 2018 erteilte der Präsident der I. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde die aufschiebende Wirkung.