Sachverhalt:
A.
Auf dem Grundstück Nr. 4270 Grundbuch Sennwald, westlich oberhalb des Ortsteils Sax, befand sich ein älterer allein stehender Weidstall (Vers.-Nr. 1305) in der Landwirtschaftszone der Gemeinde Sennwald. Im Erdgeschoss hatte es neben dem eigentlichen Stall im Südosten einen Raum mit einfacher Sitzgelegenheit und Holzherd (Hirtenzimmer) in der Nordostecke und einen Lagerraum auf der Westseite. Über dem Stall lag ein Lagerraum für Futter und Streu. Am 11. Juni 2015 reichte A._ als Pächter im Namen des damaligen Grundeigentümers B._ ein Gesuch für die Umnutzung bzw. den Umbau des Weidstalls in ein Bienenhaus ein. Im Obergeschoss sollten Bienenkästen aufgestellt und im Erdgeschoss ein Schleuder- und Lagerraum eingerichtet werden. Nebst Unterhaltsarbeiten an den Fassaden fänden an der Gebäudeform und -grösse keine Veränderungen statt. Der Boden des ehemaligen Stalls, nicht aber des Vorraums sollte betoniert und der Zwischenboden zum Obergeschoss ersetzt werden. Beim Hirtenzimmer waren keine baulichen Massnahmen vorgesehen. Das Amt für Raumentwicklung und Geoinformation des Kantons St. Gallen (AREG) stimmte am 13. August 2015 dem Baugesuch zu und erteilte eine ordentliche Bewilligung nach Art. 16a Abs. 1 und Art. 22 RPG (SR 700). Die kommunale Baubewilligung wurde am 31. August 2015 gewährt. Zuvor hatte das AREG am 9. Mai 2015 einem früheren Baugesuch die Zustimmung verweigert, das massive Eingriffe in die Bausubstanz sowie den Einbau einer Küche im Aufenthaltsraum und eines WC umfasste. Die Verfügung des AREG vom 9. Mai 2015 war unangefochten geblieben.
Am 25. Februar 2016 ersuchte A._ im Namen von B._ um Bewilligung diverser Projektänderungen, die einer Ausdehnung des bewilligten Bauvorhabens auf den Inhalt des ursprünglichen, nicht bewilligten Gesuchs nahekamen. Im Freien sollte ein Schmutzwassertank unter Terrain eingebaut werden, und aus den Plänen waren Terrainveränderungen und Umgebungsgestaltungen ersichtlich. Am 4. Juli 2016 stellte das AREG an einem Augenschein Abweichungen von den am 13. August 2015 bewilligten Plänen fest. So waren tragende Wände durch Neukonstruktionen ersetzt, eine Steinmauer entlang der Baute errichtet, das Gelände abgegraben und ein Zufahrtsweg mit Parkplatz erstellt worden. Auf dem Grundstück fand sich ferner ein befestigter Sitzplatz mit Grillstelle und Holzunterstand. Daraufhin wurden am 22. Juli 2016 angepasste Pläne nachgereicht. Parallel dazu äusserte der Gesuchsteller, der Grillplatz und der Parkplatz würden zurückgebaut. Das AREG verweigerte dem Gesuch am 20. September 2016 die Zustimmung. Es erwog, die vorgesehenen und teils ausgeführten Arbeiten würden das für die Bienenhaltung Erforderliche übersteigen. Zum Parkplatz traf das kantonale Amt für Natur, Jagd und Fischerei einen abschlägigen Entscheid. Der Gemeinderat Sennwald eröffnete mit Beschluss vom 3. Oktober 2016 die kantonalen Verfügungen. Zudem hielt er fest, die Baubewilligung vom 31. August 2015 sei weiterhin gültig und die Bauarbeiten seien nach diesen Plänen auszuführen.
B.
Gegen die Ablehnung des Gesuchs vom 25. Februar bzw. 22. Juli 2016 gelangte A._ im Namen von B._ an das Baudepartement des Kantons St. Gallen. Dabei berief er sich im Wesentlichen auf Art. 24c RPG. Das Baudepartement wies den Rekurs am 23. August 2017 ab, soweit es darauf eintrat. Es erwog, der Abstellplatz und die Feuerstelle auf dem Grundstück seien nicht Teil des Baugesuchs. Insoweit trat es auf den Rekurs nicht ein. In Bezug auf die Wiederherstellung des rechtmässigen Zustands hob das Baudepartement den kommunalen Beschluss auf. Es verfügte stattdessen, der Weidstall und die Steinmauer seien vollständig abzubrechen bzw. zurückzubauen. Für den Rückbau wurde eine Frist von drei Monaten ab Rechtskraft des Entscheids angesetzt.
Diesen Entscheid zog A._ im Namen von B._ an das Verwaltungsgericht des Kantons St. Gallen weiter. Am 27. August 2018 verstarb B._. Das Eigentum am betroffenen Grundstück ging auf A._ über. Dieser trat als Beschwerdeführer in das Verfahren ein. Nach einem Augenschein wies das Verwaltungsgericht die Beschwerde mit Entscheid vom 28. Februar 2019 ab, soweit es darauf eintrat.
C.
A._ erhebt Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht. Er beantragt die Aufhebung des angefochtenen Entscheids und die Erteilung der Baubewilligung. Eventualiter sei die Angelegenheit zur Neubeurteilung an die Vorinstanz zurückzuweisen.
Das Baudepartement und das Verwaltungsgericht ersuchen um Abweisung der Beschwerde. Der Gemeinderat Sennwald hat sich nicht vernehmen lassen. Das Bundesamt für Raumentwicklung (ARE) stellt in der Vernehmlassung vom 17. Juli 2019 ebenfalls Antrag auf Abweisung der Beschwerde. Innert angesetzter Frist sind keine weiteren Eingaben eingegangen.

Erwägungen:
1.
1.1. Angefochten ist ein kantonal letztinstanzlicher Endentscheid über die Bewilligungsfähigkeit eines (teilweise bereits vorgenommenen) Umbaus sowie die Zulässigkeit einer Abbruchanordnung. Dagegen steht die Beschwerde in öffentlich-rechtlichen Angelegenheiten offen (vgl. Art. 82 lit. a, Art. 86 Abs. 1 lit. d, Art. 90 BGG); ein Ausschlussgrund nach <ref-law> liegt nicht vor. Der Beschwerdeführer nahm am vorinstanzlichen Verfahren teil, ist durch den angefochtenen Entscheid auch materiell beschwert und damit nach <ref-law> zur Beschwerde legitimiert. Die übrigen Sachurteilsvoraussetzungen geben keinen Anlass zu Bemerkungen. Auf die Beschwerde ist einzutreten.
1.2. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann die Verletzung von Bundesrecht, Völkerrecht und kantonalen verfassungsmässigen Rechten gerügt werden (Art. 95 lit. a-c BGG). Die Verletzung des übrigen kantonalen Rechts kann (abgesehen von hier nicht relevanten Ausnahmen) vor Bundesgericht nicht gerügt werden, es sei denn, die Anwendung des kantonalen Rechts führe zu einer Verletzung von Bundesrecht, namentlich des Willkürverbots (vgl. <ref-ruling> E. 2.1 S. 372 mit Hinweisen). Das Bundesgericht wendet das Bundesrecht grundsätzlich von Amtes wegen an (<ref-law>). Die Verletzung von Grundrechten (einschliesslich die willkürliche Anwendung von kantonalem Recht) prüft es dagegen nur insoweit, als eine solche Rüge in der Beschwerde vorgebracht und genügend begründet worden ist (<ref-law>; <ref-ruling> E. 1.7.2 S. 106 mit Hinweisen).
1.3. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat, sofern dieser nicht offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (Art. 105 und Art. 97 Abs. 1 BGG). Neue Tatsachen und Beweismittel können nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>).
2.
2.1. Der Beschwerdeführer macht geltend, er benötige die Baute nicht nur für die geplante Bienenhaltung, sondern auch für die sachgerechte Bewirtschaftung der ökologisch wertvollen Umgebung. Gemäss Art. 16a Abs. 1 RPG und <ref-law> sind in der Landwirtschaftszone Bauten und Anlagen zonenkonform, die zur landwirtschaftlichen Bewirtschaftung oder für den produzierenden Gartenbau nötig sind. Nach der Rechtsprechung beurteilt sich die Frage der Notwendigkeit der Erstellung oder Veränderung einer Baute oder Anlage nach objektiven Kriterien (vgl. <ref-ruling> E. 2.4 S. 17; Urteil 1C_567/2015 vom 29. August 2016 E. 4.1). Den kantonalen Instanzen ist beizupflichten, dass das im Streit liegende Bauvorhaben objektiv über das für die Bienenhaltung oder für Arbeiten im Wiesland und Wald des Grundstücks Notwendige hinausgeht. Es muss somit nicht erörtert werden, inwiefern der Beschwerdeführer ein zonenkonformes landwirtschaftliches Gewerbe oder eine zonenwidrige Freizeitlandwirtschaft betreibt.
2.2. Zur Hauptsache wendet sich der Beschwerdeführer gegen die Verweigerung einer Ausnahmebewilligung nach Art. 24c RPG. Diese Bestimmung sieht vor, dass bestimmungsgemäss nutzbare Bauten und Anlagen ausserhalb der Bauzonen, die nicht mehr zonenkonform sind, in ihrem Bestand grundsätzlich geschützt werden (Abs. 1). Solche Bauten und Anlagen können mit Bewilligung der zuständigen Behörde erneuert, teilweise geändert, massvoll erweitert oder wiederaufgebaut werden, sofern sie rechtmässig erstellt oder geändert worden sind (Abs. 2). Dies gilt auch für landwirtschaftliche Wohnbauten sowie angebaute Ökonomiebauten, die rechtmässig erstellt oder geändert worden sind, bevor das betreffende Grundstück Bestandteil des Nichtbaugebiets im Sinn des Bundesrechts wurde (Abs. 3). Der Anwendungsbereich von Art. 24c RPG ist auf Bauten und Anlagen beschränkt, die noch bestimmungsgemäss nutzbar sind. Bestimmungsgemäss nutzbar ist eine Baute dann, wenn der Eigentümer durch einen angemessenen Unterhalt das fortbestehende Interesse an der Weiternutzung dokumentiert hat. Dies äussert sich darin, dass sie gemessen an ihrer Zweckbestimmung betriebstüchtig ist und die tragenden Konstruktionen mehrheitlich intakt sind (vgl. Urteil 1C_325/ 2018 vom 15. März 2019 E. 6.2; 1C_356/2010 vom 21. Februar 2011 E. 2.3; je mit Hinweisen).
2.3. Die Vorinstanz hat aus mehreren Anhaltspunkten die Schlussfolgerung gezogen, dass der Weidstall bei Baubeginn nicht mehr bestimmungsgemäss nutzbar gewesen sei. Einerseits hat sie auf aktenkundige Aussagen des Beschwerdeführers im unterinstanzlichen Rekursverfahren abgestellt. Dieser bzw. sein Rechtsvertreter habe ausgeführt, dass die Erneuerung der Grundmauern und der Wände aus Gründen der Statik und der Gebäudesicherheit zwingend erforderlich gewesen seien. Er habe erläutert, man habe Schwachstellen am Stall beheben müssen. Wenn der Bretterschirm auf der (westlichen) Wetterseite kaputt sei, würden auch die von diesem geschützten Balken schwach. Daher seien "Verstärkungen" notwendig geworden. Anderseits hat die Vorinstanz die Tragweite der ausgeführten Erneuerungen am Weidstall an einem Augenschein festgestellt und eigenständig gewürdigt.
Nach den Feststellungen der Vorinstanz besteht der ehemalige Stallteil, der auf der Süd- und Ostseite teilweise die Fassade bildet, an sich aus einer Strickbau- bzw. Blockbaukonstruktion. Die östliche Firstkonstruktion liege auf der alten Fassade auf. Die Fassadenteile ausserhalb des Stallteils, d.h. der nördliche Teil der Ostwand, die Nordwand, die Westwand (bis unter den Firstbereich) und der westliche Teil der Südwand (bis auf Höhe des neu eingebauten Zwischenbodens) seien durch Neukonstruktionen aus Holz ersetzt worden. Auch die westliche Zwischenwand zwischen dem Stallteil und dem Lagerraum sei vollständig neu. Im Stallteil sei entlang der Süd-, Ost- und Nordwand eine zusätzliche Innenkonstruktion aus Holz erstellt worden, so dass sich die alte Strickbaukonstruktion dahinter bzw. gegen aussen befinde. Auf diesen Bauteilen und der neuen westlichen Aussenwand liege die Balkenlage des neu eingezogenen Zwischenbodens auf. Der Beschwerdeführer habe zutreffend ausgeführt, dass er in das Gebäude eine "Kiste" eingebaut habe. Der Dachstuhl sei im Bereich der Treppe auf die darunterliegende Zwischenwand abgestützt. Die westliche Firstkonstruktion liege auf den in diesem Bereich vollständig erneuerten Bauteilen der Nord-, West- und Südwand auf. Ferner verfüge das Gebäude nun über einen vollständig betonierten Boden.
Nach Ansicht der Vorinstanz gehören Aussenwände - insbesondere bei einem Strickbau - zu den tragenden Elementen. Die sog. "Verstärkungen" seien auf den Ersatz rund der Hälfte der - offenbar witterungsbedingt geschwächten - Aussenwände hinausgelaufen. Wo die Aussenwände nicht ersetzt worden seien, habe der Beschwerdeführer innerhalb der bestehenden Bausubstanz eine zusätzliche tragende Innenkonstruktion errichtet. Das Obergeschoss und teilweise auch der Dachstuhl würden sich auf neue tragende Bauteile abstützen. Die neue Innenkonstruktion ("Kiste") sei in den 2015 bewilligten Bauplänen nicht ersichtlich; insoweit sei der Beschwerdeführer massiv und nicht gutgläubig von der Baubewilligung abgewichen. Die nunmehr gegenläufigen und widersprüchlichen Vorbringen könnten nicht mehr überprüft werden. Durch die Vereitelung von Beweisen dürfe ihm kein Vorteil entstehen.
2.4. Der Beschwerdeführer beanstandet, dass diese Beurteilung der Vorinstanz auf einer willkürlichen Beweiswürdigung beruhe. Im Übrigen habe sie seinen Anspruch auf rechtliches Gehör verletzt, indem sie nicht alle von ihm angebotenen Beweismittel für die bestimmungsgemässe Nutzbarkeit erhoben habe. Sodann habe die Vorinstanz zu Unrecht diese Voraussetzung von Art. 24c RPG verneint. Der Beschwerdeführer behauptet, er habe übliche bauliche und statische Verbesserungen im Hinblick auf die bewilligte Nutzung als Bienenhaus durchgeführt; die Stallscheune sei aber vorher nicht in einem schlechten Zustand gewesen. Holzbauten in der Region beständen aus dauerhaften Bauteilen und solchen, die nach einer gewissen Zeit unter dem Einfluss von Wind und Wetter verschleissen würden. Er habe nur Verschleissteile wie Latten des nicht gestrickten Gebäudeteils und Hölzer, an denen der Bretterschirm befestigt war, ersetzt. Strickwände habe er entgegen den Ausführungen der Vorinstanz nicht ersetzt. Den gestrickten Stallstock habe er auch nicht aus statischen Gründen verändert, sondern nur deshalb, damit heutige Erwachsene im Raum stehen und arbeiten könnten. Statische Schwachstellen der Baute habe er verstärkt, weil früher nach anderen statischen Standards gebaut worden sei als heute. Auch das Dach sei in Ordnung gewesen. Er habe weder am Erscheinungsbild noch an der Materialisierung wesentliche Änderungen vorgenommen.
2.5. Die Vorbringen des Beschwerdeführers lassen die Beweiswürdigung der Vorinstanz nicht als offensichtlich unrichtig bzw. willkürlich erscheinen (vgl. dazu <ref-ruling> E. 3.6.2 S. 287; <ref-ruling> E. 4.2 S. 53; je mit Hinweisen). Weder ist ersichtlich, dass diese seine Aussagen offensichtlich verkannt, noch, dass sie wichtige und entscheidwesentliche Beweismittel ohne sachlichen Grund unberücksichtigt gelassen hätte; ebenso wenig ist erkennbar, dass sie auf der Grundlage der festgestellten Tatsachen unhaltbare Schlussfolgerungen gezogen hätte. Ihre Beweiswürdigung erscheint im Gegenteil nachvollziehbar und grundsätzlich überzeugend.
Angesichts der neu eingebauten tragenden Innenkonstruktion kommt es nicht entscheidend darauf an, inwiefern der Beschwerdeführer Wände bzw. Wandteile des gestrickten Stallstocks entfernt hat. Ausserdem ist es nicht zu beanstanden, wenn die Vorinstanz auch den vorbestehenden Aussenwänden aus Holz, die nicht in Strickbauweise erstellt worden waren, grundsätzlich eine Eigenschaft als tragende Elemente zugebilligt hat. Der teilweise Ersatz der Aussenwände auf der Nord-, West- und Südseite sowie die damit verbundene neue Abstützung der westlichen Firstkonstruktion gehen über die blosse Erneuerung von Verschleissteilen hinaus; vielmehr betreffen sie offensichtlich dauerhafte Teile des Holzbaus. Auch im Mittelteil bei der Zwischenwand zwischen Stallteil und Lagerraum stützt sich der Dachstuhl auf neue tragende Bauteile ab. Unter den konkreten Umständen durfte die Vorinstanz willkürfrei annehmen, dass der Ersatz tragender Strukturen nicht wegen der bewilligten Umgestaltung des Weidstalls zum Bienenhaus, sondern wegen der bei den Arbeiten zutage getretenen mangelhaften Bausubstanz realisiert worden ist. Die aktenkundigen Gebäudeschätzungen und Fotografien des Gebäudes vor dem Umbau vermögen die Haltbarkeit dieser Schlussfolgerung nicht zu entkräften, weil aus den fraglichen Unterlagen lediglich abgeleitet werden kann, dass die Baute keinen offenkundig baufälligen Eindruck erweckte. Dies haben die kantonalen Instanzen jedoch bereits berücksichtigt.
Ebenso wenig ist erkennbar, dass die Vorinstanz mit der Annahme, weitere Abklärungen versprächen keinen zusätzlichen Erkenntnisgewinn, in Willkür verfallen wäre oder den Anspruch des Beschwerdeführers auf rechtliches Gehör verletzt hätte (vgl. dazu <ref-ruling> E. 3.1.3 S. 435; <ref-ruling> E. 6.5 S. 368 f.; je mit Hinweisen). Wegen der vom Beschwerdeführer eigenmächtig veranlassten Baumassnahmen besteht keine Möglichkeit mehr, den damaligen Zustand der tragenden Strukturen des Weidstalls direkt zu untersuchen oder zu dokumentieren. Die Vorinstanz durfte daher in zulässiger antizipierter Beweiswürdigung davon ausgehen, dass ein Gutachten, eine Zeugenbefragung der am Bau beteiligten Unternehmer und Handwerker, eine Parteibefragung und Beweisaussage des Beschwerdeführers oder allfällige sonstige Beweiserhebungen keine Erkenntnisse brächten, die ihre auf der erwähnten Grundlage gewonnene Überzeugung in Frage zu stellen vermöchten. Aus denselben Gründen ist den entsprechenden Beweisbegehren des Beschwerdeführers im bundesgerichtlichen Verfahren nicht zu entsprechen. Im Übrigen besteht auch kein Anlass für einen bundesgerichtlichen Augenschein.
2.6. Demzufolge ist die Sachverhaltsfeststellung der Vorinstanz bezüglich des Zustands der tragenden Strukturen des Weidstalls bei Baubeginn weder offensichtlich unrichtig noch beruht sie auf einer Rechtsverletzung im Sinne von <ref-law>. Damit ist sie für das Bundesgericht verbindlich. Nach der Rechtsprechung ist das Gebäude somit als im massgeblichen Zeitpunkt nicht mehr bestimmungsgemäss nutzbar zu beurteilen (vgl. oben E. 2.2). Die Beurteilung der Vorinstanz beruht nicht auf einer unzutreffenden Auslegung dieses Erfordernisses. Art. 24c RPG kommt auf den Weidstall nicht zur Anwendung, weil es bei Baubeginn an seiner bestimmungsgemässen Nutzbarkeit mangelte. Unter diesen Umständen erübrigt es sich, auf die weiteren Voraussetzungen von Art. 24c RPG einzugehen. Insbesondere brauchen die Vorbringen des Beschwerdeführers, mit denen er eine rechtmässige landwirtschaftsfremde Umnutzung des Gebäudes vor der Zuweisung zum Nichtbaugebiet dartun will, nicht geprüft zu werden. Vielmehr ist das nachträgliche Baugesuch einer Bewilligung nach Art. 24c RPG nicht zugänglich.
3.
Ein weiterer Beschwerdepunkt betrifft die neue Steinmauer westlich bzw. bergseits des Weidstalls.
3.1. Nach dem Beschwerdeführer ist die Mauer zur Hangsicherung nötig. Zum Beweis dafür hat er bereits im kantonalen Verfahren eine Aktennotiz des Büros C._ AG vom 9. Oktober 2017 eingereicht. Die Vorinstanz hat dieser Aktennotiz entnommen, dass die Mauer im Hinblick auf künftige, kleine oberflächliche Verschiebungen als zweckmässig beurteilt werde. Gemäss dem Dokument hätten sich die Rückhaltekräfte dieser Mauer allerdings auf eine frühere Hangrutschung nicht stabilisierend ausgewirkt. Nach der Vorinstanz bildet die Mauer eine Schutzmassnahme für den Weidstall. Da dieser zur Wiederherstellung des rechtmässigen Zustands abzubrechen sei (vgl. dazu unten E. 4), sei die Rückhaltefunktion der Mauer im Hinblick auf kleine oberflächliche Verschiebungen unerheblich. Insgesamt hat die Vorinstanz gefolgert, dass die Steinmauer weder zur landwirtschaftlichen Bewirtschaftung notwendig noch positiv standortgebunden im Sinne von Art. 24 RPG sei.
3.2. In der erwähnten Aktennotiz werden andere Massnahmen als eine Mauer für eine dauerhafte Stabilisierung des abschüssigen Wieslands, so eine Ableitung des Hangwassers, empfohlen. Es erweist sich deshalb nicht als offensichtlich unrichtig, wenn die Vorinstanz aus den bisher offenbar eingetretenen Hangrutschungen nicht auf eine technische Notwendigkeit der Steinmauer geschlossen hat. Der Beschwerdeführer zeigt vor Bundesgericht nicht auf, dass diese Mauer unabhängig von einem Weiterbestand des Weidstalls unentbehrlich sein soll. Im Übrigen ist der Sachverhalt auch im Hinblick auf die Mauer ausreichend erstellt. Die Beweisanträge des Beschwerdeführers sind nicht geeignet, die diesbezüglichen Feststellungen und Schlussfolgerungen der Vorinstanz zu entkräften. So kann ihr weder Willkür noch eine Gehörsverletzung vorgeworfen werden, wenn sie davon abgesehen hat, ein Gutachten zur technischen Notwendigkeit der Mauer einzuholen. Ebenso wenig ist ersichtlich, inwiefern der Sachverhalt in dieser Hinsicht ohne Befragung bzw. Beweisaussage des Beschwerdeführers unvollständig abgeklärt sein soll.
3.3. In rechtlicher Hinsicht sind an die Notwendigkeit der Steinmauer nicht nur unter dem Blickwinkel der Zonenkonformität gemäss Art. 16a Abs. 1 RPG (vgl. dazu oben E. 2.1) strenge Anforderungen zu stellen. Solche gelten auch für die Anerkennung der Standortgebundenheit im Sinne von Art. 24 lit. a RPG bei einer neuen zonenwidrigen Baute oder Anlage (vgl. dazu <ref-ruling> E. 2.1 S. 218; Urteil 1C_561/2012 vom 4. Oktober 2013 E. 3.1, in: ZBl 116/2015 S. 218). Wenn die Vorinstanz erwogen hat, dass die Mauer die Anforderungen dieser beiden Tatbestände nicht erfüllt, entspricht dies der bundesgerichtlichen Rechtsprechung. Die Bewilligung für die Mauer durfte deswegen unabhängig davon verweigert werden, ob sie als zonenkonform oder als zonenwidrig betrachtet wird.
4.
4.1. Das Baudepartement ist im Rekursentscheid vom 23. August 2017 über die Verfügung der Politischen Gemeinde Sennwald vom 3. Oktober 2016 hinausgegangen und hat angeordnet, das Gebäude und die Steinmauer seien vollständig abzubrechen. Die Vorinstanz hat die hiergegen gerichtete Beschwerdebegründung gestützt auf Art. 64 i.V.m. Art. 48 des kantonalen Gesetzes vom 16. Mai 1965 über die Verwaltungsrechtspflege (VRP; sGS 951.1) zunächst als ungenügend eingestuft und ist darauf nicht eingetreten. In einer zusätzlichen Erwägung ist sie dennoch, unter Bezugnahme auf Art. 130 des übergangsrechtlich noch anwendbaren kantonalen Gesetzes vom 6. Juni 1972 über die Raumplanung und das öffentliche Baurecht (aBauG; Zugriff auf die einschlägige konsolidierte Fassung über sGS 731.1), auf die wesentlichen materiellrechtlichen Aspekte bei diesem Punkt eingegangen und hat den Rekursentscheid bestätigt.
In einer solchen Konstellation beurteilt das Bundesgericht auch die materielle Rechtslage, wenn zwar zu Unrecht auf die Beschwerde nicht eingetreten wurde, die Eventualbegründung in der Sache aber zutreffend ist. Daher muss sich die Beschwerdebegründung im bundesgerichtlichen Verfahren (<ref-law>) in solchen Fällen sowohl mit dem Nichteintreten als auch mit der materiellrechtlichen Seite auseinandersetzen (vgl. <ref-ruling> E. 3.2 S. 236 mit Hinweisen), was der Beschwerdeführer getan hat. Im konkreten Fall kann offenbleiben, ob die Vorinstanz überspannte Massstäbe an das Genügen einer Beschwerdebegründung angelegt hat, denn das Rechtsmittel ist in der Sache auch in diesem Punkt unbegründet.
4.2. Formell rechtswidrige Bauten ausserhalb des Baugebiets, die auch nachträglich nicht legalisiert werden können, müssen grundsätzlich beseitigt werden (vgl. <ref-ruling> E. 6 S. 364 f. mit Hinweisen). Die Anordnung des Abbruchs bereits erstellter Bauten kann jedoch nach den allgemeinen Prinzipien des Verfassungs- und Verwaltungsrechts (ganz oder teilweise) ausgeschlossen sein. Dazu gehört namentlich der in Art. 5 Abs. 2 und Art. 36 Abs. 3 BV festgehaltene Grundsatz der Verhältnismässigkeit. Ist eine Bauherrschaft nicht gutgläubig, so muss sie in Kauf nehmen, dass ihre Interessen von der Behörde bei der vorzunehmenden Abwägung nicht oder nur in verringertem Masse berücksichtigt werden (vgl. <ref-ruling> E. 6.4 S. 39 f. mit Hinweis). Der Beschwerdeführer beruft sich auf das Verhältnismässigkeitsprinzip, um sich gegen den angeordneten Rückbau zu wehren. Hingegen rügt er insoweit nicht konkret die Anwendung des einschlägigen kantonalen Rechts.
4.3. Die Vorinstanz hat dem Beschwerdeführer keine Gutgläubigkeit bei den eigenmächtig vorgenommenen Umbauten am Weidstall und bei der Erstellung der Steinmauer zugute gehalten. Diese Beurteilung lässt sich im Lichte der bundesgerichtlichen Rechtsprechung (vgl. dazu Urteil 1C_347/2017 vom 23. März 2018 E. 6.3 mit Hinweisen) nicht ernsthaft in Frage stellen. Falls der Beschwerdeführer im Rahmen der Realisierung der Baubewilligung von 2015 zusätzliche bauliche Massnahmen für angezeigt hielt, so oblag es ihm, vorgängig erneut ein Baugesuch einzureichen.
Weiter bestreitet der Beschwerdeführer vor Bundesgericht nicht konkret, dass das Gebäude bei einer blossen Entfernung der illegal errichteten Bauteile einzustürzen droht. Wie die Vorinstanz zutreffend erwogen hat, gingen die vom Beschwerdeführer vorgenommenen Veränderungen an der Baute über Massnahmen zur Substanzerhaltung, die für die bewilligte Nutzung erforderlich gewesen wären, weit hinaus. Ausserdem ist es nicht zu beanstanden, wenn die kantonalen Instanzen konkrete Anhaltspunkte für eine unzulässige Nutzung des Weidstalls im umgebauten Zustand für Aufenthaltszwecke statt als Bienenhaus und Geräteschuppen bejaht haben. Dabei kann der Beschwerdeführer aus dem ehemaligen Hirtenzimmer nichts für sich ableiten, weil er die diesbezügliche Bausubstanz ohne Bewilligung im Wesentlichen zerstört hat. Damit ist ein öffentliches Interesse für den vollständigen Rückbau des Weidstalls zu bejahen, und die entsprechende Anordnung ist geeignet und erforderlich für die Erreichung dieses öffentlichen Interesses. Vorliegend geht es nicht um eine unbedeutende Abweichung vom Erlaubten, selbst wenn das Vorhaben innerhalb des vorbestehenden Gebäudevolumens realisiert worden sein sollte. Der Beschwerdeführer hat bei den Investitionen für die eigenmächtigen Umbauten auf eigenes Risiko gehandelt. Die Vermögenseinbusse, die er bei einem Verlust des Weidstalls hinzunehmen hat, ist bei weitem nicht derart gewichtig, dass sie das entgegenstehende öffentliche Interesse zu überwiegen vermöchte. Im Übrigen vermag der Beschwerdeführer nicht erfolgreich darzutun, dass eine sachgerechte Bewirtschaftung des Grundstücks bei einem Abbruch des Weidstalls gefährdet ist. Insbesondere ist nicht nachvollziehbar, weshalb die Bewirtschaftung der vom Beschwerdeführer ins Feld geführten Trockenwiesen auf dem Grundstück auf einen Weiterbestand des Weidstalls angewiesen sein soll. Insgesamt erweist sich der von der Vorinstanz bestätigte Abbruch des Weidstalls als zumutbar und verhältnismässig.
Ebenso besteht ein erhebliches öffentliches Interesse an der Freihaltung der Landwirtschaftszone von der eigenmächtig erstellten Steinmauer und damit an ihrem Rückbau. Die entgegenstehenden privaten Interessen am Erhalt der Mauer haben demgegenüber ein vergleichsweise geringes Gewicht. Die von der Vorinstanz bestätigte Anordnung zum Abbruch der Mauer ist unter Verhältnismässigkeitsgesichtspunkten nicht zu beanstanden.
5.
Nach dem Gesagten ist die Beschwerde abzuweisen. Bei diesem Ausgang des Verfahrens wird der Beschwerdeführer kostenpflichtig (<ref-law>). Eine Parteientschädigung ist nicht zuzusprechen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 4'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird dem Beschwerdeführer, der Politischen Gemeinde Sennwald, dem Baudepartement des Kantons St. Gallen, dem Verwaltungsgericht des Kantons St. Gallen, Abteilung I, und dem Bundesamt für Raumentwicklung (ARE) schriftlich mitgeteilt.
Lausanne, 8. April 2020
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Chaix
Der Gerichtsschreiber: Kessler Coendet