Sachverhalt:
A.
Auf dem Grundstück Nr. 4270 Grundbuch Sennwald, westlich oberhalb des Ortsteils Sax, befand sich ein älterer allein stehender Weidstall (Vers.-Nr. 1305) in der Landwirtschaftszone der Gemeinde Sennwald. Im Erdgeschoss hatte es neben dem eigentlichen Stall im Südosten einen Raum mit einfacher Sitzgelegenheit und Holzherd (Hirtenzimmer) in der Nordostecke und einen Lagerraum auf der Westseite. Über dem Stall lag ein Lagerraum für Futter und Streu. Am 11. Juni 2015 reichte A._ als Pächter im Namen des damaligen Grundeigentümers B._ ein Gesuch für die Umnutzung bzw. den Umbau des Weidstalls in ein Bienenhaus ein. Im Obergeschoss sollten Bienenkästen aufgestellt und im Erdgeschoss ein Schleuder- und Lagerraum eingerichtet werden. Nebst Unterhaltsarbeiten an den Fassaden fänden an der Gebäudeform und -grösse keine Veränderungen statt. Der Boden des ehemaligen Stalls, nicht aber des Vorraums sollte betoniert und der Zwischenboden zum Obergeschoss ersetzt werden. Beim Hirtenzimmer waren keine baulichen Massnahmen vorgesehen. Das Amt für Raumentwicklung und Geoinformation des Kantons St. Gallen (AREG) stimmte am 13. August 2015 dem Baugesuch zu und erteilte eine ordentliche Bewilligung nach Art. 16a Abs. 1 und Art. 22 RPG (SR 700). Die kommunale Baubewilligung wurde am 31. August 2015 gewährt.
Am 25. Februar 2016 ersuchte A._ im Namen von B._ um Bewilligung diverser Projektänderungen. Am 4. Juli 2016 stellte das AREG an einem Augenschein Abweichungen von den am 13. August 2015 bewilligten Plänen fest. So waren tragende Wände durch Neukonstruktionen ersetzt, eine Steinmauer entlang der Baute errichtet, das Gelände abgegraben und ein Zufahrtsweg mit Parkplatz erstellt worden. Auf dem Grundstück fand sich ferner ein befestigter Sitzplatz mit Grillstelle und Holzunterstand. Daraufhin wurden am 22. Juli 2016 angepasste Pläne nachgereicht. Parallel dazu äusserte der Gesuchsteller, der Grillplatz und der Parkplatz würden zurückgebaut. Das AREG verweigerte dem Gesuch am 20. September 2016 die Zustimmung. Es erwog, die vorgesehenen und teils ausgeführten Arbeiten würden das für die Bienenhaltung Erforderliche übersteigen. Zum Parkplatz traf das kantonale Amt für Natur, Jagd und Fischerei (ANJF) einen abschlägigen Entscheid. Der Gemeinderat Sennwald eröffnete mit Beschluss vom 3. Oktober 2016 die kantonalen Verfügungen. Zudem hielt er fest, die Baubewilligung vom 31. August 2015 sei weiterhin gültig und die Bauarbeiten seien nach diesen Plänen auszuführen.
B.
Das Baudepartement des Kantons St. Gallen wies den dagegen erhobenen Rekurs am 23. August 2017 ab, soweit es darauf eintrat. Es erwog, der Abstellplatz und die Feuerstelle auf dem Grundstück seien nicht Teil des Baugesuchs. Insoweit trat es auf den Rekurs nicht ein. In Bezug auf die Wiederherstellung des rechtmässigen Zustands hob das Baudepartement den kommunalen Beschluss auf. Es verfügte stattdessen, der Weidstall und die Steinmauer seien vollständig abzubrechen bzw. zurückzubauen. Für den Rückbau wurde eine Frist von drei Monaten ab Rechtskraft des Entscheids angesetzt.
Das daraufhin angerufene Verwaltungsgericht des Kantons St. Gallen wies die Beschwerde mit Entscheid vom 28. Februar 2019 ab, soweit es darauf eintrat. Während des verwaltungsgerichtlichen Verfahrens war B._ verstorben, und A._ war als neuer Grundstückseigentümer in das Verfahren eingetreten.
A._ erhob Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht. Dieses wies die Beschwerde mit Urteil 1C_204/2019 vom 8. April 2020 ab.
C.
Am 3. Januar 2020 reichte A._ ein nachträgliches Baugesuch für die auf Grundstück Nr. 4270 erstellten Rebbau- und Beerenanlagen ein. Gestützt auf die abschlägige raumplanungsrechtliche Teilverfügung des AREG vom 13. Mai 2020 verweigerte der Gemeinderat am 25. Mai 2020 die nachträgliche Baubewilligung; gleichzeitig setzte er eine Frist bis zum 31. August 2020 für den Rückbau und die Renaturierung der Rebbauanlagen und Beerenkisten. Der kommunale Entscheid vom 25. Mai 2020 erwuchs unangefochten in Rechtskraft. Der Gemeinderat setzte mit Beschluss vom 31. August 2020 eine Frist bis zum 18. September 2020 für den Rückbau sämtlicher rechtswidriger Bauten und Anlagen auf dem Grundstück sowie deren Renaturierung an. Für den Fall, dass diese Frist ungenutzt verstreiche, drohte der Gemeinderat die Ersatzvornahme und Straffolgen nach <ref-law> an. Auch dieser Entscheid erwuchs in Rechtskraft. Mit Eingabe vom 18. September 2020 stellte A._ ein Baugesuch für die Instandstellung des Weidstalls für die Schaf- und Bienenhaltung sowie für Aussenanlagen (im Folgenden: Wiedererwägungsgesuch). Er machte geltend, das Grundstück solle neu zonenkonform mit den fraglichen Bauten und Anlagen durch eine Pächterin genutzt werden. Diese führe einen landwirtschaftlichen Nebenerwerbsbetrieb mit Schafhaltung. Der Gemeinderat ordnete am 21. September 2020 die Ersatzvornahme zur Beseitigung der rechtswidrigen Bauten und Anlagen auf Grundstück Nr. 4270 durch die Emag Landschaftspflegetechnik AG an, sofern der Abbruch und die Renaturierung nicht bis zum 9. Oktober 2020 vorgenommen werde. Die Behandlung des neuen Baugesuchs wurde in ein separates Verfahren verwiesen.
D.
Gegen den Beschluss vom 21. September 2020 rekurrierte A._ an das Baudepartement. Dieses hiess am 12. Januar 2021 das Rechtsmittel in dem Sinne teilweise gut, als es die von der Gemeinde auferlegten Verfahrenskosten reduzierte. Im Übrigen wies es den Rekurs ab, soweit es darauf eintrat. Dabei erwog es, die Gemeinde habe einen neuen Termin für die Ersatzvornahme bekannt zu geben, nachdem die Frist für den freiwilligen Abbruch verstrichen sei. Zusätzlich ordnete das Baudepartement als vorsorgliche Massnahme an, dass die Nutzung des Weidstalls auf Grundstück Nr. 4270 bis zum Abschluss des Verfahrens bzw. bis zum Abbruch dieser Baute, unter Strafandrohung, untersagt werde. Einer allfälligen Beschwerde wurde in Bezug auf das Nutzungsverbot die aufschiebende Wirkung entzogen.
Den Rekursentscheid zog A._ mit Eingabe vom 18. Januar 2021 an das Verwaltungsgericht weiter. Während des verwaltungsgerichtlichen Beschwerdeverfahrens verweigerte der Gemeinderat am 22. Februar 2021, gestützt auf die abschlägige raumplanungsrechtliche Teilverfügung des AREG vom 11. Dezember 2020, die Baubewilligung für das Wiedererwägungsgesuch. A._ focht diesen Bauentscheid beim Baudepartement an. Das Verwaltungsgericht wies die Beschwerde vom 18. Januar 2021 mit Entscheid vom 27. Juli 2021 ab, soweit es darauf eintrat.
E.
A._ führt mit Eingabe vom 30. August 2021 Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht. Er beantragt die Aufhebung des angefochtenen Entscheids und den Verzicht auf einen Abbruch der Bauten und Anlagen. Eventualiter sei das Verfahren zu sistieren, bis über sein Wiedererwägungsgesuch rechtskräftig entschieden sei. Subeventualiter sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen.
Das Baudepartement und das Verwaltungsgericht ersuchen um Abweisung der Beschwerde. Mit Stellungnahme vom 17. November 2021 hält der Beschwerdeführer am Rechtsbegehren fest.

Erwägungen:
1.
Angefochten ist ein kantonal letztinstanzlicher Endentscheid über eine baurechtliche Vollstreckungsanordnung. Dagegen steht grundsätzlich die Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht offen (Art. 82 lit. a, Art. 86 Abs. 1 lit. d und Art. 90 BGG). Ein Ausschlussgrund nach <ref-law> liegt nicht vor. Der Beschwerdeführer ist als wiederherstellungspflichtiger Grundeigentümer zur Beschwerde gegen die Anordnung der Ersatzvornahme legitimiert (<ref-law>). Auf die rechtzeitig erhobene Beschwerde (<ref-law>) ist daher grundsätzlich einzutreten.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann insbesondere die Verletzung von Bundesrecht und Völkerrecht gerügt werden (Art. 95 lit. a und b BGG). Zwar wendet das Bundesgericht das Recht grundsätzlich von Amtes wegen an (<ref-law>). Die Verletzung von Grundrechten (einschliesslich die willkürliche Anwendung von kantonalem Recht) prüft es aber nur insoweit, als eine solche Rüge in der Beschwerde vorgebracht und genügend begründet worden ist (<ref-law>; Rügepflicht); hierfür gelten qualifizierte Begründungsanforderungen (vgl. <ref-ruling> E. 1.3 mit Hinweisen).
Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat, sofern dieser nicht offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (Art. 105 und Art. 97 Abs. 1 BGG). Neue Tatsachen und Beweismittel können nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>).
2.
2.1. Der Beschwerdeführer stellte bei der Vorinstanz den Antrag auf Durchführung einer mündlichen und öffentlichen Verhandlung. Weiter beantragte er einen Augenschein, eine persönliche Anhörung und die Befragung seiner Pächterin als Zeugin, die Einholung einer Auskunft des Landwirtschaftsamts, ein Gutachten sowie den Beizug der Akten des Baubewilligungsverfahrens. Die Vorinstanz lehnte sämtliche Anträge ab. Vor Bundesgericht rügt der Beschwerdeführer eine Verletzung von Art. 6 Ziff. 1 EMRK und <ref-law>. Zur Wahrung seiner Parteirechte hätte die beantragte mündliche Verhandlung durchgeführt werden müssen, weil er nicht nur Rechtsfragen aufgeworfen, sondern auch die Sachverhaltsfeststellung beanstandet habe. Die Annahme der Vorinstanz, wonach die Angelegenheit aufgrund der Akten und der schriftlichen Parteivorbringen geklärt werden könne, sei willkürlich. Durch die Ablehnung der Beweisanträge sei auch der Anspruch auf Beweisabnahme (<ref-law>) missachtet worden.
2.2. Ein Entscheid über zivilrechtliche Ansprüche im Sinne von Art. 6 Ziff. 1 EMRK liegt unter anderem vor, wenn eine bau- oder planungsrechtliche Massnahme direkte Auswirkungen auf die Ausübung der Eigentumsrechte der Grundeigentümer hat (vgl. <ref-ruling> E. 3d und 3e; Urteil des Bundesgerichts 1C_421/2007 vom 12. November 2008 E. 2.3, in: ZBl 110/2009 S. 499). Die Anwendbarkeit von Art. 6 Ziff. 1 EMRK erstreckt sich auch auf das Verfahren zur Zwangsvollstreckung einer Entscheidung über einen zivilrechtlichen Anspruch (vgl. GRABENWARTER/PABEL, Europäische Menschenrechtskonvention, 7. Aufl. 2021, § 24 N. 16; JENS MEYER-LADEWIG u.a., Europäische Menschenrechtskonvention: Handkommentar, 4. Aufl. 2017, N. 21 zu Art. 6 EMRK).
2.3. Gemäss Art. 6 Ziff. 1 EMRK hat jede Person ein Recht darauf, dass über Streitigkeiten mit Bezug auf ihre zivilrechtlichen Ansprüche und Verpflichtungen von einem unabhängigen und unparteiischen, auf Gesetz beruhenden Gericht in einem fairen Verfahren, öffentlich und innerhalb angemessener Frist verhandelt wird. Nach ständiger Rechtsprechung gilt die Pflicht zur Durchführung einer öffentlichen und mündlichen Verhandlung indes nicht absolut. Die Rechtsprechung des EGMR und des Bundesgerichts lässt ein Absehen von einer öffentlichen und mündlichen Verhandlung zu, wenn die Angelegenheit ohne Weiteres aufgrund der Akten sowie der schriftlichen Parteivorbringen beurteilt werden kann, wenn sich keine Tatfragen - insbesondere keine Fragen der Beweiswürdigung -, sondern reine Rechts- oder Zulässigkeitsfragen mit geringer Tragweite stellen oder wenn der Streitgegenstand komplexe technische Fragen betrifft. Hingegen ist eine öffentliche und mündliche Verhandlung notwendig, wenn die Überprüfung der vorinstanzlichen Sachverhaltsermittlung erforderlich ist, wenn die Beurteilung der Angelegenheit vom persönlichen Eindruck abhängt oder wenn das Gericht weitergehende Abklärungen zu gewissen Punkten treffen muss. Ob eine öffentliche und mündliche Verhandlung durchzuführen ist, beurteilt sich anhand der konkreten Umstände des Einzelfalls (vgl. zum Ganzen: <ref-ruling> E. 3.5.1 mit Hinweisen).
Gemäss <ref-law> sind Gerichtsverhandlung und Urteilsverkündung öffentlich. Das Gesetz kann Ausnahmen vorsehen. Nach der bundesgerichtlichen Rechtsprechung verleiht diese Bestimmung kein Recht auf eine mündliche Verhandlung, sondern garantiert einzig, dass, wenn eine Gerichtsverhandlung stattzufinden hat, diese - von gesetzlichen Ausnahmen abgesehen - öffentlich sein muss (<ref-ruling> E. 2.1 mit Hinweis).
2.4. Der Anspruch auf rechtliches Gehör (<ref-law>) garantiert den Verfahrensbeteiligten ein persönlichkeitsbezogenes Mitwirkungsrecht. Sie haben insbesondere Anspruch auf Äusserung zur Sache vor Fällung des Entscheids, auf Abnahme ihrer erheblichen, rechtzeitig und formrichtig angebotenen Beweise und auf Mitwirkung an der Erhebung von Beweisen oder zumindest auf Stellungnahme zum Beweisergebnis (vgl. <ref-ruling> E. 3.4; <ref-ruling> E. 2.1; je mit Hinweisen). Mit Bezug auf Beweisanträge hat Art. 6 Ziff. 1 EMRK keine über <ref-law> betreffend das rechtliche Gehör hinausgehende Bedeutung (vgl. <ref-ruling> E. 5.2). Die Parteien haben somit grundsätzlich Anspruch auf die Abnahme von Beweismitteln, soweit sie rechtserheblich sind. Welche Beweismittel rechtserheblich sind, entscheidet sich danach, über welche Sachverhaltselemente und Tatsachen für die Anwendung der in Frage stehenden Normen der Beweis zu führen ist. Dies ergibt sich wiederum aus dem materiellen Recht (vgl. <ref-ruling> E. 2.4; <ref-ruling> E. 3.2; Urteil 1C_317/ 2016 vom 25. Januar 2017 E. 2.6).
2.5. Gegen den umstrittenen Vollstreckungsentscheid wehrt sich der Beschwerdeführer in der Sache unter Hinweis auf die Rechtshängigkeit seines Wiedererwägungsgesuchs. Er behauptet, die Sachlage habe sich seit den rechtskräftigen Entscheiden zur Wiederherstellung des rechtmässigen Zustands grundlegend geändert, weil die betroffenen Bauten und Anlagen neu im Rahmen des landwirtschaftlichen Betriebs der Pächterin genutzt werden sollen. Diese Vorbringen hat die Vorinstanz materiell geprüft. Dabei erwog sie, das Bauvorhaben gemäss Wiedererwägungsgesuch sei weder landwirtschaftlich betriebsnotwendig noch angemessen dimensioniert. Den bereits ausgeführten baulichen Massnahmen ständen überwiegende öffentliche Interessen entgegen. Deshalb fehle es dem Wiedererwägungsgesuch an ernsthaften Aussichten auf Bewilligung. Mit diesen Erwägungen hat die Vorinstanz zu erkennen gegeben, dass sie bei ihrer Beurteilung den vom Beschwerdeführer behaupteten Sachverhalt, wonach die Grundstücksnutzung neu im Rahmen eines landwirtschaftlichen Betriebs erfolge, unterstellt hat. Die Unterinstanzen hatten dem Beschwerdeführer zwar zusätzlich vorgehalten, beim Betrieb der Pächterin handle es sich um Freizeitlandwirtschaft und sein Wiedererwägungsgesuch wirke unglaubwürdig. Diese Sachverhaltswürdigung stellte er vor der Vorinstanz zur Diskussion. Da die Vorinstanz dem angefochtenen Entscheid aber im Unterschied zu den Unterinstanzen einen zonenkonformen landwirtschaftlichen Betrieb zugrunde gelegt hat, waren die erwähnten Vorbehalte der Unterinstanzen nicht mehr von Belang. Zusätzlich ist zu berücksichtigen, dass die Vorinstanz bereits im Rechtsmittelverfahren über das Baugesuch von 2016 einen Augenschein vorgenommen hatte.
Die Erheblichkeit der fraglichen neuen Umstände bzw. die Erfolgsaussichten für das Wiedererwägungsgesuch hingen unter diesen Umständen bei der Beurteilung durch die Vorinstanz weder vom persönlichen Eindruck des Beschwerdeführers noch von weiteren Sachverhaltsabklärungen ab. Vielmehr stellten sich einzig Rechtsfragen, welche die Vorinstanz hinreichend aufgrund der Akten und der schriftlichen Parteivorbringen entscheiden konnte. Der Beschwerdeführer hatte genügend Gelegenheit, sich schriftlich zur Sache zu äussern. Demzufolge hat die Vorinstanz weder Art. 6 Ziff. 1 EMRK noch <ref-law> verletzt, wenn sie den Antrag auf mündliche und öffentliche Verhandlung abgewiesen hat. Bei diesem Ergebnis erübrigt es sich, die vom Beschwerdeführer zusätzlich aufgeworfene Frage zu erörtern, inwiefern der Anspruch auf mündliche und öffentliche Verhandlung gestützt auf Art. 55 i.V.m. Art. 64 des kantonalen Gesetzes vom 16. Mai 1965 über die Verwaltungsrechtspflege (VRP; sGS 951.1) beschränkt werden darf.
2.6. Ausserdem durfte die Vorinstanz in zulässiger antizipierter Beweiswürdigung davon ausgehen, dass auch die beantragten Beweismassnahmen zu keiner anderen Beurteilung führen würden (vgl. <ref-ruling> E. 3.1.3 mit Hinweisen). In dieser Hinsicht ist kein Verstoss gegen den Anspruch auf rechtliches Gehör (<ref-law>) oder das Willkürverbot (<ref-law>) ersichtlich.
2.7. Im bundesgerichtlichen Verfahren stellt der Beschwerdeführer erneut die genannten Beweisanträge (vgl. oben E. 2.1). Die Durchführung einer mündlichen und öffentlichen Verhandlung beantragt er nicht. Die tatsächlichen Feststellungen im angefochtenen Entscheid erweisen sich als ausreichend zur Beurteilung der erhobenen Rechtsrügen, soweit das Bundesgericht dazu berufen ist. Insbesondere ist nicht ersichtlich, inwiefern ein weiterer Augenschein zu anderen oder neuen, rechtserheblichen Erkenntnissen führen würde. Es besteht kein Anlass, den Beweisanträgen des Beschwerdeführers zu entsprechen.
3.
3.1. Wie die Vorinstanz dargelegt hat, handelt es sich bei der im Streit liegenden Anordnung der Ersatzvornahme um eine Vollstreckungsmassnahme von Sachentscheiden. Eine Verfügung, mit der ein rechtskräftiger Sachentscheid vollzogen wird, kann grundsätzlich nur soweit angefochten werden, als die gerügte Rechtswidrigkeit in der Vollstreckungsverfügung selbst begründet ist. Ausgeschlossen ist hingegen die Rüge, der frühere Sachentscheid sei rechtswidrig; eine solche Rüge ist verspätet. Eine Ausnahme von diesem Grundsatz macht das Bundesgericht allenfalls dann, wenn der Beschwerdeführer die Verletzung von unverzichtbaren oder unverjährbaren Grundrechten geltend macht oder wenn die Nichtigkeit der ursprünglichen Verfügung zur Diskussion steht (vgl. <ref-ruling> E. 3c/cc; <ref-ruling> E. 1.1; Urteile 1C_15/2007 vom 27. April 2007 E. 1.3; 1C_224/2021 vom 28. Oktober 2021 E. 4.1). Der Beschwerdeführer tut vor Bundesgericht nicht substanziiert dar, dass eine dieser Ausnahmen gegeben sein soll.
3.2. Allerdings hat die Vorinstanz ein neues Baugesuch, wenn es sich auf erheblich geänderte Verhältnisse stützt oder sonstwie ernsthafte Aussichten auf Bewilligung hat, als zulässigen Grund für eine Wiedererwägung einer rechtskräftigen Bewilligungsverweigerung (samt Wiederherstellung des rechtmässigen Zustands) anerkannt. Diesen Grundsatz hat die Vorinstanz aus Art. 159 Abs. 1 lit. c des kantonalen Planungs- und Baugesetzes vom 5. Juli 2016 (PBG; sGS 731.1) über nachträgliche Baugesuche i.V.m. Art. 27 VRP über Wiedererwägungsgesuche abgeleitet. Ferner bezog sie sich in diesem Zusammenhang auf <ref-law>. Der Beschwerdeführer wirft der Vorinstanz vor, sie habe seinen verfassungsrechtlichen Anspruch auf Wiedererwägung der Abbruchverfügung missachtet. Dabei rügt er nicht substanziiert eine willkürliche Anwendung kantonalen Rechts, sondern beruft sich sinngemäss auf den aus <ref-law> herleitbaren Mindestanspruch auf Wiedererwägung oder Revision. Dieser Anspruch erfordert, dass die Verfügung bereits bei ihrem Erlass fehlerhaft war oder nachträglich aufgrund einer wesentlichen Änderung der Umstände fehlerhaft wurde (vgl. <ref-ruling> E. 4.3; Urteil 1C_600/2016 vom 20. April 2017 E. 4.3; vgl. auch <ref-ruling> E. 4.1). Dabei hat der Beschwerdeführer im Einzelnen darzulegen, inwiefern die neuen Umstände zu einer anderen Beurteilung führen müssen (vgl. <ref-ruling> E. 2.2.1).
Zusätzlich erwähnt der Beschwerdeführer vor Bundesgericht in diesem Zusammenhang das Verhältnismässigkeitsprinzip (<ref-law>). Daraus vermag er keine über den soeben dargelegten Gehalt von <ref-law> hinausgehenden Ansprüche abzuleiten.
3.3. Weiter beantragte der Beschwerdeführer bei der Vorinstanz erfolglos, es sei vorerst sein Wiedererwägungsgesuch zu bearbeiten. Vor Bundesgericht stellt er den Eventualantrag, das Beschwerdeverfahren sei zu sistieren, bis über das Wiedererwägungsgesuch rechtskräftig entschieden ist. Gemäss <ref-law> i.V.m. <ref-law> (SR 273) kann das Bundesgericht das Verfahren aus Gründen der Zweckmässigkeit aussetzen, insbesondere wenn das Urteil von der Entscheidung in einem anderen Rechtsstreit beeinflusst werden kann (vgl. <ref-ruling> E. 4; Urteil 2C_629/2021 vom 19. Oktober 2021 E. 1.5.2). Die Verweigerung einer beantragten Sistierung durch eine kantonale Behörde verstösst in der Regel nur dann gegen Bundesrecht, wenn sich die Pflicht zur Sistierung aus einer bundesrechtlichen Norm ergibt. Trifft dies nicht zu, verletzt die Ablehnung des Sistierungsbegehrens höchstens dann prozessuale Ansprüche des Antragstellers, wenn die kantonale Behörde ihr Ermessen überschritten oder missbraucht und damit das Willkürverbot verletzt hat (vgl. Urteil 2C_1124/2012 vom 27. August 2013 E. 2 mit Hinweis). Zwar ist der Beurteilung des Wiedererwägungsgesuchs des Beschwerdeführers im kantonalen Rechtsmittelverfahren an sich nicht vorzugreifen. Eine Überprüfung der rechtsgenüglich vorgebrachten Rügen des Beschwerdeführers im vorliegenden Verfahren führt aber zum Ergebnis, dass den von ihm geltend gemachten neuen Umständen die Erheblichkeit abzusprechen ist. Dies ist im Folgenden darzulegen. Unter diesen Umständen ist dem Sistierungsbegehren die Grundlage entzogen.
4.
4.1. Als neuen Umstand macht der Beschwerdeführer die Nutzung des Grundstücks im Rahmen des landwirtschaftlichen Betriebs seiner Pächterin geltend. Die bestehende Baute auf dem Grundstück soll dabei als Schafstall, Bienenstand und Lagerraum dienen. Die Vorinstanz hat die Erfolgsaussichten des Wiedererwägungsgesuchs anhand von Art. 16a RPG und Art. 34 der Raumplanungsverordnung vom 28. Juni 2000 (RPV; SR 700.1) gewürdigt. In der Landwirtschaftszone zonenkonform sind Bauten und Anlagen, die zur landwirtschaftlichen Bewirtschaftung nötig sind (Art. 16a Abs. 1 RPG i.V.m. <ref-law>). Voraussetzung für die Erteilung einer Baubewilligung ist gemäss <ref-law> weiter, dass die Baute oder Anlage für die in Frage stehende Bewirtschaftung nötig ist (lit. a), der Baute oder Anlage am vorgesehenen Standort keine überwiegenden Interessen entgegenstehen (lit. b) und der Betrieb voraussichtlich längerfristig bestehen kann (lit. c).
4.2. Nach der Rechtsprechung beurteilt sich die Frage der Notwendigkeit der Erstellung oder der Veränderung einer landwirtschaftlichen Baute oder Anlage nach objektiven Kriterien. Sie hängt ab von der bestellten Oberfläche, von der Art des Anbaus und der Produktion sowie von der Struktur, Grösse und Erforderlichkeit der Bewirtschaftung (vgl. Urteil 1C_567/2015 vom 29. August 2016 E. 4.1 mit Hinweisen). Landwirtschaftliche Betriebsbauten haben sich sodann auf das für die vorgesehene Nutzung objektiv Nötige zu beschränken und dürfen insbesondere nicht überdimensioniert sein (<ref-ruling> E. 2.4; <ref-ruling> E. 3.2; Urteil 1C_247/2020 vom 12. Mai 2021 E. 3.2 mit weiteren Hinweisen).
4.3. Aufgrund der rechtskräftigen Abbruchanordnung für den Weidstall ist die Situation so zu beurteilen, wie wenn der Beschwerdeführer gesetzeskonform gehandelt und die rechtswidrig gewordene Baute längst zurückgebaut hätte (vgl. Urteil 1C_514/2019 vom 2. April 2020 E. 3.2). Daher vermag die Rechtsprechung, wonach - wo immer möglich - bestehende landwirtschaftliche Bauten umgenutzt werden müssen, bevor Neubauten in der Landwirtschaftszone bewilligt werden (vgl. dazu Urteil 1C_457/2017 vom 25. März 2019 E. 5.4 mit Hinweisen, in: ZBl 121/2020 S. 154), dem Beschwerdeführer vorliegend nicht weiterzuhelfen.
4.4. Nach den Feststellungen des Baudepartements, auf welche die Vorinstanz verweist, befindet sich das Betriebszentrum der Pächterin in über 10 km Entfernung vom Grundstück. Der fragliche Weidstall würde bei der Sömmerung der Schafe genutzt. Der Beschwerdeführer behauptet insoweit nichts anderes. Zum Witterungsschutz von Schafen genügen, abgesehen von den hier nicht interessierenden Wintermonaten, auch Bäume, Sträucher und sonstige natürliche Strukturen (vgl. Urteil 1C_247/2020 vom 12. Mai 2021 E. 6.2.1). Inwiefern solche natürlichen Strukturen auf der Weidefläche vorhanden sind, spielt jedoch keine wesentliche Rolle. Es ist davon auszugehen, dass ein hinreichender Schutz vor der Witterung und vor Angriffen durch Grossraubtiere tierschutzkonform auch mit einem mobilen Weideunterstand sichergestellt werden kann. Unter diesen Umständen ist es nachvollziehbar, wenn die Vorinstanz ein (rechtlich neues) Gebäude im Umfang des bestehenden Weidstalls für die zur Diskussion stehende Sömmerung als offensichtlich überdimensioniert angesehen hat. Der Beschwerdeführer wendet ein, eine Unterbringung der Schafe in dem über die Minimalanforderungen des Tierschutzes hinausgehenden Weidstall ermögliche eine gute Schafhaltung; ferner halte dieses massiv gebaute Gebäude Stürmen wie auch dem Schneedruck stand, der bei dieser Höhenlage gross sein könne. Mit diesen Argumenten gelingt es dem Beschwerdeführer nicht, erfolgreich eine landwirtschaftliche Notwendigkeit für ein solches Gebäude am fraglichen Standort zur Unterbringung von Schafen während der Sömmerung zu begründen. Umso weniger erscheint ein Wasserspeicher oder ein Abwassertank zum Gebäude als erforderlich.
Im Übrigen wurde im Urteil 1C_204/2019 vom 8. April 2020 betreffend das fragliche Gebäude erwogen, dass das nachträgliche Baugesuch objektiv über das für die Bienenhaltung oder für Arbeiten im Wald oder Wiesland des Grundstücks Notwendige hinausgehe (a.a.O. E. 2.1). Der Beschwerdeführer macht nicht substanziiert geltend, inwiefern beim Wiedererwägungsgesuch neue Umstände in dieser Hinsicht vorliegen sollen. Auch im Hinblick auf den Anbau von Reben und Beeren legt er nicht detailliert dar, weshalb dafür ein Gebäude auf dem Grundstück landwirtschaftlich notwendig wäre. Insoweit entspricht die Beschwerdeschrift nicht den Anforderungen der Rügepflicht (oben E. 1 und E. 3.2). Darauf ist nicht weiter einzugehen.
Demzufolge hält es vor dem Anspruch auf Wiedererwägung gemäss <ref-law> stand, wenn die Vorinstanz die vom Beschwerdeführer geltend gemachten neuen Umstände gegen eine Vollstreckung der Abbruchanordnung beim bestehenden Weidstall als nicht erheblich betrachtet hat.
4.5. Bei der Steinmauer westlich bzw. bergwärts des Weidstalls hat das Bundesgericht die Verweigerung der nachträglichen Baubewilligung geschützt, weil diese Mauer weder zur landwirtschaftlichen Bewirtschaftung notwendig noch positiv standortgebunden sei (vgl. Urteil 1C_204/2019 vom 8. April 2020 E. 3.3).
Hinsichtlich Abstellplatz und Grillstelle hatte die Vorinstanz im Entscheid vom 28. Februar 2019 erwogen, der Beschwerdeführer habe die Pflicht zur Wiederherstellung anerkannt. Das ANJF habe den Parkplatz wegen des Eingriffs in eine geschützte Trockenwiese bzw. die Pufferzone nicht bewilligt. Das Baudepartement sei zu Recht auf den Rekurs gegen die Wiederherstellung des rechtmässigen Zustands beim Abstellplatz nicht eingetreten. Es sei Aufgabe der Gemeinde, die Wiederherstellung des Platzes gemäss der Verfügung des ANJF und der Grillstelle gegebenenfalls zu vollziehen. Gegen diesen Entscheidpunkt wehrte sich der Beschwerdeführer nicht, so dass sich das Bundesgericht im Urteil 1C_204/2019 vom 8. April 2020 damit nicht zu befassen hatte.
Gemäss den Verfahrensakten wurde das nachträgliche Baugesuch für die Rebbau- und Beerenanlagen auf dem Grundstück im rechtskräftigen Bauentscheid vom 25. Mai 2020 nicht nur wegen allfälliger Freizeitlandwirtschaft des Beschwerdeführers, sondern auch wegen ihrer (zumindest teilweisen) Lage im Waldabstand oder in einem Schutzgebiet abgewiesen. Die soeben erwähnte Lage der Rebbau- und Beerenanlagen wird auch in der raumplanungsrechtlichen Teilverfügung des AREG vom 11. Dezember 2020 angesprochen, auf die im angefochtenen Entscheid verwiesen wird.
4.6. Vor Bundesgericht legt der Beschwerdeführer im Hinblick auf die Steinmauer und die betroffenen Anlagen auf dem Grundstück nicht substanziiert dar, inwiefern der behauptete landwirtschaftliche Betrieb der Pächterin einen erheblichen neuen Umstand darstellen soll. Er beschränkt sich im Wesentlichen auf die pauschale Behauptung, wonach die Pächterin diese Anlagen für die landwirtschaftliche Nutzung benötige. Die Beschwerdeschrift geht hingegen nicht auf den Umstand ein, dass die rechtskräftige Verweigerung der Baubewilligungen nicht oder nicht nur mit dem Fehlen eines landwirtschaftlichen Betriebs beim Beschwerdeführer begründet worden ist (vgl. oben E. 4.5). Auch in dieser Hinsicht sind die Anforderungen an die Rügepflicht bei einer Verfassungsrüge nicht erfüllt (vgl. dazu oben E. 1 und 3.2). Soweit in der Beschwerdeschrift bei einzelnen Anlagen (wie Abstellplatz oder Heidelbeerenanlage) geltend gemacht wird, diese würden gar nicht im Waldabstand oder im Bereich des Naturschutzgebiets liegen, so läuft dies auf eine unzulässige Infragestellung der rechtskräftigen Sachentscheide hinaus (vgl. oben E. 3.1).
Unter diesen Umständen verletzt auch die Vollstreckung des Abbruchs der Steinmauer und der fraglichen Anlagen auf dem Grundstück den verfassungsrechtlichen Anspruch auf Wiedererwägung nicht, soweit diesbezüglich rechtsgenügliche Rügen vorliegen.
4.7. Zusammengefasst ist es aufgrund der vorstehend geprüften Rügen nicht zu beanstanden, dass die Vorinstanz angenommen hat, das Wiedererwägungsgesuch des Beschwerdeführers stehe der umstrittenen Ersatzvornahme nicht entgegen.
5.
Nach dem Gesagten ist die Beschwerde abzuweisen, soweit darauf einzutreten ist. Bei diesem Ausgang des Verfahrens wird der Beschwerdeführer kostenpflichtig (<ref-law>). Eine Parteientschädigung ist nicht zuzusprechen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 4'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird dem Beschwerdeführer, der Politischen Gemeinde Sennwald, dem Baudepartement des Kantons St. Gallen und dem Verwaltungsgericht des Kantons St. Gallen, Abteilung I, schriftlich mitgeteilt.
Lausanne, 9. Februar 2022
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kneubühler
Der Gerichtsschreiber: Kessler Coendet