Sachverhalt:
A.
A.a. A._ war Eigentümer der in der Landwirtschaftszone gelegenen Parzelle Nr. 323 in der Politischen Gemeinde Häggenschwil im Halte von 94'633 m 2, auf der sich ein Wohnhaus (Vers.-Nr. 281), eine Scheune (Vers.-Nr. 282) und eine Remise (Vers.-Nr. 283) befanden. Das Amt für Raumentwicklung (heute Amt für Raumentwicklung und Geoinformation AREG) des Kantons St. Gallen erteilte am 10. Mai 2006 für diese Bauten die Zustimmung zur Umnutzung, und zwar für das Wohnhaus gemäss dem damals gültigen Art. 24d des Raumplanungsgesetzes (RPG; SR 700) sowie für Scheune und Remise gemäss Art. 24a RPG. Das Landwirtschaftsamt des Kantons St. Gallen genehmigte darauf die Abparzellierung der Bauten samt Umland vom landwirtschaftlichen Grundstück. Dabei entstanden neu die Parzelle Nr. 767 mit dem Wohnhaus (Vers.-Nr. 281) und die Parzelle 753 mit der Scheune (Vers.-Nr. 282) und der Remise (Vers.-Nr. 283). Die Parzelle Nr. 767 veräusserte A._. Die neuen Eigentümer bauten mit Bewilligung des AREG vom 2. Oktober 2008 das Wohnhaus um und fügten eine gedeckte Terrasse an.
A.b. Aufgrund eines Hinweises aus der Bevölkerung beauftragte das AREG am 15. März 2012 den Gemeinderat der Politischen Gemeinde Häggenschwil, bauliche Veränderungen an der Remise (Vers.-Nr. 283) zu prüfen. Mit raumplanungsrechtlicher Teilverfügung vom 18. Februar 2014 verweigerte das AREG die Bewilligung für den Teilersatz und die Zweckänderung der Remise mit Einbau einer Nasszelle mit Wohnaufenthaltsraum im nachträglichen Baubewilligungsverfahren für Vorhaben ausserhalb der Bauzonen und wies die Gemeinde an, die Wiederherstellung des rechtmässigen Zustandes anzuordnen. Am 21. Juli 2014 erliess der Gemeinderat Häggenschwil betreffend die Remise (Vers.-Nr. 283) eine Wiederherstellungsverfügung mit im Wesentlichen einem partiellen Nutzungsverbot. Diese Verfügung focht A._ am 31. Juli 2014 mit Rekurs beim Baudepartement des Kantons St. Gallen (Baudepartement) an. Dieses wies am 25. Oktober 2016 den Rekurs ab. Dabei änderte es die kommunale Wiederherstellungsverfügung zu Ungunsten des Rekurrenten, indem es den Abbruch der Remise (Vers.-Nr. 283) bis auf das gemauerte Sockelgeschoss des nördlichen Gebäudeteiles anordnete. Für den Rückbau setzte das Baudepartement eine Frist von drei Monaten ab Rechtskraft des Entscheids an. Der Bauherr habe sich vorgängig bei der Baubehörde zu erkundigen, ob die notwendigen baulichen Massnahmen für die Erhaltung des Sockelgeschosses baubewilligungspflichtig seien. In diesem Fall sei unverzüglich ein entsprechendes Baugesuch einzureichen. Die erwähnte Dreimonatsfrist verlängere sich in diesem Fall um die Dauer des Baubewilligungsverfahrens, falls das Baugesuch innert der Frist von einem Monat ab Rechtskraft dieses Entscheids bei der Baubehörde eingereicht werde.
B.
Gegen den Rekursentscheid gelangte A._ an das Verwaltungsgericht des Kantons St. Gallen. Mit Entscheid vom 27. Dezember 2018 wies dieses das Rechtsmittel ab, soweit es darauf eintrat.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 7. Februar 2019 beantragt A._, das Urteil des Verwaltungsgerichts aufzuheben und die Angelegenheit an dieses zur nochmaligen Prüfung zurückzuweisen. Mit gleicher Eingabe erhebt A._ subsidiär auch Verfassungsbeschwerde für den Fall, dass das Bundesgericht die Voraussetzungen für die Behandlung der Eingabe als öffentlich-rechtliche Beschwerde als nicht erfüllt betrachten sollte.
Das Verwaltungsgericht und das Baudepartement ersuchen um Abweisung der Beschwerde. Das Bundesamt für Raumentwicklung (ARE) schliesst sich in der Stellungnahme vom 29. April 2019 den Erwägungen der Vorinstanz an. Die Politische Gemeinde Häggenschwil hat keine Vernehmlassung eingereicht.
A._ äussert sich am 13. Mai 2019 zur Vernehmlassung des Baudepartements.
D.
Mit Verfügung vom 5. März 2019 hat der Präsident der I. öffentlich-rechtlichen Abteilung der Beschwerde die aufschiebende Wirkung zuerkannt.

Erwägungen:
1.
1.1. Angefochten ist ein kantonal letztinstanzlicher Endentscheid über die Bewilligungsfähigkeit eines (bereits 2009 vorgenommenen) Umbaus sowie die Zulässigkeit einer Abbruchanordnung. Dagegen steht die Beschwerde in öffentlich-rechtlichen Angelegenheiten offen (vgl. Art. 82 lit. a, Art. 86 Abs. 1 lit. d und Abs. 2 sowie Art. 90 BGG); ein Ausschlussgrund nach <ref-law> liegt nicht vor. Der Beschwerdeführer nahm am vorinstanzlichen Verfahren teil, ist durch den angefochtenen Entscheid auch materiell beschwert und damit nach <ref-law> zur Beschwerde legitimiert. Auch sonst steht einem Sachurteil grundsätzlich nichts entgegen. Für die subsidiäre Verfassungsbeschwerde besteht kein Raum (<ref-law>).
1.2. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann die Verletzung von Bundesrecht, Völkerrecht und kantonalen verfassungsmässigen Rechten gerügt werden (Art. 95 lit. a-c BGG). Die Verletzung des übrigen kantonalen Rechts kann (abgesehen von hier nicht relevanten Ausnahmen) vor Bundesgericht nicht gerügt werden, es sei denn, die Anwendung des kantonalen Rechts führe zu einer Verletzung von Bundesrecht, namentlich des Willkürverbots (vgl. <ref-ruling> E. 2.1 S. 372 mit Hinweisen).
1.3. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es prüft die bei ihm angefochtenen Entscheide grundsätzlich nur auf Rechtsverletzungen hin, die von den Beschwerdeführern geltend gemacht und begründet werden (vgl. <ref-law>). Die Beschwerde muss sich mit dem angefochtenen Entscheid auseinandersetzen; rein appellatorische Kritik ist unzulässig. Erhöhte Anforderungen an die Begründung gelten, soweit die Verletzung von Grundrechten gerügt wird (<ref-law>; vgl. <ref-ruling> E. 1.7.1 und E. 1.7.2 S. 106 mit Hinweisen).
2.
2.1. Der Beschwerdeführer erkennt eine Verletzung von Art. 6 EMRK, weil ihn die Vorinstanz nicht persönlich angehört habe. Er hat in seiner Beschwerdeergänzung vom 23. Januar 2017 an die Vorinstanz allerdings keinen Antrag um Durchführung einer öffentlichen Verhandlung gestellt, sondern nur um Anhörung als Auskunftsperson für den Fall ersucht, dass der ebenfalls beantragte Augenschein nicht durchgeführt werde. Die persönliche Anhörung in dieser Form stellt gemäss Art. 12 Abs. 1 des Gesetzes über die Verwaltungsrechtspflege des Kantons St. Gallen (VRP; sGS 951.1) als Befragung von Beteiligten wie auch als Parteiaussage gemäss Art. 13 VRP i.V.m. Art. 191 und 192 ZPO ein Beweismittel dar.
Die Vorinstanz hat das Begehren des Beschwerdeführers auch im Sinne eines Beweisantrags verstanden und im Sinne antizipierter Beweiswürdigung auf die Abnahme dieses Beweises verzichtet. Mit Bezug auf Beweisanträge hat Art. 6 Ziff. 1 EMRK allerdings keine über <ref-law> betreffend das rechtliche Gehör hinausgehende Bedeutung (<ref-ruling> E. 5.2 S. 148; vgl. zur antizipierten Beweiswürdigung E. 2.4 hiernach). Entgegen dem Vorwurf des Beschwerdeführers hat sich die Vorinstanz sodann zum Verzicht auf die Befragung des Beschwerdeführers als Auskunftsperson geäussert, weshalb insofern weder eine Konventions- noch eine Gehörsverletzung vorliegt.
2.2. Weiter beanstandet der Beschwerdeführer, dass er sich entgegen der Vorschrift von Art. 62 VRP zum Ergebnis des Beweisverfahrens nicht äussern konnte. Diese Bestimmung lautet: Den Beteiligten ist Gelegenheit zu geben, sich zum Ergebnis des Beweisverfahrens zu äussern. Dass ihr Gehalt weiter als der Gehörsanspruch nach <ref-law> geht, macht der Beschwerdeführer nicht geltend. Da gar kein Beweisverfahren stattfand, war die Vorinstanz nach <ref-law> nicht verpflichtet, dem Beschwerdeführer eine solche Gelegenheit einzuräumen (vgl. Urteil 9C_634/2014 vom 31. August 2015 E. 6.1.2).
2.3. Der Beschwerdeführer rügt, ihm seien die Beschwerdeakten nicht zur Einsicht zugestellt worden. Der Beschwerdeführer hätte jedoch Gelegenheit gehabt, nachdem ihm die Vorinstanz die Vernehmlassung des Baudepartements zugestellt hatte, die Zustellung der Akten zu verlangen (vgl. dazu Urteil 1B_140/2007 vom 27. November 2007 E. 2). Dass er dies vorgekehrt hätte, wird von ihm weder behauptet noch belegt. Auch leitet der Beschwerdeführer keine konkreten Schlüsse aus der fehlenden Akteneinsichtnahme ab. Ebenso wenig hat er im vorliegenden Beschwerdeverfahren Akteneinsicht verlangt, um allenfalls jene Akten zu bezeichnen, in die ihm im vorinstanzlichen Verfahren die Einsichtnahme verwehrt worden sei.
2.4. Der Beschwerdeführer beanstandet, dass die Vorinstanz selber keinen Augenschein durchführte. Die Vorinstanz hat sich mit der Frage der Durchführung eines Augenscheins auseinandergesetzt und dargelegt, dass bei einem Augenschein nur der gegenwärtige Zustand und nicht jener der Remise vor den baulichen Massnahmen festgestellt werden könnte. Wenn die Vorinstanz in zulässiger antizipierter Beweiswürdigung (<ref-ruling> E. 5.3 S. 236 f.) deshalb auf die Durchführung eines Augenscheines verzichtete, kann darin keine Verletzung des rechtlichen Gehörs erkannt werden. Überdies hat das Baudepartement anlässlich des von ihm durchgeführten Augenscheins eine Fotodokumentation erstellt und auch in den vom AREG in jenem Verfahren eingereichten Akten wird die örtliche Situation durch Fotografien dokumentiert. Dementsprechend konnte auch aufgrund dieser Dokumente die Durchführung eines Augenscheines unterbleiben.
2.5. Soweit der Beschwerdeführer im Rahmen seiner materiellen Ausführungen weitere Gehörsverletzungen rügt, ist darauf im jeweiligen Zusammenhang einzugehen.
3.
3.1. Das Gebäude Vers.-Nr. 283, von dem Teile abgebrochen und wieder aufgebaut wurden, liegt in der Landwirtschaftszone bzw. in der Landschaftsschutzzone. Der Beschwerdeführer macht geltend, dass er Umbauten an diesem Gebäude bereits 2009 vorgenommen habe. In jenem Zeitraum habe ihm der damalige Gemeindepräsident der Politischen Gemeinde Häggenschwil bestätigt, dass die Renovationsarbeiten nicht baubewilligungspflichtig seien. Ebenso sei damals <ref-law> (SR 700.1), auf den sich die Vorinstanz berufe, noch gar nicht in Kraft gewesen.
3.2. Am 10. Mai 2006 erliess das AREG eine raumplanungsrechtliche Teilverfügung betreffend die Nutzungsänderung Wohnhaus und Scheune und Remise. Die Verfügung erging aufgrund eines vom Beschwerdeführer am 25. Februar 2006 gestellten Gesuches für Bauten und Anlagen ausserhalb der Bauzone. Schon aufgrund dieses vom Beschwerdeführer selber gestellten Gesuches musste ihm bewusst gewesen sein, dass der Gemeindepräsident nicht zuständig war für den Entscheid, ob die "Renovationsarbeiten" am Gebäude Vers.-Nr. 283 baubewilligungspflichtig seien und ob diese Bewilligung ausserhalb der Bauzone erteilt werden könne. Auch ist zu bemerken, dass in dem vom Beschwerdeführer angerufenen Schreiben des Gemeindepräsidenten vom 7. Oktober 2009 von einem Kleinvieh- und einem Pferdestall sowie von einem Lager und einer Garage geschrieben wird. Von einer angeblichen "Wohnnebennutzung" ist nirgends die Rede. Vielmehr wies der Gemeindepräsident darauf hin, dass für eine Umnutzung der Bauten die Zustimmung des Kantons erforderlich sei.
3.3. In der Verfügung vom 10. Mai 2006 hielt das AREG fest, dass der Beschwerdeführer den guten baulichen Zustand der Remise mit Stall bestätigt habe und sich bewusst sei, dass lediglich Unterhaltsarbeiten zulässig seien. Demgegenüber gab B._, Architekt des Beschwerdeführers, der die Pläne für die Umbauarbeiten angefertigt hatte, an, dass er im Sommer 2009 vom Beschwerdeführer den Auftrag erhalten habe, die Sanierung der teilweise einsturzgefährdeten Remise zu planen. Das Dach des ehemaligen Stalls für ein Hausschwein sei vor langer Zeit eingebrochen, einige Ziegel seien abgestürzt und vom allseits zerrissenen Betonboden sei eine über zwei Meter hohe Esche aus dem Dach gewachsen. Diese Angaben stehen in einem klaren Gegensatz zu den Ausführungen in der Verfügung vom 10. Mai 2006. Vielmehr muss angenommen werden, dass schon in jenem Zeitpunkt das Gebäude Vers.-Nr. 283 sich in einem baulich schlechten Zustand befunden hatte. Insbesondere konnte 2006 nicht von einer angeblichen "Wohnnebennutzung" ausgegangen werden.
3.4. Der sachliche Anwendungsbereich von Art. 24c RPG in der bis 31. Oktober 2012 massgebenden Version (vgl. AS 2000 2042 und AS 2012 5535) erstreckte sich nicht auf vor dem 1. Juli 1972 erstellte, aber zonenkonform gebliebene und heute nicht mehr für landwirtschaftliche Zwecke benötigte Wohnbauten. Letztere durften nur nach Art. 24d RPG umgenutzt, also insbesondere nicht erweitert sowie abgebrochen und anschliessend wieder aufgebaut werden (vgl. RUDOLF MUGGLI in: Aemisegger/Moor/Ruch/Tschannen [Hrsg.], Praxiskommentar RPG: Bauen ausserhalb der Bauzone, 2017, N. 6 zu Art. 24c RPG). Daher kann der Beschwerdeführer nichts für seinen Standpunkt ableiten, dass die Umbauten, bei welchen er wesentliche Gebäudeteile abgebrochen und dann wieder aufgebaut hatte, schon 2009 und nicht erst nach Inkrafttreten von <ref-law> am 1. November 2012 (AS 2012 5537) stattgefunden hatten.
Vielmehr ergab gerade die Revision von Art. 24c RPG per 1. November 2012, dass nicht mehr für zonenkonforme Zwecke benötigte landwirtschaftliche Wohnbauten bei einer Umnutzung erweitert sowie abgebrochen und wieder aufgebaut werden konnten, was vorher nicht möglich war (MUGGLI, a.a.O. sowie <ref-ruling> E. 2.4 S. 342). Art. 24d RPG gestattet indessen auch in der seit dem 1. November 2012 geltenden Fassung den (freiwilligen) Abbruch und Wiederaufbau eines Gebäudes nicht (vgl. Urteil 1C_555/2013 vom 28. März 2014 E. 6).
Art. 24c RPG in der revidierten Fassung ist gemäss <ref-law> auf allein stehende, unbewohnte landwirtschaftliche Bauten und Anlagen nicht anwendbar. Aus dieser Regelung lässt sich nicht herleiten, dass für eine einheitliche Betrachtung von Hof bzw. Wohnhaus und Nebengebäude bereits ein enger räumlicher und funktionaler Zusammenhang genügen soll, denn Art. 24c Abs. 3 RPG setzt für eine einheitliche Betrachtungsweise ausdrücklich voraus, dass die Ökonomiebauten an das Wohnhaus angebaut sind (vgl. Urteil 1C_171/2017 vom 3. Oktober 2017 E. 3.4 mit Hinweis).
3.5. Der Beschwerdeführer will die Räume in dem von ihm wieder aufgebauten Gebäude (Vers.-Nr. 283) als Wohnnebenflächen zum (ehemaligen) landwirtschaftlichen Wohnhaus (Vers.-Nr. 281) betrachtet haben. Die Vorinstanz hat diesbezüglich auch auf die Erwägungen des Baudepartementes Bezug genommen, wonach Bauten und Anlagen, die der Freizeitlandwirtschaft oder der Waldbewirtschaftung dienen, in der Landwirtschaftszone nicht zonenkonform seien. Die Vorinstanz hat diese Überlegungen als zutreffend bezeichnet. Es ist nicht ersichtlich, was an diesen Angaben nicht richtig sein soll. Vielmehr ist offensichtlich, dass eine solche Nutzung nicht jener gemäss Art. 16a Abs. 1 RPG entspricht. Auch ist unklar, was der Beschwerdeführer aus Beweismitteln wie Augenschein, Amtsauskünften, Befragung von Zeugen und ihm als Auskunftsperson zur Nutzung der Remise ableiten möchte, wenn selbst bei der von ihm angeführten Nutzung eine Zonenkonformität nicht gegeben ist.
3.6. Entgegen den Rügen des Beschwerdeführers ist das umstrittene Umbauprojekt demzufolge einer Bewilligung nach Art. 24c oder Art. 24d RPG nicht zugänglich.
4.
Das Baudepartement ist in seinem Entscheid vom 25. Oktober 2016 über die Verfügung der Politischen Gemeinde Häggenschwil vom 21. Juli 2014 hinausgegangen und hat angeordnet, der rechtmässige Zustand sei wieder herzustellen, d.h. die Remise (Vers.-Nr. 283) sei bis auf das gemauerte Sockelgeschoss des nördlichen Gebäudeteils abzubrechen. Die Vorinstanz hat diesen Entscheid des Baudepartements mit ihrer Beschwerdeabweisung bestätigt.
4.1. Der Beschwerdeführer macht geltend, die Beseitigungsarbeiten seien baubewilligungspflichtig. Dem ist entgegenzuhalten, dass der Beschwerdeführer die Baute bis auf das gemauerte Sockelgeschoss abgebrochen hatte, ohne dafür vorgängig eine Baubewilligung eingeholt zu haben. Wenn nun das Baudepartement den Abbruch der Remise bis auf das genannte Sockelgeschoss anordnet, so betrifft dies die vom Beschwerdeführer ohne Baubewilligung erstellten und auch im nachträglichen Baubewilligungsverfahren nicht bewilligungsfähig gewordenen Bauten. Dafür ist keine Baubewilligung erforderlich, sondern diese Massnahme ergeht im Rahmen der Baupolizei. Formell rechtswidrige Bauten, die auch nachträglich nicht legalisiert werden können, müssen grundsätzlich beseitigt werden (vgl. zum Ganzen <ref-ruling> E. 6 S. 364). Das Baudepartement war aufgrund der entsprechenden Ausführungen der Vorinstanz berechtigt, diese Anordnung aufsichtsrechtlich vorzunehmen. Der Beschwerdeführer legt nicht dar, dass die entsprechende Anwendung kantonalen Rechts durch die Vorinstanz willkürlich sein soll. Vielmehr erscheint es nachvollziehbar, dass Gemeinden im Bereiche der Baupolizei keine Autonomie zusteht. Dies gilt insbesondere für die Landwirtschaftszone, wo die Gemeinden gar nicht für das Baubewilligungsverfahren allein zuständig sind, sondern die Anordnungen des AREG zu beachten und zu vollziehen haben.
4.2. Der Beschwerdeführer betrachtet den Entscheid der Vorinstanz als rechtswidrig, weil sie den Entscheid des Baudepartements bestätigt habe, der eine baubewilligungspflichtige Abbruchanordnung beinhalte. Der Beschwerdeführer verkennt, dass der Abbruch eines Gebäudes nur dann baubewilligungspflichtig sein kann, wenn die Baute früher in Übereinstimmung mit den gesetzlichen Vorschriften erstellt worden war. Dies kann aber nicht gelten, wenn es um die Beseitigung illegal erstellter Bauten oder Bauteilen geht. Eine willkürliche Anwendung kantonalen Rechts ist diesbezüglich nicht erkennbar.
4.3. Im angeordneten Abbruch bis auf das Sockelgeschoss sieht der Beschwerdeführer die Schutzverordnung der Politischen Gemeinde Häggenschwil betreffend das Landschaftsschutzgebiet sowie das entsprechende Landschaftsschutzgebiet von kantonaler Bedeutung verletzt. Gerade der Beschwerdeführer selber hat jedoch in diesem landschaftlich empfindlichen Gebiet durch die von ihm ohne Bewilligung vorgenommenen Abbruch- und Wiederaufbauarbeiten diese Situation geschaffen. Wenn ihm das Baudepartement die Möglichkeit eröffnete, das Sockelgeschoss im Sinne der Verhältnismässigkeit beizubehalten, so kann dies nicht beanstandet werden. Aufgrund der Hanglage und der unmittelbar nördlich vom Sockelgeschoss gelegenen Scheunenauffahrt wird bei einer Begrünung des Sockelgeschosses dieses auch nicht als Flachdach wahrgenommen werden. Für eine solche Beurteilung war kein vorinstanzlicher Augenschein erforderlich. Eine rechtswidrige oder willkürliche Gesetzesanwendung ist durch die Vorinstanz somit nicht erkennbar.
4.4. Der Beschwerdeführer hält es für widersprüchlich, dass er sich vorgängig zum Rückbau bei der Baubehörde zu erkundigen habe, ob die notwendigen baulichen Massnahmen für die Erhaltung des Sockelgeschosses baubewilligungspflichtig seien, gleichzeitig aber die Baubehörde der Politischen Gemeinde Häggenschwil nicht über Umbauten an der Remise habe entscheiden können. Jedoch ist bei diesem Vorgehen des Baudepartementes, das die Vorinstanz bestätigt hat, kein Widerspruch erkennbar. Im Sockelgeschoss war keine zonenwidrige Nutzung festgestellt worden, so dass es bei der Beibehaltung des Sockelgeschosses auch nicht um eine zonenwidrige, sondern bereits seit Erstellung des Sockelgeschosses vorbestandene zonenkonforme Nutzung geht. Dass für diese Konstellation das Baudepartement die Durchführung eines Baubewilligungsverfahrens vorbehielt, wie es die Vorinstanz anschliessend bestätigt hat, erscheint sachgerecht.
5.
Der Beschwerdeführer kritisiert die vom Baudepartement angeordnete und von der Vorinstanz bestätigte Abbruchverfügung als unverhältnismässig. Er rügt eine Missachtung der Eigentumsgarantie (<ref-law>) und einen Verstoss gegen Treu und Glauben (<ref-law>). Die Vorinstanz hat sich mit diesen Punkten genügend auseinandergesetzt. Dabei hat sie die Erwägungen des Baudepartementes, wonach das öffentliche Interesse am Abbruch illegaler Bauten ausserhalb der Bauzone, insbesondere aus Gründen der Rechtsgleichheit und der Trennung von Bau- und Nichtbaugebiet erheblich sei und die entgegenstehenden privaten Interessen bei Weitem überwiege, als zutreffend betrachtet.
5.1. Nach dem Beschwerdeführer hätte sich die Vorinstanz anlässlich eines Augenscheines ein Bild machen können, welche Teile des Obergeschosses tatsächlich geändert wurden. Der Beschwerdeführer hatte vor der Vorinstanz in dieser Hinsicht weitere Beweismittel, wie die Befragung von Zeugen und von ihm als Auskunftsperson, angeboten. Bereits aufgrund der aktenkundigen Fotografien vom Augenschein, der durch das Baudepartement durchgeführt wurde, ist erkennbar, dass über dem Sockelgeschoss die wesentlichen Teile der Baute neu erstellt wurden. Dies wird auch mit bei den Akten liegenden Fotografien belegt, die offenbar anlässlich der Bauarbeiten erstellt wurden. Die Vorinstanz war somit ausreichend dokumentiert, um das Ausmass der Umbauarbeiten erkennen zu können. Dieses ergibt sich insbesondere auch aus dem Vergleich der Fotografien vor den Umbauarbeiten und den Angaben von B._, wonach sich die Remise in einem schlechten baulichen Zustand präsentierte (vgl. E. 3.3 hiervor), mit der nach den Umbauarbeiten festgestellten Situation gemäss den Fotografien vom Augenschein des Baudepartementes.
5.2. Der Beschwerdeführer bringt vor, das öffentliche Interesse verlange nicht einen Abbruch, sondern die Beibehaltung des Satteldaches mit den roten Dachziegeln. Der Beschwerdeführer legt allerdings nicht dar, worauf er sich bei seinem Argument abstützt. Die Landschaftsschutzzone schreibt eine solche Beibehaltung der Satteldächer nicht vor. Die vom Beschwerdeführer vorgenommenen Veränderungen im Obergeschoss gingen über Massnahmen zur Substanzerhaltung, die für die ursprüngliche Nutzung der Remise erforderlich gewesen wären, hinaus. Daher ist ein öffentliches Interesse für den Rückbau gegeben (vgl. Urteil 1C_283/2017 vom 23. August 2017 E. 3.3). Die Vorinstanz hat die Beurteilung des Baudepartementes gestützt, dass eine mildere Massnahme als der Rückbau der zum wesentlichen Teil rechtswidrig erstellten Bauteile im Bereiche des Obergeschosses nicht in Frage kommen könne. Die Vorinstanz hat diese Massnahme bei objektiver Betrachtungsweise als die einzig geeignete erachtet, um den aktuell baurechtswidrigen Zustand zu beheben. Bei dieser Interessenabwägung wurde der Umstand berücksichtigt, dass sich das Gebäude in einer Landschaftsschutzzone befindet. In diesem Rahmen betrachtete das Baudepartement die Beibehaltung des Ständers und der östlichen Seitenwand als verunstaltend, so dass es auch den Abbruch dieser Bauteile, die noch ursprünglich waren, anordnete. Diese Qualifikation, der sich die Vorinstanz angeschlossen hat, wird vom Beschwerdeführer letztlich nicht in Frage gestellt.
5.3. Weiter argumentiert der Beschwerdeführer, er sei beim Abbruch und Wiederaufbau gutgläubig gewesen. Wie die Vorinstanz festgestellt hat, konnte der Beschwerdeführer nicht davon ausgehen, dass die Gemeinde für die Frage der Baubewilligungspflicht ausserhalb der Bauzone allein zuständig war. Der frühere Gemeindepräsident der Politischen Gemeinde Häggenschwil ging auch nicht von einem Umfang der Umbauarbeiten aus, wie sie dann effektiv realisiert wurden. Dies ergibt sich schon aus dem Inhalt seines Schreibens vom 7. Oktober 2009 im Vergleich mit dem tatsächlich Ausgeführten (vgl. oben E. 3.2). Die vom Beschwerdeführer eigenmächtig und ohne die erforderlichen Bewilligungen vorgenommenen Veränderungen an der Remise stellen eine schwerwiegende Verletzung des Raumplanungsrechts dar; die für die Wiederherstellung sprechenden Interessen übertreffen die gegenteiligen Vermögensinteressen des Beschwerdeführers (vgl. <ref-ruling> E. 6.4 S. 39 ff.).
5.4. Zusammengefasst sind die von der Vorinstanz bestätigten Anordnungen des Baudepartements zur Wiederherstellung des rechtmässigen Zustands mit den vom Beschwerdeführer gerügten Verfassungsbestimmungen vereinbar.
6.
Die Beschwerde erweist sich als unbegründet und ist abzuweisen, soweit darauf eingetreten werden kann.
Bei diesem Verfahrensausgang wird der Beschwerdeführer kostenpflichtig (Art. 66 Abs. 1 und Art. 65 BGG).

Demnach erkennt das Bundesgericht:
1.
Auf die subsidiäre Verfassungsbeschwerde wird nicht eingetreten.
2.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird abgewiesen.
3.
Die Gerichtskosten von Fr. 4'000.-- werden dem Beschwerdeführer auferlegt.
4.
Dieses Urteil wird den Parteien, dem Baudepartement des Kantons St. Gallen, dem Verwaltungsgericht des Kantons St. Gallen, Abteilung I, und dem Bundesamt für Raumentwicklung (ARE) schriftlich mitgeteilt.
Lausanne, 23. Juli 2019
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Chaix
Der Gerichtsschreiber: Kessler Coendet