Sachverhalt:
A.
Das der Landwirtschaftszone zugeordnete Grundstück KTN 401 der Gemeinde Lauerz (nachstehend: Baugrundstück) liegt an einem gegen Norden zum Lauerzersee abfallenden Hang im Gebiet Nr. 1606 "Vierwaldstättersee mit Kernwald, Bürgenstock und Rigi" des Bundesinventars der Landschaften und Naturdenkmäler (BLN). Es wurde vor 1881 mit einem Bauernhaus mit angebautem Ökonomieteil (nachstehend: Gadenhaus) überbaut.
Mit Schreiben vom 9. August 1985 führte der damalige Eigentümer des Baugrundstücks, D._, gegenüber der Gemeinde Lauerz zusammengefasst aus, er habe im Glauben, dass man für eine Instandstellung keine Baubewilligung brauche, bereits mit dem Umbau des Gadenhauses angefangen. Baulich gebe es praktisch keine Veränderungen. Das Dach werde etwas niedriger, da das Scheunendach schon vorher eingefallen sei. Die Trennwände, Böden von Scheune und Veranda sowie Haus würden wieder genau gleich hergestellt. Die Scheune werde nicht für einen anderen Verwendungszweck gebraucht. Sollte er diese ausbauen wollen, werde er eine Baubewilligung einholen.
Mit Baueingabe vom 25. November 1985 ersuchte D._ darum, die Renovation des Stall- und Wohnteils des Gadenhauses für eine Wohnung mit fünf Zimmern zu bewilligen. Bei gleich bleibendem Bauvolumen von 800 m3 sah die Baueingabe eine Erhöhung der Bruttogeschossfläche (BGF) von 124 m2 auf 131 m2 vor.
Mit Verfügung vom 3. März 1986 erteilte das Justizdepartement des Kantons Schwyz D._ unter dem Titel "Ausnahmebewilligung für bestehende Bauten und Anlagen ausserhalb der Bauzone" die Bewilligung für die umfassende Erneuerung des Gadenhauses (Wohn- und Stallteil) unter den Auflagen, dass die Laube nicht durch Heizung und Wasserinstallation etc. für Wohnzwecke ausgebaut werden darf und der Wiederaufbau des östlichen Stallanbaues untersagt ist. In der Bewilligung wird erwähnt, die vorliegende Kleinliegenschaft mit Gadenhaus unterstehe seit dem 3. Juli 1984 nicht mehr dem landwirtschaftlichen Entschuldungsgesetz.
Der bewilligte Bauplan vom 18. November 1985 sah im Untergeschoss, das auf der Nordseite über dem Terrain liegt, (von Ost nach West) einen Stall, einen weiteren Stall, einen Raum "Holz", einen Raum "Eingang" mit Treppe, einen Keller mit "DU/WC" und einen Abstellraum vor. Der Zutritt zu den Räumen im Untergeschoss erfolgte - abgesehen vom Holzraum - durch separate Türen jeweils von der Nordseite her. Vor den Räumen im Untergeschoss war eine Jauchegrube eingezeichnet. Im Erdgeschoss befand sich (von Ost nach West) ein Raum "Heu", der auch das Obergeschoss umfasst, mit Zugang zum anschliessenden Eingangsbereich, eine Küche, ein Raum "WC/DU" sowie eine Stube. Dem Heuraum nördlich vorgelagert war die Laube, an die sich westlich der "Essplatz" mit Zutritt von der Küche und vom Eingangsbereich her und mit Zugang zur Laube anschloss. Im Obergeschoss folgten (von Ost nach West) der Heuraum, der Eingangsbereich und vier Zimmer, wovon zwei Durchgangszimmer waren. Gemäss dem Plan B (Schnitt) wurde der Giebel und die bis zu diesem reichende Lukarne tiefergesetzt.
Am 11. Dezember 1989 erteilte das damalige Amt für Raumplanung des Kantons Schwyz D._ die Bewilligung für die Errichtung einer Zufahrtsstrasse zum Gadenhaus. In diesem Zusammenhang wurde am 2. November 1989 ein Augenschein durchgeführt.
Am 24. März 1995 verkaufte D._ das Gadenhaus an A.C._ und B.C._ (nachstehend: Bauherrschaft).
Am 4. Juli 2001 erteilte das Amt für Raumplanung des Kantons Schwyz (heute: Amt für Raumentwicklung des Kantons Schwyz [ARE/SZ]) der Bauherrschaft die Ausnahmebewilligung, auf der ca. 100 m nördlich des Baugrundstücks gelegenen Parzelle KTN 369 eine Garage zu errichten, die an den bestehenden Stall auf der Parzelle KTN 348B angebaut werden soll. Das ARE/SZ ging davon aus, für den Bau der Garage werde planerisch eine Nutzflächenerweiterung von bestehend 174,8 m2 um 48,5 m2 (28 %) auf 223,3 m2 ausgewiesen, weshalb im Grundbuch zu Lasten der Bauparzelle eine Nutzungsbeschränkung im Umfang von 48,5 m2 anzumerken sei.
Mit Schreiben der Baukommission Lauerz vom 24. Juni 2008 teilte diese der Bauherrschaft mit, das von ihnen bereits erstellte Gewächshaus sei im Sinne einer Baumeldung in Ordnung, wenn es kein festes Fundament erhalte und die nachbarliche Zustimmung zur Unterschreitung des Grenzabstandes vorliege. Die Laube sei bereits auf zwei oder mehr Seiten geschlossen und in der Berechnung der Bruttogeschossfläche (BGF) des ARE/SZ enthalten; eine Verglasung führe zu keiner Vergrösserung der BGF und könne als geringfügige Veränderung betrachtet werden. Für den gemäss Eingabe mit Gartenplatten oder Verbundsteinen geplanten Sitzplatz werde eine Mauer von 0,5 m Höhe mit darauf befindlicher Glaswand von nochmals 1,0 m erstellt. Die Baukommission erachte die drei vorgenannten baulichen Veränderungen im Rahmen einer Baumeldung als in Ordnung. Vorbehalten bleibe jedoch eine allfällige Intervention kantonaler Amtsstellen.
B.
Nachdem das ehemalige Gadenhaus von einem Immobilienmakler als "Wahrgewordener Traum an romantischer Lage" zu einem Verkaufspreis von Fr. 1'380'000.-- angeboten worden war, forderte das Amt für Raumentwicklung des Kantons Schwyz (ARE/SZ) mit Schreiben vom 30. August 2017 die Gemeinde Lauerz zur Überprüfung auf, ob an diesem Haus unbewilligte bauliche Veränderungen vorgenommen wurden. Daraufhin ersuchte die Baukommission der Gemeinde Lauerz die Bauherrschaft mit Schreiben vom 14. September 2017 darum, die am Gadenhaus ab 2008 getätigten Bauarbeiten in einer Baueingabe mit Angaben zu den am 1. Juli 1972 vorhandenen Nutzflächen und Grundrissplänen und Fotos betreffend den heutigen Zustand zu dokumentieren.
Am 25. September 2017 reichte die Bauherrschaft entsprechende Pläne ein und gab an, sie könne den Nutzflächennachweis per 1. Juli 1972 nicht erbringen, weil sie das Wohnhaus erst am 24. März 1995 gekauft hätte. In den von der Bauherrschaft erstellten Grundrissplänen vom 4. Februar 2016 ist im Untergeschoss ein Tankraum, ein Raum "Waschen", ein Eingangsbereich mit Dusche/WC, ein Raum "Heizung" und ein Keller eingezeichnet. Im Erdgeschoss befindet sich an der Stelle des vormaligen Raums "Heu" ein "Wohnraum". Das vormalige "Esszimmer" wird als "Musik-Zimmer" und die vormalige "Laube" als "Balkon" bezeichnet. Die Küche erfasst neu auch den Bereich des in den bewilligten Bauplänen als "WC/DU" eingezeichneten Raums. Die ehemalige "Stube" wird als "Esszimmer" bezeichnet. Im Obergeschoss ist im vormaligen Bereich "Heu" ein Raum "Schlafen", neben dem Treppenaufgang ein Raum "Bad/WC" und im Bereich der vormaligen vier Zimmer sind neu drei Zimmer eingezeichnet, wobei sich das erste Zimmer über den Bereich des Musik-Zimmers bzw. des vormaligen Essplatzes erstreckt.
Mit Schreiben vom 31. Oktober 2017 reichte die Bauherrschaft der Baukommission der Gemeinde Lauerz das Baugesuch betreffend "Ausbau" ein, wobei sie unter dem Titel "Chronologie unseres Hauskaufs" die von ihnen getätigten Ausbauarbeiten darstellten.
Gegen das öffentlich aufgelegte Baugesuch gingen keine Einsprachen ein.
Am 4. Juli 2018 führte das ARE/SZ mit der Bauherrschaft und Vertretern der Gemeinde Lauerz einen Augenschein durch. Mit Schreiben vom 9. Oktober 2018 erklärte die Bauherrschaft, sie ziehe ihr Baugesuch zurück, was das ARE/SZ in seinem Schreiben vom 29. November 2018 als unzulässig qualifizierte.
Das ARE/SZ verfügte mit Gesamtentscheid vom 16. April 2019 (nachstehend: Gesamtentscheid ARE/SZ) :
1. Die kantonale Baubewilligung für den bereits erfolgten Ausbau des Gadenhauses (Baugesuch B2017-1443 von A.C._ und B.C._-Zgraggen, Lauerz) wird im Sinne der Erwägungen und unter den Auflagen und Nebenbestimmungen der zuständigen Stellen gemäss Kap. II Ziffer 1 unter Anordnung von Rückführungsmassnahmen teilweise erteilt.
2. Die nachträgliche kantonale Baubewilligung für den westlich des Gebäudes erstellten Sitzplatz wird im Sinne der Erwägungen und unter den Auflagen und Nebenbestimmungen der zuständigen Stellen gemäss Kap. II. Ziff. 1 ff. erteilt.
3. Die nachträgliche kantonale Baubewilligung für die Terrassierung des Geländes, für das Gewächshaus und den Windschutz aus Glas beim westlichen Sitzplatz wird im Sinne der Erwägungen und unter Auflagen und Nebenbestimmungen der zuständigen Stellen gemäss Kap. II. Ziff. 1 ff. verweigert. Auf die Anordnung von Rückführungen wird verzichtet.
4. Zur Wiederherstellung des rechtmässigen Zustands sind folgende Rückführungsmassnahmen am Gadenhaus erforderlich:
- Beim nordostseitigen Balkon im Erdgeschoss ist die Verglasung samt den Schienen zu entfernen.
- Im Musikzimmer sind die Fenster an der Nord- und Westfassade auszubauen und die Trennwand zum Balkon zu entfernen. Der Zugang zur Laube (bestehend Musikzimmer, Wintergarten) hat über eine Aussentüre zu erfolgen. Die Durchreiche neben dieser Türe ist zuzumauern.
- Der Dachboden im östlichen Gebäudeteil ist gemäss Variante 2 zu entfernen. Der Zugang zum verbleibenden Dachstock hat aus einem der Zimmer westlich der Gebäudemitte zu erfolgen (Verschiebung der Aussentreppe nach Westen).
5. Für die Ausführung der Massnahmen gemäss Dispositiv-Ziffer 4 wird dem Gesuchsteller eine Frist von sechs Monaten ab Rechtskraft dieser Verfügung eingeräumt.
6. [Vollstreckungsmassnahmen]
7. Die Gemeinde Lauerz wird mit dem Vollzug beauftragt. Die Gemeinde wird angehalten, den Rückbau nach Ablauf der sechsmonatigen Frist zu kontrollie- ren und der Baugesuchszentrale zu melden (mit entsprechenden Fotos).
8. Die Überschreitung der GNF von 9 m2 wird einstweilen geduldet. Es besteht jedoch kein Bestandesschutz. Die Überschreitung wird auf Kosten des Bewilligungsempfängers im Grundbuch angemerkt.
[...]
Zur Begründung führte das ARE/SZ in Kap. II, Ziff. 1 des Gesamtentscheids namentlich aus, es sei bereit, den Raum "Holz" im Untergeschoss zur altrechtlichen Gesamtnutzfläche zu zählen. Dadurch ergebe sich folgende Flächenbilanz (auf ganze Zahlen gerundet) :
anrechenbare Bruttogeschossfläche (aBGF)
Ausgangszustand 1972 127 m2 100 %
Veränderungen + 52 m2 + 41 %
Total 179 m2 141 %
Gesamtnutzfläche (aBGF + BNF, Bruttonebenfläche)
Ausgangszustand 1972: 294 m2 100 %
Veränderungen + 121 m2 + 41 %
Total: 415 m2 141 %"
Die Überschreitung der aBGF betrage rund 14 m2 (bzw. 28 m2, da Reduktionen innerhalb des Gebäudevolumens analog zu Erweiterungen zur Hälfte angerechnet werden). Die Gesamtnutzfläche (GNF) werde um 33 m2 (bzw. 66 m2) überschritten. Für diese Überschreitungen könne keine nachträgliche Ausnahmebewilligung erteilt werden. Durch das Entfernen der Verglasung der Laube und der nördlichen und westlichen Fenster im angrenzenden Musikzimmer könne die Laube vollständig als überdachter Balkon genutzt werden, der zwar zur GNF, aber nicht mehr zur aBGF zähle. Durch diese Anpassung könne das bundesrechtlich zulässige Erweiterungsmass der aBGF bis auf 1 m2 eingehalten werden. Zudem sei der Dachstock im östlichen Gebäudeteil über dem heutigen Schlafzimmer und über dem Treppenaufgang gemäss der Variante 2 rückzuführen. Dabei bleibe eine Überschreitung der GNF von rund 9 m2 bestehen. Das ARE/SZ sei bereit, diese aus Verhältnismässigkeitsgründen einstweilig zu dulden. Es bestehe jedoch kein Bestandesschutz. Um allfällige Rechtsnachfolger auf diesen Umstand aufmerksam zu machen, werde die Anmerkung einer öffentlich-rechtlichen Eigentumsbeschränkung im Grundbuch verlangt.
Der Gemeinderat Lauerz traf am 15. Mai 2019 folgenden Beschluss:
1. Gestützt auf den kantonalen Gesamtentscheid Nr. 2017-1443 vom 16. April 2019, welcher als integrierender Bestandteil dieser Verfügung gilt, wird die nachträgliche Bewilligung unter Auflagen und Nebenbestimmungen sowie unter Anordnung von Rückführungsmassnahmen erteilt.
2. Zur Wiederherstellung des rechtmässigen Zustands sind folgende Rückführungsmassnahmen am Gadenhaus erforderlich:
- Beim nordostseitigen Balkon im Erdgeschoss ist die Verglasung samt den Schienen zu entfernen.
- Im Musikzimmer sind die Fenster an der Nord- und Westfassade auszubauen und die Trennwand zum Balkon zu entfernen. Der Zugang zur Laube (bestehend Musikzimmer, Wintergarten) hat über eine Aussentüre zu erfolgen. Die Durchreiche neben dieser Türe ist zuzumauern.
- Der Dachboden im östlichen Gebäudeteil ist gemäss Variante 2 zu entfernen. Der Zugang zum verbleibenden Dachstock hat aus einem der Zimmer westlich der Gebäudemitte zu erfolgen (Verschiebung der Aussentreppe nach Westen).
3. Das Gewächshaus ist mit der Pflanzung von einheimischen und standortgerechten Sträuchern zu kaschieren.
4. Bei der Windschutzverglasung sind geeignete Massnahmen zur Vermeidung von Kollisionen mit Vögeln vorzunehmen.
5. Für die Ausführung der oben aufgeführten Massnahmen/Auflagen wird eine Frist von sechs Monaten ab Rechtskraft dieser Verfügung eingeräumt.
6. Das Bauamt ist spätestens mit Ablauf der Frist für die Rückführungsmassnahmen zur Baukontrolle einzuladen.
7. [Vollstreckungsmassnahmen]
Die Bauherrschaft focht diesen Gemeinderatsbeschluss und den Gesamtentscheid des ARE/SZ vom 16. April 2019 mit Beschwerde an, die der Regierungsrat des Kantons Schwyz mit Beschluss vom 28. Januar 2020 abwies. Eine dagegen von der Bauherrschaft erhobene Beschwerde mit dem Hauptantrag, den Regierungsratsbeschluss aufzuheben und auf die angeordneten Rückbaumassnahmen zu verzichten, hiess das Verwaltungsgericht des Kantons Schwyz mit Urteil vom 24. August 2020 teilweise gut, indem es in Ziff. 1.1 des Dispositivs den Regierungsratsbeschluss vom 28. Januar 2020 insoweit aufhob, als damit die Rückführungsmassnahmen gemäss Ziff. 2 und Ziff. 5 bis 7 des Gemeinderatsbeschlusses vom 15. Mai 2019 und Ziff. 4 bis 7 des Gesamtentscheides des ARE/SZ vom 16. April 2019 bestätigt wurden. Im Übrigen wies es die Beschwerde ab.
C.
Das Bundesamt für Raumentwicklung (ARE) erhebt beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten mit den Anträgen, das Urteil des Verwaltungsgerichts vom 24. August 2020 sei aufzuheben; der Gesamtentscheid des ARE/SZ vom 16. April 2019 sowie der Beschluss des Gemeinderats Lauerz vom 15. Mai 2019 seien aufzuheben, soweit damit eine Bewilligung erteilt oder auf die Wiederherstellung des rechtmässigen Zustands verzichtet wurde (reformatio in peius); die nachträgliche Baubewilligung für den bereits erfolgten Ausbau des Gadenhauses und der Umgebung sei zu verweigern; die Akten seien zu neuem Entscheid in Bezug auf die Wiederherstellung des rechtmässigen Zustands an die zuständige kantonale Behörde zurückzuweisen.
Mit Präsidialverfügung vom 10. November 2020 wies das Bundesgericht das Gesuch des Beschwerdeführers um aufschiebende Wirkung ab.
Das ARE/SZ verzichtet betreffend die Beschwerde auf eine Antragstellung. Das Verwaltungsgericht verzichtet auf eine Vernehmlassung. Die Bauherrschaft (Beschwerdegegner) beantragt, die Beschwerde abzuweisen, soweit darauf einzutreten sei.

Erwägungen:
1.
1.1. Gegen den kantonal letztinstanzlichen Endentscheid des Verwaltungsgerichts steht grundsätzlich die Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht offen (Art. 82 lit. a, 86 Abs. 1 lit. d und 90 BGG).
1.2. Das ARE ist nach <ref-law> in Verbindung mit Art. 48 Abs. 4 der Raumplanungsverordnung vom 28. Juni 2000 (RPV; SR 700.1) zur Beschwerde legitimiert. Das Beschwerderecht der Bundesbehörden gemäss <ref-law> ist abstrakter und autonomer Natur. Die Legitimationsvoraussetzungen von <ref-law> sind nicht anwendbar. Dies gilt insbesondere für die Voraussetzung der Beteiligung am vorinstanzlichen Verfahren im Sinne von <ref-law>. Das ARE kann beim Bundesgericht somit auch Beschwerde führen, wenn es sich nicht am vorinstanzlichen Verfahren beteiligt hat. Das ARE ist daher nicht an Einschränkungen des Streitgegenstands im kantonalen Beschwerdeverfahren gebunden und kann im Rahmen seines Beschwerderechts neue Begehren stellen. Es ist daher befugt, eine Änderung der vor Verwaltungsgericht angefochtenen Verfügung zu Ungunsten des damaligen Beschwerdeführers (reformatio in peius) zu beantragen (<ref-ruling> E. 1.2 S. 363 f.; Urteil 1C_61/2018 vom 13. August 2018 E. 1.2; je mit Hinweisen). Auf die Beschwerde ist deshalb auch einzutreten, soweit sie sich gegen den Gesamtentscheid des ARE/SZ vom 16. April 2019 und den Gemeinderatsbeschluss vom 15. Mai 2019 betreffend die Bewilligung und Duldung von baulichen Veränderungen richtet, welche von der Vorinstanz mangels einer Anfechtung nicht überprüfen werden konnten (Urteil 1C_480/2019 vom 16. Juli 2020 E. 2.2).
1.3. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann namentlich die Verletzung von Bundesrecht gerügt werden (<ref-law>). Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Indes prüft es, unter Berücksichtigung der allgemeinen Begründungspflicht der Beschwerde (vgl. <ref-law>), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 4.2 S. 62 mit Hinweis). Die Verletzung von Grundrechten untersucht das Bundesgericht nur insoweit, als eine solche Rüge in der Beschwerde präzise vorgebracht und begründet worden ist (<ref-law>).
1.4. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen oder auf Rüge hin berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG; <ref-ruling> E. 4.1. S. 62; <ref-ruling> E. 1.6; je mit Hinweis).
2.
2.1. Nach Art. 22 Abs. 1 RPG dürfen Bauten und Anlagen nur mit behördlicher Bewilligung errichtet oder geändert werden. Die Bewilligung für eine Baute oder Anlage ausserhalb der Bauzone setzt voraus, dass sie dem Zweck der Nutzungszone entspricht, also zonenkonform ist (Art. 22 Abs. 2 lit. a RPG), oder dass sie die Voraussetzungen nach Art. 24 ff. RPG für die Erteilung einer Ausnahmebewilligung erfüllt.
Vorliegend ist umstritten, ob das nachträgliche Baugesuch der Beschwerdegegner nach Art. 24c RPG bewilligt werden kann. Diese Bestimmung sieht in ihrer aktuellen Fassung vor, dass bestimmungsgemäss nutzbare Bauten und Anlagen ausserhalb der Bauzonen, die nicht mehr zonenkonform sind, in ihrem Bestand grundsätzlich geschützt werden (Abs. 1). Nach Abs. 2 können solche Bauten und Anlagen erneuert, teilweise geändert, massvoll erweitert oder wiederaufgebaut werden, sofern sie rechtmässig erstellt oder geändert worden sind. Abs. 3 dehnt diese sogenannte "erweiterte Besitzstandsgarantie" auf landwirtschaftliche Wohnbauten sowie angebaute Ökonomiebauten aus, die rechtmässig erstellt oder geändert worden sind, bevor das betreffende Grundstück Bestandteil des Nichtbaugebietes im Sinne des Bundesrechts wurde. Allerdings müssen gemäss Abs. 4 Veränderungen am äusseren Erscheinungsbild für eine zeitgemässe Wohnnutzung oder eine energetische Sanierung nötig oder darauf ausgerichtet sein, die Einpassung in die Landschaft zu verbessern. Schliesslich bleibt in jedem Fall die Vereinbarkeit mit den wichtigen Anliegen der Raumplanung vorbehalten (Abs. 5).
Art. 24c RPG ist auf altrechtliche Bauten und Anlagen anwendbar, die rechtmässig erstellt oder geändert worden sind, bevor das betreffende Grundstück Bestandteil des Nichtbaugebiets im Sinne des Bundesrechts wurde (<ref-law>). Stichtag ist grundsätzlich der 1. Juli 1972 (Urteil 1C_469/2019 vom 28. April 2021 E. 6.2 mit Hinweis). Die Absätze 2 bis 5 von Art. 24c RPG sind in der Revision vom 23. Dezember 2011, in Kraft seit 1. November 2012 (vgl. AS 2012 5535), gestützt auf den Bericht der Kommission für Umwelt, Raumplanung und Energie des Nationalrats vom 22. August 2011 zur Standesinitiative "Bauen ausserhalb der Bauzone" (im Folgenden: Bericht UREK-N, BBl 2011 7083 ff.) beschlossen worden. Aufgrund der Neufassung von Art. 24c RPG hängt die Zulässigkeit der Veränderungsmöglichkeiten für landwirtschaftliche Wohnbauten samt einem angebauten Ökonomieteil nicht mehr davon ab, ob die Zonenwidrigkeit der Baute durch die Zuweisung in eine Nichtbauzone oder durch tatsächliches Verhalten wie insbesondere die Aufgabe eines Landwirtschaftsbetriebs bewirkt worden ist. Demnach dürfen der Landwirtschaftszone zugewiesene altrechtliche Wohnbauten, deren landwirtschaftliche Wohnnutzung vor oder nach dieser Zuweisung aufgegeben wurde, gemäss Art. 24c RPG verändert werden (<ref-ruling> E. 3.2 und 3.5 mit Hinweisen; UREK-N, BBl 2011 7088 Ziff. 3; RUDOLF MUGGLI, in: Praxiskommentar RPG; Bauen ausserhalb der Bauzone, 2017, N. 20 zu Art. 24c RPG). Die Ausdehnung der nicht landwirtschaftlichen Wohnnutzung auf den angebauten Ökonomieteil darf nur zu einer massvollen Erweiterung gemäss Art. 24c Abs. 2 RPG und <ref-law> führen (vgl. <ref-ruling> E. 5.2.1 S. 89 f.; Bericht UREK-N, BBl 2011 7087 f.).
2.2. Bei der Prüfung der Bewilligungsfähigkeit von ohne Bewilligung erstellten oder geänderten Bauten erachtet das Bundesgericht in der Regel den Rechtszustand im Zeitpunkt der Errichtung der Baute als massgeblich, es sei denn, die Baute könne nach dem im Zeitpunkt des Entscheids geltenden "milderen" Recht bewilligt werden (<ref-ruling> E. 252 E. 3a/bb S. 252; Urteil 1C_22/2019 vom 6. April 2020 E. 8.1 f.).
2.3. Der Regierungsrat führte in seinem Entscheid vom 4. Februar 2020 aus, es sei unklar, zu welchem Zeitpunkt die Beschwerdegegner bzw. der frühere Eigentümer des Baugrundstücks von der im Jahr 1986 erteilten Baubewilligung abgewichen seien. Würde auf den Zeitpunkt abgestellt, in dem das Baugesuch korrekterweise hätte gestellt werden sollen, wäre Art. 24 Abs. 2 des alten Raumplanungsgesetzes (AS 1979 1573) anwendbar. Da jedoch die Gesetzesfassung im Zeitpunkt der Einleitung des nachträglichen Baubewilligungsverfahrens für die Beschwerdegegner nach dem Grundsatz des milderen Rechts günstiger sei, sei auf das geltende Recht abzustellen. Die Vorinstanz erwog, es sei unbestritten, dass das nachträgliche Recht für die Beschwerdegegner günstiger sei als das ältere Recht. Diese Erwägung wird vom Beschwerdeführer nicht angefochten.
Die Beschwerdegegner bringen jedoch vor, das strittige Bauprojekt sei im Jahr 1986 erstellt worden, weshalb das damalige Recht relevant sei. Mit diesen Ausführungen lassen sie ausser Acht, dass sie nach dem Erwerb der streitbetroffenen Liegenschaft im Jahr 1995 noch bauliche Änderungen vornahmen (vgl. E. 8.5 hiernach), weshalb die Bauarbeiten im Jahr 1986 nicht abgeschlossen waren. Zudem legen die Beschwerdegegner nicht dar, inwiefern das damalige Recht für sie günstiger gewesen sein soll, weshalb die kantonalen Rechtsmittelinstanzen bundesrechtskonform das geltende Recht als anwendbar erachten durften.
3.
3.1. Die Vorinstanz ging davon aus, die Beschwerdegegner hätten eine (nachträgliche) Bewilligung nach Art. 24c RPG einholen müssen, da der bestehende Ausbau des Gadenhauses nicht den 1986 bewilligten Plänen entspreche. So bestehe im Untergeschoss an Stelle des Stalles ein Tankraum, anstelle des Holzlagers eine Waschküche, im Erdgeschoss an Stelle der Laube ein verglaster Wintergarten und an Stelle der ehemaligen Heubühne im Erd- und Obergeschoss ein Wohn- und ein Schlafzimmer. Die Kostenaufstellung von Karl Schuler (Schreinerei; Glaserei) vom 19. August 1986 wie auch entsprechende Datumsprägungen auf den Fenstern liessen darauf schliessen, dass diese beim Umbau im Jahr 1986 eingebaut wurden. Der damalige Einbau von Fenstern könne indes weder eine Baubewilligung ersetzen noch eine Umnutzung des Ökonomieteils (zu nicht landwirtschaftlichen Zwecken) vor der Zeit der Fenstereinbaus nachweisen. Wenn in der Schätzung aus dem Jahren 1965/1967 von einer einfachen Hauseinrichtung die Rede sei und der Stall als verlottert beschrieben werde, könne dies als Indiz für eine reduzierte oder allenfalls eingestellte landwirtschaftliche Nutzung verstanden werden. Jedoch könne daraus nicht auf die gewerbliche Umnutzung des für einen Heuschober typischen, über zwei Stockwerke reichenden fensterlosen Raums zum Betrieb einer Werkstatt zum Bohren von Holzrohren (Düchel) geschlossen werden.
3.2. Der Beschwerdeführer ficht diese vorinstanzlichen Feststellungen nicht an. Die Beschwerdegegner wenden dem Sinne nach ein, die Vorinstanz lasse ausser Acht, dass E._ 1918 das ehemalige Gadenhaus erworben und er darin im Ökonomieteil seine Werkstatt zum Bohren von Holzrohren betrieben habe.
3.3. Dieser Einwand ist bezüglich der Erforderlichkeit einer Bewilligung nach Art. 24c RPG nicht entscheidrelevant, weil die Beschwerdegegner selber davon ausgehen, dass E._ in die USA auswanderte und das Gadenhaus in der Folge von 1965 bis zum Verkauf an D._ im Jahr 1984 als Wohnhaus für bedürftige Familien genutzt wurde. Demnach endete die behauptete gewerbliche Nutzung des Ökonomieteils als Werkstatt ohnehin vor 1972. Die Frage, ob der Ökonomieteil des Hauses möglicherweise danach noch eine gewisse Zeit landwirtschaftlich genutzt wurde, ist auch nicht entscheiderheblich, weil für die Anwendung von Art. 24c RPG genügt, dass die landwirtschaftliche Nutzung aufgegeben wurde (vgl. E. 2.1 hievor).
4.
4.1. Gemäss <ref-law> gilt im Sinne von Art. 24c Abs. 2 RPG eine Änderung als teilweise und eine Erweiterung als massvoll, wenn die Identität der Baute oder Anlage einschliesslich ihrer Umgebung in den wesentlichen Zügen gewahrt bleibt. Verbesserungen gestalterischer Art sind zulässig (Abs. 1). Massgeblicher Vergleichszustand für die Beurteilung der Identität ist der Zustand, in dem sich die Baute oder Anlage im Zeitpunkt der Zuweisung zum Nichtbaugebiet befand (Abs. 2). Ob die Identität der Baute oder Anlage im Wesentlichen gewahrt bleibt, ist unter Würdigung der gesamten Umstände zu beurteilen. In jedem Fall gelten folgende Regeln (Abs. 3) :
a) Innerhalb des bestehenden Gebäudevolumens darf die anrechenbare Bruttogeschossfläche nicht um mehr als 60 Prozent erweitert werden, wobei das Anbringen einer Aussenisolation als Erweiterung innerhalb des bestehenden Gebäudevolumens gilt.
b) Unter den Voraussetzungen von Artikel 24c Absatz 4 RPG kann eine Erweiterung ausserhalb des bestehenden Gebäudevolumens erfolgen; die gesamte Erweiterung darf in diesem Fall sowohl bezüglich der anrechenbaren Bruttogeschossfläche als auch bezüglich der Gesamtfläche (Summe von anrechenbarer Bruttogeschossfläche und Brutto-Nebenfläche) weder 30 Prozent noch 100 m2 überschreiten; die Erweiterungen innerhalb des bestehenden Gebäudevolumens werden nur halb angerechnet.
c) Bauliche Veränderungen dürfen keine wesentlich veränderte Nutzung ursprünglich bloss zeitweise bewohnter Bauten ermöglichen.
4.2. Die Vorinstanz führt zusammengefasst aus, das ARE/SZ sei von einer Erweiterung der anrechenbaren Bruttogeschossfläche (aBGF) um 52 m2 bzw. der Gesamtnutzfläche (GNF; bestehend aus der aBGF und der Bruttonebenfläche) um 121 m2 ausgegangen, wobei das zulässige Mass um 14 m2 bzw. 33 m2 überschritten werde. Da Reduktionen innerhalb des Gebäudes wie Erweiterungen ebenfalls zur Hälfte angerechnet würden, bedeute dies für einen allfälligen Rückbau (innerhalb des Gebäudes) eine Reduktion der jeweiligen Flächen um 28 m2 bzw. 66 m2. Der Regierungsrat sei dieser Berechnung grundsätzlich zu Recht gefolgt. Er äussere sich nicht zur Nutzung des Dachbodens bzw. des Estrichs. Da dieser über eine Lukarne verfüge, sei mangels anderer Anhaltspunkte davon auszugehen, mindestens ein Teil davon sei zu Wohn- und Schlafzwecken verwendet worden. Die Steuerschätzung vom Oktober 1965/Dezember 1967 nenne eine Kammer im zweiten Stock, wobei unklar sei, ob es sich um das Obergeschoss oder allenfalls um den Dachstock handle. Auf die Wohnnutzung des Estrichs deute auch die in den Plänen vom 18. November 1985 eingezeichnete Klapptreppe hin, die als bestehend zu gelten habe. Vor der Tieferlegung des Firstes um 50 cm sei der Estrich aufgrund seiner Höhe und Breite ohne weiteres als Schlafraum geeignet gewesen. Einer solchen Nutzung stehe nicht entgegen, dass der vormalige Eigentümer in seinem Schreiben vom 9. August 1985 angegeben habe, es gebe baulich grundsätzlich keine Veränderungen und die Raumeinteilung werde beibehalten, da sich das Gadenhaus gemäss der Schätzung vom Oktober 1965/Dezember 1967 bereits in den 60er-Jahren offensichtlich in einem desolaten Zustand befunden habe und sich deshalb die Frage nach einer im Verlaufe der Zeit (nur) noch temporären Nutzung des Gadenhauses stelle. Mithin erscheine es gerechtfertigt, (im Jahr 1972) den Dachboden ermessensweise im Umfang von 28 m2 der aBGF anzurechnen.
4.3. Der Beschwerdeführer rügt, die Vorinstanz sei in Verletzung von Bundesrecht davon ausgegangen, im Dachboden könne entgegen der Meinung des ARE/SZ bei der Ausgangslage im Jahr 1972 noch 28 m2 aBGF angerechnet werden. Im Baubewilligungsverfahren in den Jahren 1985/86 habe der damalige Eigentümer Pläne eingereicht, die keine Hinweise für bewohnte Flächen oberhalb des Obergeschosses aufwiesen. Zudem habe er im Zusatzfragebogen die Anzahl Wohn-, Schlaf- und Arbeitsräume mit 5 und die bestehende Bruttogeschossfläche mit 124 m2 ausgewiesen, was den Darstellungen auf den Plänen mit der Stube im Erdgeschoss und den 4 Zimmern im Obergeschoss entspreche. Dies müssten sich der damalige Eigentümer und auch die Beschwerdegegner anrechnen lassen. Nichts anderes ergebe sich auch aus dem Schätzungsprotokoll 1965/67, da mit dem darin genannten "2. Stock" das Obergeschoss gemäss den bewilligten Plänen vom 18. November 1985 gemeint sein müsse.
4.4. Die Beschwerdegegner führen aus, bei einem Bauernhaus sei eine Lukarne immer Ausfluss einer Wohnnutzung. Das ARE/SZ habe diese Nutzung ignoriert, was die Vorinstanz zu Recht korrigiert habe. Zwar sei 1986 das Hausdach gemäss den Angaben des damaligen Architekten eingefallen, weshalb anzunehmen sei, der sonst bewohnte Dachstock habe nicht mehr genutzt werden können. Es erstaune daher nicht, dass dieser Stock in der Schätzungsverfügung 1965/67 nicht mehr erwähnt worden sei. Jedoch könne aufgrund des schlechten Zustands des Hauses die damalige Nutzung der Räume zu Wohnzwecken nicht negiert werden.
4.5. Gemäss Rechtsprechung und Lehre ist in Bezug auf den in der Raumplanungsverordnung nicht definierten Begriff der aBGF die Umschreibung massgeblich, die das ARE in der Vollzugshilfe, Neues Raumplanungsrecht, Erläuterungen zur Raumplanungsverordnung und Empfehlungen für den Vollzug, Bern 2001 (Kapitel V, Bewilligungen nach Art. 24c; Anh. 1 S. 21) formulierte (Urteile 1C_48/2017 vom 22. Dezember 2017 E. 4.2; 1A.42/2006 vom 6. Juni 2006 E. 3.3; 1A.10/2005 vom 13. Juli 2005 E. 3.2; MUGGLI, a.a.O., N. 30 Fn. 64 zu Art. 24c RPG). Nach dieser Umschreibung resultiert die aBGF aus der Summe aller Geschossflächen einschliesslich der Mauer- und Wandquerschnitte, die dauerhaft für das Wohnen und Arbeiten genutzt werden können. Nicht angerechnet werden Flächen mit einer lichten Höhe von weniger als 1 m sowie die Nebenflächen (BNF, umfassend Funktionsflächen und Nebennutzflächen). Zur aBGF zählen die Teile der Nutzfläche eines Gebäudes, die für das Wohnen und Arbeiten bestimmt sind bzw. genutzt werden sowie die zur Erschliessung der entsprechenden Wohn- und Arbeitsräume dienenden Verkehrsflächen (Flure, Korridore, Eingangshallen; Treppen und Rampen; Aufzugsschächte). Nicht an die aBGF angerechnet werden zu Wohnungen gehörende Keller-, Estrich- und Trockenräume [...]. Demnach sind zu Wohnungen gehörende unbewohnte Nebennutzflächen, wie Estrichräume, nicht zur aBGF zu zählen (MUGGLI, a.a.O., N. 31 zu Art. 24c RPG). Wird ein kalter, d.h. nicht wärmeisolierter Estrich durch das Anbringen einer Dachisolation und den Einbau von Fenstern zu einem beheizbaren und damit dauerhaft bewohnbaren Raum umgebaut, so ist er jedoch der BGF anzurechnen (Urteil 1C_145/2019 vom 20. Mai 2020 E. 2.2 und 2.3, nicht publ. in: <ref-ruling>; Urteil 1A.10/2005 vom 13. Juli 2005 E. 3.2; vgl. auch ARE, Neues Raumplanungsrecht, Erläuterungen zur Raumplanungsverordnung, 2001, S. 46).
4.6. Die Vorinstanz äusserte sich nicht ausdrücklich zur Frage, ob das Dachgeschoss des Gadenhauses im Jahr 1972 wärmeisoliert war. Sie führte jedoch aus, das Haus habe sich bereits in den 60er-Jahren in einem desolaten Zustand befunden, weshalb sich die Frage stelle, ob es nur noch temporär benutzt worden sei. Damit ging sie implizit davon aus, der Dachstock sei im Jahr 1972 aufgrund des schlechten baulichen Zustands des Hauses für eine dauerhafte Wohnnutzung ungenügend isoliert gewesen. Dies wird dadurch bestätigt, dass der damalige Eigentümer gemäss dem Zusatzfragebogen im Baubewilligungsverfahren in den Jahren 1985/86 von einer bestehenden aBGF von 124 m2 ausging, was gemäss der zutreffenden Annahme des Beschwerdeführers nicht auf eine bewohnbare Fläche im Dachstock schliessen lässt. Demnach sind die tatsächlichen Feststellungen der Vorinstanz insoweit zu ergänzen, dass im Jahr 1972 das Dachgeschoss aufgrund seines schlechten Zustands und ungenügender Isolation kein dauerhaft bewohnbarer Raum war. Die Vorinstanz verstiess daher gegen Bundesrecht, wenn sie bei der Ausgangslage im Jahr 1972 für dieses Geschoss eine aBGF von 28 m2 bejahte.
Somit ist gemäss den vom Regierungsrat bestätigten und vom Beschwerdeführer nicht in Frage gestellten Berechnungen des ARE/SZ davon auszugehen, beim streitbetroffenen Haus werde die aBGF um 14 m2 und die GNF um 33 m2 überschritten, wobei die Reduktionen - wie die Erweiterungen - innerhalb des Gebäudes nur halb angerechnet werden, weshalb im Gebäudeinnern ein Rückbau im Umfang von 28 m2 aBGF bzw. 66 m2 GNF zu erfolgen hat.
5.
5.1. Der Beschwerdeführer macht weiter geltend, aufgrund des Gesamtentscheids des ARE/SZ vom 16. April 2019 sei in Bezug auf das Haus selber nicht einfach zu verstehen, was bewilligt und was bloss geduldet worden sei. Sollten gemäss diesem Entscheid alle baulichen Veränderungen als bewilligt gelten, deren Rückbau nicht verfügt worden sei, würden die zahlenmässigen Grenzen von <ref-law> sowohl bezüglich der aBGF als auch der GNF überschritten.
5.2. Gemäss Ziff. 1 des Dispositivs des Gesamtentscheids des ARE/ SZ von 16. April 2019 wird die Bewilligung für den Ausbau des Gadenhauses unter den Auflagen und Nebenbestimmungen der zuständigen Stellen gemäss Kap. II, Ziffer 1 und unter Anordnung von Rückführungsmassnahmen teilweise erteilt. Bezüglich des Umfangs der Bewilligung ist daher zu berücksichtigen, dass das ARE/SZ in Kap. II. Ziff. 1 seines Gesamtentscheids zum Ergebnis kam, die zulässige GNF werde auch nach der Vornahme der verlangten Rückführungsmassnahmen um 9 m2 überschritten, wobei diese Überschreitung nicht bewilligt, aber einstweilen geduldet werden könne. Die blosse Duldung dieser Überschreitung der zulässigen GNF wird in Ziff. 8 des Dispositivs des Gesamtentscheids des ARE/SZ ausdrücklich erwähnt (vgl. Sachverhalt lit. B). Demnach wurden nicht alle Veränderungen am Gadenhaus bewilligt, deren Rückbau nicht verfügt wurde. Ob das ARE/SZ bezüglich der nicht bewilligten, aber geduldeten Überschreitung der GNF um 9 m2 auf eine Wiederherstellung des rechtmässigen Zustands verzichten durfte, ist nachstehend zu prüfen (vgl. E. 11 hiernach).
6.
6.1. Der Beschwerdeführer bringt sodann vor, bei einer Gesamtwürdigung sei die Identität nach Art. 24c Abs. 2 RPG und Art. 42 Abs. 1 und 3 RPV nicht gegeben. Wie bescheiden und baufällig das Gadenhaus vor 1985 gewesen sei, ergebe sich aus den vorinstanzlichen Erwägungen mit den darin genannten Aktenverweisen, den Baubewilligungsakten von 1985/86 sowie verschiedenen Ausführungen der Beschwerdegegner. Diese hätten in ihrer Stellungnahme vom 10. Januar 2018 ausgeführt, wenn ihr Vorbesitzer das Haus nicht vor dem Ruin gerettet hätte, würde es mit eingestürztem Dachstock heute einen Schandfleck im BLN-Gebiet darstellen. Die Vorinstanz habe sogar die Frage einer im Verlauf der Zeit nur temporären Nutzung des Gadenhauses aufgeworfen und Indizien für eine Vernachlässigung des Gebäudes genannt. Der Kontrast zur Baute von 2017, die als "wahrgewordener Traum" für Fr. 1'380'000.-- angepriesen worden sei, könne kaum grösser sein. Unter dem Blickwinkel von Art. 24c Abs. 2 RPG und der Identität der Baute gemäss Art. 42 Abs. 1 und 3 RPV sei damit offensichtlich, dass die vom ARE/SZ erteilte Bewilligung gegen Bundesrecht verstosse. Werde die Identität bei einer Gesamtwürdigung verneint, dürften keine Veränderungen zugelassen werden, die nicht in den Jahren 1986, 1989 und 2001 rechtskräftig bewilligt worden seien.
6.2. Die Beschwerdegegner bringen vor, das Haus sei von 1965 bis 1985 von armengenössigen Familien bewohnt worden. Es sei möglich, dass damals beim Unterhalt nur das Nötigste gemacht worden sei, weshalb das Haus 1986 habe totalsaniert werden müssen, um es weiterhin bewohnen zu können. Dies habe jedoch die Identität der Baute nicht tangiert, weshalb die damalige Sanierung bewilligt worden sei. Die Identität der Baute sei auch bei der Bewilligung der Erstellung einer Garage in Anrechnung an die Nutzung des Hauses nicht in Frage gestellt worden. Dass die Beschwerdegegner ihr 1995 erworbenes Haus mit viel Fleiss gewissenhaft unterhalten hätten, habe keinen Einfluss auf die Identität im Sinne von Art. 24c Abs. 2 RPG.
6.3. Ob die Identität der Baute oder Anlage im Wesentlichen gewahrt bleibt, ist unter Würdigung der gesamten Umstände zu beurteilen (<ref-law>). Art. 42 Abs. 3 lit. a und b RPV nennt quantitative Regeln, bei deren Überschreitung die Identität in jedem Fall als nicht mehr gewahrt gilt (vgl. E. 4.1 hievor). Nach der Rechtsprechung des Bundesgerichts ist im Übrigen darauf abzustellen, ob die Änderung bei einer Gesamtbetrachtung von untergeordneter Natur ist. Die Wesensgleichheit der Baute muss hinsichtlich Umfang, äusserer Erscheinung sowie Zweckbestimmung gewahrt werden und es dürfen keine wesentlichen neuen Auswirkungen auf die Nutzungsordnung, Erschliessung und Umwelt geschaffen werden (<ref-ruling> E. 7.1.1 S. 42; <ref-ruling> E. 3a und b S. 218 f.; je mit Hinweisen). Gefordert ist nicht völlige Gleichheit von Alt und Neu. Vielmehr bezieht sich die Identität auf die "wesentlichen Züge", also die aus raumplanerischer Sicht wichtigen Merkmale des Objekts. Ob die so verstandene Identität noch gewahrt wird, beurteilt sich unter Würdigung aller raumrelevanten Gesichtspunkte in ihrem Zusammenwirken. Fehlt es an der Identität, liegt eine vollständige Änderung vor und die Erteilung einer Ausnahmebewilligung nach Art. 24c RPG fällt ausser Betracht (Urteil 1C_480/2019 vom 16. Juli 2020 E. 4.1 mit Hinweisen, in: ZBl 122 2021 S. 507). Gemäss der Rechtsprechung wird die Identität nicht gewahrt, wenn bei einem Ersatzbau das geplante Bauprojekt bezüglich Gebäudeform, Stil und Gestaltung wesentlich vom bestehenden Gebäude abweicht. Dies trifft etwa dann zu, wenn ein bestehendes Wohnhaus im traditionellen Chaletstil mit einem gemauerten Sockelgeschoss, zwei holzverkleideten Vollgeschossen sowie einem Dachgeschoss mit einem Sattel- bzw. Giebeldach durch ein modernes dreigeschossiges Einfamilienhaus mit einem Flachdach ersetzt werden soll (Urteil 1C_268/2010 vom 25. November 2010 E. 5.1 und 5.4). Die Identität wurde auch beim Umbau einer Scheune zu einem Chalet verneint (1C_443/2010 vom 6. Juni 2011 E. 3.2).
6.4. Da das Justizdepartement des Kantons Schwyz als zuständige kantonale Behörde am 3. März 1986 die umfassende Erneuerung des damals baufälligen Gadenhauses rechtskräftig bewilligte, kann offenbleiben, ob dieses Haus damals im Sinne von <ref-law> noch bestimmungsgemäss nutzbar war. Bezüglich des Zustands im Jahr 1972 kann die Identität des Gadenhauses nach der Durchführung der verlangten Rückbaumassnahmen in Bezug auf das Erscheinungsbild bejaht werden, da es als Holzbau mit Giebeldach bezüglich Gebäudeform, Stil und Gestaltung nicht wesentlich vom im Jahr 1972 bestehenden Haus abweicht und es weiterhin einen ländlichen Charakter aufweist. Entsprechend führte das Amt für Natur, Jagd und Fischerei des Kantons Schwyz (ANJF) in seiner im Gesamtentscheid des ARE/SZ zitierten Stellungnahme aus, zum Ausbau des Wohnhauses ergäben sich aus der Sicht des Natur- und Landschaftsschutzes keine Einwände, weil er innerhalb des bestehenden Gebäudes ohne erhebliche Änderungen am äusseren Erscheinungsbild erfolge. Daran vermag die im Jahr 2001 bewilligte Garage nichts zu ändern, weil sie zum Gadenhaus eine Distanz von ca. 100 m aufweist und daher optisch nicht als Erweiterung dieses Hauses, sondern des Stalles auf dem Grundstück KTN 348B wahrgenommen wird, an den sie angebaut wurde. Das Erscheinungsbild des Gadenhauses und seine nähere Umgebung wird daher durch die mit ihm lediglich funktional verbundene Garage nicht beeinträchtigt. Die Garage führt auch nicht zu einer wesentlichen Änderung der Nutzung des Hauses, welche auch deshalb zu verneinen ist, weil darin keine zusätzliche Wohnung geschaffen wurde und die aBGF gemäss den vom ARE/SZ verlangten Rückbaumassnahmen auf das zulässige Mass zu reduzieren ist. Demnach durfte das ARE/SZ bundesrechtskonform annehmen, unter Würdigung der gesamten Umstände werde die Identität des Gadenhauses nach der Durchführung der verlangten Rückbaumassnahmen - abgesehen von einer nicht bewilligten Überschreitung der quantitativen Regeln gemäss <ref-law> bezüglich der GNF um 9 m2 - im Wesentlichen gewahrt.
7.
7.1. Das ARE/SZ bewilligte mit Gesamtentscheid vom 16. April 2019 den westlich des Gebäudes erstellten Sitzplatz, ohne den Windschutz aus Glas (Ziff. 2 und 3 des Dispositivs). Zur Begründung führte es sinngemäss an, der Sitzplatz sei für eine zeitgemässe Wohnnutzung im Sinne von Art. 24c PRG nötig. Diese Bewilligung bildete mangels einer Anfechtung nicht Gegenstand des vorinstanzlichen Verfahrens.
7.2. Der Beschwerdeführer macht im Rahmen seines Rechts zur reformatio in peius geltend, das ARE/SZ hätte den Sitzplatz bundesrechtswidrig bewilligt, da die massgeblich durch die Umgebung mitgeprägte Identität der Baute durch die Umgebungsgestaltung mit dem Sitzplatz nicht gewahrt werde. Zwar lasse Art. 24c Abs. 4 RPG Veränderungen am äusseren Erscheinungsbild zu, wenn sie für eine zeitgemässe Wohnnutzung nötig sind. Ob dies zutreffe, sei jedoch nur zu prüfen, wenn noch Spielraum für Änderungen und Erweiterungen nach Art. 24c Abs. 2 PRG und <ref-law> bestünden. Da vorliegend ein solcher Spielraum fehle, sei die Berufung auf eine zeitgemässe Wohnnutzung unbehelflich. Zudem soll gemäss dem Gesamtentscheid des ARE/SZ die vormalige Laube (bestehend aus Musikzimmer und Wintergarten) zu einem grossen überdachten Balkon zurückgebaut werden, weshalb genügend Aussenaufenthaltsbereiche vorhanden seien, um allfällige Ansprüche aus zeitgemässer Wohnnutzung abzudecken.
7.3. Die Beschwerdegegner wenden sinngemäss ein, die nicht besonnte Veranda erlaube nicht, im Freien an der Sonne zu sitzen, was für eine zeitgemässe Wohnnutzung als nötig angesehen werde. Sie hätten daher ihren Sitzplatz ausgeebnet und mit Platten befestigt und einen Windschutz angebracht, was raumplanerisch ohne Belang sei. So könnten ein Tisch und Stühle sowie temporär auch ein mobiler Windfang ohne Weiteres auf die Wiese gestellt werden.
7.4. Gemäss Art. 24c Abs. 4 RPG müssen Veränderungen am äusseren Erscheinungsbild für eine zeitgemässe Wohnnutzung oder eine energetische Sanierung nötig oder darauf ausgerichtet sein, die Einpassung in die Landschaft zu verbessern. Diese Voraussetzungen sollen gemäss der Zielsetzung des Gesetzgebers verhindern, dass Veränderungen am Erscheinungsbild von nicht mehr zonenkonformen Bauten und Anlagen ausserhalb der Bauzonen, die gemäss Art. 24c Abs. 2 und 3 RPG erneuert, teilweise geändert, massvoll erweitert oder wiederaufgebaut werden, zu einem schleichenden Verlust des Charakters landwirtschaftlich geprägter Landschaften führen. Die Erweiterungen von Bauten im Sinne von Art. 24c Abs. 2 RPG führen zu einer Erhöhung des Bauvolumens. Entsprechend sieht <ref-law> vor, dass Erweiterungen ausserhalb des bestehenden Gebäudevolumens nur unter den Voraussetzungen von Art. 24 c Abs. 4 RPG zulässig sind. Die Umgebungsgestaltung durch Terrainveränderungen oder die Schaffung bzw. Vergrösserung von Sitzplätzen führt nicht zu einer Erweiterung des bestehenden Gebäudevolumens und ist deshalb nicht nach den Voraussetzungen von Art. 24c Abs. 4 RPG zu beurteilen. Vielmehr ist bei solchen Veränderungen zu untersuchen, ob in Bezug auf die Umgebung das Identitätserfordernis erfüllt ist (vgl. Urteil 1C_480/2019 vom 16. Juli 2020 E. 3.3 mit Hinweisen). Dabei ist zu berücksichtigen, dass die Zielsetzung, den schleichenden Verlust des Charakters landwirtschaftlich geprägter Landschaften zu verhindern, auch bezüglich der Umgebungsgestaltung zu gelten hat. So widerspricht gemäss der Rechtsprechung die Ausdehnung einer Gartenanlage in die Nichtbauzone dem Ziel der Raumplanung, eine optische und bauliche Ausweitung der besiedelten Fläche in die Nichtbauzone zu verhindern (Urteil 1C_443/2018 vom 3. Juli 2019 E. 4.5). Entsprechend nahm das Bundesgericht an, durch eine im betroffenen Gebiet unübliche Terrassierung und die Errichtung eines Flachwasserteichs mit Kiesflächen gehe der ländliche Charakter der Umgebung verloren, womit die Identität der Umgebung nicht gewahrt werde (Urteil 1C_10/2019 vom 15. April 2020 E. 4.5; vgl. auch Urteil 1C_168/2020 vom 27. November 2020 E. 5). Ebenso wurde eine Gartenanlage, die namentlich Sitzplätze und Stützmauern umfasste, als in der Landwirtschaftszone nicht zonenkonform erachtet (Urteil 1C_533/2015 vom 6. Januar 2016 E. 4.3 und Sachverhalt lit. B). Sodann qualifizierte das Bundesgericht das Belegen einer eingekiesten Fläche mit Platten zur Schaffung eines Sitzplatzes als eine bauliche Veränderung, welche die Wesensgleichheit der Baute beeinträchtigt (Urteil 1C_480/2019 vom 16. Juli 2020 E. 4.3).
7.5. Gemäss der im Gesamtentscheid ARE/SZ (S. 9) genannten Stellungnahme des Amtes für Natur, Jagd und Fischerei des Kantons Schwyz (ANJF) ist namentlich der Sitzplatz mit fest installierter Sonnenstore und einer Schutzwand aus Glas mit den Zielen des Landschaftsschutzes gemäss Art. 5 Abs. 1 der Verordnung über das Bundesinventar der Landschaften und Naturdenkmäler (VBLN; SR 451.11) nicht vereinbar, da er nicht der traditionellen ortsüblichen Bauweise entspricht und auffällig in Erscheinung tritt. Dies wird durch die aktenkundigen Fotografien bestätigt, die erkennen lassen, dass der mit naturfremden Materialien (Beton-Terassenplatten) errichtete Sitzplatz (unabhängig vom Windschutz aus Glas und der Sonnenstore) in der Landwirtschaftszone einen Fremdkörper schafft, der den ländlichen Charakter der Umgebung des Hauses beeinträchtigt (vgl. z.B. S. 1 und 4 der Verkaufsbroschüre). Sitzplätze mögen zwar der Wohnhygiene der Bewohner dienen und auch damit zumindest indirekt die Qualität des bewohnbaren Raumes steigern (Urteil 1C_77/2021 vom 25. Mai 2021 E. 6.3.3). Dies kann indessen vorliegend nicht entscheidend sein, weil die Beschwerdegegner nach eigenen Angaben Tische und Stühle vor dem Gadenhaus auch auf die Wiese stellen können. Zudem werden mit der verlangten Schaffung einer offenen Laube auch gedeckte Sitzplätze geschaffen. Demnach kann der Sitzplatz nicht mit den Erfordernissen einer zeitgemässen Wohnnutzung gerechtfertigt werden, weshalb das ARE/SZ Art. 24c Abs. 4 RPG verletzte, wenn es gestützt auf diese Bestimmung für den Sitzplatz eine Ausnahmebewilligung erteilte.
8.
8.1. Formell rechtswidrige Bauten, die nachträglich nicht bewilligt werden werden können, sind grundsätzlich zu beseitigen (vgl. <ref-ruling> E. 6 mit Hinweisen). Nach der bundesgerichtlichen Rechtsprechung verwirkt bei baulichen Vorkehren innerhalb des Baugebiets die Pflicht der Eigentümerschaft zur Wiederherstellung des rechtmässigen Zustands im Interesse der Rechtssicherheit grundsätzlich 30 Jahre nach Fertigstellung des Gebäudes (<ref-ruling> E. 6.3, 7, 7.1 und 8.3 mit Hinweisen). In einem jüngeren Grundsatzentscheid des Bundesgerichts wurde präzisiert, dass diese Verwirkungsfrist auf Bauten ausserhalb der Bauzone keine Anwendung findet (<ref-ruling> E. 5).
Unabhängig von einer allfälligen Verwirkung kann die Anordnung zur Wiederherstellung des rechtmässigen Zustands im Einzelfall unzulässig sein, wenn sie allgemeinen Prinzipien des Verfassungs- und Verwaltungsrechts entgegensteht. Dazu gehört namentlich der aus dem Grundsatz von Treu und Glauben (Art. 5 Abs. 3 und Art. 9 BV) abgeleitete Vertrauensschutz (<ref-ruling> E. 6; Urteil 1C_709/2020 vom 24. August 2021 E. 4.1 mit Hinweisen). Auf diesen Schutz kann sich aber nur berufen, wer selbst im guten Glauben handelte, d.h. annahm und unter Anwendung zumutbarer Sorgfalt annehmen durfte, die von ihm ausgeübte Nutzung sei rechtmässig bzw. stehe mit der Baubewilligung in Einklang (<ref-ruling> E. 7, 7.1. und 8.3 mit Hinweisen; Urteil 1C_533/2015 vom 6. Januar 2016 E. 3.1; vgl. auch <ref-ruling> E. 5.6).
8.2. Die Vorinstanz ging davon aus, bezüglich der Wiederherstellung des rechtmässigen Zustands sei von einer kürzeren Verwirkungsfrist als von 30 Jahren auszugehen, da es unter Berücksichtigung der Umstände stossend erscheine, die Beschwerdegegner zu den von den unteren kantonalen Instanzen angeordneten Rückführungsmassnahmen zu verpflichten. Zur Begründung führte die Vorinstanz zusammengefasst aus, die Baubewilligungsbehörden hätten als Ergänzung zur vorgängigen Beurteilung des Baugesuchs die Bauausführung nachträglich zu kontrollieren und dabei über Art und Umfang der Baukontrollen Rapporte zu erstellen. Bezüglich der im Jahr 1986 bewilligten Baute könnten keine Baukontrollen mehr nachgewiesen werden, weshalb nicht festgestellt werden könne, wann die baulichen Erweiterungen gegenüber dem damals bewilligten Zustand zur heute bestehenden aBGF und GNF geführt hätten. Diese Beweisschwierigkeiten könnten nicht den Beschwerdegegnern angelastet werden, welche die Liegenschaft erst im Jahr 1995 erworben hätten. Dafür, dass die Beschwerdegegner nach dem Erwerb der Liegenschaft die aBGF oder die GNF erweitert hätten, bestünden keine hinreichenden Anhaltspunkte. Die "Aufstellung aller Investitionen im Laufe von 20 Jahren" weise zwar für das Jahr 1995 die Position "Ausbau ehemaliger Heuteil" für Fr. 9'720.-- auf. Der Begriff "Ausbau" sei jedoch zu unbestimmt, um daraus relevante Schlüsse ziehen zu können, zumal die 1986 bewilligten Pläne in Heuraum mit "Event." einen Zwischenboden vorgesehen hätten und gewichtige Indizien dafür sprechen, dass die heutige Fensterzahl den vom vormaligen Eigentümer vorgenommenen Einbauten entspreche. Demnach sei davon auszugehen, die Abweichungen von der im Jahr 1986 erteilten Baubewilligung gingen noch auf den vormaligen Eigentümer zurück. Diesem könne diesbezüglich kein schlechter Glaube vorgeworfen werden, da nicht mehr eruiert werden könne, ob bezüglich der Bauarbeiten in den Jahren 1985/86 eine Baukontrolle stattgefunden habe. Demnach müssten sich auch die Beschwerdegegner insoweit keinen schlechten Glauben anrechnen lassen. Zudem habe ihnen das ARE/SZ im Jahr 2001 für den Garagenbau auf dem Grundstück KTN 369 eine Ausnahmebewilligung erteilt. Es habe dabei zur Ermittlung der zulässigen neuen Nutzfläche einzig auf die Pläne aus dem Jahr 1985 abgestellt, ohne den Ist-Zustand vor Ort abzuklären oder die Beschwerdegegner aufzufordern, die aktuelle bauliche Situation zu dokumentieren. Dabei sei ausgehend von der möglichen Erweiterung der Nutzfläche um 52,4 m2 im Grundbuch eine Nutzflächenerweiterung von 48,5 m2 eingetragen worden, weshalb ein allfälliger Rechtsnachfolger auf eine Erweiterungsreserve von rund 4 m2 vertrauen dürfe. Bezüglich der Verglasung der Laube hätten die Beschwerdegegner auf die Zustimmung der Baukommission Lauerz in ihrem Schreiben vom 24. Juni 2008 vertrauen dürfen. Sie hätten zwar grundsätzlich wissen müssen, dass diese kommunale Behörde für die Bewilligung von Bauten ausserhalb der Bauzone nicht zuständig sei. Jedoch hätten sie von der Information kantonaler Amtsstellen ausgehen dürfen, da deren allfällige Intervention vorbehalten worden sei.
8.3. Der Beschwerdeführer bringt vor, die dreissigjährige Verwirkungsfrist sei jedenfalls nicht abgelaufen, da die Beschwerdegegner gemäss ihrem Schreiben vom 31. Oktober 2017 die beiden Räume des ehemaligen Heuteils in den Wohnbereich einbezogen hätten, was eine allfällige Verwirkungsfrist unterbrochen hätte.
8.4. Die Beschwerdegegner wenden ein, ihre Darlegungen im Schreiben vom 31. Oktober 2017 belegten keine Nutzungsänderung der in den Plänen als "Heu" bezeichneten Räume, weil diese bereits bei der im Jahr 1986 bewilligten Sanierung in den Wohnbereich einbezogen worden seien.
8.5. Da bezüglich der Wiederherstellung des rechtmässigen Zustands bei Bauten ausserhalb des Baugebiets keine dreissigjährige Verwirkungsfrist gilt (vgl. E. 8.1 hievor), kann offen bleiben, ob eine solche Frist durch von den Beschwerdegegnern vorgenommene bauliche Veränderungen neu zu laufen begonnen hätte. Anzumerken ist jedoch, dass die "Aufstellung aller Investitionen im Laufe von 20 Jahren" für das Jahr 1995 die Position "Ausbau ehemaliger Heuteil" mit einem Betrag Fr. 9'720.-- aufweist und die Beschwerdegegner in ihrem Schreiben vom 31. Oktober 2017 sinngemäss ausführten, sie hätten nach dem Erwerb des ungenügend isolierten Hauses Raum für Raum umgebaut und grosszügig isoliert und dabei die beiden Räume des ehemaligen Heuteils ebenfalls in den Wohnbereich einbezogen, da ja D._ (der Verkäufer) die Bewilligung bestätigt habe und die Fenster auch schon eingebaut gewesen seien. Mit diesen Angaben brachten die Beschwerdeführer entgegen der Meinung der Vorinstanz genügend bestimmt zum Ausdruck, dass sie die Räume im ehemaligen Heuteil namentlich durch Isolationsarbeiten so ausbauten, dass sie dauerhaft für das Wohnen genutzt werden konnten.
9.
9.1. Der Beschwerdeführer rügt, die Vorinstanz hätte den guten Glauben der Beschwerdegegner bundesrechtswidrig bejaht. Art. 25 Abs. 2 RPG verlange, dass Baubewilligungen ausserhalb der Bauzone stets der Zustimmung der zuständigen kantonalen Behörden bedürfen, weil die Gemeindebehörden oft zu wenig Distanz zur Bevölkerung hätten, um den Trennungsgrundsatz mit der notwendigen Strenge durchzusetzen. Dies hätten die Beschwerdegegner als Eigentümer eines Grundstücks in der Landwirtschaftszone zumindest dem Grundsatz nach wissen müssen. Sie könnten daher bezüglich der von ihnen durchgeführten Umbauarbeiten, namentlich des Einbezugs der Räume des ehemaligen Heuteils in den Wohnbereich, nicht als gutgläubig gelten. Könnten gemäss der Auffassung der Vorinstanz die kommunalen Baupolizeiorgane durch das Unterlassen von Baukontrollen oder das Übersehen unbewilligter Veränderungen im Rahmen der Baukontrollen eine mit der Baubewilligung vergleichbare Vertrauensposition schaffen, würde der Zweck von Art. 25 Abs. 2 RPG unterlaufen und damit Bundesrecht verletzt. Zudem hätten sich die Baupolizeibehörden bei den Augenscheinen in Bezug auf den Ausbau der Strasse und den Bau einer Garage auf einem Drittgrundstück auf die zur Diskussion stehenden Aspekte beschränken dürfen. Es könne nicht erwartet werden, dass bei jedem Augenschein auch die Rechtmässigkeit der vorhandenen Bauten und Nutzungen abgeklärt werde, was faktisch nicht möglich sei. Würden Grundeigentümer, die illegal gebaut haben und den wahren Zustand im Rahmen eines neuen Baugesuchs nicht transparent machten, als gutgläubig bezeichnet, würde das illegale Bauen belohnt, was es zu verhindern gelte. Der im Jahr 2001 erfolgte Grundbucheintrag einer "Nutzungsbeschränkung im Umfang von 48,5 m2" sollte bloss sichtbar machen, dass die nicht auf dem Baugrundstück bewilligte Garage als Erweiterung des auf diesem Grundstück erstellten Hauses anzurechnen sei. Darin könne keine Zusicherung einer Reserve für eine Nutzflächenerweiterung gesehen werden. In Bezug auf den Sitzplatz sei zu beachten, dass der an die Beschwerdegegner gerichtete Brief der Baukommission Lauerz vom 24. Juni 2008 mangels Zustimmung der zuständigen kantonalen Behörde keine Rechtswirkung gehabt habe.
9.2. Die Beschwerdegegner bringen vor, ihnen könne kein schlechter Glaube attestiert werden, da beim Umbau im Jahr 1986 der damalige Eigentümer im Heubereich Fenster und einen Zwischenboden eingebaut habe, was aufgrund unterlassener Baukontrollen nicht beanstandet worden sei. Die Vorinstanz habe korrekt festgestellt, dass keine hinreichenden Hinweise für nicht bewilligte Nutzungserweiterungen durch die Beschwerdeführer bestünden. Die von ihnen beantragte Errichtung einer Garage sei 2001 kantonal bewilligt worden, wobei eine Nutzungsreserve von 4 m2 errechnet worden sei. Die Verglasung der Laube sei 2008 von der Gemeinde bewilligt worden. Diese sei dazu zwar nicht zuständig gewesen. Sie habe indessen festgestellt, die Laube sei in der Berechnung der aBGF des ARE/SZ berücksichtigt worden, weshalb die Beschwerdegegner hätten annehmen dürfen, diese Bewilligung sei in Rücksprache mit dem ARE/SZ erfolgt. Die Beschwerdegegner hätten im Vertrauen auf diese Bewilligungen die Garage erstellt und die Laube verglast.
9.3. Nach der Rechtsprechung des Bundesgerichts darf die Notwendigkeit einer kantonalen Mitwirkung für bauliche Massnahmen ausserhalb der Bauzone (Art. 25 Abs. 2 RPG) grundsätzlich als bekannt vorausgesetzt werden (Urteil 1C_566/2019 vom 5. August 2020 E. 5.2 mit Hinweisen). Dieser Grundsatz hat auch in Bezug auf die Beschwerdegegner zu gelten, zumal ihnen der Verkäufer gemäss ihren Angaben im Schreiben vom 31. Oktober 2017 die Ausnahmebewilligung für bestehende Bauten und Anlagen ausserhalb des Justizdepartements des Kantons Schwyz vom 3. März 1986 aushändigte. Die Beschwerdegegner durften daher nicht darauf vertrauen, die kommunale Baukommission Lauerz sei kompetent gewesen, in ihrem Schreiben vom 24. Juni 2008 für das Gewächshaus, den Sitzplatz mit Windschutz und die Laubenverglasung im Sinne einer Baumeldung die Zustimmung zu erteilen. Dies wird dadurch bestätigt, dass die Baukommission in diesem Schreiben eine allfällige Intervention kantonaler Amtsstellen ausdrücklich vorbehielt, was erkennen liess, dass diese Amtsstellen offensichtlich keine vorgängige Genehmigung erteilt hatten.
Sollte der vormalige Eigentümer des Gadenhauses im Widerspruch zu den im Jahr 1986 bewilligten Plänen und seinen Angaben gegenüber der Gemeinde im Schreiben vom 9. August 1985 den Beschwerdegegnern die Auskunft erteilt haben, der Ausbau des ehemaligen Heuteils für Wohnzwecke sei am 3. März 1986 bewilligt worden, so hätten die Beschwerdegegner nicht auf diese unzutreffende Angabe vertrauen dürfen, weil sie durch eine Privatperson und nicht die zuständige Verwaltungsbehörde erteilt wurde (vgl. zu den Voraussetzungen des Vertrauens in falsche behördliche Auskünfte: <ref-ruling> E. 5.2.1; <ref-ruling> E. 6.1; <ref-ruling> E. 4.1; je mit Hinweisen). Zudem hätten die Beschwerdegegner bei der Konsultation der bewilligten Pläne die Unrichtigkeit der Auskunft feststellen können, weshalb sie betreffend des Ausbaus des ehemaligen Heuteils zu Wohnzwecken nicht als gutgläubig gelten können (vgl. Urteil 1C_381/2020 vom 27. Juli 2021 E. 3.4.2). Da die Beschwerdegegner gemäss ihrer Aufstellung der Investitionen den Ausbau des ehemaligen Heuteils im Jahr 1995 vornahmen, konnte diesbezüglich die später im Jahr 2001 erteilte Bewilligung für den Bau einer Garage und die dabei angestellten Berechnungen der aBGF nicht vertrauensbildend gewesen sein.
Wäre gemäss der vorinstanzlichen Annahme der ehemalige Heuteil in den Jahren 1985/86 vom vormaligen Eigentümer vollständig zu Wohnzwecken ausgebaut worden, hätte er in Bezug auf diese und andere Abweichungen von den bewilligten Plänen nicht gutgläubig sein können. Er hätte namentlich aufgrund des eingeleiteten nachträglichen Baubewilligungsverfahrens erkennen müssen, dass solche Abweichungen der Zustimmung der zuständigen kantonalen Behörde bedürfen. Daran vermögen entgegen der Meinung der Vorinstanz unterlassene nachträgliche Baukontrollen nichts zu ändern, da Bauherren nicht darauf vertrauen dürfen, dass alle von ihnen ohne rechtsgültige Baubewilligung ausgeführten baulichen Massnahmen, die mangels Baukontrollen oder bei durchgeführten Kontrollen von den Behörden nicht beanstandet wurden, als rechtmässig gelten können. Ansonsten könnten sich die zuständigen kantonalen und kommunalen Behörden der bundesrechtlichen Verpflichtung, die Beseitigung formell und materiell rechtswidriger Bauten ausserhalb der Bauzone anzuordnen, durch Untätigkeit entziehen, womit die einheitliche Anwendung des Bundesrechts und der Trennungsgrundsatz in Frage gestellt würde (Urteil 1C_469/2019 vom 28. April 2021 E. 5.5; zur Publ. vorgesehen). Zudem kann gemäss der zutreffenden Annahme des Beschwerdeführers nicht erwartet werden, dass bei einer Baukontrolle alle Aspekte einer Baute geprüft werden (vgl. Urteil 1C_262/2009 vom 14. April 2010 E. 4). Die Beschwerdegegner haben sich als Rechtsnachfolger ihres Verkäufers auch dessen bösen Glauben anrechnen zu lassen, da der Verkäufer sonst den Fortbestand eines ohne Baubewilligung geschaffenen gesetzwidrigen baulichen Zustands erreichen könnte, indem er seine Baute auf einen Dritten überträgt und dabei das Fehlen einer Baubewilligung verschweigt (Urteile 1C_171/2017 vom 3. Oktober 2017 E. 4; 1C_381/2020 vom 27. Juli 2021 E. 4.3.2; je mit Hinweisen). Demnach verletzte die Vorinstanz Bundesrecht, wenn sie den Beschwerdegegnern bezüglich der von ihnen und/oder vom vormaligen Eigentümer ohne rechtswirksame Baubewilligung vorgenommenen baulichen Massnahmen am ehemaligen Gadenhaus guten Glauben zubilligte und daher gestützt auf das Vertrauensprinzip von einer Verwirkung des Anspruchs auf Wiederherstellung des rechtmässigen Zustands ausging.
10.
10.1. Der Anordnung der Wiederherstellung des rechtmässigen Zustands kommt massgebliches Gewicht für den ordnungsgemässen Vollzug des Raumplanungsrechts zu. Werden ausserhalb der Bauzone illegal errichtete Bauten nicht beseitigt, sondern auf unabsehbare Zeit geduldet, so wird der Grundsatz der Trennung von Bau- und Nichtbaugebiet in Frage gestellt und rechtswidriges Verhalten belohnt. Formell rechtswidrige Bauten, die auch nachträglich nicht legalisiert werden können, müssen daher grundsätzlich beseitigt werden (<ref-ruling> E. 6 S. 364 f.; <ref-ruling> E. 5.5; je mit Hinweisen). Die mit der Anordnung der Beseitigung einer Baute verbundene Eigentumsbeschränkung ist nur zulässig, wenn sie verhältnismässig ist (<ref-law>). Dies setzt voraus, dass die Rückbaumassnahme für das Erreichen des im öffentlichen oder privaten Interesse liegenden Ziels geeignet und erforderlich ist und sich für die Betroffenen in Anbetracht der Schwere der Grundrechtseinschränkung als zumutbar erweist (<ref-ruling> E. 9.2.2 S. 24 mit Hinweisen). Die Wiederherstellung des rechtmässigen Zustands kann unverhältnismässig sein, wenn die Abweichung vom Erlaubten nur unbedeutend ist oder die Wiederherstellung nicht im öffentlichen Interesse liegt, ebenso, wenn der Bauherr in gutem Glauben angenommen hat, die von ihm ausgeübte Nutzung stehe mit der Baubewilligung im Einklang, und ihre Fortsetzung nicht schwerwiegenden öffentlichen Interessen widerspricht (<ref-ruling> E. 6 S. 35 mit Hinweis). Auf die Verhältnismässigkeit kann sich auch ein Bauherr berufen, der nicht gutgläubig gehandelt hat. Er muss aber in Kauf nehmen, dass die Behörden aus grundsätzlichen Erwägungen, namentlich zum Schutz der Rechtsgleichheit und der baulichen Ordnung, dem Interesse an der Wiederherstellung des gesetzmässigen Zustands erhöhtes Gewicht beimessen und die dem Bauherrn allenfalls erwachsenden Nachteile nicht oder nur in verringertem Masse berücksichtigen (<ref-ruling> E. 6.4 S. 39 f.; Urteil 1C_332/2020 vom 22. April 2021 E. 7.2).
10.2. Der Beschwerdeführer macht geltend, der von der Vorinstanz vorgesehene Verzicht auf einen wesentlichen Teil der vom ARE/SZ in seinem Gesamtentscheid vom 16. April 2019 sowie vom Gemeinderat in seinem Beschluss vom 15. Mai 2019 angeordneten Wiederherstellungsmassnahmen würde dazu führen, dass die Beschwerdegegner nicht nur über sehr lange Zeit von ihren illegalen baulichen Veränderungen (und teilweise auch denjenigen des vormaligen Eigentümers) hätten profitieren können, sondern dass der illegale Zustand noch perpetuiert würde, was im Hinblick auf die Rechtssicherheit unhaltbar wäre. Daher seien die vom ARE/SZ angeordneten Wiederherstellungsmassnahmen ohne Verzögerung zu vollziehen. Dazu seien in Aufhebung des angefochtenen Urteils die in Ziff. 4 des Gesamtentscheids des ARE/SZ vom 16. April 2019 und in Ziff. 2 des Gemeinderatsbeschlusses vom 15. Mai 2019 angeordneten Rückbaumassnahmen zu bestätigen.
10.3. Da die Vorinstanz die vom ARE/SZ angeordneten und vom Regierungsrat bestätigten Wiederherstellungsmassnahmen in Bezug auf das Gadenhaus bereits gestützt auf den Vertrauensschutz aufhob (vgl. E. 8 hievor), prüfte sie deren Verhältnismässigkeit nicht. Sie erwog lediglich in einem obiter dictum, diese Massnahmen führten zu keiner Verbesserung des äusseren Erscheinungsbildes des Hauses, das so oder anders in den wesentlichen Zügen gleich bleibe. Vielmehr werde durch die verlangte Entfernung der Fenster im Musikzimmer das äussere Erscheinungsbild beeinträchtigt und die dank den Fenstern erzielte Strukturierung und Harmonie des Gebäudes zerstört.
10.4. Demgegenüber bejahte der Regierungsrat in seinem Beschwerdeentscheid vom 4. Februar 2020 die Verhältnismässigkeit der vom ARE/SZ angeordneten Rückbaumassnahmen. Zur Begründung führte er zusammengefasst aus, der angeordnete teilweise Rückbau des Dachstocks im östlichen Gebäudeteil sei zumutbar, weil im Zeitpunkt des Augenscheins der Dachstock praktisch leer gestanden habe und durch die (teilweise) Entfernung des Dachbodens die geringe Raumhöhe im östlichen Teil des Obergeschosses erhöht werden könne. Ein blosses Nutzungsverbot für den östlichen Teil des Dachstocks sei nicht ausreichend, da es nur schwer zu kontrollieren sei. Demnach seien zur Wiederherstellung des rechtmässigen Zustands keine milderen Massnahmen möglich. Solche seien von den Beschwerdegegnern auch nicht unterbreitet worden. Da die vorgenommene Nutzungsänderung eine grobe Verletzung der planungs- und baurechtlichen Ordnung darstelle und dem Grundsatz der Trennung von Bau- und Nichtbaugebiet eine grosse Bedeutung zukomme, sei das öffentliche Interesse an der Wiederherstellung des rechtmässigen Zustands gross. Dieses Interesse überwiege gegenüber den privaten Interessen der Beschwerdegegner deutlich, da der finanzielle Aufwand nicht als übermässig betrachtet werden könne. Demnach seien die angeordneten Rückbaumassnahmen, nach deren Umsetzung das zulässige Erweiterungsmass immer noch um 9 m2 GNF überschritten werde, im engeren Sinne verhältnismässig.
10.5. Die Beschwerdegegner wenden dagegen ein, es sei ihnen Gelegenheit für einen eigenen Rückbau einzuräumen, da das ARE/SZ nur die nötige Reduktion der GNF verlangen und nicht konkrete Rückbaumassnahmen anordnen dürfe.
Dieser Einwand ist unberechtigt, da das ARE/SZ die von ihm verlangten Rückbaumassnahmen zur Gewährleistung der Durchsetzbarkeit und sachgerechten Anfechtung hinreichend konkret umschreiben muss.
10.6. Weiter machen die Beschwerdegegner geltend, die vom ARE/SZ angeordneten Rückbaumassnahmen seien unangemessen, weil sie gemäss der zutreffenden Annahme der Vorinstanz auf die Raumplanung keinen positiven Einfluss hätten. So würde durch die verfügte Wiederherstellung der Standort und die Ausmasse des Hauses nicht geändert, jedoch das harmonische Äussere des Hauses gestört. Zudem werde das Haus in energetischer Hinsicht unnötig entblösst. Das ARE/SZ verkenne, dass die Veranda mit dem verlangten Zumauern des Zugangs gar nicht mehr begehbar wäre und der nicht genutzte Dachstock nur der isolierten Zimmerdecke beraubt würde, was sinnlos sei.
10.7. Das Bundesgericht kann die Verhältnismässigkeit der strittigen Rückbaumassnahmen in Bezug auf das Gadenhaus beurteilen, da insoweit der relevante Sachverhalt erstellt ist bzw. sich aus den Akten ergibt. Gemäss diesen Massnahmen ist im Bereich des heutigen verglasten Balkons (Wintergarten) und des Musikzimmers durch die Entfernung der Zwischenmauer und der Verglasung bzw. der Fenster eine Laube zu schaffen, die vollständig als überdachter Balkon genutzt werden kann. Damit wird die Zugänglichkeit dieser Laube entgegen der Meinung der Beschwerdegegner gewährleistet. Zudem führt die Schaffung einer fensterlosen Laube nicht zu einem unharmonischen Erscheinungsbild, da der entsprechende Bereich dem Haus auf Stützen vorgelagert ist und solche Lauben bzw. überdeckte Balkone für ältere Bauernhäuser typisch sind und damit dem ländlichen Charakter des Hauses entsprechen. Das im ehemaligen Heubereich errichtete Schlafzimmer wird durch die Entfernung der Decke bzw. des darüber liegenden Dachbodens nicht unbenutzbar, zumal das Dach entsprechend isoliert werden darf. Die Beschwerdegegner nennen keine für sie weniger nachteiligen, jedoch gleich wirksamen Rückbauvarianten, weshalb die angeordneten Rückbaumassnahmen zur Erreichung des rechtmässigen Zustands erforderlich sind. Die damit verbundenen Kosten bzw. der dadurch bewirkte Wertverlust des Hauses fallen bei der Interessenabwägung nicht entscheidend ins Gewicht, da die Abweichungen vom Erlaubten nicht unbedeutend sind und die entsprechenden baulichen Massnahmen vom vormaligen Eigentümer sowie den Beschwerdegegnern nicht gutgläubig vorgenommen wurden (vgl. E. 9 hievor). Diese müssen daher in Kauf nehmen, dass dem Interesse an der Wiederherstellung des gesetzmässigen Zustands namentlich zur Wahrung des fundamentalen Grundsatzes der Trennung von Bau- und Nichtbaugebiet erhöhtes Gewicht beigemessen wird. Unter diesen Umständen verletzte der Regierungsrat das Verhältnismässigkeitsprinzip nicht, wenn er die öffentlichen Interessen an den angeordneten Rückbaumassnahmen gegenüber den privaten Interessen der Beschwerdegegner als überwiegend qualifizierte. Demnach ist die Beschwerde insoweit gutzuheissen, als das vorinstanzliche Urteil aufzuheben ist, soweit es in Ziff. 1.1 des Dispositivs die vom Regierungsrat bestätigten Rückführungsmassnahmen des ARE/SZ und des Gemeinderats Lauerz aufhob.
11.
Der Beschwerdeführer beantragt, den Gesamtentscheid des ARE/SZ und den Beschluss des Gemeinderats Lauerz vom 15. Mai 2019 aufzuheben, soweit damit auf die Wiederherstellung des rechtmässigen Zustands verzichtet wurde.
11.1. Dieser Antrag betrifft den Gesamtentscheid des ARE/SZ zum einen insoweit, als gemäss Ziff. 8 seines Dispositivs die (nach den Rückbaumassnahmen) verbleibende Überschreitung der GNF von 9 m2 einstweilen geduldet wird (vgl. E. 5 hievor). Die dafür vom ARE/SZ angeführten Gründe der Verhältnismässigkeit lassen erkennen, dass es davon ausging, diese Überschreitung könne im Sinne der Rechtsprechung als unbedeutende Abweichung vom Erlaubten qualifiziert werden, an deren Beseitigung kein überwiegendes Interesse mehr bestehe (vgl. E. 10.1 hievor).
11.2. Inwiefern diese Qualifikation bundesrechtswidrig sein soll, legt der Beschwerdeführer nicht dar und ist auch nicht ersichtlich. So wird die Abweichung vom Erlaubten dadurch relativiert, dass die volle Anrechnung der Nutzfläche der Garage an das mit ihr lediglich funktional verbundene ehemalige Gadenhaus hinsichtlich seiner Identität nicht als zwingend erforderlich erscheint, da es zur Garage in optischer Hinsicht keinen Bezug aufweist (vgl. E. 6.4 hievor). Zudem macht die verbleibende Überschreitung der nach den quantitativen Regeln gemäss Art. 42 Abs. 3 PRV zugelassenen GNF um 9 m2 nur rund 3 % der gemäss dem Gesamtentscheid des ARE/SZ vom 16. April 2019 im Jahr 1972 vorhandenen GNF von 294 m2 aus. Unter diesen Umständen verstiess das ARE/SZ nicht gegen Bundesrecht, wenn es diese Überschreitung hinsichtlich der Wahrung der Identität der Baute als unbedeutend qualifizierte und es insoweit aus Gründen der Verhältnismässigkeit auf eine Wiederherstellung des rechtmässigen Zustands verzichtete. Dies wird dadurch bestätigt, dass der Beschwerdeführer in Bezug auf das ehemalige Gadenhaus keine abweichende Rückbauvariante aufzeigt, die den Zielsetzungen der Raumplanung besser entsprechen würde.
12.
12.1. Der Antrag des Beschwerdeführers, den Gesamtentscheid des ARE/SZ aufzuheben, soweit damit auf die Wiederherstellung des rechtmässigen Zustands verzichtet wurde, betrifft diesen Entscheid auch soweit, als damit in Bezug auf den zu Unrecht bewilligten Sitzplatz (vgl. E. 7 hievor) und die nicht bewilligte Terrassierung des Geländes, das Gewächshaus und den Windschutz aus Glas beim westlichen Sitzplatz auf die Wiederherstellung des rechtmässigen Zustands verzichtet wurde (vgl. Ziff. 3 Satz 2 des Dispositivs des Gesamtentscheids des ARE/SZ). Zur Begründung brachte das ARE/SZ vor, da der Bau des Windschutzes und des Gewächshauses der Gemeinde gemeldet worden sei und die Terrassierung (nördlich des Gadenhauses) nur bedingt in Erscheinung trete, könnten diese baulichen Veränderungen der Umgebung einstweilen geduldet werden (S. 8. Abs. 3).
12.2. Der Beschwerdeführer macht geltend, das Bundesgericht habe in den letzten Jahren viele Fälle illegalen Bauens beurteilt und dabei den Schutz der Rechtsgleichheit und der baurechtlichen Ordnung stets sehr hoch gewichtet. Ausnahmen von der Wiederherstellung des rechtmässigen Zustands seien faktisch nur noch bei gutem Glauben denkbar, an den sehr hohe Anforderungen zu stellen seien. Insoweit sei zu betonen, dass das von der Baukommission Lauerz mit Schreiben vom 24. Juni 2008 namentlich bezüglich des Sitzplatzes erklärte Einverständnis mangels Zustimmung der zuständigen kantonalen Behörde keine Rechtswirkung habe entfalten können. Mit Blick auf das Ausmass der materiellen Rechtswidrigkeit sei auch über den Sitzplatz hinaus eine konsequente Wiederherstellung des rechtmässigen Zustands angezeigt, da die Identität einer Baute in massgeblicher Weise durch die Umgebung mitgeprägt werde und Landwirtschaftsland nicht dafür da sei, einer zonenwidrigen Wohnbaute als Garten und auch nicht als Gemüsegarten zu dienen. Dies gelte erst recht, wenn dazu Terrassierungen nötig seien.
12.3. Die Beschwerdegegner wenden ein, auch wenn das Bundesgericht eine konsequente Praxis gegenüber illegal Bauenden habe, seien diese nach dem Grundsatz von Treu und Glauben in ihrem guten Glauben zu schützen. Die Beschwerdegegner hätten immer gutgläubig gehandelt. Sie hätten mit "Bewilligung" der Gemeinde ihren Sitzplatz etwas ausgeebnet, mit Platten befestigt und dort einen Windschutz angebracht. Da die Gemeinde die Bewilligung ohne Kompetenz erteilt habe, werde sie bei einem Schaden ersatzpflichtig. Es sei daher durchaus angemessen, wenn dieser Sitzplatz, der keinen raumwirksamen Einfluss ausübe, geduldet werde.
12.4. Soweit das ARE/SZ von einer Rückführung in Bezug auf den Sitzplatz und das Gewächshaus aufgrund der Meldung der Beschwerdegegner bei der Gemeinde absah, stützte es sich auf den Vertrauensgrundsatz. Es liess dabei ausser Acht, dass die Beschwerdegegner auf die ihrer Meldung folgende schriftliche Mitteilung der Baukommission Lauerz, sie erachte das Gewächshaus und den Sitzplatz im Rahmen einer Baumeldung als in Ordnung, nicht vertrauen durften, weil sie bei gehöriger Sorgfalt das Erfordernis einer kantonalen Bewilligung erkennen mussten (vgl. E. 9.3 hievor). Die Terrassierung nördlich des Geländes mit Löffelsteinen wurde ohne vorherige Baubewilligung vorgenommen und wurde nachträglich nicht bewilligt. Demnach können die Beschwerdegegner bezüglich der Errichtung der strittigen Bauten und Anlagen in der Umgebung des Hauses nicht als gutgläubig gelten. Sie müssen daher in Kauf nehmen, dass dem Interesse an der Wiederherstellung des rechtmässigen Zustands ein erhöhtes Gewicht beigemessen wird und die ihnen erwachsenen Nachteile nur in verringertem Mass berücksichtigt werden (vgl. E. 10.1 hievor). Gemäss der im Gesamtentscheid der ARE/SZ wiedergegebenen Stellungnahme des ANJF sind die Terrassierung des Geländes mit Löffelsteinen, das Gewächshaus und der Sitzplatz mit einer Schutzwand mit den Zielen des Landschaftsschutzes nach <ref-law> nicht vereinbar, weil sie nicht der traditionellen und ortsüblichen Bauweise entsprechen und landschaftlich auffällig in Erscheinung treten. Die damit festgestellte und von den Beschwerdegegnern nicht in Frage gestellte Unvereinbarkeit mit den Zielen des Landschaftsschutzes begründet ein gewichtiges Interesse an der Wiederherstellung des rechtmässigen Zustands, zumal das Dulden von nicht der Landwirtschaft dienenden Gartenanlagen in der Landwirtschaftszone zu einem schleichenden Verlust des Charakters landwirtschaftlich geprägter Landschaften führen und damit den Grundsatz der Trennung von Bau- und Nichtbaugebiet beeinträchtigen würde (vgl. E. 7.4 hievor). Daran vermag nichts zu ändern, dass das ARE/SZ in seinem Gesamtentscheid anführte, die Terrassierung trete "nur bedingt" in Erscheinung, da es damit nicht widerlegt, dass die verwendeten Löffelsteine nicht der traditionellen ortsüblichen Bauweise entsprechen. Dies wird dadurch bestätigt, dass das ANJF in seinem 4. Fachbericht vom 20. März 2018 verlangte, eine Erneuerung der Terrassierung müsse mit Natursteinen erfolgen. Demnach überwiegen bezüglich der streitbetroffenen Gartenanlagen, die nachträglich nicht bewilligt werden können, die öffentlichen Interessen an der Wiederherstellung des rechtmässigen Zustands gegenüber den entgegenstehenden Interessen der Beschwerdegegner am Werterhalt, zumal die ihnen erwachsenen Nachteile aufgrund der fehlenden Gutgläubigkeit nur in verringertem Mass berücksichtigt werden können. Der Rückbau des Gewächshauses erweist sich auch dann als zumutbar, wenn seine ungenügende Eingliederung gemäss den Auflagen des ARE/SZ durch Pflanzungen verbessert würde, zumal es gemäss dem Schreiben der Baukommission Lauerz vom 24. Juni 2008 kein festes Fundament aufweisen durfte und daher von geringen Investitions- und Rückbaukosten auszugehen ist.
Aus dem Gesagten folgt, dass das ARE/SZ gegen Bundesrecht verstiess, wenn es die Terrassierung mit Löffelsteinen, das Gewächshaus aus Glas und den Sitzplatz mit Windfang aus Gründen der Verhältnismässigkeit duldete und insoweit auf die Wiederherstellung des rechtmässigen Zustands verzichtete. Demnach sind Ziff. 3 Satz 2 des Dispositivs des Gesamtentscheids des ARE/SZ vom 16. April 2019 und der Beschluss des Gemeinderats Lauerz vom 15. Mai 2019 aufzuheben, soweit damit auf die Wiederherstellung des rechtmässigen Zustands bezüglich der genannten Bauten und Anlagen in der Umgebung des ehemaligen Gadenhauses verzichtet wurde.
13.
Gemäss den vorstehenden Erwägungen ist in teilweiser Gutheissung der Beschwerde das angefochtene Urteil aufzuheben, soweit es in Ziff. 1.1 des Dispositivs die vom Regierungsrat bestätigten Wiederherstellungsmassnahmen des ARE/SZ und des Gemeinderats Lauerz in Bezug auf das ehemalige Gadenhaus aufhob (E. 10 hievor). Damit entfalten die von der Vorinstanz aufgehobenen Rückbaumassnahmen und Vollstreckungsanordnungen gemäss Ziff. 4-7 des Dispositivs des Gesamtentscheids des ARE/SZ vom 16. April 2019 sowie Ziff. 2 und 5-7 des Dispositivs des Beschlusses des Gemeinderats Lauerz vom 15. Mai 2019 (vgl. Sachverhalt lit. B hievor) wieder Rechtswirkung.
Zudem sind der Gesamtentscheid des ARE/SZ vom 16. April 2019 und der Beschluss des Gemeinderats Lauerz vom 15. Mai 2019 aufzuheben, soweit damit der westlich des Gebäudes errichtete Sitzplatz bewilligt (E. 7 hievor) und auf den Rückbau diese Platzes, des Windschutzes aus Glas, des Gewächshauses und der Terrassierung mit Löffelsteinen verzichtet wurde (E. 12 hievor). Die Sache ist zur Regelung der Modalitäten der Wiederherstellung des rechtmässigen Zustands bezüglich der genannten Gartenanlagen an das ARE/SZ zurückzuweisen. Im Übrigen ist die Beschwerde abzuweisen.
Zur Neuverlegung der Kosten und Entschädigungen der Verfahren vor dem Regierungsrat und dem Verwaltungsgericht ist die Sache an die Vorinstanz zurückzuweisen. Bei diesem Verfahrensausgang obsiegt der Beschwerdeführer im Wesentlichen. Die Gerichtskosten werden deshalb den unterliegenden Beschwerdegegnern auferlegt, die dafür solidarisch haften (Art. 66 Abs. 1 und 5 BGG; vgl. Urteil 1C_234/2014 vom 6. Oktober 2014 E. 3).

Demnach erkennt das Bundesgericht:
1.
1.1. In teilweiser Gutheissung der Beschwerde wird der Entscheid des Verwaltungsgerichts des Kantons Schwyz vom 24. August 2020 aufgehoben, soweit er in Ziff. 1.1 des Dispositivs die vom ARE/SZ und vom Gemeinderat angeordneten und vom Regierungsrat bestätigten Wiederherstellungsmassnahmen in Bezug auf das Gadenhaus aufhob. Zudem werden Ziff. 2 und Ziff. 3 Satz 2 des Dispositivs des Gesamtentscheids des ARE/SZ vom 16. April 2019 und der Beschluss des Gemeinderats Lauerz vom 15. Mai 2019 aufgehoben, soweit damit der westlich des Gebäudes errichtete Sitzplatz bewilligt und auf den Rückbau dieses Platzes, des Windschutzes aus Glas, des Gewächshauses und der Terrassierung mit Löffelsteinen verzichtet wurde. Die Sache wird zur Regelung der Modalitäten der Wiederherstellung des rechtmässigen Zustands bezüglich dieser Gartenanlagen an das ARE/SZ zurückgewiesen. Im Übrigen wird die Beschwerde abgewiesen.
1.2. Die Sache wird zur Neuverlegung der Kosten und Entschädigungen der kantonalen Rechtsmittelverfahren an die Vorinstanz zurückgewiesen.
2.
Die Gerichtskosten von Fr. 4'000.-- werden den Beschwerdegegnern unter solidarischer Haftbarkeit auferlegt.
3.
Dieses Urteil wird den Parteien, dem Gemeinderat Lauerz, dem Amt für Raumentwicklung des Kantons Schwyz, dem Regierungsrat des Kantons Schwyz und dem Verwaltungsgericht des Kantons Schwyz, Kammer III, schriftlich mitgeteilt.
Lausanne, 30. November 2021
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kneubühler
Der Gerichtsschreiber: Gelzer