Sachverhalt:
A.
A.A._ und B.A._ sind je hälftige Miteigentümer des ausserhalb der Bauzone liegenden und mit einem Einfamilienhaus überbauten Grundstücks Nr. 533/Grundbuch Engi. In den Jahren 2005, 2006 und 2009 reichten sie der Ortsgemeinde Engi Baugesuche für eine Gartenumgestaltung (Sanierung und Erweiterung von Stützmauern, Biotop mit Bächlein, Weg mit Sitzplatz), für einen Holzunterstand sowie ein Gartengerätehäuschen ein. Die Gemeinde Engi nahm die drei Baugesuche als Baumeldungen entgegen und bewilligte diese teilweise unter Auflagen.
Bereits in den Jahren 1993, 1994 und 1997 hatten A.A._ und B.A._ je eine Bewilligung für Bauvorhaben auf ihrem Grundstück beantragt (Giebeldachaufbau auf bestehender Garage, Anbau Wintergarten, Dachverlängerung mit Glaseinsatz), welche die Ortsgemeinde jeweils nach Zustimmung der Baudirektion des Kantons Glarus erteilt hatte. Ein bei dieser eingereichtes Gesuch vom 26. Februar 2001 um Bewilligung für die Erstellung eines Biotop-Swimming-Teiches wurde hingegen abgewiesen, was der Regierungsrat des Kantons Glarus mit Beschwerdeentscheid vom 20. November 2001 bestätigte.
B.
Am 15. Juni 2018 gelangten A.A._ und B.A._ an das Departement Volkswirtschaft und Inneres des Kantons Glarus (DVI) und ersuchten um Zustimmung zur Abparzellierung einer Fläche von 1'000 m2 vom bestehenden Grundstück Nr. 533 und Entlassung der abparzellierten Fläche aus dem Geltungsbereich des Bundesgesetzes vom 4. Oktober 1991 über das bäuerliche Bodenrecht (BGBB; SR 211.412.11).
Nach Weiterleitung des Gesuchs an das Departement Bau und Umwelt des Kantons Glarus (DBU) stellte dieses mit Verfügung vom 4. Februar 2019 fest, dass in Bezug auf die in den Jahren 2005, 2006 und 2009 im Meldeverfahren bewilligten Bauten und Anlagen keine rechtmässige Nutzung vorliege. Zudem wies das DBU die zuständige Gemeindebehörde an, gestützt auf Art. 82 des Raumentwicklungs- und Baugesetzes des Kantons Glarus vom 2. Mai 2010 (RBG/GL; GS VII B/1/1) die Wiederherstellung des rechtmässigen Zustands zu verfügen und allfällige Vollstreckungsmassnahmen zu treffen. Die Durchführung eines nachträglichen Bewilligungsverfahrens lehnten A.A._ und B.A._ ab.
Eine dagegen gerichtete Beschwerde von A.A._ und B.A._ hiess der Regierungsrat des Kantons Glarus mit Entscheid vom 2. Juni 2020 teilweise gut. In Abänderung des Entscheids des DBU vom 4. Februar 2019 nahm er die Stützmauern, soweit sie 2005 bereits bestanden hatten und lediglich saniert worden waren, sowie die 2006 erstellte Sickerleitung entlang der Garage, soweit sie dem Schutz vor Feuchtigkeitseinbruch in dieselbe dient, von der Verpflichtung zur Wiederherstellung des rechtmässigen Zustands und von allfälligen Vollstreckungsmassnahmen aus. Im Übrigen wies er die Beschwerde ab.
Gegen den Entscheid des Regierungsrats des Kantons Glarus vom 2. Juni 2020 gelangten A.A._ und B.A._ mit Beschwerde an das Verwaltungsgericht des Kantons Glarus, das ihr Rechtsmittel mit Urteil vom 12. November 2020 abwies.
C.
Mit Eingabe vom 16. Dezember 2020 gelangen A.A._ und B.A._ (Beschwerdeführer) an das Bundesgericht. Sie beantragen die Aufhebung des verwaltungsgerichtlichen Urteils vom 12. November 2020. Eventualiter sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen.
Der Regierungsrat des Kantons Glarus, das DBU und das Verwaltungsgericht beantragen, die Beschwerde abzuweisen. Ebenfalls auf Abweisung der Beschwerde schliesst das zur Vernehmlassung eingeladene Bundesamt für Raumentwicklung (ARE). Die Gemeinde Glarus Süd verzichtet auf eine Vernehmlassung im bundesgerichtlichen Verfahren.
Den Beschwerdeführern wurden die Eingaben der übrigen Verfahrensbeteiligten sowie des ARE mit Schreiben vom 9. April 2021 zur Kenntnis gebracht.

Erwägungen:
1.
1.1. Das Bundesgericht prüft seine Zuständigkeit und die weiteren Eintretensvoraussetzungen von Amtes wegen (<ref-law>) und mit freier Kognition (<ref-ruling> E. 1).
1.2. Gegen das verfahrensabschliessende, kantonal letztinstanzliche Urteil des Verwaltungsgerichts des Kantons Glarus vom 12. November 2020 steht die Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht offen (vgl. Art. 82 lit. a, Art. 83, Art. 86 Abs. 1 lit. d und Abs. 2, Art. 90 BGG). Als direkte Adressaten des angefochtenen Entscheids und unterliegende Parteien im vorinstanzlichen Verfahren sind die Beschwerdeführer gemäss <ref-law> zur Beschwerde berechtigt. Der rein kassatorische (Haupt-) Antrag ist ungeachtet des grundsätzlich reformatorischen Charakters der Beschwerde in öffentlich-rechtlichen Angelegenheiten zulässig, da er allein auf die Beseitigung einer Anordnung abzielt, die sich für die Beschwerdeführer belastend auswirkt (vgl. <ref-law>; <ref-ruling> E. 3.1; Urteile 2C_994/2016 vom 9. März 2018 E. 1.2 [nicht publ. in: <ref-ruling>]; 2C_576/2018 vom 16. November 2018 E. 1.2.3.1).
1.3. Auf das auch im Übrigen form- und fristgerecht eingereichte Rechtsmittel ist einzutreten (vgl. Art. 42 und Art. 100 Abs. 1 BGG).
2.
2.1. Soweit hier interessierend kann mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten die Verletzung von Bundes- und Völkerrecht gerügt werden (<ref-law>). Das Bundesgericht wendet das Recht dabei von Amtes wegen an (<ref-law>). Nach Massgabe der allgemeinen Anforderungen an die Beschwerdebegründung (<ref-law>) prüft es jedoch nur die geltend gemachten Rügen, sofern die rechtlichen Mängel des angefochtenen Entscheids nicht geradezu offensichtlich sind (vgl. <ref-ruling> E. 2; Urteile 2C_8/2016 vom 7. Oktober 2016 E. 2.1 [nicht publ. in: <ref-ruling>]; 1C_786/2013 vom 8. Oktober 2014 E. 1.3 [nicht publ. in: <ref-ruling>]). Der Verletzung von Grundrechten geht das Bundesgericht zudem nur insofern nach, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (<ref-law>).
2.2. Seinem Urteil legt das Bundesgericht den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat. Von Amtes wegen oder auf ausreichend begründete Rüge hin (vgl. zu den Anforderungen an Sachverhaltsrügen <ref-ruling> E. 9.2.3.6 S. 96; <ref-ruling> E. 1.4.3; Urteil 2C_8/2016 vom 17. Oktober 2016 E. 2.2 [nicht publ. in: <ref-ruling>]) korrigiert das Bundesgericht die vorinstanzlichen Sachverhaltsfeststellungen, wenn diese offensichtlich unrichtig sind oder sie auf einer Rechtsverletzung im Sinne von <ref-law> beruhen. Eine Richtigstellung des Sachverhalts erfolgt, sofern sie für den Ausgang des Verfahrens entscheidend sein kann (vgl. Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG).
3.
Im Streit liegt die Verpflichtung der Beschwerdeführer, den rechtmässigen Zustand auf ihrem Grundstück Nr. 533/GB Engi gemäss Verfügung des DBU vom 4. Februar 2019 und Entscheid des Regierungsrats vom 2. Juni 2020 wiederherzustellen. Von keiner Seite in Frage gestellt wird, dass die in den Jahren 2005, 2006 und 2009 im kommunalen Meldeverfahren genehmigten Bauten einer kantonalen Bewilligung bedurft hätten (vgl. Art. 25 Abs. 2 RPG [SR 700]).
3.1. Die Beschwerdeführer rügen vorab eine offensichtlich unrichtige Feststellung des Sachverhalts durch das Verwaltungsgericht. Entgegen der Vorinstanz seien sie anlässlich des Rechtsmittelverfahrens gegen die Verweigerung eines Biotop-Swimming-Teichs im Jahr 2001 nicht rechtsvertreten gewesen. Mit seiner unzutreffenden Darstellung erwecke das Verwaltungsgericht den Eindruck, sie seien von einem fachkundigen Juristen über die baurechtliche Zuständigkeitsordnung in Kenntnis gesetzt worden. Falsch sei weiter, dass der Regierungsrat des Kantons Glarus in seinem abschlägigen Entscheid vom 20. November 2001 habe durchblicken lassen, Bauvorhaben ausserhalb der Bauzone benötigten grundsätzlich immer die Zustimmung der kantonalen Baubehörde.
Zutreffend ist der Einwand der Beschwerdeführer, dass sich aus dem Rubrum des Entscheids vom 20. November 2001 kein Hinweis auf eine anwaltliche Vertretung entnehmen lässt. Wie sich aus den nachfolgenden Erwägungen ergibt, erweist sich dieser Punkt jedoch nicht als entscheiderheblich. Für den Ausgang des Verfahrens ebenso wenig von Bedeutung ist, ob der Regierungsrat in seinem Entscheid vom 20. November 2001 tatsächlich hat "durchblicken" lassen, dass sämtliche Bauvorhaben ausserhalb der Bauzone einer Zustimmung kantonaler Behörden bedürfen. Immerhin ist in diesem Zusammenhang aber darauf hinzuweisen, dass der Regierungsrat in seinem Entscheid die hohen Anforderungen an Bauvorhaben ausserhalb der Bauzone ausführlich diskutierte und erwog, die Eigentümer müssten sich die baulichen Veränderungen in den Jahren 1994 (Wintergarten) und 1997 (Dachverlängerung) als Erweiterung der zonenwidrig genutzten Fläche gegebenenfalls anrechnen lassen.
3.2. Neben einer offensichtlich unrichtigen Sachverhaltsfeststellung rügen die Beschwerdeführer eine Verletzung ihres rechtlichen Gehörs. Sie machen geltend, die kantonalen Instanzen hätten, wie beantragt, den Gemeindepräsidenten und den für das Bauwesen zuständigen Gemeinderat der Ortsgemeinde Engi befragen müssen. Beide könnten bestätigen, dass sich die Beschwerdeführer jeweils vor Einreichung der streitbetroffenen Baugesuche bei der Baubehörde erkundigt hätten und ihnen telefonisch die Auskunft erteilt worden sei, die Gesuche seien aufgrund ihres untergeordneten Charakters als Baumeldungen einzureichen.
3.2.1. Der Anspruch auf rechtliches Gehör räumt den Betroffenen das Recht ein, erhebliche Beweise beizubringen, mit solchen Beweisanträgen gehört zu werden und an der Erhebung wesentlicher Beweise mitzuwirken. Diesem Mitwirkungsrecht entspricht die Pflicht der Behörden, die Argumente und Verfahrensanträge der Parteien entgegenzunehmen und zu prüfen, sowie die ihr rechtzeitig und formrichtig angebotenen Beweismittel abzunehmen (<ref-ruling> E. 2.1 mit Hinweisen; Urteil 2C_807/2015 vom 18. Oktober 2016 E. 2.3.1). Keine Verletzung des rechtlichen Gehörs liegt vor, wenn ein Gericht auf die Abnahme beantragter Beweismittel verzichtet, weil es auf Grund der bereits abgenommenen Beweise seine Überzeugung gebildet hat und ohne Willkür in vorweggenommener Beweiswürdigung annehmen kann, dass seine Überzeugung durch weitere Beweiserhebungen nicht geändert würde (<ref-ruling> E. 5.3; <ref-ruling> E. 5.3; <ref-ruling> E. 3 mit Hinweisen; Urteil 1C_45/2020 vom 5. Januar 2021 E. 4.1).
3.2.2. Dass das kommunale Meldeverfahren für die im Nachgang zu den Baugesuchen in den Jahren 2005, 2006 und 2009 erstellten Bauten unzureichend war, wird von keiner Seite bestritten. Sämtliche Bauvorhaben hätten gemäss Art. 25 Abs. 2 RPG die Zustimmung der kantonalen Behörde vorausgesetzt. Vor diesem Hintergrund steht nicht in Frage, dass es seitens der Ortsgemeinde Engi zu Versäumnissen gekommen ist. Dies wird auch von der Vorinstanz nicht in Abrede gestellt. Unter dem Blickwinkel des rechtlichen Gehörs hätte sich eine Befragung der zuständigen Personen daher nur aufgedrängt, wenn sie in Bezug auf die Tragfähigkeit der von den Beschwerdeführern angerufenen Vertrauensgrundlage zusätzliche Erkenntnisse hätte erwarten lassen. Inwieweit das der Fall gewesen sein könnte, zeigen die Beschwerdeführer indes nicht auf. Die Vorinstanz sah die Verfügungen der Ortsgemeinde Engi aus den Jahren 2005, 2006 und 2009 unabhängig von telefonischen Auskünften als grundsätzlich geeignet an, um Vertrauen in die Zulässigkeit der Bauvorhaben zu schaffen. Telefonische Auskünfte vor Einreichung der Baugesuche, wie sie von den Beschwerdeführern geltend gemacht werden, konnten den Verfügungen aus den Jahren 2005, 2006 und 2009 als Vertrauensgrundlage kein zusätzliches, entscheiderhebliches Gewicht verleihen. Der konkrete Umfang von Bauvorhaben kann anhand einer telefonischen Schilderung nicht abschliessend beurteilt werden. Eine Befragung des Gemeindepräsidenten und des für das Bauwesen zuständigen Gemeinderats der Ortsgemeinde Engi liess demnach keine Erkenntnisse erwarten, die sich auf den Verfahrensausgang auswirken konnten. Eine Verletzung des rechtlichen Gehörs liegt nicht vor.
3.2.3. Die Beschwerdeführer vermuten weiter, die Ortsgemeinde Engi habe während mehrerer Jahre sämtliche Baugesuche von untergeordneter Bedeutung selbst bei Vorhaben ausserhalb der Bauzone im Meldeverfahren behandelt. Auf diese behördliche Praxis hätten sich die von ihnen beigezogenen Fachleute verlassen dürfen. Auch deshalb erachten sie eine Befragung der verantwortlichen Behördenmitglieder mit Blick auf ihr rechtliches Gehör als unumgänglich. Den Beschwerdeführern ist dabei entgegen zu halten, dass die von ihnen beigezogenen Fachleute jedenfalls mit den bundesrechtlichen Anforderungen an Bauvorhaben ausserhalb der Bauzone und der damit einhergehenden kantonalen Bewilligungspflicht vertraut waren oder bei gehöriger Sorgfalt vertraut sein mussten (vgl. Urteil 1C_23/2014 vom 24. März 2015 E. 7.2). Das gilt umso mehr, als weder geltend gemacht noch ersichtlich ist, dass die von den Beschwerdeführern beigezogenen Fachleute ausschliesslich auf dem Gebiet der Gemeinde Engi tätig waren. Selbst eine andauernde, mit dem übergeordneten Recht unvereinbare Handhabung von Baugesuchen durch die Ortsgemeinde Engi hätte den Beschwerdeführern somit keine tragfähige Vertrauensgrundlage verschafft. Der Verzicht auf eine Befragung des Gemeindepräsidenten und des für das Bauwesen zuständigen Gemeinderats ist auch unter diesem Blickwinkel mit <ref-law> vereinbar.
4.
In der Sache machen die Beschwerdeführer geltend, die kantonalen Vorinstanzen hätten ihnen die Berufung auf den Vertrauensschutz zu Unrecht verwehrt. Ausserdem erweise sich die Verpflichtung zur Wiederherstellung des rechtmässigen Zustands als unverhältnismässig.
4.1. Formell rechtswidrige Bauten, die nachträglich nicht bewilligt werden oder nicht bewilligt werden können, sind grundsätzlich zu beseitigen (vgl. <ref-ruling> E. 6 mit Hinweisen; Urteil 1C_332/2020 vom 22. April 2021 E. 7.1). Die Befugnis der Behörden, im Falle einer rechtswidrig errichteten bzw. genutzten Baute die Wiederherstellung des rechtmässigen Zustands anzuordnen, ist bei Bauten innerhalb der Bauzone im Interesse der Rechtssicherheit grundsätzlich auf 30 Jahre beschränkt (vgl. <ref-ruling> E. 6.3; Urteil 1C_469/2019 vom 28. April 2021 E. 4 [zur Publ. vorgesehen]). Keine Verwirkung nach 30 Jahren tritt bei rechtswidrigen Bauten ausserhalb der Bauzone ein (vgl. Urteil 1C_469/2019 vom 28. April 2021 E. 5 [zur Publ. vorgesehen]). Unabhängig von einer allfälligen Verwirkung ist die Anordnung zur Wiederherstellung des rechtmässigen Zustands im Einzelfall unzulässig, wenn sie allgemeinen Prinzipien des Verfassungs- und Verwaltungsrechts entgegensteht. Dazu gehören namentlich die in Art. 9 und Art. 5 Abs. 2 und 3 BV festgehaltenen Grundsätze des Vertrauensschutzes und der Verhältnismässigkeit (<ref-ruling> E. 6; Urteile 1C_332/ 2020 vom 22. April 2021 E. 7.1; 1C_344/2017 vom 17. April 2018 E. 5.1).
4.2. Abgeleitet aus dem Grundsatz von Treu und Glauben (<ref-law>), der Bürgerinnen und Bürger in ihrem berechtigten Vertrauen auf behördliches Verhalten schützt, können behördliche Zusicherungen unter bestimmten Voraussetzungen eine vom materiellen Recht abweichende Behandlung der Rechtsuchenden gebieten. Dies setzt unter anderem voraus, dass die Behörde in ihrem Zuständigkeitsbereich tätig wurde oder die rechtsuchende Person die Behörde aus zureichenden Gründen als zuständig betrachten durfte (vgl. <ref-ruling> E. 5.2.1; <ref-ruling> E. 6.1; <ref-ruling> E. 4.1; Urteil 1C_566/2019 vom 5. August 2020 E. 5).
4.2.1. Hierzu erwog das Verwaltungsgericht, dass die Beschwerdeführer um die Fehlerhaftigkeit der Verfügungen der Ortsgemeinde Engi wussten oder deren Mangelhaftigkeit bei gehöriger Sorgfalt zumindest hätten erkennen müssen. Auf den Schutz berechtigten Vertrauens könnten sie sich aus diesem Grund nicht berufen.
Die Beschwerdeführer wenden dagegen ein, die Vorinstanz überspanne die Anforderungen an die Sorgfaltspflicht bei der Beurteilung der streitbetroffenen Verfügungen. Von den Rechtssuchenden könne nicht verlangt werden, die behördeninternen Verfahrensabläufe auf ihre Rechtmässigkeit zu überprüfen. Die Beschwerdeführer hätten ihre Baugesuche der zuständigen Behörde in rechtsgenüglicher Form unterbreitet. Die Pflicht zur Koordination verschiedener Bewilligungsverfahren treffe gemäss Art. 25a Abs. 2 RPG die Behörde und nicht die Baugesuchsteller. Diese seien bloss zur Mitwirkung bei der Einreichung des Baugesuchs verpflichtet und hätten einen Anspruch auf Fehlerfreiheit der Verfügung.
4.2.2. Bei der Notwendigkeit einer kantonalen Mitwirkung für bauliche Massnahmen ausserhalb der Bauzone (vgl. Art. 25 Abs. 2 RPG) handelt es sich um eine grundlegende Verfahrensregelung zur Einhaltung des raumplanungsrechtlichen Trennungsprinzips (vgl. <ref-ruling> E. 3.8.4; Urteil 1C_566/2019 vom 5. August 2020 E. 5.2). Sie gilt seit Inkrafttreten des Raumplanungsgesetzes im Jahr 1980 für Ausnahmebewilligungen ausserhalb der Bauzone und ergab sich schon zuvor aus dem Gewässerschutzrecht (vgl. <ref-ruling> E. 5a; Urteil 1C_566/2019 vom 5. August 2020 E. 5.2). Die kantonale Zuständigkeit für die Prüfung der Zonenkonformität ausserhalb der Bauzone wurde mit der Revision von Art. 25 Abs. 2 RPG vom 20. März 1998 (in Kraft seit 1. September 2000) gesetzlich verankert, galt aber schon zuvor gestützt auf die Raumplanungsverordnung (RPV; SR 700.1). Bau- und Ausnahmebewilligungen ausserhalb der Bauzone, die ohne die Mitwirkung der zuständigen kantonalen Behörde von der Gemeinde erlassen werden, sind nach ständiger Rechtsprechung nicht nur anfechtbar, sondern nichtig (<ref-ruling> E. 5b; Urteil 1C_556/2019 vom 5. August 2020 E. 5.2). Aufgrund ihres fundamentalen Charakters ist die Erforderlichkeit einer kantonalen Mitwirkung für Bauvorhaben ausserhalb der Bauzone grundsätzlich auch ohne juristische Beratung als bekannt vorauszusetzen (vgl. Urteile 1C_556/2019 vom 5. August 2020 E. 5.2; 1C_403/2008 vom 23. Oktober 2008 E. 3.1).
4.2.3. Indem die Ortsgemeinde Engi die Baugesuche in den Jahren 2005, 2006 und 2009 als blosse Baumeldungen entgegen nahm, erweckte sie fälschlicherweise den Anschein, die Beurteilung der Vorhaben falle in ihren Zuständigkeitsbereich. Für die Berufung auf den Vertrauensschutz im Sinne von <ref-law> ist dabei entscheidend, ob sie von den Beschwerdeführern aus hinreichenden Gründen als allein zuständig betrachtet werden durfte. Entgegen der Auffassung der Beschwerdeführer ist das nicht der Fall. Bauwilligen Personen kann zwar nicht ohne Weiteres zugemutet werden, die verwaltungsinterne Zuständigkeitsordnung im Baubewilligungsverfahren bis in alle Einzelheiten zu kennen (vgl. <ref-ruling> E. 6.2.2 S. 38). Dass die kantonale Behörde bei Bauvorhaben ausserhalb der Bauzone mitwirken muss, ist nach dem soeben Dargelegten jedoch grundsätzlich als bekannt vorauszusetzen.
4.2.4. Hier kommt hinzu, dass sich die Beschwerdeführer über die Notwendigkeit einer kantonalen Mitwirkung nachweislich im Klaren waren. Bereits in den Jahren 1993, 1994, 1997 und 2001 hatten sie für ihre Bauvorhaben die kantonal zuständige Behörde um Ausnahmebewilligungen ersucht. Was sie in nachvollziehbarer Weise veranlasst haben soll, in Bezug auf die späteren Baugesuche gleichwohl von der alleinigen Zuständigkeit der Ortsgemeinde Engi auszugehen, legen die Beschwerdeführer nicht dar. Dabei fällt insbesondere ins Gewicht, dass die Bauvorhaben in den 1990er Jahren mit einem Giebeldachaufbau auf der bestehenden Garage, dem Anbau eines Wintergartens und dem Bau einer Dachverlängerung mit Glaseinsatz keineswegs ein Ausmass erreichten, das den Charakter ihrer Liegenschaft in erheblichem Umfang verändert hätte. Ungeachtet dessen ersuchten die Beschwerdeführer jeweils zu Recht um Erteilung einer kantonalen Ausnahmebewilligung. Entsprechend waren sie sich bewusst, dass ausserhalb der Bauzone nicht nur massive bauliche Eingriffe die Mitwirkung der kantonalen Behörde erfordern.
4.2.5. Die Vorinstanz legt weiter dar, dass das im Jahr 2005 durch die Ortsgemeinde Engi bewilligte Bauvorhaben (Sanierung und Erweiterung der Stützmauern, Umgestaltung der Gartenanlage) nur marginal von jenem Projekt abwich, das den Beschwerdeführern mit Entscheid des Regierungsrats vom 20. November 2001 verweigert wurde. Dass die beiden Projekte weitgehend übereinstimmten, stellen die Beschwerdeführer im bundesgerichtlichen Verfahren jedenfalls nicht rechtsgenüglich in Abrede. Für das Bauvorhaben im Jahr 2001 hatten die Beschwerdeführer nach den Feststellungen der Vorinstanz noch um Erteilung einer Ausnahmebewilligung durch die kantonale Behörde ersucht. Dem Entscheid des Regierungsrats vom 20. November 2001 konnten die Beschwerdeführer sodann entnehmen, dass unter den Begriff der bewilligungspflichtigen Bauten und Anlagen gemäss Art. 22 Abs. 1 RPG sämtliche künstlich geschaffenen und auf Dauer angelegten Einrichtungen fallen, die in fester Verbindung zum Erdboden stehen und geeignet sind, die Vorstellung über die Nutzungsordnung zu beeinflussen (vgl. <ref-ruling> E. 3). Die Bereitschaft der Ortsgemeinde Engi, das Bauvorhaben im Jahr 2005 bloss im Meldeverfahren zu behandeln, stellte für die Beschwerdeführer unter diesen Umständen keinen zureichenden Grund dar, um vorbehaltlos auf deren alleinige Zuständigkeit für das Bauprojekt vertrauen zu dürfen.
4.2.6. Im Zusammenhang mit den späteren Bauprojekten in den Jahren 2006 und 2009 wurden die Beschwerdeführer durch eine Bauunternehmung begleitet und vertreten. Nach den Feststellungen der Vorinstanz handelte es sich um dieselbe Unternehmung, die schon in den Jahren 1993 und 1997 im Auftrag der Beschwerdeführer tätig wurde und Arbeiten ausführte, die der Mitwirkung der kantonalen Behörde bedurften. Der von den Beschwerdeführern beauftragten Bauunternehmung musste dabei klar sein, dass die baulichen Veränderungen in den Jahren 2006 und 2009 an der zonenwidrigen Baute ausserhalb der Bauzone nur mit Zustimmung der kantonalen Behörde hätten ausgeführt werden dürfen. Dass die Ortsgemeinde Engi nach Darstellung der Beschwerdeführer bei Bauvorhaben ausserhalb der Bauzone teilweise darauf verzichtet haben soll, die kantonale Behörde ins Verfahren einzubeziehen, ändert daran nichts. Ein derartiges Vorgehen musste bei den beteiligten Fachleuten angesichts der klaren Rechtslage zumindest erhebliche Zweifel an der Rechtmässigkeit wecken. Dieses Bewusstsein der von ihnen beauftragten Bauunternehmung ist den Beschwerdeführern zurechenbar (vgl. <ref-ruling> E. 6.2.2 S. 38; Urteil 1C_205/2015 vom 29. Oktober 2015 E. 5.5) und führt dazu, dass sie auch in Bezug auf die Bauprojekte in den Jahren 2006 und 2009 keine zureichende Grundlage hatten, auf die alleinige Zuständigkeit der Ortsgemeinde Engi zu vertrauen.
4.2.7. Der Einwand der Beschwerdeführer, wonach die raumplanungsrechtliche Gesetzgebung den Baugesuchstellern keine Pflicht auferlege, die Verfahrensabläufe und vorbehaltlos erteilte Baubewilligungen zu überprüfen, verfängt aus den dargelegten Gründen nicht. Die Beschwerdeführer bzw. die von ihnen beigezogenen Fachleute mussten sich bei zumutbarer Aufmerksamkeit und Sorgfalt auch ohne nähere Prüfung der baurechtlichen Zuständigkeitsordnung darüber im Klaren sein, dass ihre Bauvorhaben der Bewilligung durch die zuständige kantonale Behörde bedurften (Art. 25 Abs. 2 RPG). In jedem Fall hatten sie genügend Anlass, an der ausschliesslichen Zuständigkeit der kommunalen Behörde zu zweifeln. Zureichende Gründe, die Ortsgemeinde Engi als für die Beurteilung der Bauvorhaben allein zuständig zu erachten, können die Beschwerdeführer somit nicht geltend machen. Die Berufung auf den verfassungsmässigen Vertrauensschutz im Sinne von <ref-law> bleibt ihnen verwehrt.
4.3. Die Beschwerdeführer rügen, selbst wenn ihnen eine gewisse Mitverantwortung für die rechtswidrig ausgeführten Bauvorhaben in den Jahren 2005, 2006 und 2009 angelastet werde, sei der geforderte Rückbau unverhältnismässig. Aus ihrer Sicht sind die ausgeführten Vorhaben entgegen der Vorinstanz bloss von untergeordneter Bedeutung. Nicht berücksichtigt werde vom Verwaltungsgericht sodann, dass das Handeln der Behörden nach Treu und Glauben gemäss <ref-law> nicht bloss ein privates, sondern auch ein öffentliches Interesse darstelle. Insgesamt erweise sich die Interessenabwägung des Verwaltungsgerichts als unvollständig und lückenhaft.
4.3.1. Die Wiederherstellung des rechtmässigen Zustands kann unverhältnismässig sein, wenn die Abweichung vom Erlaubten nur unbedeutend ist oder die Wiederherstellung nicht im öffentlichen Interesse liegt, ebenso, wenn der Bauherr in gutem Glauben angenommen hat, die von ihm ausgeübte Nutzung stehe mit der Baubewilligung im Einklang, und ihre Fortsetzung nicht gewichtigen öffentlichen Interessen widerspricht (<ref-ruling> E. 6; Urteil 1C_480/2019 vom 16. Juli 2020 E. 5.1). Auf den Grundsatz der Verhältnismässigkeit kann sich auch ein Bauherr berufen, der nicht gutgläubig gehandelt hat. Er muss aber in Kauf nehmen, dass die Behörden aus grundsätzlichen Erwägungen, nämlich zum Schutz der Rechtsgleichheit und der baulichen Ordnung, dem Interesse an der Wiederherstellung des gesetzmässigen Zustands erhöhtes Gewicht beimessen und die dem Bauherrn allenfalls erwachsenden Nachteile nicht oder nur in verringertem Masse berücksichtigen (<ref-ruling> E. 6.4; Urteil 1C_480/2019 vom 16. Juli 2020 E. 5.1).
4.3.2. Im angefochtenen Urteil legt das Verwaltungsgericht ausführlich dar, aus welchen Gründen die streitbetroffenen Bauten nicht mehr nur als nebensächliche Abweichung von der raumplanungsrechtlichen Ordnung zu qualifizieren sind. Diese Einschätzung ist nicht zu beanstanden, zumal sich die Beschwerdeführer mit den diesbezüglichen Ausführungen der Vorinstanz nicht substanziiert auseinandersetzen. Das Verwaltungsgericht ging weiter davon aus, dass der Wiederherstellungsbefehl für die Beschwerdeführer zwar erhebliche finanzielle Folgen hat, dem Grundsatz der Trennung von Baugebiet und Nichtbaugebiet als eines der wichtigsten Prinzipien des Raumplaungsrechts aber erhebliches Gewicht zukommt. Den Konsequenzen für die Beschwerdeführer ist nach der Vorinstanz demgegenüber kein vergleichbares Gewicht beizumessen, da sie sich nicht auf den Schutz guten Glaubens berufen können.
Entgegen der Auffassung der Beschwerdeführer nimmt das Verwaltungsgericht somit eine auf die konkreten Umstände abstellende Bewertung ihrer privaten Interessen vor und geht nicht, wie sie geltend machen, ohne Weiteres von einem Überwiegen öffentlicher Interessen aus. Inwieweit ihre privaten Interessen falsch gewichtet wurden, legen die Beschwerdeführer darüber hinaus nicht substanziiert dar, sodass es bei der vorinstanzlichen Einschätzung sein Bewenden hat, wonach ihren Interessen kein erhebliches Gewicht beizumessen ist. Eine fehlerhafte Interessenabwägung ist schliesslich auch nicht darin zu erblicken, dass die Vorinstanz das öffentliche Interesse an einem Handeln der Behörden nach Treu und Glauben im Sinne von <ref-law> nicht ausdrücklich erwähnte. Ein massgebliches öffentliches Interesse am Schutz des Vertrauens in das fehlerhafte Handeln der Ortsgemeinde Engi, das für die Beschwerdeführer jedenfalls bei zumutbarer Sorgfalt ohne Weiteres erkennbar war, besteht nicht. Die Auffassung der Vorinstanz, wonach die Wiederherstellung des rechtmässigen Zustands verhältnismässig ist, erweist sich somit als bundesrechtskonform.
5.
Nach dem Dargelegten ist die Beschwerde abzuweisen. Die Beschwerdeführer tragen die Gerichtskosten (<ref-law>). Parteientschädigungen sind nicht geschuldet (Art. 68 Abs. 1 und 3 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 4'000.-- werden unter solidarischer Haftbarkeit den Beschwerdeführern auferlegt.
3.
Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Glarus, I. Kammer, sowie dem Bundesamt für Raumentwicklung schriftlich mitgeteilt.
Lausanne, 24. August 2021
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kneubühler
Der Gerichtsschreiber: Baur