Sachverhalt:
A.
A._ ist Eigentümer der Parzellen Nrn. 3266, 4013 und 4014 in Oftringen. Die drei Parzellen sind mit einem Wohnhaus überbaut, das früher in drei Wohneinheiten mit drei separaten Hauseingängen unterteilt war. Mit der an der Gemeindeversammlung vom 19. September 2002 beschlossenen Zonenplanrevision wurden sie von der Wohnzone in die Landwirtschaftszone umgezont. Das Gebiet wird zudem von einer Landschaftsschutzzone überlagert, wobei davon ein kreisförmiger Bereich um das Wohnhaus herum ausgenommen ist.
Am 8. Januar 2010 erteilte der Gemeinderat Oftringen A._ die Bewilligung für den Abbruch der bestehenden Sitzplatzüberdachung an der Südfassade des Wohnhauses, den Neubau eines Wintergartens an derselben Stelle und die Unterkellerung des Wohnhauses bzw. deren Ausdehnung auf alle drei ursprünglichen Wohneinheiten.
In der Folge veränderte A._ ohne Baubewilligung die Umgebungsgestaltung. Dafür sowie für die geplante Errichtung eines Gartenhauses neben dem ohne Bewilligung angelegten Gemüsegarten entlang der Südgrenze seines Grundstücks reichte er am 7. Juli 2016 ein nachträgliches Baugesuch ein, das zur Beurteilung der kantonalen Prüfbelange an die Abteilung für Baubewilligungen des Departements Bau, Verkehr und Umwelt (BVU) des Kantons Aargau weitergeleitet wurde.
Am 29. September 2016 erliess die Abteilung für Baubewilligungen eine Verfügung. Im Sachverhalt hielt sie fest, folgende Bauten seien ohne Baubewilligung erstellt worden:
" (1) Terrainanpassung mit Böschungssicherung (ca. 0,75 m hoch) im Bereich der südlichen Parzellengrenze.
(2) Gemüsegarten mit Gartenplattenwegen und Sitzplatzflächen im abgeflachten Teil der Terrainanpassung.
(3) Treppe zum Gemüsegarten (ca. 4,5 m lang).
(4) Zwei Kunstobjekte: Möbiusband auf Betonsockel (an südlicher Böschungskante) sowie versteinerter Baumstamm auf Betonsockel.
(5) Bachlauf (ca. 35 m lang), mit Wasserkreislauf, unterirdischem Technikraum beim Weiher, Ufersteinen und kleiner Brücke.
(6) Metallzaun zur Grundstücksabgrenzung (ca. 230 m Länge).
(7) Abbruch einer Mauer und Terrainanpassung (Abgrabung um rund 3 bis 4 m Richtung Osten) mit neuer Stützmauer (fünf aufeinanderliegende Quadersteinreihen) auf der östlichen Grundstückseite (Parz. Nr. 4014).
(8) Anpassung eines Geländesprungs mit drei zusätzlichen Quadersteinreihen.
(9) Der südöstlich an das Haus angrenzende Sitzplatz (Parz. Nr. 4014) wurde in Richtung Kellertreppe und Kellerlichtschächten auf eine Fläche von über 50 m2erweitert.
(10) Der beim Weiher bestehende Sitzplatz wurde bis zur westlichen Hausfassade erweitert sowie mit der bestehenden Sitzplatzfläche an der Südfassade verbunden. Zudem wurde die befestigte Fläche Richtung Süden bis zu den Kellerlichtschächten vergrössert. Im Bereich der südwestlichen Gebäudeecke wurde insgesamt eine zusammenhängende Aussenfläche von rund 120 bis 130 m2 geschaffen.
(11) Nördlich an die Liegenschaft angrenzend wurde eine weitere Sitzplatzfläche erstellt."
Gestützt auf seine diese elf Positionen betreffenden Erwägungen verfügte das BVU wie folgt:
" I. Das Baugesuch für den Gemüsegarten, die Gartenplattenwege und Sitzplatzflächen, die Treppe zum Gemüsegarten, die Kunstobjekte (inkl. Betonsockel), den Bachlauf (inkl. Wasserkreislauf, Technikraum, Ufersteinen und Brücke), den Metallzaun, die östliche Terrainanpassung mit Quadersteinstützmauer, die Quadersteinreihen beim Geländesprung, die südöstliche Sitzplatzerweiterung, die vergrösserte Sitzplatzfläche an der südwestlichen Gebäudeseite, die nördliche Sitzplatzfläche sowie für das geplante Gartenhaus wird abgewiesen. Die erwähnten, bereits erstellten Bauten sind bis spätestens 31. Januar 2017 zurückzubauen.
Die betroffenen Flächen sind in den vorherigen Zustand als Grasfläche oder Gebüsch zurückzuversetzen. Beim Bachlauf und beim Geländesprung ist der ursprüngliche Terrainverlauf wiederherzustellen. Bei der östlichen Terrainanpassung ist der alte Mauerverlauf wieder instand zu setzen und das dahinterliegende Terrain aufzufüllen. Die Sitzplätze sind auf die ursprünglichen Grössen zurückzubauen. Es sind folgende Auflagen zu befolgen: 1. Das widerrechtlich verbaute Material ist vollständig zu entfernen und korrekt zu entsorgen. 2. Die erfolgten Rückbaumassnahmen sind über die Gemeinde der Vollzugskontrolle der Abteilung für Baubewilligungen zu melden (Protokoll, Fotos).
II. Bei der südlichen Terrainanpassung wird auf einen Rückbau verzichtet. Die dortige Terrainanpassung mit Böschungssicherung wird toleriert.
III. Die beiden Kunstobjekte können im Nahbereich zur Liegenschaft (maximal 10 m Entfernung, gemessen ab der Hausfassade) wieder aufgestellt werden und werden dort toleriert."
Mit Gesamtentscheid vom 24. Oktober 2016 eröffnete der Gemeinderat Oftringen A._ diese Verfügung und wies das Baugesuch ab.
Dagegen erhob A._ Verwaltungsbeschwerde. Mit Entscheid vom 7. März 2018 hiess der Regierungsrat des Kantons Aargau die Beschwerde teilweise gut, hob die betreffenden Dispositivziffern des Entscheids des Gemeinderats und der Verfügung der Abteilung für Baubewilligungen auf und ersetzte sie wie folgt:
"I. Das Baugesuch wird abgewiesen.
II. Bei der südlichen Terrainanpassung (Pos. 1) wird auf einen Rückbau verzichtet. Die dortige Terrainanpassung mit Böschungssicherung wird toleriert.
III. Die östliche Quadersteinstützmauer samt dazugehöriger Terrainanpassung (Pos. 7), die südöstliche Sitzplatzerweiterung (Pos. 9) und die Sitzplatzfläche im Norden (Pos. 11) werden toleriert. Der Beschwerdeführer hat vor der Quadersteinstützmauer wieder Bäume zu pflanzen, damit die Mauer wie früher bedeckt ist.
IV. Der Gemüsegarten mit Gartenplattenwegen und Sitzplatzflächen (Pos. 2), die Treppe zum Gemüsegarten (Pos. 3), der Bachlauf mit Wasserkreislauf und unterirdischem Technikraum, kleiner Brücke und Ufersteinen (Pos. 5) sowie die drei Quadersteinreihen beim Geländesprung (Pos. 8) müssen entfernt werden und die Böschung ist wiederherzustellen. Die betroffenen Flächen sind entsprechend dem ursprünglichen Terrainverlauf in Grasfläche oder Gebüsch zurückzuversetzen. Das widerrechtlich verbaute Material ist vollständig zu entfernen und korrekt zu entsorgen.
V. Die Sitzplatzfläche im Südwesten (Pos. 10) muss auf die vorbestehende Fläche verkleinert werden und der rückzubauende Teil ist wieder mit Humus aufzuschütten und zu begrünen. Der Absatz des Sitzplatzes ist in westlicher Richtung zur Kellertreppe zu verschieben.
VI. Der Metallzaun (Pos. 6) im Osten der Liegenschaft muss entfernt und durch einen Weidezaun wie im Westen der Liegenschaft ersetzt werden.
VII. Die beiden Kunstobjekte inklusive Betonsockel (das Möbiusband und der versteinerte Holzstamm, Pos. 4) müssen in den Nahbereich der Liegenschaft verschoben werden; das heisst, sie dürfen in maximal 10 m Entfernung von der Hausfassade wieder aufgestellt werden.
VIII. Die Rückbaufrist beträgt sechs Monate ab Rechtskraft dieses Entscheids.
IX. Die erfolgten Rückbaumassnahmen sind über die Gemeinde der Vollzugskontrolle der Abteilung für Baubewilligungen BVU zu melden (Protokoll, Fotos)."
Eine von A._ daraufhin erhobene Beschwerde hiess das Verwaltungsgericht des Kantons Aargau ebenfalls teilweise gut. Es präzisierte und änderte den Entscheid des Regierungsrats in folgenden Punkten (Dispositiv-Ziffer 1) :
III. Die östliche Quadersteinstützmauer samt dazugehöriger Terrainanpassung (Pos. 7), die südöstliche Sitzplatzerweiterung (Pos. 9) und die Sitzplatzfläche im Norden (Pos. 11) werden toleriert. Der Beschwerdeführer hat die Quadersteinstützmauer mit Pflanzen vollständig zu begrünen, damit die Mauer wie früher bedeckt ist.
IV. Der Gemüsegarten mit Gartenplattenwegen und Sitzplatzflächen (Pos. 2), die Treppe zum Gemüsegarten (Pos. 3) sowie der Bachlauf mit Wasserkreislauf und unterirdischem Technikraum, kleiner Brücke und Ufersteinen (Pos. 5) [...] müssen entfernt werden. Die betroffenen Flächen sind entsprechend dem ursprünglichen Terrainverlauf in Grasfläche oder Gebüsch zurückzuversetzen. Das widerrechtlich verbaute Material ist vollständig zu entfernen und korrekt zu entsorgen.
Die Verfahrenskosten von insgesamt Fr. 12'716.40 (bestehend aus einer Staatsgebühr von Fr. 12'000.00 sowie der Kanzleigebühr und den Auslagen von Fr. 716.40) auferlegte das Verwaltungsgericht dem Beschwerdeführer (Dispositiv-Ziffer 2). Zur Begründung hielt es unter anderem fest, der Streitgegenstand beschränke sich wegen des Verschlechterungsverbots (Verbot der "reformatio in peius") auf die vom Beschwerdeführer angefochtenen Punkte. Die betreffenden Änderungen gingen über das nach Art. 24c RPG (SR 700) Zulässige hinaus. Die vom Regierungsrat angeordneten Massnahmen zur Wiederherstellung des rechtmässigen Zustands seien abgesehen von der Entfernung der dreigliedrigen Quadersteinreihe, die an die östliche Quadersteinmauer anschliesse, verhältnismässig. Mit der Tolerierung der weiteren Veränderungen sei der Regierungsrat dem Beschwerdeführer schon sehr weit entgegengekommen.
B.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht vom 16. September 2019 beantragt das Bundesamt für Raumentwicklung (ARE), das Urteil des Verwaltungsgerichts sei aufzuheben, soweit damit unbewilligte Veränderungen der Umgebung geduldet würden, ausgenommen der versteinerte Baumstamm im Nahbereich der Liegenschaft. Die Sache sei zur Anordnung der Wiederherstellung des rechtmässigen Zustands im Sinne der Erwägungen an das BVU zurückzuweisen (Verfahren 1B_480/2019).
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht vom 12. September 2019 beantragt A._, das Urteil des Verwaltungsgerichts sei aufzuheben und sein Baugesuch vom 7. Juli 2016 sei zu bewilligen. Eventualiter sei die Angelegenheit an die Gemeinde und das BVU zur Erteilung der Baubewilligung zurückzuweisen. Eventualiter sei Ziffer 2 des Dispositivs des Urteils aufzuheben und die Gerichtsgebühr auf höchstens Fr. 4'000.-- zuzüglich Auslagen herabzusetzen. Subeventualiter sei die Sache zur Ergänzung des Sachverhalts und zu neuem Entscheid an die Vorinstanz zurückzuweisen (Verfahren 1B_481/2019).
Im Rahmen des Schriftenwechsels beantragt A._, auf die Beschwerde des ARE sei nicht einzutreten, eventualiter sei sie abzuweisen. Das ARE setzt sich mit den Vorbringen von A._ auseinander, ohne einen förmlichen Antrag zu stellen. Der Gemeinderat Oftringen beantragt, bei der Beurteilung seien die Ausgangslage und die planerischen Absichten der Nutzungsplanungsrevision 2002 angemessen zu berücksichtigen. Das Verwaltungsgericht geht auf die Kritik von A._ ein, ohne einen förmlichen Antrag zu stellen, und verweist im Übrigen auf die Erwägungen im angefochtenen Entscheid. Der Regierungsrat beantragt, die Beschwerde von A._ sei abzuweisen, wobei bezüglich der Kostenbeschwerde auf einen Antrag verzichtet werde. Auch bezüglich der Beschwerde des ARE werde auf einen Antrag verzichtet.
Erwägungen:
1.
Die beiden Beschwerden richten sich gegen dasselbe Urteil des Verwaltungsgerichts und werfen die gleichen Rechtsfragen auf. Es rechtfertigt sich, die Verfahren zu vereinigen und die Sache in einem einzigen Urteil zu behandeln.
2.
2.1. Angefochten ist ein kantonal letztinstanzlicher Endentscheid in einer öffentlich-rechtlichen Angelegenheit (Art. 82 lit. a, Art. 86 Abs. 1 lit. d und Art. 90 BGG). Der private Beschwerdeführer ist als Baugesuchsteller und Adressat der Wiederherstellungsanordnung zur Beschwerde berechtigt (Art. 89 Abs. 1 BGG). Auf seine Beschwerde ist einzutreten.
2.2. Das ARE ist nach Art. 89 Abs. 2 lit. a BGG und Art. 48 Abs. 4 RPV (SR 700.1) im Bereich der Raumplanung zur Beschwerde ans Bundesgericht berechtigt. Das Beschwerderecht der Bundesbehörden ist abstrakter Natur. Es dient allgemein und auch im vorliegenden Fall dazu, den Vollzug des Bundesrechts in den Kantonen und in der Bundesverwaltung zu überwachen und dessen richtige und einheitliche Anwendung sicherzustellen (BGE 142 II 324 E. 1.3.1 S. 326; 135 II 338 E. 1.2.1 S. 341 f.; je mit Hinweisen). Die Legitimationsvoraussetzungen von Art. 89 Abs. 1 BGG sind nicht anwendbar, weshalb insbesondere eine Beteiligung am vorinstanzlichen Verfahren im Sinne von Art. 89 Abs. 1 lit. a BGG nicht erforderlich ist. Die Bundesbehörden sind aus diesem Grund auch nicht an Einschränkungen des Streitgegenstands im Zuge des kantonalen Rechtsmittelverfahrens gebunden, sondern können im Rahmen ihres Beschwerderechts neue Begehren stellen und insbesondere auch eine reformatio in peius beantragen (BGE 136 II 359 E. 1.2 S. 362 ff.; Urteil 1C_76/2019 vom 28. Februar 2020 E. 1; je mit Hinweisen). Auf die Beschwerde des ARE ist deshalb auch insofern einzutreten, als sie sich gegen die Bewilligung oder Duldung von baulichen Veränderungen richtet, die zu überprüfen sich das Verwaltungsgericht wegen des Verschlechterungsverbots nach kantonalem Verfahrensrecht nicht als befugt erachtete. Zur Wahrung des rechtlichen Gehörs ist es dem privaten Beschwerdeführer im Gegenzug gestattet, neue Tatsachen und Beweismittel vorzubringen, zu denen erst die neuen Begehren des ARE Anlass geben (Art. 99 Abs. 1 BGG analog; BGE 136 II 359 E. 1.3 S. 364).
Soweit der private Beschwerdeführer unter Hinweis auf BGE 137 II 313 vorbringt, auf die Beschwerde des ARE sei nicht einzutreten, weil ein kassatorischer Antrag nicht ausreiche und im verwaltungsgerichtlichen Verfahren auch nicht mehr alle vom ARE nun beanstandeten Punkte Streitgegenstand bildeten, ist ihm nicht zu folgen. Im genannten Entscheid hielt das Bundesgericht ebenfalls fest, dass die Begründung der Beschwerde zur Auslegung des Rechtsbegehrens beigezogen werden kann (a.a.O., E. 1.3). Aus dem Rechtsbegehren und der Begründung der Beschwerde des ARE ergibt sich ohne Weiteres, dass die Baubewilligung (abgesehen vom versteinerten Baumstamm) verweigert und die Wiederherstellung des rechtmässigen Zustands angeordnet werden soll.
3.
3.1. Nach Art. 22 Abs. 1 RPG dürfen Bauten und Anlagen nur mit behördlicher Bewilligung errichtet oder geändert werden. Die Bewilligung für eine Baute oder Anlage ausserhalb der Bauzone setzt voraus, dass sie dem Zweck der Nutzungszone entspricht, also zonenkonform ist (Art. 22 Abs. 2 lit. a RPG), oder dass sie die Voraussetzungen nach Art. 24 ff. RPG für die Erteilung einer Ausnahmebewilligung erfüllt. Umstritten ist vorliegend, ob das nachträgliche Baugesuch nach Art. 24c RPG bewilligt werden kann.
Diese Bestimmung sieht in ihrer aktuellen Fassung vor, dass bestimmungsgemäss nutzbare Bauten und Anlagen ausserhalb der Bauzonen, die nicht mehr zonenkonform sind, in ihrem Bestand grundsätzlich geschützt werden (Abs. 1). Nach Abs. 2 können solche Bauten und Anlagen erneuert, teilweise geändert, massvoll erweitert oder wiederaufgebaut werden, sofern sie rechtmässig erstellt oder geändert worden sind. Abs. 3 erweitert diese sogenannte "erweiterte Besitzstandsgarantie" auf landwirtschaftliche Wohnbauten sowie angebaute Ökonomiebauten, die rechtmässig erstellt oder geändert worden sind, bevor das betreffende Grundstück Bestandteil des Nichtbaugebietes im Sinne des Bundesrechts wurde. Allerdings müssen gemäss Abs. 4 Veränderungen am äusseren Erscheinungsbild für eine zeitgemässe Wohnnutzung oder eine energetische Sanierung nötig oder darauf ausgerichtet sein, die Einpassung in die Landschaft zu verbessern. Schliesslich bleibt in jedem Fall die Vereinbarkeit mit den wichtigen Anliegen der Raumplanung vorbehalten (Abs. 5).
Der Bundesrat hat in Art. 42 RPV die zulässigen Änderungen im Sinne von Art. 24c Abs. 2 RPG konkretisiert. Nach Art. 42 Abs. 1 RPV sind Änderungen zulässig, wenn die Identität der Baute oder Anlage einschliesslich ihrer Umgebung in den wesentlichen Zügen gewahrt bleibt; Verbesserungen gestalterischer Art sind zulässig.
3.2. Nachträgliche Baugesuche sind gemäss der geltenden Rechtsprechung grundsätzlich nach dem zur Zeit der (unbewilligten) Ausführung des Bauvorhabens anwendbaren Recht zu beurteilen (BGE 123 II 248 E. 3a/bb S. 251 f. mit Hinweis; Urteil 1C_22/2019 vom 6. April 2020 E. 8.1 f. mit Hinweisen auf hier nicht anwendbare Ausnahmen und auf die mit dieser Rechtsprechung einhergehenden praktischen Probleme). Die neuen Absätze 2 bis 5 von Art. 24c RPG sind am 1. November 2012 in Kraft getreten. Das Verwaltungsgericht hat zwar keine Feststellungen zum genauen Zeitpunkt der unbewilligten baulichen Veränderungen getroffen, ist jedoch stillschweigend von der Anwendbarkeit des neuen Rechts ausgegangen. Dem ist zu folgen. In den Akten befindet sich ein vom privaten Beschwerdeführer selbst eingereichtes Foto, auf dem Baumaschinen zu sehen sind und das vom März 2013 datiert. Zudem hat der Beschwerdeführer an der Augenscheinsverhandlung vom 26. April 2017 bestätigt, er habe nach dem Liegenschaftskauf im Jahr 2004 bis zum Jahr 2013 im Garten praktisch nichts verändert. Somit ist Art. 24c RPG in seiner seit dem 1. November 2012 gültigen Fassung anzuwenden.
3.3. Das in Art. 24c Abs. 2 RPG und Art. 42 Abs. 1 RPV verankerte Erfordernis der Wahrung der Identität bzw. Wesensgleichheit und die in Art. 24c Abs. 4 RPG aufgezählten drei Tatbestände, die eine Veränderung am äussern Erscheinungsbild erlauben, stellen eigenständige, unabhängig voneinander zu erfüllende Voraussetzungen dar (Urteil 1C_312/2016 vom 3. April 2017 E. 3.1 mit Hinweis, in: ZBl 119 2018 S. 314). Art. 24c Abs. 4 RPG bildet dabei regelmässig den strengeren Massstab (Urteile 1C_415/2014 vom 1. Oktober 2015 E. 3.6 mit Hinweisen, in: ZBl 117 2016 323; 1C_575/2014 vom 4. Januar 2016 E. 4.3). Wäre er vorliegend anwendbar, könnten die strittigen Bauten und Anlagen klarerweise nicht bewilligt werden, denn sie sind weder für eine zeitgemässe Wohnnutzung noch eine energetische Sanierung oder für die bessere Einpassung in die Landschaft notwendig. Die Bestimmung ist indessen nicht auf bauliche Umgebungsgestaltungen wie die hier zur Diskussion stehende ausgerichtet. Aus der Entstehungsgeschichte des Gesetzes geht hervor, dass die Befürchtung bestand, die Erweiterung des Anwendungsbereichs von Art. 24c RPG auf landwirtschaftliche Wohnbauten und angebaute Ökonomiebauten (Abs. 3) könnte zu einem schleichenden Verlust des Charakters landwirtschaftlich geprägter Landschaften führen, insbesondere bei Abbruch und Wiederaufbau (Bericht der Kommission für Umwelt, Raumplanung und Energie des Nationalrats vom 22. August 2011 zur Standesinitiative "Bauen ausserhalb der Bauzone", BBI 2011 7084, 7087 und 7090; s. auch RUDOLF MUGGLI, Praxiskommentar RPG: Bauen ausserhalb der Bauzone, 2017, N. 36 zu Art. 24c RPG). Der Bundesrat hat bei Erlass der Ausführungsbestimmungen Art. 24c Abs. 4 RPG dementsprechend direkt in den Zusammenhang mit der Erweiterung ausserhalb des bestehenden Gebäudevolumens gestellt (Art. 42 Abs. 3 lit. b RPV; vgl. auch Urteil 1C_415/2014 vom 1. Oktober 2015 E. 3.6 mit Hinweisen, in: ZBl 117 2016 323). Die hier zu beurteilende Umgebungsgestaltung stellt keine derartige Erweiterung des bestehenden Gebäudevolumens dar und ist deshalb nicht nach den Voraussetzungen von Art. 24c Abs. 4 RPG zu beurteilen. Vielmehr ist zu untersuchen, ob das Identitätserfordernis erfüllt ist (so auch die ebenfalls Umgebungsgestaltungen betreffenden Urteile 1C_10/2019 vom 15. April 2020 E. 4; 1C_128/2018 vom 28. September 2018 E. 6; 1C_99/2017 vom 20. Juni 2017 E. 3.3; abweichend: Urteil 1C_76/2019 vom 28. Februar 2020 E. 5). Zu Recht hat das Verwaltungsgericht das Bauvorhaben unter diesem Gesichtspunkt geprüft und auch das beschwerdeführende ARE beruft sich nicht auf Art. 24c Abs. 4 RPG.
4.
4.1. Ob die Identität der Baute oder Anlage im Wesentlichen gewahrt bleibt, ist unter Würdigung der gesamten Umstände zu beurteilen (Art. 42 Abs. 3 Satz 1 RPV). In Art. 42 Abs. 3 lit. a und b RPV sind feste quantitative Obergrenzen verankert, bei deren Überschreitung die Identität in jedem Fall als nicht mehr gewahrt gilt. Nach der Rechtsprechung des Bundesgerichts ist im Übrigen darauf abzustellen, ob die Änderung bei einer Gesamtbetrachtung von untergeordneter Natur ist. Die Wesensgleichheit der Baute muss hinsichtlich Umfang, äusserer Erscheinung sowie Zweckbestimmung gewahrt werden und es dürfen keine wesentlichen neuen Auswirkungen auf die Nutzungsordnung, Erschliessung und Umwelt geschaffen werden (BGE 132 II 21 E. 7.1.1 S. 42; 127 II 215 E. 3a und b S. 218 f.; je mit Hinweisen). Gefordert ist nicht völlige Gleichheit von Alt und Neu. Vielmehr bezieht sich die Identität auf die "wesentlichen Züge", also die aus raumplanerischer Sicht wichtigen Merkmale des Objekts. Ob die so verstandene Identität noch gewahrt wird, beurteilt sich unter Würdigung aller raumrelevanten Gesichtspunkte in ihrem Zusammenwirken. Fehlt es an der Identität, liegt eine vollständige Änderung vor und die Erteilung einer Ausnahmebewilligung nach Art. 24c RPG fällt ausser Betracht (zum Ganzen: Urteil 1C_128/2018 vom 28. September 2018 E. 5.3 mit Hinweisen).
Massgeblicher Vergleichszustand ist der Zustand, in dem sich die Baute oder Anlage im Zeitpunkt der Zuweisung zum Nichtbaugebiet befand (Art. 42 Abs. 2 RPV). Damit soll sichergestellt werden, dass die maximal zulässigen Änderungs- und Erweiterungsmöglichkeiten zwar möglicherweise in mehreren Etappen, insgesamt aber nur einmal ausgenutzt werden können. Wurden z.B. die nach Art. 42 Abs. 3 RPV höchstens zulässigen Erweiterungsmöglichkeiten durch eine frühere Baubewilligung ausgeschöpft, sind keine zusätzlichen Erweiterungen mehr möglich (Urteil 1C_49/2019 vom 11. November 2019 E. 5 mit Hinweisen).
4.2. Das Verwaltungsgericht hat die Frage der Wesensgleichheit in Bezug auf die bei ihm Streitgegenstand bildenden Positionen einzeln geprüft und verneint. Das ARE bringt vor, dass dem Beschwerdeführer bereits im Jahr 2010 eine erhebliche Erweiterung seines Wohnhauses bewilligt worden sei, was das Verwaltungsgericht unberücksichtigt gelassen habe. Das ist zutreffend. Die Baubewilligung aus dem Jahr 2010 ist zwar in Rechtskraft erwachsen und bildet nicht Gegenstand des Verfahrens. Bei der Beurteilung der vorliegend umstrittenen weiteren Änderungen ist sie jedoch nach dem soeben Ausgeführten mitzuberücksichtigen (vgl. auch Urteil 1C_128/2018 vom 28. September 2018 E. 6.1 mit Hinweisen).
Die Bewilligung für die Erstellung des Wintergartens mit einer Fläche von rund 50 m2 sowie für drei Kellerräume inkl. Aussentreppe mit einer Fläche von insgesamt 200 m2 überschreitet die in Art. 42 Abs. 3 lit. b RPV vorgesehenen Obergrenzen deutlich. Diese Bestimmung sieht für Erweiterungen ausserhalb des bestehenden Gebäudevolumens vor, dass die gesamte Erweiterung sowohl bezüglich der anrechenbaren Bruttogeschossfläche als auch bezüglich der Gesamtfläche (Summe von anrechenbarer Bruttogeschossfläche und Brutto-Nebenfläche) weder 30 Prozent noch 100 m2 überschreiten darf, wobei die Erweiterungen innerhalb des bestehenden Gebäudevolumens nur halb angerechnet werden (vgl. Urteil 1C_48/2017 vom 22. Dezember 2017 E. 4 mit Hinweisen). Zu dieser flächenmässigen Betrachtungsweise kommt hinzu, dass der Wintergarten auch visuell markant in Erscheinung tritt, was auf den in den Akten befindlichen Fotos gut erkennbar ist.
Daraus folgt, dass die maximal zulässigen Änderungs- und Erweiterungsmöglichkeiten bereits gestützt auf die Baubewilligung aus dem Jahr 2010 ausgenutzt worden sind, weshalb keine zusätzlichen Änderungen oder Erweiterungen bewilligt werden können.
4.3. Dass der private Beschwerdeführer sich hilfsweise darauf beruft, es handle sich um gestalterische Verbesserungen (Art. 42 Abs. 1 Satz 2 RPV), ändert an der Unzulässigkeit der Bewilligung weiterer Änderungen oder Erweiterungen nichts. Denn es ist nicht erkennbar, dass die bisherige Umgebungsgestaltung visuell unbefriedigend gewesen wäre (vgl. dazu Urteil 1C_335/2012 vom 19. März 2013 E. 5.2). Vielmehr war sie natürlicher. Zu Recht macht der private Beschwerdeführer denn auch nicht geltend, er habe versucht, Bausünden zu korrigieren.
Betreffend den Sitzplatz auf der Nordseite des Hauses argumentiert er weiter, es habe dort bereits eine eingekieste Fläche bestanden, die neu lediglich mit Platten belegt worden sei. Er übersieht jedoch, dass auch darin eine bauliche Veränderung zu erblicken ist, die die Wesensgleichheit der Baute beeinträchtigt.
Hinsichtlich der grossen Quadersteinmauer bringt er zudem vor, deren Versetzung und Neuerrichtung sei bereits Teil der bewilligten Unterkellerung bzw. des bewilligten Wintergartens gewesen. Ähnlich argumentiert er mit Bezug auf die mit Platten belegte Sitzplatzfläche, die er für die Unterkellerung habe entfernen müssen und im Anschluss lediglich leicht erweitert habe. Aus den in den Akten befindlichen Baubewilligungsunterlagen geht freilich nicht hervor, dass diese Anlagen bewilligt worden wären.
5.
5.1. Formell rechtswidrige Bauten, die nachträglich nicht bewilligt werden können, müssen grundsätzlich beseitigt werden (BGE 136 II 359 E. 6 S. 364 mit Hinweisen). Die mit der Anordnung der Beseitigung einer Baute verbundene Eigentumsbeschränkung ist jedoch nur zulässig, wenn sie auf einer gesetzlichen Grundlage beruht, im öffentlichen Interesse liegt und verhältnismässig ist (Art. 36 BV). Die Wiederherstellung des rechtmässigen Zustands kann unverhältnismässig sein, wenn die Abweichung vom Erlaubten nur unbedeutend ist oder die Wiederherstellung nicht im öffentlichen Interesse liegt, ebenso, wenn der Bauherr in gutem Glauben angenommen hat, die von ihm ausgeübte Nutzung stehe mit der Baubewilligung im Einklang, und ihre Fortsetzung nicht gewichtigen öffentlichen Interessen widerspricht (BGE 132 II 21 E. 6 S. 35 mit Hinweis). Auf den Grundsatz der Verhältnismässigkeit kann sich auch ein Bauherr berufen, der nicht gutgläubig gehandelt hat. Er muss aber in Kauf nehmen, dass die Behörden aus grundsätzlichen Erwägungen, nämlich zum Schutz der Rechtsgleichheit und der baulichen Ordnung, dem Interesse an der Wiederherstellung des gesetzmässigen Zustands erhöhtes Gewicht beimessen und die dem Bauherrn allenfalls erwachsenden Nachteile nicht oder nur in verringertem Masse berücksichtigen (BGE 132 II 21 E. 6.4 S. 39 f. mit Hinweis). Nach der Rechtsprechung des Bundesgerichts fällt eine Berufung auf den guten Glauben nur in Betracht, wenn die Bauherrschaft bei zumutbarer Aufmerksamkeit und Sorgfalt annehmen durfte, sie sei zur Bauausführung berechtigt. Dabei darf vorausgesetzt werden, dass die grundsätzliche Bewilligungspflicht für Bauvorhaben allgemein bekannt ist. Dies gilt erst recht bei Bauvorhaben in der Landwirtschaftszone (dazu und zum Ganzen: Urteil 1C_10/2019 vom 15. April 2020 E. 5.1 mit Hinweisen). Wer eigenmächtig Umbauten vornimmt, trägt zudem die Folgen der Beweislosigkeit, wenn sich der ursprüngliche bauliche Zustand nicht mehr feststellen lässt (Urteil 1C_283/2017 vom 23. August 2017 E. 4.2).
5.2. Angesichts der Bedeutung des Grundsatzes der Trennung von Baugebiet und Nichtbaugebiet ist von einem gewichtigen öffentlichen Interesse am Rückbau auszugehen. Diesem Interesse an der Wiederherstellung des rechtmässigen Zustands steht vorliegend zum einen das finanzielle Interesse des Beschwerdeführers am Werterhalt bzw. der Vermeidung des Verlusts von Investitionskosten entgegen und zum anderen das von ihm geltend gemachte öffentliche Interesse an der Bewahrung des künstlichen Wasserlaufs als Biotop. Darüber hinaus beruft er sich auf den Grundsatz von Treu und Glauben, weil bei der Bauabnahme nach der Erstellung des Wintergartens und der Unterkellerung die dabei vorgenommene Erweiterung des Sitzplatzes und die Versetzung der Quadersteinmauer nicht beanstandet worden seien.
5.3. Die Berufung auf den Grundsatz von Treu und Glauben verfängt nicht. Der in Art. 9 BV verankerte Grundsatz verleiht einer Person Anspruch auf Schutz des Vertrauens in behördliche Zusicherungen oder sonstiges behördliches Verhalten, auf das sie berechtigterweise vertrauen durfte, sofern sie gestützt darauf nachteilige Dispositionen getroffen hat, die sie nicht mehr rückgängig machen kann (BGE 137 I 69 E. 2.5.1 S. 72 f.; vgl. zur Publ. vorgesehenes Urteil 2C_209/2017 vom 16. Dezember 2019 E. 5.1.1; je mit Hinweisen). Versetzte der Beschwerdeführer die Mauer und erweiterte er den Sitzplatz ohne Baubewilligung, so konnte er nicht darauf vertrauen, später keinen Rückbau vornehmen zu müssen. Ob die Behörden die über das Bewilligte hinausgehenden Veränderungen bereits bei der Bauabnahme bemerken und dagegen einschreiten oder dies erst später tun, spielt unter diesem Gesichtspunkt keine Rolle. Entscheidend ist, dass jedenfalls im Zeitpunkt des Baus offensichtlich keine Vertrauensgrundlage bestand.
5.4. Das Vermögensinteresse des Beschwerdeführers kann nur in reduziertem Masse berücksichtigt werden, da er als Eigentümer einer Parzelle in der Landwirtschaftszone und mit Blick auf die umfangreiche bauliche Neugestaltung des Umschwungs seines Wohnhauses nicht als gutgläubig gelten kann und daher in Kauf nehmen muss, dass dem Interesse an der Wiederherstellung des gesetzmässigen Zustands erhöhtes Gewicht beigemessen wird. Die vom ARE beantragte Anordnung der Wiederherstellung des rechtmässigen Zustands erscheint deshalb im Grundsatz als verhältnismässig. Dies gilt in verstärktem Masse für den Grundstücksbereich, in dem der Gemüsegarten angelegt wurde, da er gemäss den vorinstanzlichen Feststellungen von einer Landschaftsschutzzone überlagert wird. Diese dient gemäss § 9 Abs. 1 der kommunalen Nutzungsordnung Kulturland (NO) vom 19. September 2002 der Erhaltung der Landschaft in ihrem Aussehen und ihrer Eigenart.
Dies gilt auch in Bezug auf den voraussichtlich aufwendigen Rückbau der Quadersteinmauer. Diese ist gemäss den überzeugenden Ausführungen des Verwaltungsgerichts im Vergleich zur früheren Bruchsteinmauer aufgrund ihrer neuen Lage, ihrer U-Form (zusammen mit den Betonelementen), der Mehrlänge und dem darauf angebrachten Staketengeländer bedeutend auffälliger und prominenter, was dem öffentlichen Interesse am Rückbau zusätzliches Gewicht verleiht. Unklar erscheint jedoch, wie ein Rückbau zu erfolgen hätte, da das Verwaltungsgericht aufgrund des Verbots der reformatio in peius von einer entsprechenden Anordnung abgesehen und deshalb auch nicht die erforderlichen Sachverhaltsfeststellungen getroffen hat. Insbesondere hat es offen gelassen, ob nach der Unterkellerung eine Mauer wieder am ursprünglichen Ort errichtet werden könnte und ob bei der Errichtung einer Böschung für die Hangsicherung eine Stützmauer erforderlich wäre. Die Sache ist aus diesem Grund an das BVU zurückzuweisen, damit es über die Art des Rückbaus einen neuen Entscheid treffen kann. In diesem Zusammenhang wird es auch neu über den Rückbau der dreigliedrigen Quadersteinreihe zu befinden haben, die der grossen Quadersteinmauer vorgelagert und sinnvollerweise mit dieser zusammen einer Gesamtbetrachtung zu unterwerfen ist, wie dies auch das Verwaltungsgericht getan hat.
Zum Sitz- bzw. Hartbelagplatz im Südwesten des Hauses bringt der private Beschwerdeführer vor, eine Humusierung sei baustatisch nicht möglich. Ein Vertreter des BVU habe dies am Augenschein bestätigt. Das Verwaltungsgericht hält dagegen fest, dass eine extensive Begrünung (z.B. eine locker bewachsene Magerwiese) dem ursprünglichen Zustand näher sei und ein Rückbau der Steinplatten deshalb verhältnismässig. Dies überzeugt. Am Augenschein des Verwaltungsgerichts sagte der betreffende Vertreter des BVU, er gehe davon aus, dass die Erde schwerer wäre als die Platten, wenn man den Humus bis zur Oberkante des Treppenabsatzes auffüllen würde. Dass eine für das Anlegen einer Magerwiese erforderliche Humusschicht zu schwer wäre für die Kellerdecke, geht aus dieser Aussage nicht hervor. Es handelt sich dabei um eine nicht belegte Behauptung des Beschwerdeführers, die die vorinstanzliche Sachverhaltsfeststellung nicht als willkürlich erscheinen lässt (Art. 97 Abs. 1 BGG). Eine Verletzung des Verhältnismässigkeitsgebots ist deshalb auch in dieser Hinsicht nicht erkennbar.
Die beschwerdeführerische Kritik an der Anordnung, den auf einem Betonsockel stehenden versteinerten Baum im Nahbereich des Hauses aufzustellen, ist ebenfalls unbegründet. Dessen Beseitigung liegt ausserhalb des Streitgegenstands des bundesgerichtlichen Verfahrens, da sie vom ARE nicht gefordert wird (Art. 107 Abs. 1 BGG). Dennoch kann berücksichtigt werden, dass eine Ausnahmebewilligung nach Art. 24c RPG auch in dieser Hinsicht nicht in Betracht kommt und die Verschiebung gegenüber der vollständigen Beseitigung dieses Kunstobjekts die mildere Massnahme darstellt. Die Erwägung des Verwaltungsgerichts, dass das Verschieben hin zum Haus die Umgebung natürlicher erscheinen lässt, ist nicht zu beanstanden, da der versteinerte Baum als künstliches Element dort weniger auffällt, obgleich dies den visuellen Gesamteindruck nur sehr geringfügig verändert. Das Bundesgericht auferlegt sich insofern bei der Überprüfung der Einschätzung des Verwaltungsgerichts, das einen Augenschein durchgeführt hat und deshalb mit den örtlichen Verhältnissen besser vertraut ist, eine gewisse Zurückhaltung (vgl. BGE 126 I 219 E. 2c S. 222; Urteil 1C_599/2016 vom 9. Mai 2017 E. 3.2; je mit Hinweisen).
Ebenfalls als bundesrechtskonform erweist sich die Anordnung des Rückbaus des künstlich angelegten Bachs. Das Bundesgericht hat unlängst in einem Urteil betreffend einen ohne Baubewilligung errichteten Flachwasserteich festgehalten, es stehe nicht im Belieben eines Grundeigentümers, zum Zwecke des Naturschutzes ausserhalb der Bauzone eigenmächtig und ohne Baubewilligung Garten- oder Landschaftsgestaltung zu betreiben, auch wenn durch das Anlegen eines künstlichen Biotops die entsprechenden geschützten Tierarten und Pflanzen angelockt würden und dort neuen Lebensraum fänden (Urteil 1C_10/2019 vom 15. April 2020 E. 5.6). Selbst wenn die Feststellung des Verwaltungsgerichts, es handle sich beim hier zu beurteilenden, künstlich angelegten Bach nicht um ein schutzwürdiges Biotop, falsch wäre, würde dies somit am Ergebnis nichts ändern. Damit ist auch der in diesem Zusammenhang durch den privaten Beschwerdeführer vorgetragenen Kritik, das Verwaltungsgericht habe kein verwaltungsexternes Gutachten zu Bestand und Vorkommen von geschützten Tier- und Pflanzenarten in Auftrag gegeben und damit das rechtliche Gehör verletzt, die Grundlage entzogen.
5.5. Weitere Umstände, welche die im Grundsatz verhältnismässige Wiederherstellungsanordnung in Bezug auf einzelne Positionen ausnahmsweise als unverhältnismässig erscheinen lassen würden, sind nicht erkennbar. Die betreffende Rüge des privaten Beschwerdeführers ist somit unbegründet.
6.
6.1. In seinem Eventualantrag verlangt der private Beschwerdeführer, die vorinstanzliche Gerichtsgebühr von Fr. 12'000.-- sei auf höchstens Fr. 4'000.-- zuzüglich Auslagen festzusetzen. Der Kostenentscheid verletze das Äquivalenzprinzip und die Rechtsweggarantie. Das kantonale Dekret vom 24. November 1987 über die Verfahrenskosten (Verfahrenskostendekret, VKD; SAR 221.150) räume dem Verwaltungsgericht einen grossen Ermessensspielraum ein und gemäss der bundesgerichtlichen Rechtsprechung (BGE 145 I 52) dürfe die Gerichtsgebühr deshalb nicht das übliche Mass, das in der Schweiz für ähnliche Verfahren gelte, deutlich überschreiten. Der Streit habe sich auf zwei überschaubare Rechtsfragen bezogen und auch vom Sachverhalt her sei er nicht aufwändig. Der Augenschein rechtfertige eine derart hohe Gerichtsgebühr nicht. Aus der Länge des Urteils des Verwaltungsgerichts von 33 Seiten könne nicht auf den Aufwand geschlossen werden. Darin würden bei jedem Punkt jeweils die Erwägungen des Regierungsrats und die Rügen des Beschwerdeführers zusammengefasst, was naturgemäss zu einem längeren Urteil führe, aber nichts über den Aufwand aussage. Der Regierungsrat, der wie das Verwaltungsgericht einen Augenschein durchgeführt habe, habe eine Staatsgebühr von lediglich Fr. 3'000.-- erhoben. Dieser Vergleich zeige ebenfalls, dass die Gerichtsgebühr für das verwaltungsgerichtliche Verfahren zu hoch angesetzt worden sei.
6.2. Das Verwaltungsgericht hält dazu in seiner Vernehmlassung im bundesgerichtlichen Verfahren fest, BGE 145 I 52 sei nicht einschlägig. Anders als das Verwaltungsgericht des Kantons Zürich gehe es in Bausachen nicht von einer Streitigkeit ohne bestimmbaren Streitwert aus und bemesse daher die Gerichtsgebühr traditionellerweise nach dem Streitwert, den es praxisgemäss in der Regel auf 10 % der Bausumme beziffere. Stehe jedoch ein Wiederherstellungsbefehl im Rahmen eines nachträglichen Baubewilligungsverfahrens zur Debatte, setze sich der Streitwert aus den nutzlos gewordenen Investitions- und den Rückbaukosten des Bauherrn zusammen. Der private Beschwerdeführer habe selber die durch die streitige Rückbauverfügung anfallenden Kosten und damit den Streitwert auf insgesamt Fr. 362'000.-- beziffert.
Die Gerichts- bzw. Staatsgebühr betrage nach publizierter Rechtsprechung im Regelfall 6-8 % des Streitwerts. Das Gebührenmaximum habe bis Ende 2015 Fr. 10'420.-- betragen und sei per 1. Januar 2016 auf Fr. 30'000.-- angehoben worden (§ 22 Abs. 1 lit. c VKD). Seit diesem Zeitpunkt lehne sich das Verwaltungsgericht bei der Gebührenfestsetzung zusätzlich an den Gebührenrahmen in Zivilsachen an, der einen detaillierten und abgestuften Streitwerttarif enthalte (§ 7 Abs. 1 VKD). Die im vorliegenden Fall festgelegte Gerichtsgebühr von Fr. 12'000.-- liege signifikant unterhalb der Schwelle von 6-8 % des Streitwerts. Auch die Gerichtsgebühr (Grundansatz) von Fr. 14'834.-- in einem Zivilprozess mit einem Streitwert in Höhe von Fr. 362'000.-- gemäss § 7 Abs. 1 VKD werde klar unterschritten.
Die in BGE 145 I 52 und auch in § 3 Abs. 1 VKD erwähnten unbestimmten Bemessungskriterien (Zeitaufwand des Gerichts, Schwierigkeit oder Bedeutung des Falls), die keine betragsmässigen Anhaltspunkte geben würden und einen grossen Ermessensspielraum bei der Festlegung der Gerichtsgebühr eröffneten, kämen nur indirekt zum Tragen, indem in vermögensrechtlichen Verwaltungssachen - analog zur Zivilgerichtsbarkeit - angenommen werde, dass ein höherer Streitwert regelmässig mit einer höheren Bedeutung und oftmals auch mit erhöhtem Aufwand und überdurchschnittlicher Komplexität einhergehe. Im Fall einer Bemessung nach dem Streitwert könne nicht gesagt werden, das Äquivalenzprinzip habe zur Wahrung der vernünftigen Grenzen der Gebührenbemessung eine erhöhte Bedeutung. Es sei aber selbstverständlich schon wegen des Verhältnismässigkeitsgrundsatzes zu beachten. Ob eine Gerichtsgebühr von Fr. 12'000.-- die Grössenordnung der heute in der Schweiz üblicherweise verlangten Gebühren für ähnlich gelagerte Fälle deutlich überschreite, sei offen. Zwar ergebe sich aus BGE 145 I 52, dass die Gebührenobergrenze in einigen Kantonen darunter liege (E. 5.4 S. 68), in anderen liege sie aber auch deutlich darüber. Es sei notorisch, dass Gerichte ihre tatsächlichen Kosten bei weitem nicht mit den erhobenen Gebühren decken könnten. Letztlich sei es auch ein finanzpolitischer Entscheid, in welchem Umfang die Kosten auf die Verursacher überwälzt werden sollten. Die Gefahr des erschwerten Zugangs zur Justiz für von Bauvorhaben betroffene Privatpersonen sei speziell in Konstellationen wie der vorliegenden, in denen es für einen Bauherrn um Investitions- und Rückbaukosten gehe, welche die Gerichtsgebühr um ein Vielfaches übersteigen, sehr gering. Betroffene, die sich - anders als der Beschwerdeführer - einen Kostenvorschuss tatsächlich nicht leisten könnten, könnten von der Rechtswohltat der unentgeltlichen Rechtspflege profitieren. Der Aufwand des Gerichts hänge im Übrigen nicht allein von der Anzahl Seiten eines Urteils ab und könne am besten vom Gericht selber beurteilt werden, das den Quervergleich mit anderen Fällen habe. Der Beschwerdeführers spreche zwar von "nur zwei überschaubaren Rechtsfragen", habe allerdings drei Rechtsschriften von rund 50 Seiten eingereicht.
6.3. Das Äquivalenzprinzip konkretisiert das Verhältnismässigkeitsprinzip und das Willkürverbot für den Bereich der Kausalabgaben. Es bestimmt, dass eine Gebühr nicht in einem offensichtlichen Missverhältnis zum objektiven Wert der abzugeltenden Leistung stehen darf und sich in vernünftigen Grenzen halten muss. Der Wert der Leistung bemisst sich nach dem wirtschaftlichen Nutzen, den sie dem Pflichtigen bringt, oder nach dem Kostenaufwand der konkreten Inanspruchnahme im Verhältnis zum gesamten Aufwand des betreffenden Verwaltungszweigs. Dabei darf auf Durchschnittserfahrungen abgestellt werden, weshalb die Gebühren nicht in jedem Fall genau dem erbrachten Verwaltungsaufwand entsprechen müssen. Sie sollen jedoch nach sachlich vertretbaren Kriterien bemessen sein und nicht Unterscheidungen treffen, für die keine vernünftigen Gründe ersichtlich sind. Bei ihrer Festsetzung darf innerhalb eines gewissen Rahmens der wirtschaftlichen Situation des Pflichtigen und dessen Interesse am abzugeltenden Akt Rechnung getragen werden. Zudem darf gemäss dem Äquivalenzprinzip die Höhe der Gebühr die Inanspruchnahme gewisser Institutionen nicht verunmöglichen oder übermässig erschweren. Dies gilt namentlich bezüglich der Gerichtsgebühren, deren Höhe den Zugang zur Justiz (Art. 29a BV) nicht übermässig erschweren darf (zum Ganzen: BGE 145 I 52 E. 5.2.3 S. 66 mit Hinweisen).
Die kantonalen Gerichte verfügen bei der Festsetzung von Gerichtsgebühren über einen grossen Ermessensspielraum, der jedoch überschritten wird, wenn ein offensichtliches Missverhältnis zwischen der Gebühr und dem objektiven Wert der bezogenen Leistung besteht (a.a.O., E. 5.2.4 S. 67 mit Hinweisen). Das Bundesgericht hat im zitierten Urteil festgehalten, dass der Gebührenrahmen in Verfahren vor dem Verwaltungsgericht des Kantons Zürich bei Streitigkeiten ohne bestimmbaren Streitwert aussergewöhnlich weit sei und zudem die Bemessungskriterien unbestimmt seien. Dem Äquivalenzprinzip komme unter diesen Voraussetzungen eine erhöhte Bedeutung zu, weshalb verlangt werden könne, dass die strittige Gerichtsgebühr das in der Schweiz für ähnliche Verfahren übliche Mass nicht deutlich überschreite (a.a.O., E. 5.6 f. S. 69 mit Hinweisen auf die kantonalen Rechtsgrundlagen).
Im zitierten Entscheid erachtete das Bundesgericht die damals strittige Gerichtsgebühr von Fr. 13'000.-- im interkantonalen Vergleich, wie auch im Vergleich zu den Gebühren des Bundesgerichts, als aussergewöhnlich hoch, zumal keine besonderen Verhältnisse dargetan oder ersichtlich waren. Sie verletzte daher das Äquivalenzprinzip, weil zwischen ihr und dem objektiven Wert des angefochtenen Urteils unter Berücksichtigung der heute in der Schweiz für baurechtliche Streitigkeiten üblicherweise verlangten Gebühren ein offensichtliches Missverhältnis bestand. Das Bundesgericht setzte die Gebühr deshalb auf Fr. 8'000.-- herab (a.a.O., E. 5.7 S. 70 f.).
6.4. Gemäss § 22 Abs. 1 lit. c VKD betragen die Staatsgebühren für das Verfahren vor dem Verwaltungsgericht Fr. 500.-- bis Fr. 30'000.--. § 3 Abs. 1 VKD sieht vor, dass die Gebühr innerhalb dieses Rahmens nach dem Zeitaufwand und der Bedeutung der Sache zu bemessen ist. Abs. 2 dieser Bestimmung ermöglicht die Erhöhung bis auf das Doppelte des vorgesehenen Höchstbetrags insbesondere in ausserordentlich zeitraubenden Fällen, Abs. 3 eine angemessene Reduktion, wenn die Gebühr für die zahlungspflichtige Person eine untragbare Härte darstellt.
Der weite Gebührenrahmen von Fr. 500.-- bis Fr. 30'000.-- und die Kriterien des Zeitaufwands und der Bedeutung der Sache lassen dem Verwaltungsgericht einen grossen Spielraum bei der Bemessung der Gerichtsgebühr. Das Verwaltungsgericht hat diese Vorgaben in seiner Praxis nach dem Ausgeführten insoweit konkretisiert, als es die Gebühr in der Regel auf 6-8 % des Streitwerts bemisst und sich zudem an den in § 7 VKD verankerten abgestuften Streitwerttarif in Zivilsachen anlehnt. Diese Praxis findet im Verfahrenskostendekret allerdings keine Grundlage. Wenn das Verwaltungsgericht vorbringt, die Kriterien von § 3 Abs. 1 VKD kämen nur indirekt zum Tragen, indem in vermögensrechtlichen Verwaltungssachen - analog zur Zivilgerichtsbarkeit - angenommen werde, dass ein höherer Streitwert regelmässig mit einer höheren Bedeutung und oftmals auch mit erhöhtem Aufwand und überdurchschnittlicher Komplexität einhergehe, so ist dies deshalb unzutreffend. Es verhält sich vielmehr umgekehrt: Die Kriterien von § 3 Abs. 1 VKD kommen direkt zum Tragen, während die Berücksichtigung des Streitwerts gesetzlich nicht vorgesehen ist und nur indirekt, im Rahmen des Kriteriums der Bedeutung der Sache, in die Gebührenbemessung einfliessen kann. Hinzu kommt, dass das Bundesgericht bereits mehrfach darauf hingewiesen hat, dass die Berechnung von Gerichtsgebühren oder Parteientschädigungen in Bau- und Planungsverfahren nach (fiktiven) Streitwerten zu exorbitanten Gerichts- und Parteikosten und dementsprechend unkalkulierbaren Prozessrisiken führen kann, die geeignet sind, das Beschwerderecht auszuhöhlen, und die deshalb in Widerspruch zur Rechtsweggarantie (Art. 29a BV und Art. 6 EMRK) stehen können (Urteil 1C_84/2019 vom 13. September 2019 E. 3.5 mit Hinweisen). Ob es sich vorliegend anders verhält, weil sich der Streitwert aus den Investitions- und Rückbaukosten ergebe, braucht nicht beantwortet zu werden. Wesentlich ist, dass dem Äquivalenzprinzip aufgrund des dem Verwaltungsgericht bei der Gebührenbemessung eingeräumten grossen Spielraums eine erhöhte Bedeutung zukommt. Die strittige Gerichtsgebühr darf somit das in der Schweiz für ähnliche Verfahren übliche Mass nicht deutlich überschreiten.
6.5. In BGE 145 I 52 erschien die damals strittige Gerichtsgebühr von Fr. 13'000.--, wie bereits erwähnt, im interkantonalen Vergleich und auch im Vergleich zu den Gebühren des Bundesgerichts als aussergewöhnlich hoch, und auch die im vorliegenden Fall eingeforderte Gerichtsgebühr von Fr. 12'000.-- überschreitet das in der Schweiz für ähnliche Verfahren übliche Mass immer noch deutlich. Die Angelegenheit war in rechtlicher und tatsächlicher Hinsicht nicht einfach gelagert, andererseits aber auch nicht sehr kompliziert. Die insgesamt umfangreichen Eingaben des Beschwerdeführers und vor allem die Durchführung eines Augenscheins führten für das Verwaltungsgericht zu einem erhöhten Aufwand. Dieser widerspiegelt sich auch im angefochtenen Urteil, das über 30 Seiten umfasst, jedoch nicht weitschweifig redigiert ist. Insgesamt liegen damit zwar Umstände vor, die eine das übliche Mass überschreitende Bemessung der Gerichtsgebühr rechtfertigen, doch erscheint eine Gerichtsgebühr von Fr. 12'000.-- auch unter Berücksichtigung dieser Umstände übertrieben und mit dem Äquivalenzprinzip nicht mehr vereinbar (vgl. auch Urteile 1C_84/2019 vom 13. September 2019 E. 3.6 und 1C_129/2019 vom 11. Juli 2019 E. 4.3). Es erscheint angemessen, die Gerichtsgebühr in teilweiser Gutheissung des betreffenden Antrags des privaten Beschwerdeführers auf Fr. 9'000.-- zu reduzieren.
7.
Aus diesen Erwägungen folgt, dass die Beschwerde des ARE vollumfänglich gutzuheissen, die Beschwerde des privaten Beschwerdeführers dagegen nur teilweise, nämlich im Kostenpunkt, gutzuheissen, im Übrigen aber abzuweisen ist. Der angefochtene Entscheid ist im Kostenpunkt und zudem insoweit aufzuheben, als damit die Duldung unbewilligter Veränderungen angeordnet wurde. Dies betrifft auch die in den Entscheiden der Vorinstanzen des Verwaltungsgerichts angeordnete Duldung derjenigen unbewilligten Veränderungen, die im verwaltungsgerichtlichen Verfahren aufgrund des Verbots der reformatio in peius (siehe E. 2.2 hiervor) nicht mehr Streitgegenstand bildeten. Die Sache ist zur weiteren Behandlung im Sinne der Erwägungen an das BVU zurückzuweisen.
Bei diesem Verfahrensausgang sind dem privaten Beschwerdeführer reduzierte Gerichtskosten in der Höhe von Fr. 3'000.-- aufzuerlegen (Art. 66 Abs. 1 BGG). Der Kanton Aargau ist nicht kostenpflichtig (Art. 66 Abs. 4 BGG), er hat hingegen dem Beschwerdeführer in Bezug auf dessen teilweises Obsiegen im Kostenpunkt eine angemessene Parteientschädigung auszurichten (Art. 68 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1.
Die Verfahren 1C_480/2019 und 1C_481/2019 werden vereinigt.
2.
Die Beschwerde des ARE wird gutgeheissen. Das Urteil des Verwaltungsgerichts Aargau vom 15. Juli 2019 wird insoweit aufgehoben, als damit die Duldung unbewilligter Veränderungen angeordnet wurde. Die Sache wird zur weiteren Behandlung im Sinne der Erwägungen an das BVU zurückgewiesen.
Die Beschwerde des privaten Beschwerdeführers wird teilweise gutgeheissen und die Staatsgebühr (Gerichtsgebühr) für das verwaltungsgerichtliche Verfahren auf Fr. 9'000.-- festgesetzt, was zuzüglich der Kanzleigebühr und den Auslagen von Fr. 716.40 zu einem Total von Fr. 9'716.40 führt. Im Übrigen wird die Beschwerde abgewiesen.
3.
Die Kosten des bundesgerichtlichen Verfahrens werden im Umfang von Fr. 3'000.-- dem privaten Beschwerdeführer auferlegt.
4.
Der Kanton Aargau hat den privaten Beschwerdeführer mit Fr. 1'000.-- zu entschädigen.
5.
Dieses Urteil wird den Parteien, dem Gemeinderat Oftringen, dem Regierungsrat des Kantons Aargau, Rechtsdienst, und dem Verwaltungsgericht des Kantons Aargau, 3. Kammer, schriftlich mitgeteilt.
Lausanne, 16. Juli 2020
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Kneubühler
Der Gerichtsschreiber: Dold