Sachverhalt:
A.
C.D._ und D.D._ sind Eigentümer des Grundstücks KTN 1416, Wollerau, das teils in der Bauzone W2, teils in der Landwirtschaftszone liegt. Zudem sind sie Miteigentümer des Grundstücks KTN 1197, welches sich ganz in der Landwirtschaftszone befindet und im Miteigentum der jeweiligen Eigentümer der Grundstücke KTN 1415 bis 1427 steht. Diese Grundstücke sind Bestandteil des im Jahr 1983 genehmigten Gestaltungsplans "E._". Im Jahr 2012 wurde festgestellt, dass auf diversen Grundstücken im Nichtbaugebiet in Wollerau Bauarbeiten vorgenommen worden waren, unter anderem auch auf dem Grundstück von C.D._ und D.D._. Diese haben entlang des Verbindungsweges, der zwischen KTN 1416 und dem westlich gelegenen Grundstück KTN 1417 liegt, sowie südlich der Liegenschaft auf KTN 1197 je eine niveauverschobene Doppelnatursteinreihe errichtet.
A.A._ und B.A._, Eigentümer des Grundstücks KTN 1419, welches westlich von KTN 1416 und durch die Grundstücke KNT 1417 und 1418 getrennt von diesem liegt, reichten am 24. April 2015 Einsprache gegen das von C.D._ und D.D._ auf Aufforderung des Gemeinderats nachträglich gestellte Baugesuch für die Natursteinreihen ein.
Das Amt für Raumentwicklung des Kantons Schwyz sowie der Gemeinderat Wollerau verweigerten mit Gesamtentscheid vom 10. November 2016 bzw. 9. Januar 2017 die Baubewilligung, verzichteten aber einstweilen auf die Anordnung des Rückbaus der westlichen und südlichen Natursteinreihen.
Die dagegen von A.A._ und B.A._ am 1. Februar 2017 erhobene Beschwerde hiess der Regierungsrat des Kantons Schwyz am 29. August 2017 in Bezug auf den Rückbau der südlichen Natursteinreihen gut, und wies sie im Übrigen ab, soweit er darauf eintrat. Er wies die Sache zur genauen Festlegung des Rückbaus an das kantonale Amt für Raumentwicklung zurück.
Gegen diesen Beschluss erhoben sowohl C.D._ und D.D._ mit Eingabe vom 23. September 2017 als auch A.A._ und B.A._ mit Eingabe vom 26. September 2017 Beschwerde beim Verwaltungsgericht des Kantons Schwyz. Dieses hob, nachdem im vorliegenden sowie im konnexen Verfahren 1C_443/2018 am 26. Januar 2018 eine öffentliche Verhandlung stattgefunden hatte, den Beschluss des Regierungsrats mit Entscheid vom 22. Juni 2018 im Sinne der Erwägungen auf, soweit der Rückbau der südlichen Natursteinreihen angeordnet wurde.
B.
Mit Eingabe vom 12. September 2018 führen A.A._ und B.A._ Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht. Sie beantragen, der Entscheid des Verwaltungsgerichts vom 22. Juni 2018 sei aufzuheben und ihre Beschwerde sei gutzuheissen, mithin der Rückbau der südlichen und westlichen Natursteinreihen anzuordnen, soweit sich diese im Nichtbaugebiet befänden.
Die Beschwerdegegner beantragen, die Beschwerde abzuweisen. Das kantonale Amt für Raumentwicklung nahm Stellung, ohne einen konkreten Antrag zu stellen. Der Gemeinderat Wollerau, das Sicherheitsdepartement des Kantons Schwyz sowie das Verwaltungsgericht verzichten auf eine Vernehmlassung. Das Bundesamt für Raumentwicklung (ARE) beschränkt sich auf Hinweise zur geplanten Gartenzone und weist daraufhin, dass es die Legalisierung rechtswidrig ausserhalb der Bauzonen erstellter Bauten und Anlagen für keinen mit den Zielen und Grundsätzen der Raumplanung vereinbarten Zweck einer Nutzungsplanrevision halte, weshalb es die Anordnung der Beseitigung, wie sie der Regierungsrat verfügt habe, für den sachgerechten Entscheid halte. Im Übrigen liess das ARE offen, ob die Voraussetzungen gegeben seien, um ausnahmsweise auf die Beschwerde gegen einen Zwischenentscheid einzutreten. Die Beschwerdeführer, die Beschwerdegegner sowie das Verwaltungsgericht nahmen zu den eingegangenen Vernehmlassungen erneut Stellung.

Erwägungen:
1.
1.1. Angefochten ist ein Entscheid einer letzten kantonalen Instanz über den Rückbau von in der Nichtbauzone errichteten Natursteinreihen (<ref-law>). Dagegen steht die Beschwerde in öffentlich-rechtlichen Angelegenheiten offen (<ref-law>), ein Ausschlussgrund nach <ref-law> liegt nicht vor. Die Beschwerdeführer haben am vorinstanzlichen Verfahren teilgenommen und sind als Miteigentümer des von der Baute betroffenen Grundstücks KTN 1197 durch den angefochtenen Entscheid besonders berührt (<ref-law>).
1.2. Nach <ref-law> ist die Beschwerde zulässig gegen Entscheide, die das Verfahren abschliessen. Hingegen steht die Beschwerde gegen selbständig eröffnete Vor- und Zwischenentscheide nur eingeschränkt offen (vgl. Art. 92 und 93 BGG).
Gemäss Ziff. 1 des Dispositivs des angefochtenen Entscheids wurde der Beschluss des Regierungsrats vom 29. August 2017 im Sinne der Erwägungen aufgehoben, soweit der Rückbau der südlichen Natursteinreihen angeordnet wurde. Damit hat die Vorinstanz das Verfahren bis zum Inkrafttreten der neuen Nutzungsordnung nicht bloss sistiert, sondern abgeschlossen. Daran ändert der Umstand nichts, dass die Vorinstanz davon ausging, es werde erst nach dem Ausgang des Nutzungsplanungsverfahrens definitiv klar sein, ob der Rückbau der Natursteinreihen tatsächlich anzuordnen sei. Angefochten ist demnach, entgegen der Auffassung des ARE, ein Endentscheid.
1.3. Da die übrigen Sachurteilsvoraussetzungen ebenfalls erfüllt sind, ist auf die Beschwerde grundsätzlich einzutreten.
2.
2.1. Die fehlende Baubewilligungsfähigkeit der Natursteinreihen, welche sich im Nichtbaugebiet befinden, ist unbestritten. Umstritten ist zunächst, ob die Vorinstanz aufgrund der von der Gemeinde eingeleiteten Teilrevision des kommunalen Nutzungsplans zu Recht vom Rückbau der südlichen Natursteinreihen abgesehen hat.
2.2. Die Vorinstanz stellte fest, die gerügten südlichen Natursteinreihen seien in der Nichtbauzone nicht bewilligungsfähig und ein Rückbau sei verhältnismässig. Aufgrund der eingeleiteten Nutzungsplanungsrevision, welche die Schaffung einer Gartenzone genannten Schutzzone beinhalte, hob sie den vom Regierungsrat beschlossenen Rückbau der südlichen Natursteinreihen aber auf. Sie begründete ihren Entscheid damit, dass die Gartenzone gerade den Zweck verfolge, die bis anhin unzulässigen Bauten und Anlagen in der Nichtbauzone zu legalisieren. Unter Berücksichtigung der bisherigen Dauer des baurechtswidrigen Zustands sei daher vorläufig bis zum rechtskräftigen Abschluss der Teilrevision der Nutzungsplanung von einem Rückbau der Natursteinreihen abzusehen. Wenn die Anlagen unverzüglich zurückgebaut werden müssten, würde der Zweck der Teilrevision vereitelt, was verfahrensökonomisch keinen Sinn ergebe.
2.3. Dagegen wenden sich die Beschwerdeführer, die der Auffassung sind, der angefochtene Entscheid verletze den Grundsatz der Trennung von Bau- und Nichtbaugebiet (Art. 3 RPG) sowie das Willkürverbot. Ihrer Ansicht nach sei die "Manipulation" der Vorinstanz am Grundsatz der Verhältnismässigkeit willkürlich. Da die Vorinstanz ein neues bzw. erst im Rechtsmittelverfahren eingeleitetes Zonenplanverfahren mit offenem Ausgang zum Anlass genommen habe, die bisher klar begründete und bejahte Verhältnismässigkeit zum Rückbau der Natursteinreihen in das Gegenteil zu verkehren und ihnen auch noch Kosten aufzuerlegen, liege eine "geradezu unerträgliche Willkür" vor.
2.4. Soweit die Beschwerdeführer vorab beanstanden, dass die Vorinstanz die eingeleitete Teilrevision des kommunalen Nutzungsplans bei ihrer Entscheidfindung mitberücksichtigt hat, kann ihnen nicht gefolgt werden. Darin kann jedenfalls kein Verstoss gegen das Willkürverbot erblickt werden. Anders zu entscheiden hiesse, womöglich einen Rückbau anzuordnen, der sich dann nachträglich als ungerechtfertigt erweisen könnte. Dies ergäbe, wie die Vorinstanz zu Recht festgehalten hat, wenig Sinn und würde dem Grundsatz der Verhältnismässigkeit (<ref-law>) widersprechen.
3.
3.1. Neben den vorliegend umstrittenen Natursteinreihen auf dem Grundstück KTN 1416 gibt es gemäss den vorinstanzlichen Feststellungen am Siedlungsrand von Wollerau diverse weitere Gartenanlagen, die ausserhalb der Bauzone errichtet wurden, da die Grundstückgrenzen nicht mit der Zonengrenze übereinstimmen. Aufgrund dieser nach Ansicht der Gemeinde unzweckmässigen Zonenabgrenzung plant sie nunmehr die Schaffung einer neuen "Gartenzone". Damit soll eine Korrektur der Zonenabgrenzung herbeigeführt und der Rückbau der Gärten verhindert werden. Mit der Gartenzone soll folglich der Übergang zwischen Bauzone und der Landwirtschaftszone bei den betroffenen Grundstücken geregelt bzw. definiert werden. Dabei soll die Gartenzone aber nicht als Bauzone, sondern als Schutzzone gemäss Art. 16 der Vollzugsverordnung zum Planungs- und Baugesetz des Kantons Schwyz vom 2. Dezember 1997 (SRSZ 400.111) definiert werden, die keine bauliche Nutzung zulässt (vgl. Erläuterungsbericht nach <ref-law> [SR 700.1] vom 16. Januar 2018 S. 10 Ziff. 3.2; Art. 44 Abs. 1 lit. b des Baureglements der Gemeinde Wollerau).
3.2. Art. 74b Baureglement mit der Marginalie Gartenzone, der mit der Teilrevision des kommunalen Nutzungsplans eingeführt werden soll, definiert die neue Zone als Freihaltezone und umschreibt deren Funktion wie folgt:
1 Die Gartenzone ist eine Freihaltezone und hat zum Zweck, den Übergangsbereich zwischen der Bauzone und der Landwirtschaftszone zu gestalten. Die Gestaltung der Gartenzone ist auf eine extensive Nutzung auszulegen. Insbesondere ist eine hohe optische Durchlässigkeit sicherzustellen.
2 Zulässig sind Anlagen der Gartengestaltung wie Fusswege, platzartige Bereiche sowie Sitzgelegenheiten. Es sind ausschliesslich standortgerechte und einheimische Pflanzen zulässig. Invasive Neophyten sind nicht zulässig.
3 In der Gartenzone sind keine Haupt-, Neben- oder unterirdischen Bauten zulässig. Ebenso sind sämtliche Sicht-, oder Windschutzeinrichtungen sowie Stützmauern, Beleuchtungsanlagen, Schwimmbäder und dergleichen nicht zulässig.
4 Terrainveränderungen sind höchstens in untergeordnetem Ausmass zulässig.
5 Für die Gestaltung der privaten Gärten sind die "Richtlinien für die Gestaltung privater Gärten in der Gartenzone" im Anhang des Baureglements massgebend.
6 Für die Baubewilligung ist das massgebende Departement des Kantons Schwyz zuständig.
4.
4.1. Zu prüfen ist im Folgenden, ob die in Art. 74b Baureglement vorgesehene Zonenumschreibung, wie von der Gemeinde beabsichtigt, tatsächlich den Voraussetzungen einer Schutzzone entspricht.
4.2. Das Bundesgesetz über die Raumplanung definiert neben den Bauzonen (Art. 15 RPG) und den Landwirtschaftszonen (Art. 16 RPG) auch die Schutzzonen (Art. 17 RPG). Diese umfassen Bäche, Flüsse, Seen und ihre Ufer (lit. a); besonders schöne sowie naturkundlich oder kulturgeschichtlich wertvolle Landschaften (lit. b); bedeutende Ortsbilder, geschichtliche Stätten sowie Natur- und Kulturdenkmäler (lit. c) sowie Lebensräume für schutzwürdige Tiere und Pflanzen (lit. d).
Gemäss § 20 Abs. 1 des Planungs- und Baugesetzes des Kantons Schwyz vom 14. Mai 1987 (PBG/SZ; SRSZ 400.100), der inhaltlich grundsätzlich Art. 17 RPG (SR 700) entspricht, können Schutzzonen ausgeschieden werden für historische Stätten, Natur- und Kulturdenkmäler, Ortsbilder, besonders schöne Landschaften, Fluss- und Seeufer sowie für Lebensräume für schutzwürdige Tiere und Pflanzen. Die Gemeinden legen im Baureglement fest, welche Zonen zu den Bauzonen gemäss § 18 PBG/SZ gehören (Art. 16 Vollzugsverordnung zum PBG/SZ).
4.3. Nach der bundesgerichtlichen Rechtsprechung stellen Freihaltezonen, wie die geplante Gartenzone eine sein soll (vgl. Art. 74b Abs. 1 Baureglement), grundsätzlich Schutz- bzw. Spezialzonen im Sinne von Art. 17 und 18 RPG dar (<ref-ruling> E. 5b S. 506; Urteil 1C_473/2017 vom 3. Oktober 2018 E. 2.4). Schutzzonen gelten - von der hier nicht interessierenden Ausnahme, dass sie eine Bauzone überlagern abgesehen - als Nichtbauzonen (<ref-ruling> E. 3b/bb S. 506; JEANNERAT/MOOR, in: Praxiskommentar RPG: Nutzungsplanung, 2016, N. 9 zu Art. 17 RPG; WALDMANN/HÄNNI, in: Stämpflis Handkommentar RPG, 2006, N. 33 zu Art. 17 RPG). Bauvorhaben und Anlagen können in einer Schutzzone unter Umständen aber zonenkonform sein, wenn die Zonenumschreibung entsprechende Bauten und Anlagen zulässt. Ausserhalb der Bauzonen müssen Grösse und Standort der Bauten jedoch, auch wenn sie (schutz-) zonenkonform sind, einem objektiven Bedürfnis des Eigentümers oder Nutzers entsprechen (vgl. <ref-ruling> E. 2.4 S. 16 f.; Urteil 1C_405/2016 vom 30. Mai 2018 E. 3.1; je mit Hinweisen). Nicht zonenkonforme Bauten und Anlagen können nur nach Massgabe von Art. 24 f. RPG bewilligt werden (<ref-ruling> E. 5 S. 261 f.).
4.4. Obschon die Trennung von Bau- und Nichtbaugebiet ein fundamentaler raumplanerischer Grundsatz ist (vgl. u.a. <ref-ruling> E. 2.1 S. 248) und ausserhalb der Bauzonen Bauten nur sehr beschränkt zulässig sind, sind solche in einer Schutzzone nach dem Gesagten nicht von vornherein ausgeschlossen. Die Siedlungen sollen aber klar begrenzt sein und es soll ein klarer Übergang von den Bau- zu den Nichtbauzonen, die von Überbauungen freizuhalten sind, bestehen. In diesem Zusammenhang hielt das Bundesgericht hinsichtlich eines Gartensitzplatzes in der Landwirtschaftszone fest, es bestehe ein öffentliches Interesse daran, die schleichende Ausdehnung der Bauzonen ins Kulturland zu verhindern und systematisch den Rückbau und die Rekultivierung solcher Flächen zu verlangen (Urteil 1C_533/2015 vom 6. Januar 2016 E. 4.3).
4.5. Gemäss der Zonenumschreibung in Art. 74b Abs. 2 Baureglement sollen in der Gartenzone, die den Übergang zwischen der Bauzone und der Landwirtschaftszone regeln bzw. definieren soll, "Anlagen der Gartengestaltung wie Fusswege, platzartige Bereiche sowie Sitzgelegenheiten" zugelassen sein (vgl. Erläuterungsbericht, a.a.O., S. 10 Ziff. 3.2). Inwiefern durch diese Funktionsumschreibung der Gartenzone, die nach der Auffassung der Gemeinde eine Schutzzone darstellen soll, aber eine besonders schöne Landschaft oder ein Lebensraum für schutzwürdige Tiere oder Pflanzen (vgl. Art. 17 Abs. 1 RPG, § 20 Abs. 1 PBG/SZ) geschützt bzw. als schützenswert erklärt werden soll, ist weder dargetan noch ersichtlich. Stattdessen verfolgt die geplante Gartenzone vorliegend gemäss den Ausführungen der Planungsbehörde einzig den Zweck, eine angeblich "unzweckmässige Zonengrenze" zu korrigieren und bereits in der Nichtbauzone bestehende (sowie zukünftige) Anlagen - und damit eine Ausdehnung der Gartenanlagen in die Nichtbauzone hinaus - zu bewilligen bzw. zu legalisieren. Inwiefern dadurch eines der in Art. 17 Abs. 1 RPG genannten Schutzziele erreicht werden könnte, ist nicht ersichtlich. Damit entspricht die geplante Gartenzone aber den Anforderungen an eine Schutzzone im Sinne von Art. 17 Abs. 1 RPG und § 20 Abs. 1 PBG/SZ klarerweise nicht. Sie untergräbt überdies auch das gewichtige öffentliche Interesse, die schleichende Ausdehnung der Bauzone ins Kulturland zu verhindern (Art. 1 Abs. 2 lit. a bis RPG) und ist mit den grundlegenden Schutzzielen der Raumplanung (insbesondere Art. 1 Abs. 2 lit. a sowie Art. 3 Abs. 2 lit. b und d RPG), welche eine optische und bauliche Ausweitung der besiedelten Fläche in die Nichtbauzone verhindern wollen, nicht vereinbar. Durch die in Art. 74b Baureglement vorgesehenen, zulässigen Anlagen würde das Erscheinungsbild der Nichtbauzone massgeblich verändert, was nach der erwähnten Rechtsprechung im Nichtbaugebiet nicht zulässig ist. Die Zonenumschreibung der geplanten Gartenzone entspricht nach dem Gesagten daher einer (beschränkten) Bauzone, nicht aber einer Schutzzone.
Wie das ARE im Übrigen zu Recht ausgeführt hat, kann es ohnehin nicht Sinn und Zweck einer Nutzungsplanungsrevision sein, widerrechtliche Bauten zu legalisieren. Die Nutzungsplanung hat sich stattdessen, wie vom ARE vorgebracht, an sachlichen Bedürfnissen und Kriterien einer geordneten Siedlungsentwicklung zu orientieren, an solchen fehlt es aber hier. Daran ändert auch der Umstand nichts, dass die Zonenabgrenzung auf den Grundstücken im vorliegenden Fall (tatsächlich) unzweckmässig sein mag.
Die als Schutz- und damit Nichtbauzone geplante Gartenzone ist folglich von vornherein nicht geeignet, den Rückbau der (südlichen) Natursteinreihen zu verhindern. Es bestand daher kein Anlass, die geplante Revision des kommunalen Nutzungsplans abzuwarten und vorerst auf die Wiederherstellung des rechtmässigen Zustands zu verzichten. Der angefochtene Entscheid ist demzufolge aufzuheben.
4.6. Im Übrigen kann den Akten kein Hinweis entnommen werden, dass durch die Teilrevision des kommunalen Nutzungsplans Art. 5 Abs. 3 der Sonderbauvorschriften des Gestaltungsplans "E._" vom 5. Juli 1994 aufgehoben werden soll. Gemäss dieser Bestimmung ist der Charakter des offenen Wieslandes des vorliegend der Landwirtschaftszone zugewiesenen Gebiets beizubehalten. Mit der neu geplanten Gartenzone würde Art. 5 Abs. 3 Sonderbauvorschrift seines Gehaltes jedoch vollständig entleert. Als lex specialis gingen die spezielleren Sonderbauvorschriften dem neu einzuführenden allgemeinen Art. 74b Baureglement aber vor, weshalb die geplante Gartenzone auch aus diesem Grund nicht bewilligungsfähig wäre.
5.
5.1. Nachdem feststeht, dass die in Art. 74b Baureglement umschriebene Gartenzone jedenfalls keine Schutzzone, sondern vielmehr eine (beschränkte) Bauzone darstellt, könnte man sich noch fragen, ob allenfalls eine Umzonung des betroffenen Gebiets in eine Bauzone in Betracht kommen könnte.
5.2. Art. 15 Abs. 4 RPG regelt die Voraussetzungen für eine Neueinzonung. Demnach kann Land neu nur dann einer Bauzone zugewiesen werden, wenn es sich für die Überbauung eignet (lit. a), es auch im Fall einer konsequenten Mobilisierung der inneren Nutzungsreserven in den bestehenden Bauzonen voraussichtlich innerhalb von 15 Jahren benötigt, erschlossen oder überbaut wird (lit. b), Kulturland damit nicht zerstückelt wird (lit. c), seine Verfügbarkeit rechtlich sichergestellt ist (lit. d), und damit die Vorgaben des Richtplans umgesetzt werden (lit. e).
Das für die Gartenzone vorgesehene Land erfüllt diese Voraussetzungen, welche kumulativ vorhanden sein müssen, jedoch nicht. Das der Gartenzone zugewiesene Land soll zum einen gar nicht überbaut werden, zumal es sich dafür u.a. aufgrund seiner Topografie bzw. (Hang-) Lage ohnehin nicht eignen würde (lit. a). Zum anderen soll statt einer konsequenten Mobilisierung der inneren Nutzungsreserven in den bestehenden Bauzonen (lit. b) eine Ausdehnung der Gartenanlagen ins Nichtbaugebiet bewilligt werden, womit gerade das Gegenteil einer Verdichtung der Siedlung nach innen bezweckt wird. Die geplante Gartenzone verstösst folglich nicht nur gegen Art. 15 Abs. 4 RPG, sondern widerspricht auch dem Planungsziel gemäss Art. 1 Abs. 2 lit. a bis RPG, nämlich die Siedlungsentwicklung nach innen zu lenken.
5.3. Schliesslich würde die Ausgestaltung der Gartenzone als Bauzone auch eine unzulässige Umgehung von Art. 24 ff. RPG darstellen. Mit der bundesrechtswidrigen Einzonung des Gebiets am Siedlungsrand würde es unzulässigerweise dem Regime von Art. 24 ff. entzogen. Statt zu prüfen, ob allenfalls eine Ausnahmebewilligung erteilt werden könnte, würden die in Art. 74b Abs. 2 Baureglement erwähnten Anlagen generell zugelassen, ohne dass im Einzelfall geprüft würde, ob sie standortgebunden sind und keine überwiegenden Interessen entgegenstehen. Eine als Bauzone ausgestaltete Gartenzone am Rand des Siedlungsgebiets erweist sich daher auch unter diesem Gesichtspunkt als bundesrechtswidrig.
6.
6.1. Die Beschwerdeführer rügen in materieller Hinsicht ausserdem, es sei offenkundig willkürlich und mit Bundesrecht nicht vereinbar, dass die Vorinstanz darauf verzichtet habe, auch den Rückbau der westlichen Natursteinreihen anzuordnen.
6.2. Der Anordnung der Wiederherstellung des rechtmässigen Zustands kommt massgebendes Gewicht für den ordnungsgemässen Vollzug des Raumplanungsrechts zu. Werden illegal errichtete, dem RPG widersprechende Bauten nicht beseitigt, sondern auf unabsehbare Zeit geduldet, so wird der Grundsatz der Trennung von Bau- und Nichtbaugebiet in Frage gestellt und rechtswidriges Verhalten belohnt. Formell rechtswidrige Bauten, die auch nachträglich nicht legalisiert werden können, müssen daher grundsätzlich beseitigt werden (vgl. zum Ganzen <ref-ruling> E. 6 S. 364; vgl. auch § 87 PBG/SZ). Die Befugnis der Behörden, im Fall einer rechtswidrig errichteten bzw. genutzten Baute die Wiederherstellung des rechtmässigen Zustands anzuordnen, ist im Interesse der Rechtssicherheit grundsätzlich auf 30 Jahre beschränkt (vgl. <ref-ruling> E. 6.3 S. 35; mit gewissen Vorbehalten <ref-ruling> E. 8 S. 367). Auch vorher ist die Anordnung der Wiederherstellung des rechtmässigen Zustands im Einzelfall unzulässig, wenn sie allgemeinen Prinzipien des Verfassungs- und Verwaltungsrechts entgegensteht. Dazu gehören namentlich die in Art. 5 Abs. 2 und 3 sowie <ref-law> festgehaltenen Grundsätze der Verhältnismässigkeit und des Schutzes des guten Glaubens (vgl. <ref-ruling> E. 6 S. 364 f.). So kann die Wiederherstellung des rechtmässigen Zustands unterbleiben, wenn die Abweichung vom Erlaubten nur unbedeutend ist oder die Wiederherstellung nicht im öffentlichen Interesse liegt (vgl. <ref-ruling> E. 6 S. 35). Auf die Verhältnismässigkeit berufen kann sich auch ein Bauherr, der nicht gutgläubig gehandelt hat. Er muss aber in Kauf nehmen, dass die Behörden aus grundsätzlichen Erwägungen, namentlich zum Schutz der Rechtsgleichheit und der baulichen Ordnung, dem Interesse an der Wiederherstellung des gesetzmässigen Zustands erhöhtes Gewicht beimessen und die dem Bauherrn allenfalls erwachsenden Nachteile nicht oder nur in verringertem Masse berücksichtigen (vgl. <ref-ruling> E. 6.4 S. 39 f.).
6.3. Die Vorinstanz hat vorliegend nachvollziehbar aufgezeigt, weshalb sie den Rückbau betreffend die westlichen Natursteinreihen im Gegensatz zu den südlichen Reihen als nicht verhältnismässig betrachtete und daher den Entscheid des Regierungsrats, der auf die Anordnung eines Rückbaus verzichtet hat, geschützt hat. Sie legte dar, dass die westlichen Natursteinreihen einen öffentlichen Fussweg säumen und nicht wie die südlichen Natursteinreihen quer zum Wiesland des KTN 1197 stehen. Weiter führte sie mit vertretbaren Gründen aus, die durch die beiden westlichen Natursteinreihen erzielte Böschungssicherung stehe mithin auch im Zeichen des öffentlichen Interesses an der Gewährleistung der Begehbarkeit des Fussweges. Wie den Akten entnommen werden kann, stehen die westlichen Natursteinreihen sodann, wenn auch nur zu einem kleinen Teil, in der Bauzone und können insofern als weniger störend bezeichnet werden als die südlichen. Die Feststellung der Vorinstanz, wonach die negativen Auswirkungen der westlichen Natursteinreihen geringer seien und die Freihaltung der Nichtbauzone betreffend die westlichen Natursteinreihen weniger stark zu gewichten sei als bei den südlichen Natursteinreihen, weshalb vom Rückbau der Ersteren abzusehen sei, ist im vorliegenden Fall nach dem Gesagten nicht zu beanstanden, zumal sich die Beschwerdeführer darauf beschränken, die vorinstanzlichen Erwägungen als nicht nachvollziehbar bzw. als willkürlich zu bezeichnen, ohne diese Kritik materiell zu begründen. Unter den gegebenen Umständen ist es daher zulässig, ausnahmsweise auf einen Rückbau zu verzichten.
7.
Nach dem Gesagten ist die Beschwerde teilweise gutzuheissen und der angefochtene Entscheid des Verwaltungsgerichts des Kantons Schwyz vom 22. Juni 2018 insoweit aufzuheben, als auf den Rückbau der südlichen Natursteinreihen verzichtet wurde. Im Übrigen ist die Beschwerde abzuweisen. Die Sache wird zur Anordnung der Details des Rückbaus der südlichen Natursteinreihen an das Amt für Raumentwicklung zurückgewiesen.
Bei diesem Ausgang des Verfahrens sind die Gerichtskosten den Parteien je zur Hälfte aufzuerlegen und die Parteikosten wettzuschlagen (Art. 66 und 68 BGG). Zur Neuregelung der Kosten und Entschädigungen des kantonalen Verfahrens wird die Angelegenheit an das Verwaltungsgericht zurückgewiesen.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen und der angefochtene Entscheid des Verwaltungsgerichts des Kantons Schwyz vom 22. Juni 2018 wird insoweit aufgehoben, als auf den Rückbau der südlichen Natursteinreihen verzichtet wurde. Im Übrigen wird die Beschwerde abgewiesen. Die Sache wird zur Anordnung der Details des Rückbaus der südlichen Natursteinreihen auf dem Grundstück KTN 1416 an das Amt für Raumentwicklung des Kantons Schwyz zurückgewiesen.
2.
Zur Neuverlegung der Kosten und Entschädigungsfolgen des kantonalen Verfahrens wird die Angelegenheit an das Verwaltungsgericht zurückgewiesen.
3.
Die Gerichtskosten von Fr. 2'000.-- werden zur Hälfte (ausmachend Fr. 1'000.--) den Beschwerdeführern und zur Hälfte den Beschwerdegegnern auferlegt.
4.
Es werden keine Parteientschädigungen gesprochen.
5.
Dieses Urteil wird den Parteien, dem Gemeinderat Wollerau, dem Amt für Raumentwicklung des Kantons Schwyz, dem Regierungsrat des Kantons Schwyz, dem Verwaltungsgericht des Kantons Schwyz, Kammer III, und dem Bundesamt für Raumentwicklung schriftlich mitgeteilt.
Lausanne, 3. Juli 2019
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Chaix
Die Gerichtsschreiberin: Sauthier