Sachverhalt:
A.
Der Gestaltungsplan Säumerhalde mit Sonderbauvorschriften (SBV) wurde vom Gemeinderat Wollerau am 25. Februar 1985 beschlossen und vom Regierungsrat des Kantons Schwyz am 20. März 1985 genehmigt. Gemäss diesem Plan wurden auf seinem 10'075 m2 umfassenden, gegen Nordosten in Richtung Zürichsee abfallenden Gebiet in der Wohnzone W2 ein freistehendes Einfamilienhaus und 15 Reiheneinfamilienhäuser in Gruppierungen von zwei bis vier Häusern errichtet. Eine dieser Gruppierungen umfasst das Haus Nr. 8 auf dem Grundstück KTN 1508, das im Eigentum von A.A._ und B.A._ steht. Die westliche Nachbarparzelle KTN 1507 mit dem Haus Nr. 9 steht im Eigentum vom B._ (nachstehend: Nachbar).
Eine erste Änderung des Gestaltungsplanes Säumerhalde sah bei einem Doppeleinfamilienhaus die Anhebung der Gebäude- bzw. Firsthöhe um 2 m vor. Diese Änderung wurde von der Gemeinde Wollerau am 8. Juli 1986 beschlossen und vom Regierungsrat am 19. August 1986 genehmigt. Am 19. August 1996 beschloss der Gemeinderat Wollerau, den Gestaltungsplan Säumerhalde dahingehend abzuändern, dass die dafür festgelegte Ausnützungsziffer von 0.35 auf 0.425 erhöht wird, um sie derjenigen des geltenden Baureglements in der Zone W2 anzupassen. Zudem wurden die Baubegrenzungslinien für gedeckte Sitzplätze und Vordächer aufgehoben und die Mantellinien (Baubegrenzungslinien) für die Reiheneinfamilienhäuser leicht verschoben. Der Regierungsrat genehmigte diese Planänderung mit Beschluss vom 24. September 1996, in dem er bestimmte, die Erhöhung der Ausnützungsziffer solle auf alle 15 Reiheneinfamilienhäuser gleichmässig (im Umfang von je 34,9 m2) verteilt und für Erweiterungsbauten wie Wintergärten, Balkonverglasungen und Zimmervergrösserungen verwendet werden. Mit einer vom Gemeinderat Wollerau am 5. August 2002 beschlossenen und vom Regierungsrat am 15. Oktober 2002 genehmigten Änderung des Gestaltungsplans Säumerhalde wurde beim Gebäude Nr. 13 auf der Parzelle KTN 1557 die Mantellinie über eine Länge von ca. 4,1 m nach Westen verschoben.
B.
Mit Eingabe vom 14. Januar 2019 ersuchten A.A._ und B.A._ den Gemeinderat Wollerau darum, den Gestaltungsplan Säumerhalde dahingehend abzuändern, dass im Bereich ihres Grundstücks KTN 1508 die rund 11 m lange, talseitige Mantellinie für Wohnbauten um rund 1,5 m in Richtung Nordwesten, auf die Flucht der ost- und westseitig angrenzenden Mantellinien verschoben wird.
Gegen dieses Abänderungsgesuch erhob der Nachbar Einsprache. Mit Beschluss Nr. 2019.334 vom 28. Oktober 2019 wies der Gemeinderat Wollerau diese Einsprache ab und erliess den nach den Begehren von A.A._ und B.A._ geänderten Gestaltungsplan Säumerhalde. Eine dagegen vom Nachbarn erhobene Beschwerde wies der Regierungsrat des Kantons Schwyz mit Beschluss Nr. 356/2020 vom 12. Mai 2020 ab, mit dem er die Änderung des Gestaltungsplans genehmigte. Diesen Regierungsratsbeschluss sowie den Beschluss des Gemeinderats Wollerau vom 28. Oktober 2019 hob das Verwaltungsgericht des Kantons Schwyz in Gutheissung einer Beschwerde des Nachbarn mit Entscheid vom 23. November 2020 auf.
C.
A.A._ und B.A._ erheben Beschwerde in öffentlich-rechtlichen Angelegenheiten mit den Anträgen, den Entscheid des Verwaltungsgerichts vom 23. November 2020 aufzuheben und den Beschluss des Regierungsrats vom 12. Mai 202 sowie den Beschluss des Gemeinderats Wollerau vom 28. Oktober 2019 zu bestätigen oder eventuell die Sache zur Neubeurteilung und zu neuem Entscheid an die Vorinstanz zurückzuweisen. Zudem beantragen die Beschwerdeführer dem Bundesgericht die Durchführung eines Augenscheins.
Das Sicherheitsdepartement des Kantons Schwyz und der Gemeinderat Wollerau verzichteten auf eine Vernehmlassung zur Beschwerde. Das Verwaltungsgericht schliesst auf ihre Abweisung. Der Nachbar (Beschwerdegegner) beantragt, die Beschwerde abzuweisen, soweit darauf einzutreten sei.
Die Beschwerdeführer halten in ihrer Replik an ihren Beschwerdeanträgen fest. In seiner Duplik bestätigt der Beschwerdegegner die in der Beschwerdeantwort gestellten Anträge. Die Beschwerdeführer erneuern in ihrer Triplik ihren Antrag auf Durchführung eines Augenscheins.

Erwägungen:
1.
1.1. Der angefochtene, kantonal letztinstanzliche Entscheid betrifft die Genehmigung eines kommunalen Sondernutzungsplans und damit eine öffentlich-rechtliche Angelegenheit. Dagegen steht grundsätzlich die Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht offen (Art. 82 ff. BGG). Die Beschwerdeführer sind beschwerdelegitimiert, da sie am vorinstanzlichen Verfahren teilnahmen und sie an der Aufhebung des angefochtenen Entscheids als Gesuchsteller der strittigen Planänderung ein schützenswertes Interesse an der Abänderung des angefochtenen Entscheids haben (Art. 89 Abs. 1 BGG). Da auch die übrigen Sachurteilsvoraussetzungen gegeben sind, ist auf die Beschwerde grundsätzlich einzutreten.
1.2. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann insbesondere die Verletzung von Bundes- und Völkerrecht gerügt werden (Art. 95 lit. a und b BGG). Die Verletzung von kantonalem (oder kommunalem) Recht ist dagegen ausser in den Fällen von Art. 95 lit. c-e BGG kein zulässiger Beschwerdegrund. Bei der Prüfung der zulässigen Rügen wendet das Bundesgericht das Recht grundsätzlich von Amtes wegen an (Art. 106 Abs. 1 BGG). Hinsichtlich der Verletzung von Grundrechten gilt jedoch eine qualifizierte Rügepflicht (Art. 106 Abs. 2 BGG). Das Bundesgericht prüft solche Rügen nur, wenn sie in der Beschwerde präzise vorgebracht und begründet worden sind. Auf ungenügend begründete Rügen und bloss allgemein gehaltene, appellatorische Kritik am angefochtenen Entscheid tritt es nicht ein (vgl. <ref-ruling> E. 1.3 mit Hinweisen).
1.3. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Die vorinstanzliche Sachverhaltsfeststellung kann nur gerügt werden, wenn sie offensichtlich unrichtig, d.h. willkürlich ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Eine entsprechende Sachverhaltsrüge ist substanziiert vorzubringen (<ref-ruling> E. 4.1; <ref-ruling> E. 1.2).
1.4. Neue Tatsachen und Beweismittel können vor Bundesgericht nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (Art. 99 Abs. 1 BGG). Tatsachen oder Beweismittel, die sich auf das vorinstanzliche Prozessthema beziehen, jedoch erst nach dem angefochtenen Entscheid eingetreten oder entstanden sind (sog. echte Noven), können nicht durch den vorinstanzlichen Entscheid veranlasst worden sein und sind somit im bundesgerichtlichen Verfahren unzulässig (<ref-ruling> E. 2.1; <ref-ruling> E. 3.1.2; vgl. auch <ref-ruling> E. 1.2 mit Hinweisen).
1.5. Da der rechtserhebliche Sachverhalt hinreichend aus den Akten hervorgeht und diese auch eine Beurteilung der von den Beschwerdeführern vorgebrachten Sachverhaltsrügen erlauben, kann im bundesgerichtlichen Verfahren auf einen Augenschein verzichtet werden (Urteil 1C_514/2020 vom 5. Mai 2021 E. 2.3).
2.
2.1. Die Vorinstanz führte sinngemäss aus, der Gestaltungsplan Säumerhalde sei ein freiwilliger Plan, der gemäss § 30 Abs. 1 des Planungs- und Baugesetzes des Kantons Schwyz vom 14. Mai 1987 (PBG; SRSZ 400.100) die Einwilligung sämtlicher Grundeigentümer vorausgesetzt habe. Fraglich sei, ob seine Änderung ebenfalls die Zustimmung sämtlicher Grundeigentümer erfordert. Dies sei zu verneinen, da Nutzungspläne, zu denen auch Gestaltungspläne gehörten, bei erheblich geänderten Verhältnissen gemäss Art. 21 Abs. 2 RPG überprüft und nötigenfalls abgeändert werden. Für die Beurteilung der Frage, ob aufgrund erheblich geänderter Verhältnisse ein öffentliches Interesse an der Änderung eines Zonenplans besteht, bedürfe es einer Interessenabwägung unter Berücksichtigung namentlich der Geltungsdauer des Plans, seines Inhalts, des Ausmasses der beabsichtigten Änderung und deren Begründung. Je neuer ein Zonenplan sei, umso mehr dürfe mit seiner Beständigkeit gerechnet werden, und je einschneidender sich die beabsichtigte Änderung auswirke, umso gewichtiger müssten die Gründe sein, die für die Planänderung sprechen. Nach Ablauf des Planungshorizonts, der für Bauzonen 15 Jahre betrage, seien Zonenpläne grundsätzlich einer Überprüfung zu unterziehen und nötigenfalls anzupassen. Die Anforderungen an die Änderung der Verhältnisse steigen, je detaillierter der Plan ausgestaltet sei. Quartiergestaltungspläne würden namentlich durch besondere Bau- und Gestaltungsvorschriften ergänzt, welche die zu realisierenden Bauvorhaben bereits in erheblichem Umfange umschreiben. Solche detaillierten Pläne kämen einer Baubewilligung nahe und hätten daher einen besseren Stand als allgemeinere Zonenpläne. Zum Schutz der Eigentümer, die gegen eine Änderungen des Quartiergestaltungsplans opponierten, sei eine Interessenabwägung vorzunehmen. Gründe, welche eine Planänderung rechtfertigen könnten, seien vor allem eine zweckmässigere Nutzung, eine bessere architektonische oder ortsbauliche Gestaltung oder ganz allgemein Massnahmen, welche den raumplanerischen Zielsetzungen deutlich besser entsprechen als die geltende Ordnung.
2.2. Gegen diese allgemeinen Erwägungen erheben die Beschwerdeführer keine Rügen.
3.
3.1. Im Erläuterungsbericht vom 18. Oktober 2018 wird zur Begründung der von den Beschwerdeführern beantragten Änderung des Gestaltungsplans Säumerhalde ausgeführt (Ziff. 2.4, S. 7) :
"Durch die geplante Erweiterung kann die noch zur Verfügung stehende Nutzungsreserve von ca. 35 m2 konsumiert werden (unter Hinweis auf Art. 12 Abs. 3 SBV). Der detaillierte Nachweis über die Einhaltung der zulässigen Nutzungsreserve erfolgt im Baubewilligungsverfahren.
Die Verschiebung der Mantellinie ist notwendig, da die Nutzungsreserve für die Verwirklichung von weiteren Zimmern im kleinen 4 1⁄2 Zimmer Einfamilienhaus auf einem Niveau im Untergeschoss konsumiert werden soll. Eine Konsumation der Nutzungsreserve innerhalb der rechtskräftigen Mantellinie wäre nur möglich, wenn dies über zwei Stockwerke erfolgen würde. Dies ist aufgrund der Hangsituation und der bestehenden Grundrissorganisation jedoch nicht zweckmässig."
3.2. Der Regierungsrat führte in seinem Beschluss vom 12. Mai 2020 aus, die Verschiebung der Mantellinie ermögliche den Beschwerdeführern, die ihnen noch zustehende Bruttogeschossfläche von 34,5 m2 zu nutzen, bzw. im Untergeschoss ein zusätzliches (Kinder-) Zimmer zu erstellen. Es sei nachvollziehbar, dass für sie eine Erweiterung des Wohnraums über zwei Stockwerke innerhalb der bestehenden Mantellinie weniger sinnvoll wäre. Insbesondere hätten sie bei dieser Variante kaum die Möglichkeit, ein weiteres Zimmer zu realisieren. Unter diesen Umständen hätten die Beschwerdeführer ein erhebliches privates Interesse an der Gestaltungsplanänderung (E. 2.2 S. 5).
3.3. Die Vorinstanz erwog zusammengefasst, zwar hätten die Beschwerdeführer ein privates Interesse an der Vergrösserung ihres Wohnraums und der Ausschöpfung der noch vorhandenen Nutzungsreserve. Indessen erlaube die 1996 vorgenommene Gestaltungsplanänderung die gewährte Nutzungsreserve innerhalb der damals angepassten Mantellinie zu konsumieren, wenn eine Erweiterung und bauliche Massnahmen über zwei Stockwerke vorgenommen und nicht auf das Untergeschoss beschränkt würden, wie es die Beschwerdeführer vorsehen. Zudem sei das betroffene Haus gegen Westen und Osten mit den Nachbarhäusern zusammengebaut, weshalb es nur an der Süd- und der Nordfassade möglich sei, eine natürliche Besonnung durch Fenster zu schaffen. Daher können im Geschoss, in dem die Erweiterung vorgesehen sei, mit der beantragten Gestaltungsplanänderung entgegen den Ausführungen im Erläuterungsbericht vom 18. Oktober 2018 keine zusätzlichen Zimmer mit hinreichender natürlicher Belichtung geschaffen werden. Insofern sei das private Interesse an der Schaffung von neuen Wohnräumen zu relativieren und auch das Kriterium einer zweckmässigeren Nutzung nicht bzw. nur in beschränktem Mass erfüllt. Auch könne nicht gesagt werden, die vorgesehene Änderung der Mantellinie entspreche den raumplanerischen Zielsetzungen einer sinnvollen Verdichtung innerhalb des Baugebiets deutlich besser als die geltende Ordnung, da die Ausschöpfung der bestehenden Nutzungsreserve zwecks Realisierung von Erweiterungsbauten wie Balkonverglasungen, Wintergärten und Zimmervergrösserungen auch ohne Verlegung der Mantellinie realisierbar wäre.
3.4. Die Beschwerdeführer bringen vor, seit der letzten Änderung des Gestaltungsplans Säumerhalde im Jahr 2002 seien mehr als 18 Jahre vergangen. Die Sonderbauvorschriften seien sogar mehr als 24 Jahre alt, weshalb der Gestaltungsplan nach Art. 21 Abs. 2 RPG zu überprüfen und an erheblich geänderte Umstände anzupassen sei. Die Umstände hätten sich insoweit verändert, als mit der am 1. März 2014 in Kraft getretenen RPG-Revision die Ziele, die Siedlungsentwicklung unter Berücksichtigung einer angemessenen Wohnqualität nach innen zu lenken und kompakte Siedlungen zu schaffen, ausdrücklich im RPG verankert worden seien. Entsprechend diesen Zielen wollten die Beschwerdeführer die Nachverdichtung vornehmen, die mit der Änderung des Gestaltungsplans im Jahr 1996 zugelassen wurde. Dies setze aber eine Verschiebung der Mantellinie innerhalb des Gestaltungsplangebiets voraus, damit eine Fläche von rund 32 m2 zur Schaffung von (Kinder-) Zimmern verwendet werden könne. Die vorinstanzlichen Ausführungen, wonach mit der verlangten Verlegung der Mantellinie keine zusätzlichen, natürlich belichteten Zimmer geschaffen werden könnten, seien unbehelflich, da gar nicht unbedingt neue Zimmer geschaffen werden müssten, um den Platzbedarf einer Familie zu decken. So sollen (gemäss dem Richtprojekt) die bestehenden Zimmer im Untergeschoss nach Nordwesten vergrössert werden, wo bereits heute grosse Fenster vorhanden seien. Zudem könnten gemäss einem geänderten Richtprojekt (2021) im Untergeschoss drei gut belichtete Zimmer und damit günstiger Wohnraum geschaffen werden, was als Vorteil eines Gestaltungsplans gelte. Demnach bestehe an der beantragten Änderung des Gestaltungsplans aufgrund veränderter Verhältnisse ein gewichtiges öffentliches und auch ein privates Interesse der Beschwerdeführer.
3.5. Mit diesen Ausführungen bestätigen die Beschwerdeführer die vorinstanzlichen Feststellungen, dass durch die Verschiebung der Mantellinie zwischen zwei Reihenhäusern keine Verbesserung der natürlichen Belichtung von Räumen erreicht werden kann und das Richtprojekt im Untergeschoss, das bereits zwei gegen Norden gerichtete Zimmer aufweist, keine zusätzlichen Zimmer mit für Wohnzwecke hinreichender natürlicher Belichtung vorsieht. Soweit die Beschwerdeführer erstmals vor Bundesgericht geltend machen, ein nach Erlass des angefochtenen Entscheids abgeändertes Richtprojekt weise im Untergeschoss gegen Norden drei natürlich belichtete Zimmer auf, bringen sie zum einen eine unzulässige neue Tatsachenbehauptung vor (vgl. E. 1.4 hievor). Zudem ist das zwischen zwei Zimmern eingezeichnete zusätzliche Zimmer wesentlich kleiner und daher auch nach den Angaben im Richtplan nur zum Schlafen oder Spielen geeignet. Dass es über eine Nettowohnfläche von 10 m2 verfügt und damit gemäss Art. 2 Abs. 1 der Verordnung über Nettowohnflächen und Raumprogramm sowie über Ausstattung von Küche und Hygienebereich vom 12. Mai 1989 (SR 843.142.3) als Individualraum für eine Person geeignet ist, machen die Beschwerdeführer nicht geltend. Unabhängig davon zeigen die Beschwerdeführer nicht auf, weshalb eine Erweiterung des Wohnraums im Erdgeschoss bis zur geltenden Mantellinie aufgrund der Hangsituation und der bestehenden Grundrissorganisation nicht zweckmässig sein soll. Dies ist auch nicht ersichtlich, da das Erdgeschoss gegen Norden über eine gute natürliche Belichtung verfügt und im grossen zusammenhängenden Bereich "Stube und Wohnraum" der Wohnraum bis zur bestehenden Mantellinie erweitert und dort auch ein zusätzliches Zimmer geschaffen werden kann. Unter diesen Umständen verfiel die Vorinstanz nicht in Willkür, wenn sie annahm, die strittige Verschiebung der Mantellinie sei zur zweckmässigen Ausschöpfung der zugelassenen Bruttogeschossfläche nicht erforderlich und diene daher nicht der raumplanerischen Zielsetzung der inneren Verdichtung oder gewichtigen privaten Interessen. Daran vermag nichts zu ändern, dass die auf das Untergeschoss beschränkte Wohnraumerweiterung für die Beschwerdeführer den Vorteil hätte, dass sie den darüber liegenden Bereich als vergrösserten Balkon nützen könnten, zumal ihr Haus gemäss den bei den Akten befindlichen Fotografien über einen Garten mit Rasenfläche verfügt, der den Aufenthalt im Freien erlaubt.
4.
4.1. Weiter führte die Vorinstanz aus, mit der vorgesehenen Verlegung der Mantellinie werde keine bessere architektonische Wirkung und keine bessere Eingliederung erzielt. Vielmehr stellte sich die Frage, ob die über die bestehende Dachtraufe hinausgehende Verlegung der Mantellinie nicht die Symmetrie der Reihenhäuser verletze, zumal gemäss Art. 6 Abs. 1 SBV die Fassaden- und Dachgestaltung nach einheitlichen Gestaltungsgrundsätzen zu erfolgen habe. Zudem werde für die Bewilligung des Gestaltungsplanes eine gute architektonische Gestaltung vorausgesetzt. Es sei nicht erkennbar, dass die beantragte Verlegung der Mantellinie diesen Grundsätzen entspreche und es sei erst recht nicht erkennbar, dass die Situation durch die Verlegung der Mantellinie raumplanerisch oder architektonisch verbessert würde.
4.2. Bezüglich der Interessenabwägung der Vorinstanz kommen ihre Ausführungen zur Frage, ob die Verlegung der Mantellinie die architektonische Situation bzw. die Symmetrie der Reihenhäuser sogar verschlechtern könne, keine entscheidende Bedeutung zu, zumal sie lediglich die fehlende architektonische Verbesserung bestätigen sollen. Auf die gegen diese Ausführungen gerichtete Kritik der Beschwerdeführer und ihre erstmals vor Bundesgericht eingereichten Fotografien zur Symmetrie der Reiheneinfamilienhäuser braucht daher nicht eingegangen zu werden. Da die Vorinstanz die von ihr aufgeworfene Frage der möglichen Beeinträchtigung einer einheitlichen Fassaden- und Dachgestaltung nicht abschliessend beurteilte, griff sie nicht in den von der Gemeindeautonomie geschützten Ermessensspielraum der Gemeinde Wollerau bei der Beurteilung von Eingliederungsfragen ein. Demnach ist insoweit eine Verletzung der verfassungsmässig geschützten Gemeindeautonomie entgegen der Meinung der Beschwerdeführer zu verneinen.
5.
5.1. Sodann ging die Vorinstanz davon aus, die von den Beschwerdeführern beantragte Verschiebung der Mantellinie um 1,5 m über eine Länge von ca. 10 m beeinträchtige schützenswerte Interessen des Beschwerdegegners. Zwar seien die Auswirkungen auf sein Grundstück insoweit beschränkt, als der vorgesehene Ausbau im Bereich des Erdgeschosses aufgrund des Gefälles bzw. der Situierung der Reiheneinfamilienhäuser an das Untergeschoss seines Hauses grenze. Jedoch ermögliche die Verlegung der Mantellinie auch eine Vergrösserung des Balkons bis zum Ende der Abgrenzungsmauer zwischen den beiden zusammengebauten Einfamilienhäusern, was durchaus Auswirkungen auf die nachbarliche Privatsphäre habe. Die Reiheneinfamilienhäuser seien im Gestaltungsplangebiet so gegliedert und situiert, dass die Einsehbarkeit von einem Haus zum anderen trotz fehlenden Abstands verhindert bzw. zumindest stark eingeschränkt werde, was auch einen gewissen Schutz vor Immissionen schaffe. Diese Ordnung werde durch die geplante Verlegung der Mantellinie im Grenzbereich zum Grundstück des Beschwerdegegners durchbrochen. Für diesen bestünden zudem kaum Möglichkeiten, bei seinem Sitzplatz auf der Ebene des Erdgeschosses gegenüber dem Grundstück der Beschwerdeführer mit zusätzlichen Massnahmen für Abgrenzungen zu sorgen. Die von der Gemeinde im vorinstanzlichen Verfahren eingereichten photographischen Visualisierungen liessen erkennen, dass die vorgesehene Verlegung der Mantellinie auf die Aussicht vom Grundstück des Beschwerdegegners gewisse, wenn auch eher beschränkte Auswirkungen habe.
5.2. Die Beschwerdeführer machen geltend, der Beschwerdegegner werde durch die strittige Verlegung der Mantellinie in seiner Wohnqualität nicht beeinträchtigt, da die Zimmervergrösserung entgegen der vorinstanzlichen Feststellung nicht im Erd-, sondern im bewohnten Untergeschoss geplant sei, das sich auf der Höhe des nachbarlichen Kellergeschosses befinde. Zudem ergebe sich aus den bei den Akten befindlichen Fotos und Plänen, dass der Balkon des Beschwerdegegners ein Stockwerk höher liege als der Sitzplatz der Beschwerdeführer. Die vorinstanzliche Feststellung, eine Vergrösserung des Balkons habe Auswirkungen auf die nachbarliche Privatsphäre, sei falsch. Da der Balkon nur bis zur Abgrenzungsmauer zwischen den beiden Grundstücken reichen könne, würde seine Erweiterung im Verhältnis zur heutigen Situation keine wesentlich andere Sicht auf die Liegenschaft des Beschwerdeführers erlauben. Zudem bestehe bereits heute ein Sichtschutz durch Büsche. Bei richtig festgestelltem Sachverhalt seien keine entgegenstehenden privaten Interessen des Beschwerdegegners nachgewiesen.
5.3. Zwar trifft zu, dass die Vorinstanz an einer Stelle in Abweichung von den Angaben auf dem Richtprojekt von einem Ausbau im Bereich "Erdgeschoss" sprach. Sie führte jedoch aus, aufgrund des Gefälles bzw. der Situierung der Reiheneinfamilienhäuser grenze dieses Geschoss an das Untergeschoss des Hauses des Beschwerdegegners, weshalb insoweit die Auswirkungen beschränkt seien. Demnach hat die Vorinstanz den Sachverhalt in Bezug auf die Höhen der verschiedenen Geschosse zutreffend erfasst. Zudem lassen die von ihr angerufenen fotografischen Visualisierungen der Gemeinde erkennen, dass vom gemäss dem Richtprojekt erweiterten Balkon im Erdgeschoss des Hauses der Beschwerdeführer aus, sowohl der höher gelegene Balkon im Bereich des Obergeschosses des Hauses des Nachbarn als auch dessen tiefer gelegener Sitzplatz im Erdgeschoss teilweise eingesehen werden könnten, da die nördlichen Fassaden der beiden Häuser gegeneinander angewinkelt sind. Diese zueinander gerichtete Stellung von zwei Reihenhäusern ist im Gebiet des Gestaltungsplans Säumerhalde einmalig und kann die Rückversetzung des Hauses der Beschwerdeführer zur Wahrung der Privatsphäre und des Immissionsschutzes begründen. Demnach durfte die Vorinstanz willkürfrei davon ausgehen, die gemäss dem Richtprojekt vorgesehene Erweiterung des Balkons auf dem Grundstück der Beschwerdeführer bis zum Ende der Abgrenzungsmauer habe Auswirkungen auf die Privatsphäre im Bereich des Nachbargrundstücks. Daran vermag nichts zu ändern, dass auf den vorgenannten Fotos dort Büsche erkennbar sind, weil sie keinen genügenden Sichtschutz bieten und zusätzliche Bepflanzungen die Aus- bzw. Seesicht beeinträchtigen würden. Zudem kann nach allgemeiner Lebenserfahrung die vorgesehene Erweiterung des Balkons bis zur Zwischenmauer auf dem Nachbargrundstück zu einer Erhöhung der Lärm- und Geruchsimmissionen führen. Unter Berücksichtigung der genannten Umstände durfte die Vorinstanz willkürfrei davon ausgehen, die strittige Verschiebung der Mantellinie um 1,5 m beeinträchtige schützenswerte Interessen des Beschwerdegegners, auch wenn seine Aussicht nicht erheblich betroffen wird.
6.
6.1. Gestützt auf die vorgenannten Erwägungen kam die Vorinstanz zum Ergebnis, insgesamt fehlten überwiegende private oder öffentliche Interessen an der strittigen Verschiebung der Mantellinie, die das entgegenstehende private Interesse des Beschwerdegegners sowie den grundsätzlichen Vorrang der Planbeständigkeit aufwiegen könnten.
6.2. Die Beschwerdeführer rügen sinngemäss, die Vorinstanz sei bei der Interessenabwägung in Willkür verfallen, weil sie aufgrund der gerügten offensichtlich unzutreffenden Sachverhaltsfeststellungen verkannt habe, dass die privaten Interessen der Beschwerdeführer sich mit den öffentlichen Interessen der Raumplanung an der inneren Verdichtung deckten und diesen keine gegenläufigen öffentlichen oder privaten Interessen entgegenstünden.
6.3. Diese Willkürrüge ist unbegründet, da die Vorinstanz gemäss den vorstehenden Erwägungen willkürfrei und bundesrechtskonform erhebliche nachbarliche Interessen an der Verhinderung der beantragten Planänderung bejahen und gewichtige private oder öffentliche entgegenstehende Interessen an der Verdichtung des Baugebiets oder einer besseren Eingliederung verneinen durfte. Demnach erweist sich auch die von den Beschwerdeführern aus ihren Sachverhaltsrügen abgeleitete Rüge der rechtsfehlerhaften bzw. willkürlichen Anwendung von Art. 21 Abs. 2 RPG und Art. 84 Abs. 1 des BauR als unbegründet. Zudem ist entgegen der Meinung der Beschwerdeführer eine unverhältnismässige Beschränkung der aus der Eigentumsgarantie abgeleiteten Baufreiheit zu verneinen.
7.
7.1. Schliesslich rügen die Beschwerdeführer eine Verletzung des Gebots der Gleichbehandlung gemäss Art. 8 BV. Zur Begründung bringen sie vor, in Ergänzung des vorinstanzlichen Sachverhalts sei festzustellen, dass bei der vom Regierungsrat am 15. Oktober 2002 genehmigten Änderung des Gestaltungsplans Säumerhalde die Mantellinie beim Gebäude Nr. 13 nicht nur 4 m nach Westen, sondern auch um 2,18 m nach Norden verschoben worden sei. Dies zeige, dass die vorliegend verlangte Verschiebung der Mantellinie nach Nordwesten kein Novum darstelle.
7.2. Aus den Akten ergibt sich, dass gemäss dem vom Regierungsrat am 15. Oktober 2002 genehmigten Plan beim Gebäude Nr. 13 die Mantellinie nicht um 2,18 m nach Norden verschoben wurde, sondern die Distanz zwischen dem bestehenden Gebäude und der neuen Mantellinie 2,18 m beträgt. Diese Linie wurde im Vergleich zur bisherigen Mantellinie gemäss dem vom Regierungsrat am 24. September 1996 bewilligten Plan nur um etwa 25 cm nach Norden verschoben, was gegenüber der nördlichen Mantellinie beim östlich angebauten Gebäude Nr. 12 eine verbleibende Rückversetzung um ca. 1 m beliess. Damit besteht insoweit ein wesentlicher Unterschied zur vorliegend strittigen Verschiebung der Mantellinie um 1,5 m bis zur Mantellinie bei den Nachbargebäuden. Zudem erhoben gegenüber der am 15. Oktober 2002 regierungsrätlich bewilligten Planänderung keine Eigentümer von Grundstücken im Gebiet des Gestaltungsplans Einsprache, weshalb auch insoweit zum vorliegenden Planänderungsgesuch ein erheblicher Unterschied besteht. Demnach können die Beschwerdeführer aus der am 15. Oktober 2002 vom Regierungsrat genehmigten Planänderung keinen Anspruch auf Gleichbehandlung ableiten.
8.
Nach dem Gesagten ist die Beschwerde abzuweisen, soweit darauf einzutreten ist. Bei diesem Ausgang des Verfahrens sind die Gerichtskosten den unterliegenden Beschwerdeführern aufzuerlegen. Diese haben dem anwaltlich vertretenen Beschwerdegegner für das bundesgerichtliche Verfahren eine Parteientschädigung zu bezahlen (Art. 68 Abs. 1, 2 und 4 i.V.m. Art. 66 Abs. 5 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 4'000.-- werden den Beschwerdeführern auferlegt.
3.
Die Beschwerdeführer haben den Beschwerdegegner für das bundesgerichtliche Verfahren unter solidarischer Haftbarkeit mit Fr. 3'000.-- zu entschädigen.
4.
Dieses Urteil wird den Parteien, dem Gemeinderat Wollerau, dem Regierungsrat des Kantons Schwyz und dem Verwaltungsgericht des Kantons Schwyz, Kammer III, schriftlich mitgeteilt.
Lausanne, 25. November 2021
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kneubühler
Der Gerichtsschreiber: Gelzer