Sachverhalt:
A. A.F._ und B.F._ sind Eigentümer der sich in den Wohnzonen W2 und W3 der Gemeinde Wollerau befindlichen Liegenschaft KTN 2035. Der Gemeinderat Wollerau erliess für dieses eine Fläche von 7'580 m2 umfassende Grundstück auf Gesuch der Grundeigentümer am 20. November 2006 den Gestaltungsplan "Hergisroos-Dörfli". Der Regierungsrat des Kantons Schwyz hob auf Beschwerde hin den gemeinderätlichen Erlass mit Beschluss vom 18. September 2007 auf.
Am 8. Juni 2010 reichten A.F._ und B.F._ dem Gemeinderat Wollerau den Gestaltungsplan "Wohnpark Hergisroos" mit dem Plandatum 1. Juni 2010 ein und ersuchten um dessen Erlass. Gegen das im Amtsblatt vom 18. Juni 2010 publizierte Gesuch erhoben unter anderem A._ und B._, C._, D._ sowie A.E._ und B.E._ Einsprache. Mit Beschluss vom 13. September 2010 wies der Gemeinderat die Einsprachen ab, erliess den Gestaltungsplan "Wohnpark Hergisroos" und ersuchte den Regierungsrat um Plangenehmigung.
Gegen diesen gemeinderätlichen Beschluss erhoben A._ und B._, C._, D._ sowie A.E._ und B.E._ am 11. Oktober 2010 Verwaltungsbeschwerde beim Regierungsrat. Mit Beschluss vom 5. Juli 2011 wies dieser die Beschwerde ab und genehmigte den Gestaltungsplan unter dem Vorbehalt einzelner Anpassungen (Anpassung des Gestaltungsplanperimeters im Bereich des Waldareals und Abtausch des Sammelplatzes mit einer Freifläche ausserhalb des Waldabstands).
Diesen Beschwerdeentscheid fochten A._ und B._, C._, D._ sowie A.E._ und B.E._ beim Verwaltungsgericht des Kantons Schwyz an. Mit Entscheid vom 30. November 2011 wies dieses die Beschwerde ab.
B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht vom 2. Februar 2012 beantragen A._ und B._, C._, D._ sowie A.E._ und B.E._, der Entscheid des Verwaltungsgerichts vom 30. November 2011 sei aufzuheben, und die Sache sei zur Ergänzung und Neuentscheidung an die Vorinstanz oder direkt an den Regierungsrat zurückzuweisen. Eventuell sei der angefochtene Entscheid - nach vorgängiger Durchführung eines Augenscheins - aufzuheben, und es seien demgemäss auch der Entscheid des Regierungsrats des Kantons Schwyz vom 5. Juli 2011 und der Beschluss des Gemeinderats Wollerau vom 13. September 2010 ersatzlos aufzuheben.
Die Beschwerdegegner, der Gemeinderat Wollerau, der Regierungsrat des Kantons Schwyz und die Vorinstanz beantragen in ihren Vernehmlassungen die Abweisung der Beschwerde. In ihrer Stellungnahme zu diesen Eingaben halten die Beschwerdeführenden an ihren Anträgen fest.
Erwägungen:
1. Angefochten ist ein kantonal letztinstanzlicher Entscheid, mit dem eine Beschwerde gegen einen Gestaltungsplan im Sinne von § 24 des Planungs- und Baugesetzes des Kantons Schwyz vom 14. Mai 1987 (PBG/SZ; SRSZ 400.100) und damit gegen einen (Sonder-) Nutzungsplan im Sinne von Art. 14 ff. RPG (SR 700) abgewiesen wurde. Dagegen steht grundsätzlich die Beschwerde in öffentlich-rechtlichen Angelegenheiten offen (Art. 34 Abs. 1 RPG i.V.m. Art. 82 ff. BGG).
Die Beschwerdeführenden sind als Nachbarn des umstrittenen Gestaltungsplangebiets ohne Weiteres zur Beschwerde legitimiert (zur Legitimation gemäss Art. 89 Abs. 1 BGG siehe BGE 133 II 249 E. 1.3.3 S. 253 f.; Urteil des Bundesgerichts 1C_500/2009 vom 1. Februar 2010 E. 2.2 - 2.6). Die übrigen Sachurteilsvoraussetzungen geben zu keinen Bemerkungen Anlass. Auf die Beschwerden ist unter Vorbehalt der nachfolgenden Erwägungen einzutreten.
Nicht einzutreten ist jedoch auf die Eventualanträge der Beschwerdeführenden, auch die Entscheide des Regierungsrats und des Gemeinderats aufzuheben. Unterinstanzliche Entscheide sind mit Beschwerde in öffentlich-rechtlichen Angelegenheiten nicht selbstständig anfechtbar. Sie werden mit Blick auf den Devolutiveffekt durch den Entscheid der letzten kantonalen Instanz ersetzt und gelten mit der dagegen gerichteten Beschwerde als mitangefochten (vgl. BGE 134 II 142 E. 1.4 S. 144).
2. 2.1 Die Beschwerdeführenden rügen eine Verletzung ihres Anspruchs auf rechtliches Gehör gemäss Art. 29 Abs. 2 BV, da die Vorinstanz ihren Beweisantrag auf Durchführung eines Augenscheins abgewiesen habe. Um beurteilen zu können, ob die mit dem Gestaltungsplan angestrebten Ausnahmen von der Regelbauweise mit Blick auf die konkreten örtlichen Verhältnisse recht- und zweckmässig seien, wäre die Vornahme eines Augenscheins unerlässlich gewesen. Die von der Vorinstanz getroffene Feststellung, wonach mit dem Gestaltungsplan eine dem Einordnungsgebot entsprechende Überbauung möglich sei, setze eine eingehende Würdigung der örtlichen Situation und des baulichen Umfelds voraus, welche hier gerade unterblieben sei. Es gehe nicht an, einen Gestaltungsplan zu schützen, der erhebliche Auswirkungen auf Raum und Umwelt habe, ohne vorgängig die örtlichen Verhältnisse in Augenschein zu nehmen (Beschwerde S. 6 - 10).
2.2 Die Vorinstanz erwägt, es seien vornehmlich Rechtsfragen zu beurteilen und die massgebenden Fakten würden sich in rechtsgenüglicher Weise aus den Gestaltungsplanunterlagen (Gestaltungsplan und Sonderbauvorschriften) und den Eingaben der Parteien ergeben. Auf die Durchführung eines Augenscheins könne deshalb verzichtet werden.
2.3 Aus Art. 29 Abs. 2 BV ergibt sich für die Parteien das Recht, Beweisanträge zu stellen, und für die Behörden die Pflicht, rechtzeitig und formgültig angebotene Beweisbegehren entgegenzunehmen und zu berücksichtigen. Keine Verletzung des rechtlichen Gehörs liegt indes vor, wenn ein Gericht auf die Abnahme beantragter Beweismittel verzichtet, weil es aufgrund der bereits abgenommenen Beweise seine Überzeugung gebildet hat und ohne Willkür in vorweggenommener Beweiswürdigung annehmen kann, dass seine Überzeugung durch weitere Beweiserhebungen nicht geändert würde (BGE 136 I 229 E. 5.3 S. 236 f.). Der Entscheid darüber, ob ein Augenschein angeordnet wird, steht im pflichtgemässen Ermessen der anordnenden Behörde. Eine dahin gehende Pflicht besteht nur, wenn die tatsächlichen Verhältnisse auf andere Weise überhaupt nicht abgeklärt werden können (vgl. Urteil 1C_512/2009 vom 10. August 2010 E. 2.3 mit Hinweisen).
2.4 Streitgegenstand bilden die Fragen, ob der umstrittene Gestaltungsplan "Wohnpark Hergisroos" wesentliche Vorteile gegenüber der Normalbauweise beinhaltet und - falls ja - ob diese Vorteile in einem ausgewogenen Verhältnis zu den gegenüber der Grundordnung gestaltungsplanerisch beanspruchten Ausnahmen stehen. Hierbei handelt es sich im Wesentlichen um Rechtsfragen, zu deren Beantwortung ein Augenschein keine unabdingbare Voraussetzung bildet. Die Einschätzung der Vorinstanz, die Gestaltungsplanunterlagen und die Eingaben der Parteien stellten eine hinreichende Entscheidgrundlage dar, ist nicht willkürlich. Der Verzicht der Vorinstanz auf einen Augenschein verletzt daher kein Bundesrecht. Abzuweisen ist auch der Antrag auf Durchführung eines Augenscheins im bundesgerichtlichen Verfahren.
3. 3.1 Die Beschwerdeführenden rügen eine willkürliche Handhabung der Regeln über die intertemporalrechtliche Anwendbarkeit neuen Rechts. Sie führen aus, in Fällen, in denen eine Rechtsänderung - wie hier - erst während des Rechtsmittelverfahrens formell in Kraft trete, finde bei Fehlen einer ausdrücklichen übergangsrechtlichen Regelung grundsätzlich das bisherige Recht Anwendung. Nach der Praxis des Bundesgerichts sei allerdings dann eine Ausnahme zu machen, wenn zwingende Gründe für eine sofortige Anwendbarkeit des neuen Rechts sprechen würden (BGE 125 II 591). Solche zwingenden Gründe seien im zu beurteilenden Fall gegeben. Bei einer Weitergeltung des bisherigen kommunalen Baureglements (aBauR/Wollerau) könne im Baubereich C ein Terrassenhaus mit einer Gebäudelänge von 31 m realisiert werden, wohingegen das neue kommunale Baureglement (BauR/Wollerau) für solche Gebäudetypen eine maximale Gebäudelänge von 25 m vorsehe. Zudem erlaube das bisherige Recht über dem gewachsenen Terrain drei übereinander liegende Stufen (Geschosse), während nach neuem Recht nur zwei sichtbare Geschosse zulässig seien. Diese Regelungen hätten erhebliche Auswirkungen auf die Gestaltung und Einordnung des Terrassenhauses, weshalb es geboten sei, den Gestaltungsplan insoweit dem neuen Recht zu unterstellen.
Ferner machen die Beschwerdeführenden in diesem Zusammenhang geltend, dass die Gemeinde nach Annahme des neuen Baureglements an der Urne am 7. März 2010 verpflichtet gewesen wäre, für das hier umstrittene Gebiet eine Planungszone zu erlassen (vgl. zum Ganzen Beschwerde S. 12 - 16).
3.2 Die Vorinstanz führt zusammenfassend aus, mangels expliziter Regelung in den Übergangsbestimmungen finde bisheriges Recht Anwendung. Die im neuen, per 18. Februar 2011 in Kraft getretenen Baureglement der Gemeinde Wollerau normierten Verschärfungen (insb. bzgl. Gesamtlänge und Anzahl Stufen) seien mithin nicht zu berücksichtigen. Der Gemeinderat habe zudem kein Recht verletzt, indem er keine Planungszone im Sinne von § 14 PBG/SZ erlassen habe, handle es sich hierbei doch um eine Kann-Bestimmung. Eine Verletzung des pflichtgemässen kommunalen Ermessens sei insoweit nicht auszumachen.
3.3 Die Vorinstanz hat begründet, weshalb sie vorliegend das bisherige Recht als anwendbar erachtet. Dabei hat sie ausdrücklich auf die gegenteilige Argumentation der Beschwerdeführenden, wonach zwingende Gründe die Anwendung des neuen Rechts gebieten würden, Bezug genommen (angefochtenes Urteil S. 10), diese aber im Ergebnis verworfen. Eine Verletzung der Begründungspflicht als Ausfluss des Anspruchs auf rechtliches Gehör liegt entgegen der Behauptung der Beschwerdeführenden (Beschwerde S. 10 - 12) nicht vor. Der in Art. 29 Abs. 2 BV gewährleistete Anspruch auf rechtliches Gehör verlangt zwar, dass die Behörde die Vorbringen der vom Entscheid in ihrer Rechtsstellung Betroffenen auch tatsächlich hört, prüft und in der Entscheidfindung berücksichtigt. Die Begründungspflicht und der Anspruch auf Begründung sind jedoch nicht bereits dadurch verletzt, dass sich die urteilende Behörde nicht mit allen Parteistandpunkten einlässlich auseinandersetzt und jedes einzelne Vorbringen ausdrücklich widerlegt. Vielmehr kann sie sich auf die für den Entscheid wesentlichen Punkte beschränken. Die Begründung muss so abgefasst sein, dass sich die Betroffenen über die Tragweite des Entscheids Rechenschaft geben und ihn in voller Kenntnis der Sache an die höhere Instanz weiterziehen können. In diesem Sinne müssen wenigstens kurz die Überlegungen genannt werden, von denen sich die Behörde hat leiten lassen und auf die sich ihr Entscheid stützt (BGE 136 I 229 E. 5.2 S. 236). Diese Voraussetzungen sind hier erfüllt. Insbesondere war es den Beschwerdeführenden ohne Weiteres möglich, den Entscheid sachgerecht anfechten zu können.
3.4 Zu prüfen bleibt jedoch, ob der Schluss der Vorinstanz, bisheriges Recht bleibe anwendbar, Bundesrecht verletzt, weil er auf einer willkürlichen Handhabung der intertemporalrechtlichen Regeln gründet.
Nach der ständigen Praxis des Bundesgerichts liegt Willkür in der Rechtsanwendung dann vor, wenn der angefochtene Entscheid offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft. Das Bundesgericht hebt einen Entscheid jedoch nur auf, wenn nicht bloss die Begründung, sondern auch das Ergebnis unhaltbar ist. Dass eine andere Lösung ebenfalls als vertretbar oder gar zutreffender erscheint, genügt nicht (BGE 137 I 1 E. 2.4 S. 5 mit Hinweisen).
3.5 Der Gemeinderat von Wollerau wies mit Beschluss vom 13. September 2010 die Einsprachen der Beschwerdeführenden ab und erliess den vorliegend umstrittenen Gestaltungsplan. Diesen Beschluss fochten die Beschwerdeführenden mit Verwaltungsbeschwerde vom 11. Oktober 2010 beim Regierungsrat an (vgl. Sachverhalt lit. A). Das neue Baureglement der Gemeinde Wollerau trat am 18. Februar 2011 und damit während des laufenden Rechtsmittelverfahrens in Kraft. Bezogen auf den Erlass von Gestaltungsplänen enthält das neue Baureglement keine Übergangsbestimmungen; statuiert wird einzig, dass die im Zeitpunkt des Inkrafttretens des Reglements hängigen Baugesuche nach den Vorschriften dieses Reglements zu beurteilen sind (Art. 94 Abs. 2 BauR/Wollerau).
Die Beschwerdeführenden geben die bundesgerichtliche Praxis zur zeitlichen Geltung von Rechtserlassen korrekt wieder (vgl. E. 3.1 hiervor). Tritt eine Rechtsänderung wie im zu beurteilenden Fall erst während des laufenden Rechtsmittelverfahrens in Kraft, so findet bei fehlender Übergangsregelung bisheriges Recht Anwendung, ausser zwingende Gründe würden die sofortige Anwendung des neuen Rechts gebieten, was etwa bei einer Verschärfung der Gewässerschutzvorschriften der Fall sein kann (vgl. BGE 125 II 591 E. 5e/aa S. 598 mit Verweis auf BGE 112 Ib 39 E. 1c S. 43 und BGE 106 Ib 325 E. 2 S. 326). In Bestätigung und Weiterführung dieser Rechtsprechung hat das Bundesgericht in neueren Entscheiden zwingende Gründe für eine sofortige Anwendung des neuen Rechts insbesondere im Bereich des Gewässer-, Natur-, Heimat- und Umweltschutzrechts als gegeben erachtet (vgl. BGE 135 II 384 E. 2.3 S. 390 mit Hinweisen; 133 II 181 E. 11.2.2 S. 206).
Die Beschwerdeführenden ziehen aus der von ihnen zitierten Rechtsprechung jedoch die falschen Schlüsse, wenn sie vorbringen, die Bestimmungen im neuen Baureglement, welche verglichen mit dem bisherigen Recht zu einer Reduktion der zulässigen Gebäudelänge (von 31 m auf 25 m) und Geschosszahl (von drei auf zwei) bei Terrassenhäusern führten, müssten zwingend sofort angewendet werden. Entgegen der Auffassung der Beschwerdeführenden kann nicht gesagt werden, die von ihnen angeführten Regelungen seien von solch zentraler Bedeutung oder hätten derart weitreichende Auswirkungen wie bestimmte umweltschutzrechtlich motivierte Rechtsänderungen, dass es sich um der öffentlichen Ordnung willen aufdrängen würde, das neue Recht auf alle noch nicht abgeschlossenen Verfahren anzuwenden. Jedenfalls aber hat die Vorinstanz die allgemeinen intertemporalrechtlichen Regeln vorliegend nicht willkürlich gehandhabt.
3.6 Auf die in diesem Zusammenhang erhobene Rüge der Beschwerdeführenden, der Gemeinderat wäre verpflichtet gewesen, eine Planungszone zu erlassen (Beschwerde S. 15; E. 3.1 hiervor), ist nicht einzutreten:
Art. 27 Abs. 1 RPG sieht vor, dass die zuständige Behörde für genau bezeichnete Gebiete Planungszonen bestimmen kann, wenn Nutzungspläne angepasst werden müssen oder noch keine vorliegen. Innerhalb der Planungszonen darf nichts unternommen werden, was die Nutzungsplanung erschweren könnte. Gemäss dem inhaltlich mit Art. 27 Abs. 1 RPG übereinstimmenden § 14 Abs. 1 PBG/SZ mit der Marginalie "Kommunale Planungszonen" kann der Gemeinderat bis zum Erlass oder während der Änderung von kommunalen Nutzungsplänen Planungszonen festlegen, in denen nichts unternommen werden darf, was die Nutzungsplanung erschweren könnte.
Den Beschwerdeführenden ist zuzustimmen, dass der Erlass von Planungszonen nicht im Belieben der Behörden liegt, sondern sich im Rahmen des pflichtgemäss auszuübenden Ermessens aufdrängen kann (Alexander Ruch, in: Aemisegger/Kuttler/Moor/Ruch, Kommentar RPG, 2010, Art. 27 N. 26). So wenig allerdings die Rechtsunterworfenen die Behörden dazu verhalten können, eine Planungszone zu erlassen, so wenig können sie deren Fehlen im Rahmen eines Gestaltungsplan- oder Baubewilligungsverfahrens - gewissermassen akzessorisch - rügen. Ein einklagbarer Anspruch auf Erlass einer Planungszone besteht nicht (Bernhard Waldmann/Peter Hänni, Handkommentar RPG, 2006, Art. 27 N. 6; vgl. auch Urteil des Bundesgerichts 1P.785/1999 vom 24. Februar 2000 E. 1a). Im Übrigen stellen die im revidierten kommunalen Baureglement statuierten Verschärfungen (Reduktion der zulässigen Gebäudelänge und Geschosszahl bei Terrassenhäusern) ohnehin keinen zwingenden Grund für den Erlass einer Planungszone dar.
4. Schliesslich rügen die Beschwerdeführenden eine willkürliche Auslegung und Anwendung der kantonalen und kommunalen Gestaltungsplanvorschriften, nämlich von § 24 PBG/SZ und von Art. 108 aBauR/Wollerau.
4.1 Gemäss § 24 PBG/SZ enthält der Gestaltungsplan für eine zusammenhängende Baulandfläche von mindestens 3'000 m2 Sonderbestimmungen, welche in der Regel auf einem Plan und in Vorschriften festgehalten werden (vgl. Abs. 1). Sofern die Sonderbestimmungen mindestens die Einhaltung des Minergiestandards für Wohnbauten vorschreiben und der Gestaltungsplan mehrere wesentliche Vorteile gegenüber der Normalbauweise beinhaltet, können darin Ausnahmen von den kantonalen und kommunalen Bauvorschriften festgelegt werden. Ferner kann die Durchmischung der Nutzung zugelassen werden, sofern Zweck und Charakter der betreffenden Nutzung grundsätzlich gewahrt bleiben (Abs. 2). Vorteile im Sinne von Abs. 2 liegen namentlich vor, wenn eine besonders grosszügige und zweckmässige Anlage der Frei-, Spiel- und Abstellflächen vorgesehen ist, preisgünstiger Wohnraum für Familien geschaffen wird, die Bauten sich gut in die Umgebung einfügen, ein gutes Gesamtbild ergeben, dank verdichtetem Bauen wenig Land verbrauchen und sich architektonisch besonders auszeichnen oder andere im öffentlichen Interesse liegende Mehrleistungen ausgewiesen werden (Abs. 3).
Nach Art. 108 Abs. 2 des bis zum 17. Februar 2011 gültigen und vorliegend anwendbaren kommunalen Baureglements haben Gestaltungspläne eine bessere Gestaltung und Überbauung als die Normalbauweise zu gewährleisten. Dies trifft insbesondere zu, wenn sich die Bauten architektonisch besonders auszeichnen und als Gesamtes harmonisch in ihre Umgebung einfügen (lit. a); eine besonders grosszügige und zweckmässige Anlage der Frei- und Abstellflächen vorgesehen ist und die Erholungsfläche mindestens 20% der Bruttogeschossfläche der Familienwohnungen ausmacht (lit. b); Fussgänger- und Fahrverkehr getrennt oder verkehrsberuhigende Massnahmen getroffen werden (lit. c); die Garagen möglichst unter Terrain oder am Rande der Siedlung angelegt und die Umgebung der Wohnbauten von Verkehrsanlagen freigehalten werden (lit. d); preisgünstiger Wohnraum für Familien geschaffen wird (lit. e); durch eine verdichtete Bauweise eine haushälterische Nutzung des Plangebiets erreicht wird (lit. f); ein dem aktuellen Stand der Technik entsprechendes wirtschaftliches und umweltfreundliches Energiekonzept vorgesehen ist oder andere im öffentlichen Interesse liegende Mehrleistungen ausgewiesen werden (lit. g). Art. 108 Abs. 2 aBauR/Wollerau präzisiert und ergänzt damit die im kantonalen Recht (§ 24 PBG/SZ) umschriebenen Vorteile.
Gemäss Art. 109 Abs. 2 aBauR/Wollerau kann der Gemeinderat namentlich folgende Ausnahmen von den Zonenvorschriften bewilligen: Erhöhung der Ausnützungsziffer gemäss Art. 97 aBauR/Wollerau und der Geschosszahl um ein Geschoss (lit. a); Vergrösserung der Gebäude- und Firsthöhen sowie der Gebäudelängen (lit. b); Reduktion der internen Grenz- und Gebäudeabstände (lit. c); Aufhebung oder Reduktion des Mehrlängenzuschlags zwischen Gebäuden innerhalb der Überbauung (lit. d).
4.2 Die Beschwerdeführenden führen aus, entgegen der Einschätzung der Vorinstanz beinhalte der Gestaltungsplan nicht mehrere wesentliche Vorteile gegenüber der Normalbauweise, welche Ausnahmen von den kantonalen und kommunalen Bauvorschriften rechtfertigen würden. Wenn wie vorliegend bloss "gewisse" oder "teilweise" Vorteile vorlägen, könne nicht von "wesentlichen" Vorteilen gesprochen werden. Jedenfalls liessen sich die gewährten gewichtigen Ausnahmen durch die äusserst bescheidenen Vorteile, die der Gestaltungsplan aufweise, nicht rechtfertigen. Die Ausnahmen würden sich erheblich auf das Erscheinungsbild der Bauten auswirken und stünden überdies in keinem Zusammenhang zu den zu erzielenden Vorteilen. Hinzu komme, dass die Überschreitung der Zonengrenze mit den Balkonen im Baubereich B in den Gestaltungsplanvorschriften nicht als Ausnahme ausgewiesen worden sei (Beschwerde S. 16 - 27).
4.3 Die Vorinstanz hält unter Bezugnahme auf die Erwägungen des Regierungsrats fest, der Gestaltungsplan weise hinsichtlich der Anlage der Parkplätze - 56 von 74 Parkplätzen werden unterirdisch erstellt - und der Freihaltung des Gestaltungsplangebiets vom Individualverkehr gewisse Vorteile auf. In etwas reduziertem Mass erfüllt sei auch der Vorteil des getrennt verlaufenden Fussgänger- und Fahrradverkehrs. Die Einschränkung betreffe den Baubereich A, wo die bestehende 4,5 m breite Strasse mit einem zusätzlichen Trottoir für eine nicht optimal getrennte Erschliessung besorgt sei. In Bezug auf die vorhandenen Freiflächen betont die Vorinstanz, die zwischen zwischen den Häusern B und C situierte Erholungsfläche (935.03 m2) zeichne sich durch Vorzüge aus, die bei einer Normalbauweise nicht sichergestellt wären (zentrale Lage, abseits der Strasse). Ins Gewicht falle zudem der Vorteil der verdichteten Bauweise (Wohnhygiene durch genügend Freiflächen, haushälterische Bodennutzung), wobei dieser Vorteil zu relativieren sei, da er grundsätzlich nur über eine Erhöhung der zulässigen Ausnützung und der Geschosszahl erreicht werden könne. Die Vorinstanz zieht zusammenfassend das Zwischenfazit, die in § 24 Abs. 3 PBG/SZ bzw. Art. 108 aBauR/Wollerau genannten Kriterien - besonders grosszügige und zweckmässige Anlage von Freiflächen, Trennung von Fussgänger- und Fahrverkehr, (teilweise) Freihaltung des Gestaltungsplangebiets vom motorisierten Individualverkehr bzw. von Verkehrsanlagen, verdichtete Bauweise - seien damit in einem gewissen Ausmass erfüllt.
4.4 Das Bundesgericht überprüft die Auslegung und Anwendung des kantonalen Rechts nur auf Willkür hin (vgl. Art. 95 BGG; siehe auch E. 3.4 hiervor).
Die Ausführungen der Vorinstanz lassen keine Willkür erkennen. Die Beschwerdeführenden stellen den vorinstanzlichen Erwägungen über weite Strecken lediglich ihre eigene Würdigung der in § 24 PBG/SZ und Art. 108 aBauR/Wollerau umschriebenen Voraussetzungen gegenüber, ohne näher darzulegen, weshalb die Gewichtung der Kriterien durch die Vorinstanz (auch im Ergebnis) unhaltbar sein sollte. Insbesondere kann entgegen der Auffassung der Beschwerdeführenden ausgehend vom Wortlaut der beiden Bestimmungen nicht der Schluss gezogen werden, sämtliche Vorteile müssten zwingend vollständig erfüllt sein, um überhaupt Ausnahmen bewilligen zu können. Die Vorinstanz ist mithin nicht in Willkür verfallen, indem sie auf teilweise bestehende Vorteile geschlossen und diese auch graduell berücksichtigt hat; vielmehr ist ihr Vorgehen Ausdruck einer differenzierten Abwägung.
4.5 Zu klären bleibt, ob die Vorteile des Gestaltungsplans in einem ausgewogenen Verhältnis zu den statuierten Ausnahmen stehen.
In den Sonderbauvorschriften zum Gestaltungsplan sind verschiedene Ausnahmen von der Regelbauweise vorgesehen. In der Wohnzone W3 (Baubereiche A und B) wird die Ausnützungsziffer von 0,6 auf 0,7 erhöht. Im Baubereich A werden zudem die zulässige Geschosszahl von drei auf vier und die zulässige Gebäude- und Firsthöhe um drei Meter erhöht. Schliesslich sind in den Baubereichen A und B Quergiebel bis zur Hälfte der Fassadenlänge erlaubt.
Die Vorinstanz folgert unter Bezugnahme auf die Ausführungen des Regierungsrats, durch die Erhöhung der Ausnützungsziffer in der Wohnzone W3 werde eine verdichtete Bauweise in einem grundsätzlich noch akzeptablen Ausmass erreicht. Dies gelte umso mehr, als die Beschwerdegegner für die Wohnzone W2 keine erhöhte Ausnützung beantragen würden. Die Ausnahmen für den Baubereich A (Erhöhung der Anzahl Vollgeschosse von drei auf vier und der maximal zulässigen Gebäude- und Firsthöhe um drei Meter) hätten erhebliche Auswirkungen auf die optische Erscheinung des Hauses A und seien somit nicht geringfügig. Allerdings sei in dieser Hinsicht festzuhalten, dass für die Häuser B und C keine solchen Ausnahmen beansprucht würden. Was die den Baubereich überschreitenden Balkone betreffe, so entspreche diese Lösung grundsätzlich der Regelbauweise, würden doch gemäss § 59 Abs. 2 PBG/SZ Balkone bei der Ermittlung des Grenzabstands nur insoweit mitberechnet, als ihre Ausladung 1,50 m übersteige. Soweit der Gestaltungsplan darüber hinausgehen sollte, wäre die Abweichung offenkundig nur von marginaler Bedeutung, was insoweit auch für die Überschreitung der Zonengrenze gelte.
Zusammenfassend kommt die Vorinstanz zum Ergebnis, die gewährten Ausnahmen befänden sich in einem rechtsgenüglich ausgewogenen Verhältnis zu den Vorteilen.
4.6 Diese Erwägungen der Vorinstanz zum angemessenen Verhältnis zwischen den geschaffenen Vorteilen und den gewährten Ausnahmen sind nicht willkürlich. Vorab ist nicht ersichtlich und wird von den Beschwerdeführenden auch nicht substanziiert dargelegt, weshalb es am erforderlichen Zusammenhang zwischen den Vorteilen des Gestaltungsplans und den Ausnahmen von der Grundordnung fehlen sollte. Des Weiteren ist es insbesondere nicht unhaltbar, entscheidend zu gewichten, dass die gewährten Ausnahmen zur Hauptsache den Baubereich A betreffen und dass bezüglich des Baubereichs C, welcher rund einen Drittel der gesamten Gestaltungsplanfläche umfasst, überhaupt keine Abweichungen gegenüber der Regelbauweise vorgesehen sind. Wie die Vorinstanz, ohne Bundesrecht zu verletzen, gefolgert hat, liegen zwar nur partielle Vorteile vor, es werden aber auch nur in beschränktem Mass Ausnahmen von der Grundordnung beansprucht. Zudem ist insoweit zu beachten, dass den kommunalen Planungsbehörden im Bereich der Nutzungsplanung ein Ermessensspielraum zusteht (Art. 2 Abs. 3 RPG). Die Rechtsmittelbehörden dürfen nicht unter mehreren zweckmässigen Lösungen wählen bzw. ihr eigenes Ermessen an die Stelle des zuständigen Gemeinwesens setzen. Eine entsprechende Zurückhaltung drängt sich vor allem auf, wenn es um die Würdigung lokaler Verhältnisse geht (Waldmann/Hänni, a.a.O., Art. 33 N. 65; vgl. auch BGE 131 II 81 E. 7.2.1 S. 100; 127 II 238 E. 3b/aa S. 242). Die Schlussfolgerung der Vorinstanz, der Gemeinderat habe das ihm bei der Gewichtung der einzelnen Vorteile des Gestaltungsplans und bei der Beurteilung der Ausgewogenheit der beanspruchten Ausnahmen zukommende Ermessen nicht überschritten, ist nicht zu beanstanden.
5. Die Beschwerde ist abzuweisen, soweit darauf eingetreten werden kann. Die Gerichtskosten sind den unterliegenden Beschwerdeführenden zu gleichen Teilen und unter solidarischer Haftbarkeit aufzuerlegen (Art. 66 Abs. 1 und 5 BGG). Die Beschwerdeführenden haben die Beschwerdegegner unter solidarischer Haftbarkeit zu entschädigen (Art. 68 Abs. 1, 2 und 4 BGG). Die kommunalen und kantonalen Behörden haben keinen Anspruch auf eine Entschädigung (Art. 68 Abs. 3 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von insgesamt Fr. 4'000.-- werden den Beschwerdeführenden zu gleichen Teilen und unter solidarischer Haftbarkeit auferlegt.
3. Die Beschwerdeführenden haben die Beschwerdegegner für das bundesgerichtliche Verfahren zu gleichen Teilen und unter solidarischer Haftbarkeit mit insgesamt Fr. 3'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien, dem Gemeinderat Wollerau, dem Regierungsrat des Kantons Schwyz und dem Verwaltungsgericht des Kantons Schwyz, Kammer III, schriftlich mitgeteilt.
Lausanne, 6. Juli 2012
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Stohner