Sachverhalt: A. A.F._ und B.F._ sind Eigentümer der sich in den Wohnzonen W2 und W3 der Gemeinde Wollerau befindlichen Liegenschaft KTN 2035. Der Gemeinderat Wollerau erliess für dieses eine Fläche von 7'580 m2 umfassende Grundstück auf Gesuch der Grundeigentümer am 20. November 2006 den Gestaltungsplan "Hergisroos-Dörfli". Der Regierungsrat des Kantons Schwyz hob auf Beschwerde hin den gemeinderätlichen Erlass mit Beschluss vom 18. September 2007 auf. Am 8. Juni 2010 reichten A.F._ und B.F._ dem Gemeinderat Wollerau den Gestaltungsplan "Wohnpark Hergisroos" mit dem Plandatum 1. Juni 2010 ein und ersuchten um dessen Erlass. Gegen das im Amtsblatt vom 18. Juni 2010 publizierte Gesuch erhoben unter anderem A._ und B._, C._, D._ sowie A.E._ und B.E._ Einsprache. Mit Beschluss vom 13. September 2010 wies der Gemeinderat die Einsprachen ab, erliess den Gestaltungsplan "Wohnpark Hergisroos" und ersuchte den Regierungsrat um Plangenehmigung. Gegen diesen gemeinderätlichen Beschluss erhoben A._ und B._, C._, D._ sowie A.E._ und B.E._ am 11. Oktober 2010 Verwaltungsbeschwerde beim Regierungsrat. Mit Beschluss vom 5. Juli 2011 wies dieser die Beschwerde ab und genehmigte den Gestaltungsplan unter dem Vorbehalt einzelner Anpassungen (Anpassung des Gestaltungsplanperimeters im Bereich des Waldareals und Abtausch des Sammelplatzes mit einer Freifläche ausserhalb des Waldabstands). Diesen Beschwerdeentscheid fochten A._ und B._, C._, D._ sowie A.E._ und B.E._ beim Verwaltungsgericht des Kantons Schwyz an. Mit Entscheid vom 30. November 2011 wies dieses die Beschwerde ab. B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht vom 2. Februar 2012 beantragen A._ und B._, C._, D._ sowie A.E._ und B.E._, der Entscheid des Verwaltungsgerichts vom 30. November 2011 sei aufzuheben, und die Sache sei zur Ergänzung und Neuentscheidung an die Vorinstanz oder direkt an den Regierungsrat zurückzuweisen. Eventuell sei der angefochtene Entscheid - nach vorgängiger Durchführung eines Augenscheins - aufzuheben, und es seien demgemäss auch der Entscheid des Regierungsrats des Kantons Schwyz vom 5. Juli 2011 und der Beschluss des Gemeinderats Wollerau vom 13. September 2010 ersatzlos aufzuheben. Die Beschwerdegegner, der Gemeinderat Wollerau, der Regierungsrat des Kantons Schwyz und die Vorinstanz beantragen in ihren Vernehmlassungen die Abweisung der Beschwerde. In ihrer Stellungnahme zu diesen Eingaben halten die Beschwerdeführenden an ihren Anträgen fest.