Sachverhalt:
A. Die Sunrise Communications AG (im Folgenden: Sunrise) beabsichtigt, auf dem Dach der Liegenschaft KTN 870 an der Bächerstrasse 57 in Bäch (Gemeinde Wollerau) eine Mobilfunkanlage zu errichten. Diese besteht aus zwei Dualbandantennen GSM900/UMTS und zwei Richtfunkantennen und soll mit einer 2 m hohen Verkleidung versehen werden. Gegen das Baugesuch für die Mobilfunkanlage wurden mehrere Einsprachen erhoben.
Das Amt für Raumentwicklung des Kantons Schwyz fällte am 17. Februar 2010 den kantonalen Gesamtentscheid. Es erteilte die kantonale Baubewilligung mit Nebenbestimmungen. Der Gemeinderat dagegen verweigerte mit Beschluss vom 29. März 2010 die Baubewilligung.
Sunrise, G._ und H._ erhoben gegen den Beschluss des Gemeinderats Beschwerde an den Regierungsrat des Kantons Schwyz. Die beiden letztgenannten richteten ihr Rechtsmittel zudem gegen den kantonalen Gesamtentscheid. Am 26. Oktober 2010 hiess der Regierungsrat die Beschwerde von Sunrise gut und wies jene von G._ und H._ ab, soweit er darauf eintrat. Der Gemeinderat wurde angewiesen, die Baubewilligung zu erteilen.
Gegen den Beschwerdeentscheid des Regierungsrats erhoben unter anderem die im Rubrum genannten Personen Beschwerde an das Verwaltungsgericht des Kantons Schwyz. Dieses wies die Beschwerde mit Entscheid vom 20. Januar 2011 ab.
B. Mit Eingabe vom 28. Februar 2011 erheben die im Rubrum genannten Personen Beschwerde in öffentlich-rechtlichen Angelegenheiten und subsidiäre Verfassungsbeschwerde an das Bundesgericht. Sie beantragen die Aufhebung des Entscheids des Verwaltungsgerichts und des Regierungsrats des Kantons Schwyz. Die Angelegenheit sei zur neuen Beurteilung an die Vorinstanzen zurückzuweisen. Eventualiter solle das Bundesgericht direkt neu entscheiden.
Das Amt für Raumentwicklung des Kantons Schwyz und der Gemeinderat Wollerau haben auf eine Vernehmlassung verzichtet. Das Verwaltungsgericht schliesst auf Abweisung der Beschwerde. Der Regierungsrat und die Beschwerdegegnerin beantragen, das Rechtsmittel sei abzuweisen, soweit darauf einzutreten sei. Die ebenfalls zur Vernehmlassung eingeladenen Bundesämter für Umwelt (BAFU) und für Kommunikation (BAKOM) haben auf eine Stellungnahme verzichtet. Die Beschwerdeführer haben sich in der Folge nicht erneut inhaltlich geäussert.
Mit Präsidialverfügung vom 29. März 2011 hat das Bundesgericht der Beschwerde die aufschiebende Wirkung zuerkannt.
Erwägungen:
1. 1.1 Beim angefochtenen Entscheid handelt es sich um einen kantonal letztinstanzlichen Entscheid über die Baubewilligung für eine Mobilfunkanlage, welcher der Beschwerde in öffentlich-rechtlichen Angelegenheiten unterliegt (Art. 82 ff. BGG). Die Beschwerdeführer wohnen unbestrittenermassen innerhalb des Perimeters, in dem die Strahlung noch 10 % des Anlagegrenzwerts beträgt. Sie sind deshalb gemäss der bundesgerichtlichen Rechtsprechung grundsätzlich zur Beschwerde legitimiert (Art. 89 Abs. 1 lit. b und c BGG; BGE 128 II 168 E. 2 S. 169 ff. mit Hinweisen). Auf die Beschwerde ist unter Vorbehalt der nachfolgenden Erwägungen einzutreten.
1.2 Die Beschwerdeführer erheben neben der Beschwerde in öffentlich-rechtlichen Angelegenheiten gleichzeitig eine subsidiäre Verfassungsbeschwerde (Art. 119 Abs. 1 BGG). Dabei rügen sie die Verletzung von verfassungsmässigen Rechten, welche sie auch mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten hätten geltend machen können (Art. 95 lit. a BGG). Die subsidiäre Verfassungsbeschwerde erweist sich deshalb als unzulässig (Art. 113 BGG), kann jedoch vorliegend in eine Beschwerde in öffentlich-rechtlichen Angelegenheiten konvertiert werden. Die unrichtige Bezeichnung des Rechtsmittels schadet den Beschwerdeführern nicht (BGE 134 III 379 E. 1.2 S. 382; 133 II 396 E. 3.1 S. 399; je mit Hinweisen).
1.3 Unzulässig ist der Antrag der Beschwerdeführer, auch den Beschluss des Regierungsrats vom 26. Oktober 2010 aufzuheben. Dieser ist durch das Urteil des Verwaltungsgerichts ersetzt worden (Devolutiveffekt) und gilt als inhaltlich mitangefochten (BGE 134 II 142 E. 1.4 S. 144 mit Hinweis).
1.4 Nach Art. 42 Abs. 2 BGG ist in der Begründung in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt. Dies setzt voraus, dass sich der Beschwerdeführer wenigstens kurz mit den Erwägungen des angefochtenen Entscheids auseinandersetzt. Zwar wendet das Bundesgericht das Recht grundsätzlich von Amtes wegen an (Art. 106 Abs. 1 BGG). Das setzt aber voraus, dass auf die Beschwerde überhaupt eingetreten werden kann, diese also wenigstens die Begründungsanforderungen von Art. 42 Abs. 2 BGG erfüllt.
Strengere Anforderungen gelten, wenn die Verletzung von Grundrechten (einschliesslich der willkürlichen Anwendung von kantonalem Recht und Willkür bei der Sachverhaltsfeststellung) geltend gemacht wird. Dies prüft das Bundesgericht nicht von Amtes wegen, sondern nur insoweit, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG). Die Beschwerdeschrift muss die wesentlichen Tatsachen und eine kurz gefasste Darlegung darüber enthalten, welche verfassungsmässigen Rechte bzw. welche Rechtssätze inwiefern durch den angefochtenen Erlass oder Entscheid verletzt worden sind. Das Bundesgericht prüft nur klar und detailliert erhobene und, soweit möglich, belegte Rügen. Wird eine Verletzung des Willkürverbots geltend gemacht, muss anhand der angefochtenen Subsumtion im Einzelnen dargelegt werden, inwiefern der Entscheid an einem qualifizierten und offensichtlichen Mangel leidet (BGE 135 III 127 E. 1.6 S. 130; 134 II 244 E. 2.1 und 2.2 S. 245 f.; je mit Hinweisen).
1.5 Soweit zur Beurteilung der in der Beschwerde vorgebrachten und substanziierten Rügen erforderlich, geht der rechtserhebliche Sachverhalt hinreichend aus den Akten hervor (vgl. Art. 42 Abs. 2 und Art. 106 Abs. 2 BGG). Auf die Durchführung eines Augenscheins kann daher verzichtet werden.
2. 2.1 Die Beschwerdeführer weisen darauf hin, dass Art. 12 Abs. 2 des Baureglements der Gemeinde Wollerau vom 3. Februar 2010 (im Folgenden: nBauR) eine Standortkoordination für Mobilfunkantennen vorsehe. Sie räumen ein, dass die Bestimmung im Zeitpunkt der Einreichung des Baugesuchs noch nicht in Kraft war, vertreten jedoch unter Hinweis auf BGE 133 II 321 die Ansicht, dass auch ohne eine gesetzliche Grundlage aufgrund einer Interessenabwägung eine Standortkoordination verlangt werden könne. Dieses Argument hätten sie bereits vor dem Verwaltungsgericht vorgebracht, ihre Kritik sei aber schlicht ignoriert worden. Dies stelle eine Verletzung des Anspruchs auf rechtliches Gehör dar (Art. 29 Abs. 2 BV).
2.2 Das rechtliche Gehör nach Art. 29 Abs. 2 BV verlangt, dass die Behörde die Vorbringen des vom Entscheid in seiner Rechtsstellung Betroffenen auch tatsächlich hört, prüft und in der Entscheidfindung berücksichtigt. Daraus folgt die Verpflichtung der Behörde, ihren Entscheid zu begründen. Dabei ist es nicht erforderlich, dass sie sich mit allen Parteistandpunkten einlässlich auseinandersetzt und jedes einzelne Vorbringen ausdrücklich widerlegt. Vielmehr kann sie sich auf die für den Entscheid wesentlichen Punkte beschränken. Die Begründung muss so abgefasst sein, dass sich der Betroffene über die Tragweite des Entscheids Rechenschaft geben und ihn in voller Kenntnis der Sache an die höhere Instanz weiterziehen kann. In diesem Sinne müssen wenigstens kurz die Überlegungen genannt werden, von denen sich die Behörde hat leiten lassen und auf die sich ihr Entscheid stützt (BGE 136 I 229 E. 5.2 S. 236 mit Hinweisen).
2.3 Die Vorinstanz erwog, der Einwand der Beschwerdeführer, es seien keine Alternativstandorte geprüft worden, sei unbehelflich. Es treffe zwar zu, dass in Art. 12 Abs. 2 nBauR eine Koordinationspflicht statuiert werde. Diese Bestimmung sei einerseits aber noch nicht in Kraft, andererseits wären nur im Zeitpunkt ihres Inkrafttretens hängige Baugesuche nach den neuen Vorschriften zu beurteilen. Letztere Voraussetzung würde nicht zutreffen, nachdem über das Baugesuch bereits am 17. Februar bzw. 29. März 2010 beschlossen worden sei. Eine weitere Auslegung des Begriffs des "hängigen Baugesuchs" zulasten der Bauherrschaft, das heisse eine Anwendung des abgeänderten Rechts bis zur rechtskräftigen Erledigung des Baubewilligungsverfahrens, würde gegen das Vertrauensschutzprinzip verstossen.
2.4 Aus diesen Erwägungen der Vorinstanz geht hervor, dass sie sich mit der Rüge der Beschwerdeführer hinreichend auseinandergesetzt hat. Sie hat dargelegt, es sei ausschlaggebend, dass die erwähnte Bestimmung des Baureglements gar noch nicht in Kraft gewesen sei. Damit hat sie es implizit abgelehnt, eine Pflicht zur Standortkoordination anderswie herzuleiten. Eine Verletzung der Begründungspflicht liegt nicht vor (Art. 29 Abs. 2 BV).
Im Übrigen ist darauf hinzuweisen, dass das Bundesgericht in BGE 133 II 321 mitnichten festgestellt hat, dass auch ohne gesetzliche Grundlage von den Mobilfunkbetreibern eine Standortkoordination verlangt werden kann. Vielmehr hat es dargelegt, unter welchen Voraussetzungen eine entsprechende kantonale oder kommunale Bestimmung mit dem übergeordneten Bundesrecht vereinbar ist (a.a.O. E. 4.3.4 f. S. 327 ff. mit Hinweisen).
3. 3.1 Die Beschwerdeführer machen geltend, bei einer Verweigerung der Baubewilligung aufgrund von Art. 12 Abs. 2 nBauR würde es sich "bestenfalls" um eine negative Vorwirkung handeln, nicht aber um eine positive Vorwirkung. Die öffentliche Auflage der Ortsplanungsrevision von Wollerau sei bereits vor der Einreichung des Baugesuchs erfolgt. Es stehe daher nichts entgegen, einen Bauabschlag auch unter Beizug des neuen Baureglements zu begründen. Insbesondere widerspreche dies nicht dem Vertrauensprinzip (Art. 9 BV). Daraus folge, dass das Verwaltungsgericht dieses Prinzip verletzt habe. Die Beschwerdeführer rügen zudem eine Verletzung des Legalitätsprinzips (Art. 5 Abs. 1 BV) und des rechtlichen Gehörs (Art. 29 Abs. 2 BV).
3.2 Die angebliche Verletzung des Legalitätsprinzips und des rechtlichen Gehörs wird in der Beschwerdeschrift nicht weiter begründet. Darauf ist nicht einzutreten (Art. 42 Abs. 2 und Art. 106 Abs. 2 BV). In Bezug auf Art. 12 Abs. 2 nBauR verkennen die Beschwerdeführer, dass es für die Anwendbarkeit einer Norm auf den Zeitpunkt des Inkrafttretens und nicht der öffentlichen Auflage ankommt. Die Anwendung eines noch nicht in Kraft gesetzten Erlasses stellt eine positive Vorwirkung dar und ist unzulässig (BGE 135 I 233 E. 15 S. 255; 125 II 278 E. 3c S. 281 f. mit Hinweisen; Urteil 1P.236/2004 vom 20. Dezember 2004 E. 3.4). Das Verwaltungsgericht hat das Vertrauensprinzip nicht verletzt, indem es ablehnte, Art. 12 Abs. 2 nBauR anzuwenden.
4. 4.1 Die Beschwerdeführer rügen, das Verwaltungsgericht sei zu Unrecht davon ausgegangen, dass im ordentlichen Baubewilligungsverfahren kein Raum für eine umfassende Interessenabwägung und für eine Bedürfnisplanung bestehe. Das verletze sowohl Bundesrecht (Art. 29 Abs. 2, Art. 75 Abs. 1 und 3, Art. 5 Abs. 2 und Art. 50 Abs. 1 BV) als auch kantonales und kommunales Recht. Vorliegend würden evidente, sich widersprechende öffentliche und private Interessen einander gegenüberstehen. Indem die Vorinstanz keine Interessenabwägung vorgenommen habe, habe sie Art. 5 Abs. 2, Art. 29 Abs. 2 BV und Art. 9 BV verletzt.
4.2 Die Beschwerdeführer legen nicht konkret dar, inwiefern die von ihnen angeführten Normen verletzt worden sein sollen. Insbesondere zeigen sie nicht auf, welche öffentlichen und privaten Interessen hätten berücksichtigt und gegeneinander abgewogen werden müssen. Auf ihre Rüge ist deshalb nicht einzutreten (Art. 42 Abs. 2 und Art. 106 Abs. 2 BGG). Im Übrigen hat das Verwaltungsgericht im angefochtenen Entscheid das Urteil des Bundesgerichts 1C_8/2008 vom 26. März 2008 zitiert. Darin wird ebenfalls festgestellt, dass im ordentlichen Baubewilligungsverfahren - im Gegensatz zum Ausnahmebewilligungsverfahren gemäss Art. 24 RPG - grundsätzlich kein Raum für eine umfassende Interessenabwägung und für eine Bedürfnisprüfung besteht (a.a.O., E. 2.5 mit Hinweisen).
5. 5.1 Die Beschwerdeführer beanstanden, die Mobilfunkanlage würde zu einer Überschreitung der zulässigen Gebäudehöhe führen. Zu diesem Punkt hielt das Verwaltungsgericht fest, die verkleidete, auf dem Flachdach vorgesehene Anlage sei einerseits um mehr als ihre Höhe von der Hauptfassade zurückversetzt. Andererseits überschreite sie einen Drittel der Fassadenlänge bei weitem nicht. Sie falle deshalb von vornherein bei der Bemessung der Gebäudehöhe ausser Betracht (§ 60 Abs. 3 des Planungs- und Baugesetzes des Kantons Schwyz vom 14. Mai 1987 [SRSZ 400.100; im Folgenden: PBG]; Art. 61 Abs. 2 des Baureglements der Gemeinde Wollerau vom 16. November 1990 [im Folgenden: aBauR]).
5.2 Die Beschwerdeführer erblicken in diesen Erwägungen eine Verletzung des Willkürverbots. Sie machen unter anderem geltend, dass die Anlage ihnen den Blick auf den See und die Umgebung versperren würde, dass die Grundeigentümer an der Mobilfunkantenne erheblich verdienten und dass angesichts der Verschalung von einem eigentlichen Gebäudeteil auszugehen sei. Weiter kritisieren sie die diesbezüglichen Ausführungen im Entscheid des Regierungsrats (vgl. dazu E. 1.3 hiervor). Auf die Erwägungen im Entscheid des Verwaltungsgerichts gehen sie jedoch nicht weiter ein. Auf die Rüge der Verletzung des Willkürverbots ist deshalb mangels hinreichender Begründung nicht einzutreten (Art. 42 Abs. 2 und Art. 106 Abs. 2 BGG).
6. 6.1 Zur Einordnung der geplanten Baute hielt das Verwaltungsgericht fest, gemäss Art. 21 Abs. 1 aBauR seien Bauten und Anlagen so zu gestalten, dass sie hinsichtlich ihrer Gesamterscheinung (Stellung, Form, Staffelung und Gliederung der Baumassen, Dachform und Dachneigung, Material, Farbgebung, Umgebung) das massgebliche Landschafts-, Orts- und Strassenbild nicht störten. Diese negative Ästhetikklausel entspreche im Wesentlichen der kantonalen Mindestvorschrift von § 56 PBG. Der Gemeinderat, der über besondere Ortskenntnisse verfüge und dem in dieser Frage ein Ermessensspielraum zukomme, habe zu Recht anerkannt, dass der Bau der Mobilfunkanlage auf dem Flachdach des bestehenden Mehrfamilienhauses Art. 21 Abs. 1 aBauR nicht verletze. Aufgrund der bei den Akten liegenden Pläne und der daraus ersichtlichen geringen Ausmasse der Anlage (ca. 1.4 m lang, 1.1 m breit und 2 m hoch) könne ein Augenschein unterbleiben, zumal der Gemeinderat die Situation mit einer Farbfoto dokumentiert habe. Die Überbauungssituation in Bäch sei im Übrigen dem Verwaltungsgericht bekannt und es könnten auf der Webseite des Kantons die Geodaten eingesehen werden. Zu berücksichtigen sei schliesslich, dass das Erscheinungsbild einer Mobilfunkantenne durch die technischen Erfordernisse weitgehend vorbestimmt sei. Würde ein zu strenger Massstab bei der Beurteilung der Einordnungsfrage angelegt, so würden die Vorgaben der Fernmeldedienstkonzession (Versorgungspflicht der Konzessionsnehmerin) sowie der Raumplanung unterlaufen.
6.2 Die Beschwerdeführer machen eine Verletzung von Art. 29 Abs. 2 BV geltend, weil kein Augenschein durchgeführt worden war. Insbesondere sei zu rügen, dass das Verwaltungsgericht die Einschätzung des Gemeinderats als korrekt bezeichnet habe, ohne selbst einen Augenschein durchgeführt zu haben. Diese Auffassung sei krass willkürlich (Art. 9 BV). Die Unterlassung habe dazu geführt, dass die Vorinstanz den Sachverhalt falsch festgestellt habe (Art. 97 Abs. 1 BGG).
Inhaltlich rügen die Beschwerdeführer eine willkürliche Anwendung der einschlägigen Ästhetikvorschriften (§ 56 PBG; Art. 21 Abs. 1 aBauR). Sie kritisieren, dass ihre diesbezügliche Rüge noch von gar keiner Instanz geprüft worden sei. Das dürfe in einem Rechtsstaat keinen Rechtsschutz finden und verletze daher das Willkürverbot (Art. 9 BV). Die geplante Anlage beeinträchtige die Lebensumgebung der Beschwerdeführer stark und führe bereits durch die äusserliche Wahrnehmbarkeit - selbst bei einer Verkleidung der Antenne - zu einer massiven Verminderung der Lebensqualität. Das sensible Orts- und Quartierbild in See- und Zentrumsnähe werde durch die prominent in Erscheinung tretende Antennenanlage massiv gestört. Das Landschaftsbild (wozu auch der Anblick des Zürichsees zu zählen sei) werde stark beeinträchtigt. Von einer guten Gesamtwirkung könne daher weder im Hinblick auf die Beeinträchtigung des Orts- und Landschaftsbilds noch bezüglich der bestehenden Dachform gesprochen werden. Da dem Baugesuch keine Pläne beiliegen würden, welche die Form und Ausgestaltung der Verkleidung der Anlage nachvollziehbar darstellten, sei eine weitergehende Überprüfung durch die Beschwerdeführer ausgeschlossen.
6.3 Das Verwaltungsgericht hat im angefochtenen Entscheid begründet, weshalb ein Augenschein habe unterbleiben können. Insbesondere hat es auf eine Fotografie des Gemeinderats und die Baupläne hingewiesen. Damit setzen sich die Beschwerdeführer in keiner Weise auseinander. Ihre Beschwerde ist in dieser Hinsicht nicht hinreichend begründet. Dasselbe gilt für die in diesem Zusammenhang vorgetragene Rüge der Willkür und der unrichtigen Feststellung des Sachverhalts. Die Beschwerdeführer erklären mit keinem Wort, inwieweit die Sachverhaltsfeststellung durch die Vorinstanz falsch sein soll. Darauf ist nicht einzutreten (Art. 42 Abs. 2 und Art. 106 Abs. 2 BGG).
Mit ihrer Kritik an der ästhetischen Würdigung des Bauprojekts kommen die Beschwerdeführer ihrer Begründungsobliegenheit ebenfalls nicht nach. Auf die Ausführungen des Verwaltungsgerichts zu diesem Aspekt gehen sie nicht ein. Die pauschalen Hinweise auf die äusserliche Wahrnehmbarkeit der Anlage, die Lebensqualität, das Orts-, Quartier- und Landschaftsbild sowie die Dachform genügen den Anforderungen von Art. 42 Abs. 2 und Art. 106 Abs. 2 BGG nicht. Der diesbezügliche Einwand, dass es die unzureichenden Unterlagen sein sollen, welche eine substanziierte Kritik des angefochtenen Entscheids verunmöglichen, ist nicht nachvollziehbar. Auf die Rüge ist nicht einzutreten.
7. Die Beschwerde ist abzuweisen, soweit darauf einzutreten ist. Diesem Ausgang des Verfahrens entsprechend sind die Gerichtskosten den unterliegenden Beschwerdeführern aufzuerlegen (Art. 66 Abs. 1 BGG). Sie haben der obsiegenden, anwaltlich vertretenen Beschwerdegegnerin eine dem Aufwand entsprechende Parteientschädigung zu bezahlen (Art. 68 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 4'000.-- werden den Beschwerdeführern auferlegt.
3. Die Beschwerdeführer haben die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 1'500.-- zu entschädigen.
4. Dieses Urteil wird den Parteien, dem Gemeinderat Wollerau, dem Amt für Raumentwicklung, dem Regierungsrat und dem Verwaltungsgericht des Kantons Schwyz, Kammer III, dem Bundesamt für Umwelt und dem Bundesamt für Kommunikation schriftlich mitgeteilt.
Lausanne, 22. September 2011
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Dold