Sachverhalt:
A. Mit Beschluss vom 4. September 2008 bewilligte der Hochbau- und Planungsausschuss Männedorf der Sunrise Communications AG (Sunrise) die Erstellung einer Mobilfunk-Basisstation für GSM- und UMTS auf dem SBB-Areal, Grundstück Kat.-Nr. 7340, an der Alten Landstrasse 2 in Männedorf. Die Antenne soll als Gemeinschaftsanlage zusammen mit der Swisscom Schweiz AG (Swisscom) und der SBB betrieben werden. Das Baugrundstück, auf dem sich bereits heute eine Antennenanlage befindet, liegt in der Zone für öffentliche Bauten Oe2.
B. Den dagegen von A._, B._ und C._ erhobenen Rekurs hiess die Baurekurskommission II des Kantons Zürich nach Durchführung eines Augenscheins am 29. Juni 2010 gut und hob die Baubewilligung auf. Die Rekurskommission ging davon aus, die geplante Baute trete mit ihren Ausmassen vom Aussichtspunkt "Weieren" aus optisch überaus stark störend in Erscheinung. Sie verletze damit das besondere Einordnungsgebot nach § 238 Abs. 2 des Zürcher Gesetzes vom 7. September 1975 über die Raumplanung und das öffentliche Baurecht (PBG).
C. Gegen den Rekursentscheid gelangten sowohl die Sunrise als auch der Hochbau- und Planungsausschuss Männedorf mit Beschwerde an das Verwaltungsgericht des Kantons Zürich. Dieses hiess die Beschwerden am 1. Dezember 2010 teilweise gut. Es entschied, dass § 238 Abs. 2 PBG nicht anwendbar sei, weil kein einordnungsmässiger Bezug zwischen der geplanten Mobilfunk-Antennenanlage und dem Aussichtspunkt "Weieren" bestehe. Es hob den Rekursentscheid auf und wies die Akten zur Prüfung der weiteren Rügen der damaligen Rekurrierenden und zu neuer Entscheidung an die Baurekurskommission II zurück.
Auf die dagegen gerichtete Beschwerde von A._, B._ und C._ trat das Bundesgericht am 30. Mai 2011 nicht ein (Urteil 1C_46/2011).
D. Im zweiten Rechtsgang wies das Baurekursgericht den Rekurs von A._, B._ und C._ am 8. November 2011 ab. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht am 8. August 2012 ab.
E. Gegen beide verwaltungsgerichtlichen Entscheide haben A._, B._ und C._ am 17. September 2012 Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht erhoben. Sie beantragen, die angefochtenen Entscheide seien aufzuheben, der Entscheid der Baurekurskommission vom 29. Juni 2010 sei zu bestätigen und es sei die Bewilligung zur Erstellung einer Mobilfunk-Antennenanlage auf dem Grundstück Kat.-Nr. 7340 in Männedorf zu verweigern. Eventualiter sei die Sache zu neuem Entscheid im Sinne der Erwägungen an das Verwaltungsgericht zurückzuweisen.
F. Sunrise, der Hochbau- und Planungsausschuss Männedorf und das Verwaltungsgericht beantragen, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei.
In ihrer Replik halten die Beschwerdeführer an ihren Anträgen fest. Die Beschwerdegegnerin und die Gemeinde äusserten sich am 5. und 7. Februar 2013 dazu.
G. Mit Verfügung vom 23. Oktober 2012 wurde der Beschwerde die aufschiebende Wirkung erteilt.
Erwägungen:
1. Da alle Sachurteilsvoraussetzungen vorliegen, ist auf die Beschwerde in öffentlich-rechtlichen Angelegenheiten einzutreten (Art. 82 ff. BGG). Zusammen mit dem Endentscheid können die Beschwerdeführer den Zwischenentscheid des Verwaltungsgerichts vom 1. Dezember 2010 anfechten (Art. 93 Abs. 3 BGG).
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht kann insbesondere die Verletzung von Bundesrecht - einschliesslich Überschreitung oder Missbrauch des Ermessens - gerügt werden (Art. 95 lit. a BGG). Das Bundesgericht wendet das Bundesrecht grundsätzlich von Amtes wegen an (Art. 106 Abs. 1 BGG). Die Verletzung von Grundrechten - einschliesslich die willkürliche Anwendung von kantonalem Recht - wird vom Bundesgericht nur insoweit geprüft, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG). Für derartige Rügen gelten qualifizierte Begründungsanforderungen (BGE 133 II 249 E. 1.4.2 S. 254 mit Hinweisen). Das Bundesgericht prüft nur klar und detailliert erhobene und, soweit möglich, belegte Rügen; auf rein appellatorische Kritik am angefochtenen Entscheid tritt es nicht ein.
Es ist an den von der Vorinstanz festgestellten Sachverhalt gebunden, soweit dieser nicht offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 und Art. 97 Abs. 1 BGG). Neue Tatsachen und Beweismittel können nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (Art. 99 Abs. 1 BGG).
2. Die Baurekurskommission hatte im ersten Rechtsgang die vom Hochbau- und Planungsausschuss Männedorf am 4. September 2008 für die Mobilfunk-Basisstation erteilte Baubewilligung mit der Begründung aufgehoben, die Anlage trete mit ihren Ausmassen vom Aussichtspunkt "Weieren" aus optisch stark störend in Erscheinung. Die geplante Baute nehme somit in ihrer Gestaltung keine besondere Rücksicht auf den 80 m (Luftlinie) entfernt liegenden und als Schutzobjekt im Sinn von § 203 Abs. 1 lit. b des Planungs- und Baugesetzes vom 7. September 1975 (PBG) geltenden Aussichtspunkt, was nach § 238 Abs. 2 PBG aber erforderlich sei. Die Baubewilligung sei daher trotz des qualifizierten kommunalen Ermessensspielraums unhaltbar.
2.1 Diese Rechtsauffassung verwarf das Verwaltungsgericht in seinem Entscheid vom 1. Dezember 2010. Es führte aus, wenn es um den generellen Schutz der Aussicht von einem planerisch bezeichneten Landschaftspunkt gehe, wenn also die Aussicht als solche das Schutzobjekt bilde, werde der Schutzumfang mittels entsprechender Neigungswinkel und Freihaltebereiche von der kommunalen Ordnung definiert. Eine Anwendung von § 238 Abs. 2 PBG scheide hingegen aus, weil es an einem von Drittstandorten aus konkret wahrnehmbaren Schutzobjekt fehle; anders zu entscheiden wäre allenfalls dann, wenn der Aussichtspunkt dank entsprechender baulicher oder natürlicher Gegebenheiten (Trauerweide mit Sitzbank, installiertes Aussichtsfernrohr usw.) als solcher erkennbar sei. Demgegenüber könne es vorkommen, dass die Sicht auf ein bestimmtes Objekt bzw. auf eine Geländeform Gegenstand der Schutzanordnung sei. Dann komme eine Anwendung von § 238 Abs. 2 PBG insoweit infrage, als mit der Unterschutzstellung seiner Ansicht dem betreffenden Objekt zugleich eine einordnungsmässig besonders schützenswerte Position zuerkannt werde.
Vorliegend dürften gemäss Art. 12.2 der Bau- und Zonenordnung der Gemeinde Männedorf vom 30. September 1996 (BZO) die in den Ergänzungsplänen durch Höhenkoten, Sektoren und Neigungswinkel umschriebenen Ausblicke durch Bauten und Anlagen nicht beeinträchtigt werden. Geschützt sei somit die Aussicht von dem im Ergänzungsplan Nr. 11 festgelegten Aussichtspunkt "Weieren" aus auf die Seelandschaft und die gegenüberliegenden Berge, indem ein unverbaubarer Raum definiert und nicht etwa ein konkretes Objekt oder Gelände für schutzwürdig erklärt werde. Letzteres falle schon deswegen ausser Betracht, weil das gegenüberliegende Zürichseeufer ausserhalb des Gemeindegebiets von Männedorf liege. Da in diesem Fall kein einordnungsmässiger Bezug zwischen der geplanten Mobilfunk-Antennenanlage und dem Aussichtspunkt "Weieren" bestehe, greife § 238 Abs. 2 PBG nicht ein. Damit unterstehe die Aussicht vom rund 80 m von der geplanten Mobilfunk-Antennenanlage entfernten Aussichtspunkt "Weieren" einzig dem Schutz des kommunalen Ergänzungsplans Nr. 11 in Verbindung mit Art. 12.2 BZO. Da das Bauvorhaben nicht mehr im darin festgelegten Aussichtsschutzbereich liege, fänden die diesbezüglichen Bestimmungen über Sektoren und Neigungswinkel keine Anwendung. Für die Einordnung der Antennenanlage sei allein § 238 Abs. 1 PBG massgebend. Dass die Antennenanlage der darin enthaltenen Ästhetikgeneralklausel genüge, habe die Baurekurskommission zutreffend festgehalten.
2.2 Die Beschwerdeführer rügen die Verletzung des Willkürverbots (Art. 9 Abs. 1 BV). Die im Ergänzungsplan Nr. 11 umschriebenen Neigungswinkel und Freihaltebereiche (schraffierte Flächen) definierten den Bereich, in welchem bauliche Beschränkungen zur Erhaltung der Aussicht bestünden. Zugleich werde im Plan aber auch ein Beobachterhorizont festgelegt (gewachsenes Terrain = 438.4 m.ü.M. + 1.25). Dieser definiere die obere horizontale Ebene der geschützten Aussicht, während der Neigungswinkel die untere Grenze markiere. Im Bereich zwischen dem Beobachterhorizont und der durch den Neigungswinkel definierten Ebene befinde sich die geschützte Aussicht auf die Seelandschaft und die gegenüberliegenden Berge. In diesen Bereich rage der Mast der strittigen Mobilfunkantennen-Anlage mit den daran angebrachten Antennenkörpern hinein: Die Oberkante des nur 80 m entfernten Antennenmastes befinde sich - ohne Blitzschutz - auf einer Höhe von 438.3 m.ü.M..
Die Auffassung des Verwaltungsgerichts führe zum unhaltbaren Resultat, dass vom Aussichtspunkt "Weieren" in erster Linie die Aussicht auf den Bahnhof Uetikon geschützt wäre. Dagegen dürfte ausserhalb des als unverbaubar definierten Raums ein so hohes und breites Gebäude erstellt werden, dass die geschützte Aussicht vollständig verstellt und der Aussichtsschutz damit seines Gehalts beraubt würde. Dies sei unhaltbar und widerspreche krass Sinn und Zweck der planungsrechtlichen Festlegung des Aussichtspunkts "Weieren" sowie Ziff. 12.2 BZO, wonach die in den Ergänzungsplänen umschriebenen Ausblicke weder durch Bauten oder Anlagen beeinträchtigt noch durch Bäume und Sträucher wesentlich geschmälert werden dürften.
2.3 Die Beschwerdegegnerin und die Gemeinde Männedorf werfen den Beschwerdeführern vor, sich nicht genügend mit den Erwägungen der Vorinstanz auseinander zu setzen; die Willkürrüge genüge deshalb den Begründungsanforderungen nicht.
Sie betonen, dass das Verwaltungsgericht den Rechtsstandpunkt der Gemeinde geschützt habe, wonach die Regelung des Aussichtsschutzes in Art. 12.2 BZO i.V.m. Ergänzungsplan Nr. 11 abschliessenden Charakter aufweise. Danach umfasse die geschützte Aussicht nur einen bestimmten unverbaubaren Raum vor dem Aussichtspunkt und gewährleiste nicht den Ausblick auf ein bestimmtes Objekt oder Gelände, wie namentlich auf die Seelandschaft und die gegenüberliegenden Berge. Es sei unstreitig, dass sich die Antenne nicht im so definierten Aussichtsschutzbereich befinde, weshalb § 238 Abs. 2 PBG nicht anwendbar sei.
Die Auslegung der Beschwerdeführer, wonach jegliche Bauten und Anlagen im Aussichtsbereich, unabhängig von ihrer Distanz zum Aussichtspunkt, verboten seien, sei weder praktikabel (insbes. würden auch Gebäude einer Nachbargemeinde betroffen), noch werde sie vom klaren Wortlaut der BZO bzw. des PBG gedeckt. Die Rechtsauffassung des Verwaltungsgerichts führe auch nicht zu willkürlichen Ergebnissen. Dabei sei zu berücksichtigen, dass nicht ein hohes und breites Gebäude zur Diskussion stehe, sondern eine Antennenanlage, welche die Fernsicht ohnehin nur punktuell beeinträchtigen könne.
2.4 Willkür liegt nach der Rechtsprechung nicht schon dann vor, wenn eine andere Lösung ebenfalls vertretbar erscheint oder sogar vorzuziehen wäre. Das Bundesgericht weicht vom Entscheid der kantonalen Instanz nur ab, wenn dieser offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft (BGE 136 I 316 E. 2.2.2 S. 318 f. mit Hinweisen). Dass eine andere Lösung ebenfalls als vertretbar oder gar zutreffender erscheint, genügt nicht (BGE 136 I 316 E. 2.2.2 S. 319).
Vorliegend ist weiter zu beachten, dass der Gemeinde als Bau- und Planungsbehörde bei der Auslegung ihrer Planungsvorschriften (hier: Art. 12.2 BZO i.V.m. Ergänzungsplan Nr. 11) ein Beurteilungsspielraum zusteht. Gleiches gilt praxisgemäss bei der Handhabung der Ästhetikklausel (§ 238 PBG; vgl. Urteil 1P.678/2004 vom 21. Juni 2005 E. 3 und 4, in: ZBl 107/2006 S. 430; RDAF 2007 I S. 453).
2.5 Das Verwaltungsgericht und die Gemeinde Männedorf gingen übereinstimmend davon aus, dass der Aussichtsschutz in Art. 12.2 BZO i.V.m. dem Ergänzungsplan Nr. 11 abschliessend geregelt sei. Ziel dieser Regelung sei es, die Aussicht in einem bestimmten Bereich freizuhalten, indem durch Höhenkoten, Sektoren und Neigungswinkel ein unverbaubarer Raum umschrieben werde. Dagegen sei nicht bezweckt, Bauten und Anlagen zu verbieten, die - unabhängig von der Distanz zum Aussichtspunkt - irgendwo in der Umgebung bzw. am Horizont noch sichtbar seien. Diese Auslegung kann sich grundsätzlich auf die Eintragungen im Ergänzungsplan stützen und erscheint jedenfalls nicht offensichtlich unhaltbar und damit willkürlich.
Zwar dient diese Regelung dazu, die Aussicht auf den See und die dahinter liegenden Berge freizuhalten (davon ging auch das Verwaltungsgericht aus, vgl. E. 5.3 S. 9 des Urteils vom 1. Dezember 2010). Wenn sich die Gemeinde jedoch bewusst für einen beschränkten Schutz dieser Aussicht entschieden hat, um unverhältnismässige Einschränkungen der Baufreiheit in der weiteren Umgebung zu vermeiden, so ist dies grundsätzlich zu respektieren.
Zwar sind extreme Fälle denkbar, in denen eine massive Baute oder Anlage ausserhalb der Aussichtszone wie ein Riegel zwischen Aussichtspunkt und See zu liegen kommt und den Aussichtsschutz seines Inhalts berauben könnte (falls ein Bau dieser Ausmasse überhaupt mit der Zonenordnung vereinbar wäre). Die Beschwerdeführer legen jedoch nicht dar, dass ein solcher Fall hier vorliegt; dies ist auch nicht ersichtlich: Auch wenn der neue Mast vier Meter höher ist als bisher, einen grösseren Mastdurchmesser aufweist und aufgrund der zuoberst am Mastende befestigten Antennenelemente optisch stark ins Gewicht fällt, handelt es sich doch um eine punktuelle Störung der Aussicht, während links und rechts der Antenne ein weiträumiger Ausblick auf den Zürichsee und die dahinter liegende Landschaft verbleibt. Insofern kann offen bleiben, ob § 238 Abs. 2 PBG in den geschilderten Extremfällen anwendbar wäre, oder ob ein solches Bauvorhaben gestützt auf die allgemeine Ästhetikklausel (§ 238 Abs. 1 PBG) oder einer anderen Bestimmung des kantonalen oder kommunalen Rechts verboten werden könnte.
Nach dem Gesagten erweist sich die Willkürrüge als unbegründet.
3. Die Beschwerdeführer rügen weiter eine Verletzung des rechtlichen Gehörs (Art. 29 Abs. 2 BV), weil das Verwaltungsgericht sich zu Unrecht nicht mit ihren Vorbringen und Beweisanträgen auseinandergesetzt habe, wonach der Aussichtspunkt "Weieren" mit Sitzsteinen und einem Kiesplatz ausgestattet sei und es sich deshalb um ein von Drittstandorten aus konkret wahrnehmbares Schutzobjekt handle. Im ersten Rechtsgang habe die Frage der Ausstattung des Aussichtspunkts keine Rolle gespielt; diese Frage sei erstmals in der Begründung des Urteils vom 1. Dezember 2010 aufgetaucht. In analoger Anwendung von § 52 Abs. 2 des Zürcher Verwaltungsrechtspflegegesetzes vom 24. Mai 1959 (VRG/ZH) hätten die diesbezüglichen Vorbringen der Beschwerdeführer deshalb nicht als unzulässige Noven qualifiziert werden dürfen.
3.1 Das Verwaltungsgericht ging davon aus, dass der Rückweisungsentscheid vom 1. Dezember 2010 nicht nur die untere Instanz binde, sondern auch das rückweisende Gericht selbst, wenn gegen den neuen Entscheid der unteren Instanz wiederum eine Beschwerde erhoben werde (vgl. E. 1 des Entscheids vom 8. August 2012 mit Hinweisen auf Literatur und Rechtsprechung). Wegen dieser Bindungswirkung sei es den Parteien verwehrt, im Fall einer erneuten Anrufung des Verwaltungsgerichts der Beurteilung des Rechtsstreits einen anderen als den bisherigen Sachverhalt zu unterstellen oder die Sache unter rechtlichen Gesichtspunkten zu prüfen, die im Rückweisungsentscheid ausdrücklich abgelehnt oder gar nicht in Erwägung gezogen worden seien. Daraus folge auch, dass im zweiten Rechtsgang neue Tatsachenbehauptungen und Beweisanträge zu Streitfragen, die das Verwaltungsgericht im Rückweisungsentscheid bereits abschliessend behandelt habe, nicht beachtet werden dürften und demgemäss unzulässig seien. Eine abweichende Beurteilung im zweiten Rechtsgang sei nur möglich, wenn sich die Entscheidungsgrundlagen verändert hätten, z.B. ein veränderter Sachverhalt vorliege, oder in der Zwischenzeit eine Rechts- oder Praxisänderung erfolgt sei. Im vorliegenden Fall liege kein solcher Ausnahmetatbestand vor. Das Verwaltungsgericht sei daher an die im Rückweisungsentscheid vom 1. Dezember 2010 vorgenommene rechtliche Würdigung gebunden, wonach nicht § 238 Abs. 2 PBG, sondern lediglich § 238 Abs. 1 PBG anwendbar sei, und letzterer durch das Bauvorhaben nicht verletzt werde. Soweit die Beschwerdeführer in diesem Zusammenhang neue tatsächliche Behauptungen vorbrächten, seien diese nicht zulässig (E. 2.3 des Urteils vom 8. August 2012).
3.2 Die Beschwerdeführer berufen sich auf § 52 Abs. 2 VRG/ZH, wonach neue Tatsachenbehauptungen - wenn das Verwaltungsgericht als zweite gerichtliche Instanz entscheidet - nur so weit zulässig sind, als es durch die angefochtene Anordnung notwendig geworden ist. Diese Bestimmung beschränkt die Sachverhaltskognition des Verwaltungsgerichts, wenn es (namentlich in Bausachen) als zweite Rechtsmittelinstanz (nach dem Baurekursgericht, früher: Baurekurskommission) entscheidet. Sie regelt nicht die hier streitige Frage der Selbstbindung des Gerichts im zweiten Rechtsgang, nach einer Rückweisung der Sache an die untere Instanz. Weshalb diese Bestimmung auf die vorliegend streitige Frage analog angewendet werden müsse, wird von den Beschwerdeführern nicht begründet und ist auch nicht ersichtlich.
Nach der Rechtsprechung zur Bindungswirkung bundesgerichtlicher Rückweisungsentscheide ergibt sich die Tragweite der Bindung von Gerichten und Parteien an die erste Entscheidung aus der Begründung der Rückweisung, die den Rahmen sowohl für die neuen Tatsachenfeststellungen als auch für die neue rechtliche Begründung vorgibt (BGE 135 III 334 E. 2 S. 335 mit Hinweisen). Vorliegend hatte das Verwaltungsgericht im Urteil vom 1. Dezember 2010 abschliessend über die Fragen des Aussichtsschutzes und der Anwendbarkeit von § 238 Abs. 2 PBG entschieden, weshalb ergänzende Feststellungen und neue Vorbringen zu diesen Fragen grundsätzlich ausgeschlossen waren.
Unter diesen Umständen ist eine Verletzung des rechtlichen Gehörs zu verneinen.
3.3 Dagegen können die Beschwerdeführer vor Bundesgericht die Sachverhaltsfeststellungen des Verwaltungsgerichtsurteils vom 1. Dezember 2010 als offensichtlich unrichtig oder unvollständig rügen (Art. 93 Abs. 3 BGG). Hierfür genügt es allerdings nicht, ergänzende Tatsachen zur Beschaffenheit des Aussichtspunktes (Kiesbelag, Sitzsteine) anzuführen, sondern die Beschwerdeführer müssen darlegen, inwieweit der vom Verwaltungsgericht zugrunde gelegte Sachverhalt offensichtlich unrichtig oder unvollständig ist und die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Diesen Anforderungen entspricht die Beschwerdeschrift nicht, die lediglich einen rechtlichen Mangel (nämlich die Verletzung des rechtlichen Gehörs im zweiten Rechtsgang) rügt. Insbesondere wird nicht dargelegt und ist auch nicht ersichtlich, von welchen Standorten aus der Kiesbelag und die Steine wahrnehmbar sind und inwiefern sie - aus Sicht eines aussenstehenden Beobachters - einen optischen Bezug zwischen der projektierten Baute (Antennenanlage) und dem Aussichtspunkt "Weieren" bzw. der geschützten Aussicht begründen, was nach Auffassung des Verwaltungsgerichts Voraussetzung für die erhöhten ästhetischen Anforderungen gemäss § 238 Abs. 2 PBG wäre (E. 5.2 des Urteils vom 1. Dezember 2010).
4. Nach dem Gesagten ist die Beschwerde abzuweisen, soweit darauf einzutreten ist. Bei diesem Ausgang des Verfahrens werden die Beschwerdeführer kosten- und entschädigungspflichtig (Art. 66 und 68 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 3'000.-- werden den Beschwerdeführern auferlegt.
3. Die Beschwerdeführer haben die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 3'000 zu entschädigen.
4. Dieses Urteil wird den Parteien, dem Hochbau- und Planungsausschuss Männedorf und dem Verwaltungsgericht des Kantons Zürich, 1. Abteilung, 1. Kammer, schriftlich mitgeteilt.
Lausanne, 28. März 2013
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Aemisegger
Die Gerichtsschreiberin: Gerber