Sachverhalt:
A. Mit Beschluss vom 2. September 2008 erteilte die Bausektion der Stadt Zürich der Sunrise Communications AG die baurechtliche Bewilligung zur Erstellung einer Mobilfunk-Basisstation auf dem Gebäude Zollikerstrasse 247 in Zürich. Die Basisstation soll mit einer Gesamtleistung von maximal 2'050 WERP betrieben werden. Beim vorgesehenen Antennentyp handelt es sich um eine stabförmige Rundantenne, welche gleichzeitig sowohl auf der GSM-Frequenz als auch auf der UMTS-Frequenz betrieben werden kann. Zur Basisstation gehören eine Richtfunkantenne sowie das für den Anlagebetrieb notwendige technische Equipment. Das Baugrundstück liegt in der Wohnzone W2.
Den von 33 Personen erhobenen Rekurs gegen diese Bewilligungserteilung wies die Baurekurskommission I des Kantons Zürich mit Entscheid vom 25. September 2009 ab.
Insgesamt 14 Verfahrensbeteiligte fochten diesen Entscheid beim Verwaltungsgericht des Kantons Zürich an, welches die Beschwerde mit Entscheid vom 27. Januar 2010 abwies.
B. Die im verwaltungsgerichtlichen Verfahren unterlegenen X._, Q._, R._, S._, T._, U._, V._ und W._ führen Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht und beantragen, der Entscheid des Verwaltungsgerichts sei aufzuheben und die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen. Des Weiteren stellen sie Antrag auf Durchführung einer öffentlichen Verhandlung und eines Augenscheins.
Die Sunrise Communications AG beantragt die Beschwerdeabweisung. Den gleichen Antrag stellt die Stadt Zürich. Das Verwaltungsgericht beantragt, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei. Die Beschwerdeführer halten an ihrer Rechtsauffassung und ihren Anträgen fest.
Mit Präsidialverfügung vom 10. Mai 2010 wurde der Beschwerde die aufschiebende Wirkung zuerkannt.

Erwägungen:
1. Beim angefochtenen Urteil handelt es sich um einen kantonal letztinstanzlichen Entscheid über eine Mobilfunkantennenanlage, welcher der Beschwerde in öffentlich-rechtlichen Angelegenheiten unterliegt (<ref-law>; <ref-ruling> E. 1.1 S. 411). Die Beschwerdeführer sind Eigentümer und Mieter von Liegenschaften, welche sich innerhalb des praxisgemäss (<ref-ruling> E. 2 S. 169 ff.) berechneten Einspracheradius befinden. Sie sind als Adressaten des angefochtenen Entscheids vom umstrittenen Vorhaben besonders berührt und haben ein schutzwürdiges Interesse an der Aufhebung oder Änderung des Entscheids der Vorinstanz (<ref-law>; <ref-ruling> E. 1.3 S. 252 f.). Auch die übrigen Sachurteilsvoraussetzungen sind erfüllt und geben zu keinen weiteren Bemerkungen Anlass. Auf die Beschwerde ist grundsätzlich einzutreten.
2. 2.1 Die Beschwerdeführer rügen, sie hätten gestützt auf Art. 6 EMRK einen Anspruch auf Durchführung einer öffentlichen Verhandlung.
2.2 In Verfahren über zivilrechtliche Streitigkeiten im Sinne von Art. 6 Ziff. 1 EMRK besteht grundsätzlich ein Anspruch darauf, dass mindestens einmal ein Gericht eine öffentliche Verhandlung durchführt (<ref-ruling> E. 2 S. 45 f.). In <ref-ruling> E. 2a/bb S. 61 f. hat das Bundesgericht entschieden, dass die Immissions- und Anlagegrenzwerte der Verordnung vom 23. Dezember 1999 über den Schutz vor nichtionisierender Strahlung (NISV; SR 814.710) nachbarschützend wirken und Art. 6 Ziff. 1 EMRK deshalb Anwendung findet, wenn ein Beschwerdeführer vorbringt, diese Grenzwerte seien auf seinem Grundstück überschritten. Wie es sich damit verhält, kann jedoch offen bleiben, denn ein allfälliger Anspruch auf eine öffentliche Verhandlung hätten die Beschwerdeführer bereits vor dem Verwaltungsgericht als letzter kantonaler Rechtsmittelinstanz geltend machen müssen (Urteil 2C_9/2010 vom 12. April 2010 E. 1; Urteil 2C_344/2007 vom 22. Mai 2008 E. 1.3, in: ZBl 110/2009 S. 209). Ein dahingehender Antrag wurde im vorinstanzlichen Verfahren nicht gestellt, und aus den <ref-law> ergibt sich kein Recht einer Partei auf mündliche und öffentliche Beratung ihrer Sache vor Bundesgericht (vgl. STEFAN HEIMGARTNER/HANS WIPRÄCHTIGER, in: Basler Kommentar, Bundesgerichtsgesetz, 2008, N. 2 zu <ref-law>).
3. 3.1 Die Beschwerdeführer rügen eine Verletzung ihres Anspruchs auf rechtliches Gehör (<ref-law>), da die Vorinstanz auf die Durchführung eines Augenscheins verzichtet habe. Es sei nicht möglich, einzig gestützt auf die Akten eine sachgerechte Beurteilung der Einordnung der Antennenanlage in die Umgebung vorzunehmen.
3.2 Die Vorinstanz erwägt, die tatsächlichen Verhältnisse seien aus der bei den Akten liegenden Fotodokumentation und den Baugesuchsunterlagen hinreichend ersichtlich, so dass sich die gebotene Interessenabwägung zur Beurteilung einer allfälligen Beeinträchtigung nachbarlicher Interessen ohne Durchführung eines Augenscheins vornehmen lasse.
3.3 Der verfassungsrechtliche Anspruch auf rechtliches Gehör nach <ref-law> räumt den Verfahrensbeteiligten das Recht ein, Beweismassnahmen zu beantragen, und verpflichtet die Behörden, rechtzeitig und formgerecht angebotene Beweismittel zu behaupteten rechtserheblichen Tatsachen abzunehmen. Auf ein beantragtes Beweismittel kann nur dann verzichtet werden, wenn es eine nicht erhebliche Tatsache betrifft oder offensichtlich untauglich ist, wenn die Behörden den Sachverhalt aufgrund eigener Sachkunde oder nach den Akten hinreichend würdigen, oder wenn sie in vorweggenommener Beweiswürdigung annehmen können, dass ihre Überzeugung durch weitere Beweiserhebungen nicht geändert würde (<ref-ruling> E. 4a S. 211). Wird ein Augenschein beantragt, steht der Entscheid, ob ein solcher angeordnet werden soll, im pflichtgemässen Ermessen der mit der Sache befassten Behörde. Eine dahingehende Pflicht besteht nur, wenn die tatsächlichen Verhältnisse auf andere Weise nicht ermittelt werden können (vgl. Alfred Kölz/Jürg Bosshart/Martin Röhl, Kommentar zum Verwaltungsgerichtsgesetz des Kantons Zürich, 2. Aufl. 1999, § 7 N. 42).
3.4 Bei der Prüfung, ob die Vorinstanz verpflichtet war, einen Augenschein durchzuführen, ist ihre Kognition zu berücksichtigen. Bei der Anwendung der streitigen Ästhetikvorschriften des Planungs- und Baugesetzes des Kantons Zürich vom 7. September 1975 (PBG/ZH; LS 700.1) steht der kommunalen Baubehörde ein erheblicher Beurteilungsspielraum zu, den schon die Baurekurskommission zu respektieren hatte (vgl. auch E. 5 hiernach). Der Vorinstanz kommt lediglich Rechtskontrolle zu (§ 50 Abs. 1 des Verwaltungsrechtspflegegesetzes des Kantons Zürich vom 24. Mai 1959 [VRG/ZH; LS 175.2]). Sie musste daher insoweit einzig überprüfen, ob die Rekursinstanz die ästhetische Würdigung durch die kommunale Baubehörde zu Recht für vertretbar halten durfte.
Die Vorinstanz hat eingehend begründet und plausibel dargelegt, weshalb ihr die Verfahrensakten (inklusive Fotodokumention) eine sachgerechte Beurteilung der örtlichen Verhältnisse - auch in Bezug auf die inventarisierten Schutzobjekte - erlaubten. Demzufolge bedeutet der Verzicht auf die Durchführung eines Augenscheins keine Verletzung des Anspruchs der Beschwerdeführer auf rechtliches Gehör. Nach dem Gesagten erübrigt sich auch im bundesgerichtlichen Verfahren die Vornahme eines Augenscheins, weshalb der entsprechende Antrag der Beschwerdeführer abzuweisen ist.
4. 4.1 Die Beschwerdeführer erachten die Sachverhaltsfeststellungen der Vorinstanz als offensichtlich unrichtig und rügen eine Verletzung des Willkürverbots (<ref-law>).
4.2 Die Verletzung von Grundrechten - einschliesslich der willkürlichen Anwendung von kantonalem Recht und Willkür bei der Sachverhaltsfeststellung - prüft das Bundesgericht nicht von Amtes wegen, sondern nur insoweit, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (<ref-law>). Die Beschwerdeschrift muss die wesentlichen Tatsachen und eine kurz gefasste Darlegung darüber enthalten, welche verfassungsmässigen Rechte bzw. welche Rechtssätze inwiefern durch den angefochtenen Erlass oder Entscheid verletzt worden sind. Das Bundesgericht prüft nur klar und detailliert erhobene und, soweit möglich, belegte Rügen. Wird eine Verletzung des Willkürverbots geltend gemacht, muss anhand der angefochtenen Subsumtion im Einzelnen dargelegt werden, inwiefern der Entscheid an einem qualifizierten und offensichtlichen Mangel leidet (<ref-ruling> E. 1.6 S. 130; <ref-ruling> E. 2.1 und 2.2 S. 245 f.; je mit Hinweisen).
Nach der bundesgerichtlichen Praxis liegt Willkür vor, wenn der angefochtene Entscheid offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft. Das Bundesgericht hebt einen Entscheid jedoch nur auf, wenn nicht bloss die Begründung, sondern auch das Ergebnis unhaltbar ist; dass eine andere Lösung ebenfalls als vertretbar oder gar zutreffender erscheint, genügt nicht (vgl. <ref-ruling> E. 5.4 S. 148).
4.3 Was die Beschwerdeführer gegen die Beweiswürdigung und Sachverhaltsfeststellung der Vorinstanz vorbringen, ist nicht geeignet, Willkür darzutun. Sie stellen den Ausführungen im angefochtenen Urteil lediglich ihre eigene Sichtweise gegenüber, ohne näher zu erörtern, inwiefern der Entscheid (auch) im Ergebnis schlechterdings unhaltbar sein sollte. Dies gilt namentlich für ihr Vorbringen, der Abstand zwischen dem Standortgebäude und ihren Liegenschaften betrage entgegen den Feststellungen der Vorinstanz nicht mindestens 25 Meter, sondern bloss 19 Meter. Die Beschwerde ist damit auch in diesem Punkt abzuweisen, soweit darauf einzutreten ist.
5. 5.1 Die Beschwerdeführer machen sinngemäss eine willkürliche Anwendung von § 238 PBG/ZH geltend. Die Auffassung der Vorinstanz, den Gemeinden stehe nicht nur bei der Anwendung der Ästhetikklausel von § 238 Abs. 1 PBG/ZH, sondern auch bei § 238 Abs. 2 PBG/ZH eine relativ erhebliche Entscheidungsfreiheit zu, sei offensichtlich falsch.
Des Weiteren sei die Vorinstanz in Willkür verfallen, indem sie im Rahmen der nach § 357 Abs. 1 PBG/ZH durchzuführenden Interessenabwägung die rein kommerziellen Interessen der Beschwerdegegnerin a priori höher gewichtet habe als die entgegenstehenden öffentlichen und nachbarlichen Interessen.
5.2 Gemäss § 238 Abs. 1 PBG/ZH sind Bauten, Anlagen und Umschwung für sich und in ihrem Zusammenhang mit der baulichen und landschaftlichen Umgebung im ganzen und in ihren einzelnen Teilen so zu gestalten, dass eine befriedigende Gesamtwirkung erreicht wird; diese Anforderung gilt auch für Materialien und Farben. Nach § 238 Abs. 2 PBG/ZH ist auf Objekte des Natur- und Heimatschutzes speziell Rücksicht zu nehmen.
Gemäss § 357 Abs. 1 PBG dürfen bestehende Bauten und Anlagen, die Bauvorschriften widersprechen, umgebaut, erweitert und, sofern sie sich für eine zonengemässe Nutzung nicht eignen, anderen Nutzungen zugeführt werden, falls keine überwiegenden öffentlichen oder nachbarlichen Interessen entgegenstehen.
5.3 Die Vorinstanz führt im Wesentlichen aus, es sei unbestritten, dass das Standortgebäude als baurechtswidrig zu qualifizieren sei. Allerdings führe die geplante Anlage zu keinen weitergehenden Abweichungen von den Bauvorschriften. Zur Anwendung gelange daher § 357 Abs. 1 PBG/ZH. Da die Gerätekästen innerhalb des erlaubten Dachprofils lägen, lasse sich aus der Baurechtswidrigkeit des Standortgebäudes auch keine Verpflichtung zur Unterbringung des technischen Equipments im Dachgeschoss oder im Keller ableiten.
Im Rahmen der nach § 357 Abs. 1 PBG/ZH vorzunehmenden Interessenabwägung sei § 238 PBG/ZH zu berücksichtigen. Einige der Liegenschaften der Beschwerdeführer seien im Inventar der kommunalen Denkmalschutzobjekte enthalten, so dass gestützt auf § 238 Abs. 2 PBG/ZH auf diese Objekte besondere Rücksicht zu nehmen sei. Den kommunalen Baubehörden stehe bei der Anwendung dieser Bestimmung ein qualifizierter Beurteilungsspielraum bzw. eine relativ erhebliche Entscheidungsfreiheit zu. Sie könnten sich allerdings nur dann auf ihren geschützten Beurteilungsspielraum berufen, wenn sie spätestens in der Rekursvernehmlassung die geforderte nachvollziehbare Begründung vorbrächten. Nach der in der Vernehmlassung dargelegten Auffassung der Baurekurskommission würden diese inventarisierten Gebäude in ihrem Erscheinungsbild und in ihrem Schutzwert durch die geplante durchschnittlich dimensionierte Antennenanlage nicht in relevantem Ausmass beeinträchtigt.
Diese Einschätzung der Baurekurskommission - so folgert die Vorinstanz - sei vertretbar. Ergänzend führt die Vorinstanz aus, die Aussicht und die Belichtungs- und Besonnungsverhältnisse würden durch den schmalen Antennenmast nicht massgeblich beeinträchtigt. Gleiches gelte für die zu errichtenden Technikkästen. Diese seien klein dimensioniert und würden an den bestehenden Liftaufbau angelehnt, weshalb auch von ihnen nur eine marginale Beschränkung der Aussicht ausgehe. Zusammenfassend ergebe sich, dass weder überwiegende öffentliche noch nachbarliche Interessen der Errichtung der geplanten Mobilfunkanlage entgegenstünden.
5.4 Die Ausführungen im angefochtenen Urteil zu § 238 PBG/ZH verletzen kein Bundesrecht. Nach der kantonalen Praxis steht der kommunalen Baubehörde bei der Anwendung von § 238 Abs. 2 PBG/ZH, wonach auf Objekte des Natur- und Heimatschutzes speziell Rücksicht zu nehmen ist, ein besonderer Ermessensspielraum zu, der auch im Rechtsmittelverfahren zu beachten ist (vgl. Christoph Fritzsche/Peter Bösch, Zürcher Planungs- und Baurecht, 4. Aufl. 2006, Ziff. 10.1.1.4). Diese Praxis wurde vom Bundesgericht ausdrücklich geschützt (Urteil 1A.9/2007 vom 4. Dezember 2007 E. 3.4). An dieser Rechtsprechung ist festzuhalten. Es ist nicht ersichtlich und wird von den Beschwerdeführern auch nicht aufgezeigt, weshalb es unhaltbar sein sollte, den Gemeinden auch bei der Anwendung von § 238 Abs. 2 PBG/ZH einen Beurteilungsspielraum zuzugestehen. Ebenso wenig hat die Vorinstanz <ref-law> verletzt, indem sie insoweit in antizipierter Beweiswürdigung von der Einholung eines Berichts der Denkmalpflegekommission der Stadt Zürich absah.
Des Weiteren legen die Beschwerdeführer nicht substanziiert dar, weshalb die Praxis der Vorinstanz, wonach die kommunale Behörde spätestens in der Rekursvernehmlassung die geforderte nachvollziehbare Begründung vorzubringen habe, willkürlich sein und gegen das Rechtsgleichheitsgebot verstossen sollte. Dies ist auch nicht ersichtlich. Im Übrigen wäre es den Beschwerdeführern im kantonalen Verfahren offen gestanden, zu den Ausführungen der Baubehörde Stellung zu beziehen. Dass die Baurekurskommission nicht von Amtes wegen einen zweiten Schriftenwechsel durchführte, ist entgegen den Vorbringen in der Beschwerde nicht zu beanstanden (vgl. insoweit auch <ref-ruling> E. 3.3.4 S. 47).
Schliesslich hat die Vorinstanz im Rahmen von § 357 Abs. 1 PBG/ZH die Umstände des konkreten Falls eingehend gewürdigt und die divergierenden Interessen gegeneinander abgewogen. Inwiefern sie dabei in Willkür verfallen sein sollte, ist nicht erkennbar und wird von den Beschwerdeführern auch nicht rechtsgenüglich dargelegt.
6. 6.1 Die Beschwerdeführer bringen vor, innerhalb der Bauzonen könnten Mobilfunkanlagen nur als zonenkonform betrachtet werden, wenn sie hinsichtlich Standort und Ausgestaltung in einer funktionellen Beziehung zum Ort stünden, an dem sie errichtet werden sollen. Dies sei bei der zu beurteilenden Anlage nicht der Fall, da diese aufgrund ihrer hohen Sendeleistung wohl kaum einem tatsächlichen Bedürfnis zur lokalen Versorgung diene. Vielmehr würde mit der Antenne (insbesondere auch) die Bevölkerung auf der gegenüberliegenden Seeseite mit Mobilfunkdiensten versorgt.
6.2 Die Vorinstanz hält fest, eine gewöhnlich dimensionierte Mobilfunk-Basisstation stelle nach der kantonalen Praxis keinen Betrieb im baurechtlichen Sinn dar und sei als blosse technische Infrastrukturbaute auch in einer Wohnzone zonenkonform. Dies beruhe unter anderem auf der Überlegung, dass es sich bei Mobilfunkanlagen um gesellschaftlich akzeptierte Begleiterscheinungen der heutigen Zivilisation handle. Entscheidend sei, dass die Anlage einem tatsächlichen Bedürfnis zur lokalen Versorgung mit Mobilfunkdiensten entspreche. Die projektierte Anlage erweise sich damit als zonenkonform.
6.3 Die Ausführungen der Vorinstanz sind zutreffend. Wie im angefochtenen Urteil dargelegt, ist aufgrund der durchschnittlichen Dimension und Leistungsfähigkeit der Anlage davon auszugehen, dass diese nicht über das hinausgeht, was zur üblichen Ausstattung einer reinen Wohnzone mit Infrastrukturanlagen gehört. Entgegen der nicht hinreichend substanziierten Auffassung der Beschwerdeführer kann damit nicht gesagt werden, dass vor allem die Bevölkerung auf der anderen Seeseite mit Mobilfunkdiensten versorgt würde. Dient die Anlage mithin der lokalen Versorgung, ist auch die nach der bundesgerichtlichen Rechtsprechung erforderliche unmittelbare funktionelle Beziehung zum Ort gewahrt, an welchem die Anlage errichtet werden soll (vgl. <ref-ruling> E. 4.3.2).
7. 7.1 Die Beschwerdeführer weisen ferner auf eine hängige Behördeninitiative des Gemeinderats von Zürich hin, mit welcher namentlich bezweckt werde, die Strahlenbelastung im Siedlungsgebiet möglichst weitgehend zu senken und den Aufbau von Parallelinfrastrukturen zu vermeiden. Würde diese Initiative angenommen, so könnten die Zürcher Gemeinden künftig vorschreiben, dass die Erstellung von Mobilfunkanlagen eine Standortevaluation voraussetze. Die Behördeninitiative sei daher als Planungsinstrumentarium im Sinne von § 234 PBG/ZH zu berücksichtigen.
7.2 Nach § 234 PBG/ZH ist eine Baubewilligung ganz oder teilweise zu verweigern, wenn sich die Verwirklichung des Bauvorhabens auf eine noch ausstehende oder beantragte planungsrechtliche Festlegung nachteilig auswirkt. Eine solche befristete Bausperre soll verhindern, dass die künftige planerische Festlegung durch ihr widersprechende Veränderungen an Grundstücken ganz oder teilweise vereitelt wird (Fritzsche/Bösch, a.a.O., Ziff. 9.2.1.1). Die fehlende planungsrechtliche Baureife ist im Sinne einer Vorwirkung nur zu berücksichtigen, wenn die künftige Planungsmassnahme ernsthafte Realisierungschancen aufweist (Fritzsche/Bösch, a.a.O., Ziff. 9.2.2.3).
7.3 Der Regierungsrat des Kantons Zürich beantragt mit Beschluss vom 18. August 2010 (RRB Nr. 1188) dem Kantonsrat, die Behördeninitiative des Gemeinderats der Stadt Zürich betreffend emissionsarme Mobilfunkzonen abzulehnen. Die Realisierung der Initiative erscheint somit fraglich, weshalb die Nichtanwendung von § 234 PBG/ZH durch die Vorinstanz bereits aus diesem Grund jedenfalls nicht willkürlich ist. Zudem dürfte die Initiative auch nicht den erforderlichen Konkretisierungsgrad aufweisen, da ein allfälliger Verzicht der Mobilfunkbetreiber auf Baugesuche auf freiwilligen Vereinbarungen mit dem Kanton beruhen würde; konkrete planungsrechtliche Normen würden mit Annahme der Initiative mithin nicht geschaffen. Bei diesem Ergebnis kann offen gelassen werden, ob sich die Initiative überhaupt bundesrechtskonform auslegen lässt (vgl. hierzu <ref-ruling> E. 4.3.4 S. 327; <ref-ruling> E. 5.2 S. 66).
7.4 Schliesslich ist entgegen der Auffassung der Beschwerdeführer für die Beurteilung der konkreten Baubewilligung nicht von Relevanz, dass Fusionsbestrebungen der Beschwerdegegnerin mit einer anderen Mobilfunkbetreiberin bestehen respektive bestanden.
8. Die Beschwerde ist damit abzuweisen, soweit darauf einzutreten ist. Infolge ihres Unterliegens sind die bundesgerichtlichen Kosten den Beschwerdeführern aufzuerlegen (Art. 66 Abs. 1 und 5 BGG). Diese haben der Beschwerdegegnerin eine angemessene Parteientschädigung auszurichten (Art. 68 Abs. 1 und 2 BGG), wofür sie solidarisch haften (<ref-law> i.V.m. <ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 3'000.-- werden den Beschwerdeführern auferlegt.
3. Die Beschwerdeführer haben die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 2'000.-- unter solidarischer Haftung zu entschädigen.
4. Dieses Urteil wird den Parteien, der Bausektion des Stadtrates Zürich sowie dem Regierungsrat und dem Verwaltungsgericht des Kantons Zürich, 1. Abteilung, 1. Kammer, schriftlich mitgeteilt.
Lausanne, 8. November 2010
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Féraud Stohner