Sachverhalt:
A. Mit Beschluss vom 15. April 2008 erteilte die Bausektion des Stadtrates Zürich der Sunrise Communications AG die Baubewilligung für die Erstellung einer Mobilfunk-Basisstation auf dem Gebäude an der Rebbergstrasse 39 in Zürich 10 - Höngg (Grundstück Kat.-Nr. HG6330). Gegen diesen Beschluss erhoben einerseits A._ und 47 weitere Personen und andererseits W._ Rekurs an die Baurekurskommission I des Kantons Zürich. Mit Entscheid vom 29. Mai 2009 vereinigte die Baurekurskommission die beiden Verfahren, hiess das Rechtsmittel von W._ teilweise gut und wies jenes von A._ und 47 weiteren Personen ab.
Ein hiergegen von A._ und 39 weiteren Personen erhobene Beschwerde wurde vom Verwaltungsgericht des Kantons Zürich am 2. Dezember 2009 abgewiesen.
B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 12. Februar 2010 beantragen A._ und die weiteren im Rubrum genannten Personen, die Entscheide des Verwaltungsgerichts, der Baurekurskommission und der Bausektion des Stadtrates Zürich seien aufzuheben. Die Angelegenheit sei zur Feststellung des Sachverhalts, insbesondere zur Durchführung eines Augenscheins, und zur neuen Beurteilung an die Bausektion zurückzuweisen.
Das Verwaltungsgericht beantragt, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei. Die Bausektion des Stadtrates Zürich und die Beschwerdegegnerin schliessen auf Abweisung der Beschwerde. In ihrer Stellungnahme dazu halten die Beschwerdeführer im Wesentlichen an ihren Anträgen und Rechtsauffassungen fest.
Mit Präsidialverfügung vom 15. März 2010 hat das Bundesgericht der Beschwerde die aufschiebende Wirkung zuerkannt.

Erwägungen:
1. 1.1 Beim angefochtenen Urteil handelt es sich um einen kantonal letztinstanzlichen Entscheid über die Baubewilligung für eine Mobilfunkanlage, welcher der Beschwerde in öffentlich-rechtlichen Angelegenheiten unterliegt (<ref-law>). Gemäss jenem Entscheid sind die Beschwerdeführer Eigentümer oder Mieter von Liegenschaften innerhalb des Perimeters, in dem die Strahlung noch 10 % des Anlagegrenzwerts beträgt. Die betreffenden Personen sind damit gemäss der bundesgerichtlichen Rechtsprechung grundsätzlich zur Beschwerde legitimiert (Art. 89 Abs. 1 lit. b und c BGG; <ref-ruling> E. 2 S. 169 ff. mit Hinweisen). Auf die Beschwerde ist deshalb unter Vorbehalt der nachfolgenden Erwägungen einzutreten.
1.2 Unzulässig ist der Antrag der Beschwerdeführer, auch die Entscheide der Baurekurskommission und der Bausektion aufzuheben. Diese sind durch das Urteil des Verwaltungsgerichts ersetzt worden (Devolutiveffekt) und gelten als inhaltlich mitangefochten (<ref-ruling> E. 1.4 S. 144 mit Hinweis).
1.3 Die Beschwerdeführer rügen eine willkürliche Feststellung des Sachverhalts durch die Vorinstanz, legen jedoch nicht konkret dar, worin diese liegt. Auf das Vorbringen ist deshalb nicht einzutreten (<ref-law>). Falls die Beschwerdeführer die willkürliche Feststellung des Sachverhalts in der ästhetischen Beurteilung der Antennenanlage erblicken, so ist darauf hinzuweisen, dass es sich dabei nicht um eine Sachverhalts-, sondern um eine Rechtsfrage handelt (vgl. hierzu E. 3 hiernach).
2. 2.1 Die Beschwerdeführer rügen, sie hätten vor der Baurekurskommission keine Möglichkeit erhalten, die Fotografien von der Antenne einzusehen. Diese hätten sich in den Akten eines Parallelverfahrens befunden. Vor der Vereinigung der beiden Verfahren, welche die Baurekurskommission erst mit ihrem Endentscheid vorgenommen habe, wäre ein Akteneinsichtsgesuch ohne Aussicht auf Erfolg gewesen. Die Vorinstanz habe dies verkannt und eine diesbezügliche Rüge der Beschwerdeführer in Verletzung von <ref-law> abgewiesen. Eine Heilung dieser Gehörsverletzung falle ausser Betracht.
2.2 Die Vorinstanz hält fest, die Bausektion habe die Baugesuchsunterlagen mit Sendung vom 8. Juli 2008 im Rahmen der Rekursvernehmlassung im Verfahren R1S.2008.05084 der Baurekurskommission eingereicht. Im Verfahren der Beschwerdeführer habe sie - ebenfalls mit einer vom 8. Juli 2008 datierten Vernehmlassung - auf diesen Umstand hingewiesen. Dieses Schreiben sei den Beschwerdeführern am 7. August 2008 zugestellt worden. Diese hätten somit gewusst, dass es ein Parallelverfahren gebe und dass sich die Baugesuchsakten in jenem Dossier befänden.
2.3 Das rechtliche Gehör gemäss <ref-law> dient einerseits der Sachaufklärung, andererseits stellt es ein persönlichkeitsbezogenes Mitwirkungsrecht beim Erlass eines Entscheids dar, welcher in die Rechtsstellung des Einzelnen eingreift. Dazu gehört insbesondere das Recht des Betroffenen, sich vor Erlass eines solchen Entscheids zur Sache zu äussern, erhebliche Beweise beizubringen und Einsicht in die Akten zu nehmen (<ref-ruling> E. 5.1 S. 293 mit Hinweisen).
Die Verfahrensunterlagen bestätigen die Ausführungen der Vorinstanz. In ihrer Vernehmlassung im Verfahren vor der Baurekurskommission wies die Bausektion klar darauf hin, dass sie die Akten ihrer Rekursvernehmlassung zum Verfahren R1S.2008.05084 beigelegt habe. Weshalb die Beschwerdeführer davon ausgingen, die Baugesuchsakten seien damit ihrer Einsicht entzogen gewesen und ein entsprechendes Gesuch hätte ohnehin keine Aussicht auf Erfolg gehabt, ist nicht nachvollziehbar. Nachdem sie trotz des Hinweises kein Akteneinsichtsgesuch stellten, erweist sich ihre Rüge der Verletzung des rechtlichen Gehörs als unbegründet.
Offen bleiben kann, wie es sich mit der Möglichkeit der Heilung einer Gehörsverletzung verhalten hätte (vgl. dazu insbesondere die Ausführungen zur Kognitionsbeschränkung in <ref-ruling> E. 2.6.4 S. 286 f. mit Hinweisen, in: Pra 2010 Nr. 46 S. 335).
3. 3.1 Die Beschwerdeführer rügen, dass weder die Baurekurskommission noch das Verwaltungsgericht einen Augenschein durchgeführt haben. Damit sei wiederum ihr Anspruch auf rechtliches Gehör verletzt worden, was im Ergebnis zu einer willkürlichen Anwendung von § 238 des Gesetzes des Kantons Zürich vom 7. September 1975 über die Raumplanung und das öffentliche Baurecht (LS 700.1; im Folgenden: PBG) geführt habe (<ref-law>).
Die Beschwerdeführer machen geltend, nur bei einem Augenschein komme die Raumwirkung der Antennenanlage zur Geltung. Die Computerbilder, die zudem weder scharf noch aktuell seien, vermöchten einen Augenschein nicht zu ersetzen. Zudem existierten namentlich keine Bilder zur Raumwirkung der Antenne von bergwärts gelegenen Standorten. Von dort wie auch aus der Ferne komme die Antenne wegen der Hanglage markant und negativ zur Geltung. Hinzu komme die Dimension und Ausgestaltung des schlichten Standortgebäudes, das im vorliegenden Quartier negativ auffalle. Die Erwägungen im Urteil des Verwaltungsgerichts zu diesen Kritikpunkten seien zum einen abstrakte Feststellungen ohne Bezug zu den konkreten örtlichen Gegebenheiten, zum anderen reine Mutmassungen.
3.2 Im angefochtenen Entscheid wird ausgeführt, das im Jahr 1933 erstellte Standortgebäude weise keine besondere architektonische Qualität auf. Wie aus den Bauplänen hervorgehe, handle es sich um eine relativ grosskubige dreigeschossige Flachdachbaute mit Attikageschoss an Hanglage. Das betroffene Wohngebiet habe zwar ästhetische Qualitäten, doch befänden sich in der unmittelbaren Umgebung keine Schutzobjekte. Die technische Ausrüstung der Mobilfunkanlage werde gemäss den Bauplänen in Gerätekästen an der Ostwand des Attikageschosses eingebaut. Diese würden aufgrund ihrer Positionierung und ihrer Grösse kaum auffallen. Die Antenne selbst bestehe im Gegensatz zur herkömmlichen Bauform lediglich aus einem schmalen Rohrkörper. Aufgrund ihrer schlanken Erscheinungsform sei die Anlage bei einer Masthöhe von 4,5 m sowie einem an der Spitze angebrachten 1 m hohen Blitzfangstab als noch durchschnittlich dimensioniert zu betrachten.
Zwar treffe zu, dass das Gebäude aufgrund seiner Hanglage von Norden her wohl nicht als drei-, sondern eher als zweigeschossige Baute mit Dachterrassenaufgang erscheine. Aufgrund der Grösse des Standortgebäudes erweise sich die Einschätzung der Baurekurskommission, dass die Anlage auch von der Hangseite her gesehen noch nicht als überdimensioniert zu betrachten sei, jedoch als vertretbar. Die Anlage solle zentral in der Dachmitte des Standortgebäudes angeordnet werden, weshalb für den Betrachter in unmittelbarer Nähe des Standortgebäudes die Antenne durch das Gebäude ganz oder teilweise verdeckt werde. Je weiter sich der Betrachter vom Gebäude entferne, desto mehr sehe er zwar von der Anlage, desto kleiner trete diese aber optisch in Erscheinung.
Was die beanstandeten Panoramabilder aus dem Jahr 2002 betreffe, möge zwar zutreffen, dass mittlerweile mehrere Bäume in der Umgebung gefällt worden seien. Daraus lasse sich jedoch angesichts der beschränkten Kognition der Vorinstanz, die lediglich zu prüfen habe, ob die Einordnungsbeurteilung der Baubehörde vertretbar sei, noch keine Verpflichtung zur Durchführung eines Augenscheins ableiten. Auch seien die Bilder scharf genug, um einen hinreichenden Eindruck von der baulichen Umgebung des Standorts zu bekommen, zumal aus der Begründung des Entscheids der Baurekurskommission hervorgehe, dass diese mit den örtlichen Verhältnissen vertraut sei.
3.3 Gemäss § 238 Abs. 1 PBG sind Bauten, Anlagen und Umschwung für sich und in ihrem Zusammenhang mit der baulichen und landschaftlichen Umgebung im Ganzen und in ihren einzelnen Teilen so zu gestalten, dass eine befriedigende Gesamtwirkung erreicht wird; diese Anforderung gilt auch für Materialien und Farben. Das Verwaltungsgericht ging in vorweggenommener Beweiswürdigung davon aus, dass kein Verstoss gegen § 238 Abs. 1 PBG vorliege und dass ein Augenschein an diesem Ergebnis nichts ändern würde.
Bei der Prüfung der Frage, ob das Verwaltungsgericht oder die Baurekurskommission verpflichtet war, einen Augenschein durchzuführen, ist deren Kognition zu berücksichtigen. Bei der Anwendung der streitigen Ästhetikvorschrift kommt der kommunalen Baubehörde ein erheblicher Beurteilungsspielraum zu, den beide Rechtsmittelinstanzen zu respektieren hatten. Hinzu kommt, dass durchschnittlich dimensionierte Mobilfunkanlagen nach der Praxis der Stadt Zürich und der kantonalen Rechtsmittelinstanzen unter dem Gesichtspunkt der Einordnung in der Regel zuzulassen sind, sofern nicht individuelle Schutzobjekte tangiert werden oder sonst wie spezielle Verhältnisse vorliegen. (Urteil 1C_244/2007 vom 10. April 2008 E. 3.2).
Vor diesem Hintergrund erscheint weder die Auslegung der kantonalen Ästhetikvorschrift durch die Vorinstanz noch die vorweggenommene Beweiswürdigung in Bezug auf den beantragten Augenschein als willkürlich (vgl. dazu <ref-ruling> E. 5.3 S. 236 f. mit Hinweisen). Nach den Bauplänen macht die Antenne auf dem relativ grossen Standortgebäude, wo sie neben ein bestehendes Kamin zu stehen kommen soll, keinen wuchtigen Eindruck. Die ebenfalls den Akten beiliegenden digitalen Fotos geben zudem einen hinreichenden Eindruck von der Umgebung des Standortgebäudes. Sie lassen den Schluss zu, dass trotz der Hanglage nicht eigentlich von speziellen Verhältnissen gesprochen werden kann. In dieser Hinsicht ist auch nicht zu beanstanden, dass das Verwaltungsgericht eine ästhetische Gesamtbewertung vornahm und nicht ausschliesslich eine bestimmte Perspektive berücksichtigte. Schliesslich ist unstreitig, dass keine Schutzobjekte beeinträchtigt werden. Insgesamt erweist sich damit sowohl die Rüge der Verletzung des rechtlichen Gehörs wie auch der willkürlichen Anwendung von § 238 Abs. 1 PBG als unbegründet.
4. Die Beschwerde ist abzuweisen, soweit darauf einzutreten ist. Diesem Ausgang des Verfahrens entsprechend sind die Gerichtskosten den unterliegenden Beschwerdeführern aufzuerlegen (<ref-law>). Sie haben der obsiegenden, anwaltlich vertretenen Beschwerdegegnerin eine dem Aufwand entsprechende Parteientschädigung zu bezahlen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf eingetreten wird.
2. Die Gerichtskosten von Fr. 3'000.-- werden den Beschwerdeführern auferlegt.
3. Die Beschwerdeführer haben die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 1'500.-- zu entschädigen.
4. Dieses Urteil wird den Parteien, der Bausektion des Stadtrates Zürich und dem Verwaltungsgericht des Kantons Zürich, 1. Abteilung, 1. Kammer, schriftlich mitgeteilt.
Lausanne, 11. November 2010
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Féraud Dold