Sachverhalt:
A. Die Bausektion des Stadtrates Zürich erteilte der Y._ am 24. März 2010 die Baubewilligung für die Aufstockung des zum Wohnhaus ("Pfarrhaus") gehörenden Pavillons und für weitere bauliche Massnahmen auf dem Grundstück Kat.-Nr. HG5077 an der Z._strasse in Zürich 10-Höngg.
B. Dagegen gelangte der Nachbar X._ an die Baurekurskommission I und beantragte die Aufhebung der Bewilligung für die Aufstockung des Pavillons. Die Baurekurskommission I hiess den Rekurs am 1. Oktober 2010 teilweise gut und ergänzte den Beschluss der Bausektion mit einer Nebenbestimmung, wonach die Bauherrschaft vor Baubeginn abgeänderte Pläne über die eingeschossige Ausgestaltung der Passerelle zwischen Wohnhaus und Pavillon einzureichen und bewilligen zu lassen habe. Im Übrigen wurde der Rekurs abgewiesen.
C. X._ reichte hierauf Beschwerde beim Verwaltungsgericht des Kantons Zürichs ein und verlangte die Aufhebung des Rekursentscheids, soweit der Rekurs abgewiesen worden war. Das Verwaltungsgericht wies die Beschwerde am 23. März 2011 ab.
D. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 23. Mai 2011 beantragt X._ dem Bundesgericht die Aufhebung des angefochtenen Urteils und damit der Baubewilligung vom 24. März 2010. Eventualiter seien die Prozessakten zur weiteren Behandlung im Sinne der Erwägungen sowie zur Neuverlegung der Gerichtskosten und Entschädigungen für das vorangegangene Verfahren an die Vorinstanz zurückzuweisen. Gleichzeitig ersucht der Beschwerdeführer um Gewährung der aufschiebenden Wirkung.
Die Y._ als Bauherrin und damit private Beschwerdegegnerin äussert sich zur bisherigen und neuen Nutzung ihrer Liegenschaft. Die Bausektion der Stadt Zürich und das kantonale Verwaltungsgericht schliessen je auf Abweisung der Beschwerde, soweit darauf eingetreten werden könne.
Der Beschwerdeführer hält daraufhin sinngemäss an seinen Anträgen fest.
E. Der Präsident der I. öffentlich-rechtlichen Abteilung hat der Beschwerde mit Verfügung vom 15. Juni 2011 die aufschiebende Wirkung zuerkannt.

Erwägungen:
1. Das angefochtene Urteil des Verwaltungsgerichts ist ein Endentscheid einer letzten kantonalen Instanz (Art. 82 lit. a i.V.m. Art. 86 Abs. 1 lit. d und Art. 90 BGG). Ihm liegt ein Beschwerdeverfahren über ein Baubegehren und damit eine öffentlich-rechtliche Angelegenheit zu Grunde. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten nach <ref-law> steht auf dem Gebiet des Raumplanungs- und Baurechts zur Verfügung (<ref-ruling> E. 1.2 S. 251, 400 E. 2.1 S. 404). Ausnahmegründe im Sinne von <ref-law> liegen nicht vor. Der Beschwerdeführer hat am Verfahren vor der Vorinstanz teilgenommen (<ref-law>). Er ist als Nachbar des Bauvorhabens zur Beschwerde grundsätzlich legitimiert (Art. 89 Abs. 1 lit. b und c BGG; <ref-ruling> E. 1.3.3 S. 253 f.). Auf die frist- und formgerecht eingereichte Beschwerde ist darum grundsätzlich einzutreten.
2. Im Streite liegt die Anwendung und Auslegung von § 357 des kantonalen Planungs- und Baugesetzes vom 7. September 1975 (PBG/ZH; LS 700.1). Diese Bestimmung besagt, dass bestehende Bauten und Anlagen, die Bauvorschriften widersprechen, umgebaut, erweitert und andern Nutzungen zugeführt werden dürfen, sofern sie sich für eine zonengemässe Nutzung nicht eignen, wenn keine überwiegenden öffentlichen oder nachbarlichen Interessen entgegenstehen. Für neue oder weiter gehende Abweichungen von Vorschriften bleiben die erforderlichen Ausnahmebewilligungen vorbehalten.
2.1 Das Verwaltungsgericht vertritt den Standpunkt, bereits im Jahr 1993 sei auf dem Baugrundstück Kat.-Nr. HG5077 eine wohnanteilswidrige Fläche von 121 m2 bewilligt worden. Der heutige Zustand sei darum zwar formell baurechtskonform, jedoch materiell rechtswidrig. Der soeben zitierte § 357 PBG/ZH als erweiterte Besitzstandsgarantie umfasse auch inhaltlich fehlerhafte Baubewilligungen. In solchen Fällen komme dem Vertrauensschutz regelmässig grössere Bedeutung zu als dem Gesetzmässigkeitsprinzip.
2.2 Dagegen wendet der Beschwerdeführer sinngemäss ein, im Jahr 1993 sei keine Nutzung zu "Nichtwohnzwecken" bewilligt worden. Seither habe eine illegale Umnutzung stattgefunden, welche keinen Bestandesschutz geniesse. Aus den Baueingabeplänen lasse sich die im Jahr 1993 bewilligte Nutzweise nicht herleiten. Es sei lediglich daraus ersichtlich, dass der mit "Bibliothek/Lesezimmer" bezeichnete Raum in zwei Zimmer aufgeteilt werde. Die übrigen Räume im Erdgeschoss seien mit schwarzer Farbe bezeichnet worden, was eine unveränderte Nutzung bedeute. Die Feststellung der Vorinstanz, wonach die wohnfremde Nutzung des Erdgeschosses und des Pavillons mit Beschluss vom 2. April 1993 bewilligt worden sei, sei willkürlich. Weil die Bewilligungsbehörde die damals beabsichtigte Verwendung des Erdgeschosses und des Pavillons als Wohnnutzung taxiert habe, fehlten in der Bewilligung auch jegliche Erwägungen über die Wohnanteilspflicht.
In diesem Zusammenhang wirft der Beschwerdeführer dem Verwaltungsgericht eine Verletzung des rechtlichen Gehörs vor, weil es seinem Antrag, die Bewilligungsakten aus dem Jahr 1993 beizuziehen, nicht stattgegeben habe.
2.3 Das Verwaltungsgericht hat sich bei seiner Argumentation als Referenz massgeblich auf die in den Akten liegende Bewilligung der Bausektion II des Stadtrats vom 2. April 1993 gestützt (act. 7/5.1). Eingereicht hatte diese Unterlagen der Beschwerdeführer selber. Auf etwaige bewilligte Pläne bezieht sich das Verwaltungsgericht in seinem Urteil nicht, sondern es stellt auf die Feststellungen und Berechnungen seiner Vorinstanz ab. In der Baubewilligung finden sich keine Aussagen über die Nichtwohnnutzung im Erdgeschoss und im Pavillon. Diesbezüglich findet sich lediglich unter der Rubrik "Zone" der Vermerk "Wohnanteil: 90%". Sodann wird unter lit. a der Erwägungen festgehalten, dass das Vorhaben Familienwohnungen tangiere, was eine Bewilligung im Sinne des Gesetzes über die Erhaltung von Wohnungen für Familien (WEG) erfordere. Diese Bewilligung hat das Verwaltungsgericht offenbar nicht beigezogen. Der Beschwerdeführer gibt sie erstmals vor Bundesgericht zu den Akten, zusammen mit dem damaligen Baubeschrieb. Die WEG-Bewilligung, ebenfalls vom 2. April 1993 datierend, geht davon aus, dass die geschützte Familienwohnungsfläche erhalten bleibe. Die Umbau- und Renovationsmassnahmen würden angemessen erscheinen und seien mit relativ geringfügigen Grundrissänderungen verbunden. Ein Hinweis auf eine ausdrückliche Bewilligung der 121 m2 wohnanteilswidrigen Fläche ist nicht enthalten. Im Baubeschrieb vom 21. Dezember 1992 wird geschildert, dass das Einfamilienhaus (Baujahr 1926) innen und aussen saniert und soweit umgebaut bzw. erweitert werde, dass es der Stiftung für Kirche und Judentum (SKJ) als Pfarrhaus für ihren angestellten Pfarrer dienen könne. Die baulichen Veränderungen umfassten insbesondere einen Kücheneinbau im ersten Obergeschoss, einen Verandaausbau im Erdgeschoss, eine WC-Anlage im Untergeschoss, Vergrösserungen der Treppenvorplätze im Erd- und Untergeschoss sowie einen eingeschossigen Anbau auf der Südseite des Hauses. Die Räumlichkeiten des Einfamilienhauses inklusive Anbau würden der Pfarrfamilie und den Gästen des Pfarrers als Wohn- und Aufenthaltsräume dienen.
2.4 Wenn das Verwaltungsgericht bei seiner Beurteilung der Ausgangslage massgeblich auf den 1993 bewilligten Zustand abstellt, hat es dazu die vollständigen Bewilligungsdokumente beizuziehen, jedenfalls soweit sie entscheiderheblich sind. Wie gesehen geht aus den Erwägungen der Baubewilligung hervor, dass gerade mit Blick auf die 90%-ige Wohnnutzung eine zusätzliche WEG-Bewilligung erforderlich war. Diese sowie die dazugehörenden Pläne hätte das Verwaltungsgericht konsultieren müssen. Ob dies im Ergebnis einen Einfluss auf die Urteilsfindung hat, kann hier offenbleiben. Dem Beschwerdeführer ist jedenfalls nicht vorzuwerfen, dass er die WEG-Bewilligung erst vor Bundesgericht zu den Akten gibt, hat er doch im vorinstanzlichen Verfahren den Beizug der Baugesuchsunterlagen aus dem Jahr 1993 verlangt. Es handelt sich darum um kein unzulässiges Novum, wie die Bausektion in ihrer Vernehmlassung geltend macht.
2.5 Eine Verletzung des rechtlichen Gehörs und eine offensichtlich unvollständige Feststellung des rechtserheblichen Sachverhalts sind demnach zu bejahen. Das Verwaltungsgericht wird die Angelegenheit unter Berücksichtigung der genannten Unterlagen neu zu beurteilen haben.
3. Die Beschwerde ist gutzuheissen, das Urteil des Verwaltungsgerichts vom 23. März 2011 aufzuheben und die Angelegenheit zu neuem Entscheid im Sinne der Erwägungen an das Verwaltungsgericht zurückzuweisen. Bei diesem Verfahrensausgang hat die private Beschwerdegegnerin die Gerichtskosten zu tragen (<ref-law>). Sie hat den Beschwerdeführer zudem angemessen für das bundesgerichtliche Verfahren zu entschädigen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen. Das Urteil des Verwaltungsgerichts des Kantons Zürich vom 23. März 2011 wird aufgehoben und die Angelegenheit zu neuem Entscheid im Sinne der Erwägungen an das Verwaltungsgericht zurückgewiesen.
2. Die Gerichtskosten von Fr. 3'000.-- werden der privaten Beschwerdegegnerin auferlegt.
3. Die private Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 3'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien, der Stadt Zürich, Bausektion des Stadtrates, und dem Verwaltungsgericht des Kantons Zürich, 1. Abteilung, 1. Kammer, schriftlich mitgeteilt.
Lausanne, 6. Oktober 2011
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Die Gerichtsschreiberin: Scherrer Reber