Sachverhalt:
A. Die Bausektion der Stadt Zürich erteilte der X._ AG mit Beschluss vom 21. Januar 2009 die baurechtliche Bewilligung für den Umbau des Mehrfamilienhauses auf dem Grundstück Kat.-Nr. RI2032 an der Seefeldstrasse 204 in Zürich-Riesbach. Das betreffende Grundstück ist einer Quartiererhaltungszone zugewiesen.
Gegen diesen Beschluss erhob die Zürcherische Vereinigung für Heimatschutz (ZHV) Rekurs bei der Baurekurskommission I. Diese trat mit Entscheid vom 8. Mai 2009 auf den Rekurs mangels Beschwerdelegitimation nicht ein.
Mit Entscheid vom 26. August 2009 wies das Verwaltungsgericht des Kantons Zürich die von der ZHV gegen den Nichteintretensentscheid der Baurekurskommission erhobene Beschwerde ab.
B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt die ZHV, der Entscheid des Verwaltungsgerichts sei aufzuheben und es sei die Sache materiell im Sinne der von der Beschwerdeführerin vor der Baurekurskommission erhobenen Beschwerdegründe zu entscheiden.
C. Das Verwaltungsgericht beantragt, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei, und verzichtet im Übrigen auf Vernehmlassung. Die X._ AG schliesst ebenfalls auf Abweisung der Beschwerde, soweit darauf einzutreten sei, und ersucht um Zusprechung einer angemessenen Parteientschädigung. Die Bausektion beantragt Beschwerdeabweisung und Befreiung von allfälligen Gerichtskosten. Die ZHV, die X._ AG sowie die Bausektion nahmen je nochmals Stellung.

Erwägungen:
1. 1.1 Die Legitimation zur Beschwerde in öffentlich-rechtlichen Angelegenheiten richtet sich nach <ref-law>. Die Beschwerdebefugnis von Natur- und Heimatschutzverbänden, welche sich nicht auf <ref-law> oder auf ein anderes Bundesgesetz abstützen kann, beurteilt sich nach Art. 89 Abs. 1 lit. a-c BGG. Natur- und Heimatschutzverbände sind, soweit sie rein ideelle Interessen geltend machen, nicht beschwerdebefugt, da sie kein eigenes schützwürdiges Interesse in der Sache haben und folglich die Beschwerdevoraussetzung von <ref-law> nicht erfüllen. Unabhängig von der Legitimation in der Sache selbst können die Verbände jedoch die Verletzung von Verfahrensrechten rügen, deren Verletzung eine formelle Rechtsverweigerung darstellt. Das nach <ref-law> erforderliche schutzwürdige Interesse ergibt sich aus der Berechtigung, am Verfahren teilzunehmen. Eine solche besteht dann, wenn dem betroffenen Verband im kantonalen Verfahren Parteistellung zukam (Urteil 1C_367/2009 vom 27. Oktober 2009 E. 3). Hingegen ist es nicht zulässig, auf dem Umweg über die Rüge der Verletzung von Verfahrensrechten dem Bundesgericht materielle Fragen zur Prüfung zu unterbreiten.
Soweit sich die Beschwerdeführerin gegen die Verweigerung ihrer Beschwerdebefugnis im kantonalen Verfahren beschwert, ist sie nach dem Gesagten beschwerdeberechtigt. Dagegen ist ihr Antrag auf materielle Behandlung der Sache durch das Bundesgericht unzulässig, da die Beschwerdeführerin vorliegend Interessen des Heimatschutzes und damit rein ideelle Interessen vertritt; im Übrigen steht der Beschwerdeführerin eine Beschwerdebefugnis nach <ref-law> unbestrittenermassen nicht zu.
1.2 Die Beschwerdeführerin rügt eine Reihe von bundes- und kantonalen Vorschriften, ohne diese im Mindesten zu begründen. Damit erfüllt sie die Anforderungen an die Begründung der Beschwerde nicht (vgl. zu den Begründungsanforderungen <ref-ruling> E. 1.4 S. 254). Auch insoweit ist auf die Beschwerde nicht einzutreten.
1.3 In der Replik macht die Beschwerdeführerin Ausführungen, die sie bereits in der Beschwerde hätte geltend machen können. Dies betrifft insbesondere das Vorbringen, das streitbetroffene Grundstück sei zu Unrecht nicht inventarisiert worden. Dieses Vorbringen ist verspätet (<ref-law>) und somit ebenfalls unzulässig.
2. Die Beschwerdeführerin betrachtet die Ablehnung ihrer Beschwerdelegitimation im kantonalen Verfahren als willkürliche Anwendung des kantonalen Rechts.
3. Nach der ständigen Praxis des Bundesgerichts liegt Willkür in der Rechtsanwendung dann vor, wenn der angefochtene Entscheid offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft. Das Bundesgericht hebt einen Entscheid jedoch nur auf, wenn nicht bloss die Begründung, sondern auch das Ergebnis unhaltbar ist; dass eine andere Lösung ebenfalls als vertretbar oder gar zutreffender erscheint, genügt nicht (<ref-ruling> E. 4.1 S. 133 mit Hinweisen).
4. 4.1 Das Verwaltungsgericht begründete seinen Entscheid folgendermassen: Nach § 338a Abs. 2 des Gesetzes des Kantons Zürich vom 7. September 1975 über die Raumplanung und das öffentliche Baurecht (Planungs- und Baugesetz, PBG; LS 700.1) seien gesamtkantonal tätige Vereinigungen, die sich seit wenigstens zehn Jahren im Kanton statutengemäss dem Natur- und Heimatschutz oder verwandten, rein ideellen Zielen widmen, rekurs- und beschwerdeberechtigt gegen Anordnungen und Erlasse, soweit sie sich auf den III. Titel oder § 238 Abs. 2 PBG/ZH stützen. Bei nicht inventarisierten Objekten komme die Verbandsbeschwerde nur in Ausnahmefällen in Frage. Die blosse Behauptung, ein nicht inventarisiertes Objekt sei dennoch schutzwürdig, verschaffe den Natur- und Heimatschutzverbänden keinen Zugang zum Rekursverfahren. Nach der Praxis komme die Verbandsbeschwerde nur zum Zug, wenn die Behörde ihren Entscheid auf den III. Titel oder auf § 238 Abs. 2 PBG/ZH stütze bzw. aufgrund eines Inventareintrags darauf hätte stützen sollen oder wenn die Behörde ihrer Pflicht zur Inventarisierung nicht nachgekommen sei und die Schutzwürdigkeit sich aus konkreten und objektiven Anhaltspunkten ergebe. Eine Säumnis bei der Inventarerstellung liege hier nicht vor und werde von der Beschwerdeführerin auch nicht geltend gemacht.
Im vorliegenden Fall liege das streitbetroffene Gebäude in einer Quartiererhaltungszone. Bei dieser gehe es nicht um die Erhaltung eines schutzwürdigen Ortsbildes, sondern um die Erhaltung und Förderung der Siedlungsqualität. Quartiererhaltungszonen seien keine planungsrechtlichen Massnahmen zum Schutz von Objekten des Heimatschutzes im Sinne von § 203 Abs. 1 PBG/ZH. Im vorliegenden Fall liege keine Anordnung vor, die sich auf den III. Titel oder auf § 238 Abs. 2 PBG/ZH stütze. Deshalb sei die Beschwerdeführerin nicht rekurslegitimiert.
4.2 Im Einzelnen bringt die Beschwerdeführerin vor, der erste Paragraph des III. Titels zähle die Schutzobjekte des Heimatschutzes auf: Dazu gehörten Ortskerne, Quartiere, Strassen und Plätze, Gebäudegruppen, Gebäude und Teile sowie Zugehör von solchen, die entweder als wichtige Zeugen einer politischen, wirtschaftlichen, sozialen oder baukünstlerischen Epoche erhaltenswürdig sind oder die Landschaften oder Siedlungen wesentlich mitprägen, samt der für ihre Wirkung wesentlichen Umgebung.
Im Kanton Zürich seien die als Schutzobjekte bezeichneten Quartiere in den sogenannten Quartiererhaltungszonen im Sinne von § 203 Abs. 2 PBG/ZH inventarisiert. Gemäss § 50a PBG/ZH würden Quartiererhaltungszonen in sich geschlossene Ortsteile mit hoher Siedlungsqualität, die in ihrer Nutzungsstruktur oder baulichen Gliederung erhalten werden sollen, umfassen. Entgegen der Ansicht der Vorinstanz umfasse der Schutz nicht nur die Siedlungsqualität, sondern auch die bauliche Gliederung des schutzwürdigen Quartiers. Es sei grob falsch, ein Element aus der Liste von § 203 PBG/ZH mit einem nicht auf den Gesetzestext abgestützten Hinweis auf die angeblich nicht gegebene planungsrechtliche Massnahme nicht gelten zu lassen. Mit der Unterscheidung zwischen Schutzobjekten mit und ohne planungsrechtliche Massnahmen werde der halbe Schutzobjektekatalog unbeachtlich erklärt. Selbstverständlich stelle der Schutz von Gebäudegruppen und Quartieren auch eine planungsrechtliche Massnahme im weiteren Sinne dar. Wenn die Stadt für Gebäudegruppen kein Inventar erstellt habe, obwohl ein solches für alle in § 203 Abs. 1 PBG/ZH aufgelisteten Schutzobjekte verlangt werde, dann sei die Beschwerdelegitimation sogar nach der Rechtsprechung des Verwaltungsgerichts gegeben, da das Gemeinwesen seiner Pflicht zur Inventarisierung nicht nachgekommen wäre.
4.3 Gemäss § 203 Abs. 2 PBG/ZH erstellen die für die Schutzmassnahmen zuständigen Behörden Inventare über die Schutzobjekte. Die Inventare stehen bei den Gemeindeverwaltungen am Ort der gelegenen Sache, die überkommunalen überdies bei der zuständigen Direktion, zur Einsichtnahme offen.
Die umstrittene Liegenschaft (Seefeldstrasse 204) wurde nicht inventarisiert. Dies hat der Beschwerdeführer weder im kantonalen Verfahren noch in der dem Bundesgericht eingereichten Beschwerdeschrift rechtsgenüglich beanstandet. Darin brachte er lediglich vor, dass Quartiererhaltungszonen Inventare im Sinne von § 203 Abs. 2 PBG/ZH seien. Letzteres trifft nicht zu (vgl. das in der Vernehmlassung der Bausektion erwähnte, vom Stadtrat am 26. März 1986 genehmigte Inventar mit den seitherigen Änderungen). Es ist deshalb nicht willkürlich, wenn das Verwaltungsgericht mangels Inventarisierung davon ausgeht, dass der streitbetroffene Bauentscheid unabhängig von heimatschutzrechtlichen Bestimmungen gefällt wurde, d.h. sich nicht auf den III. Titel resp. auf § 238 Abs. 2 PBG/ZH abstützte oder hätte abstützen sollen.
Im Urteil 1C_329/2007 vom 23. November 2007 (E. 2.6) entschied das Bundesgericht unter Abstützung auf Wortlaut und Entstehungsgeschichte von § 50a PBG/ZH, dass die Quartiererhaltungszone nicht der Bewahrung schutzwürdiger Ortsbilder im Sinne des Heimatschutzes, sondern der Erhaltung und Erweiterung von Gebieten mit hoher Siedlungsqualität dient. In ihrer Vernehmlassung wies die Bausektion der Stadt Zürich auf die Entstehung der Quartiererhaltungszonen im Seefeld hin, welche aufzeige, dass aus der vorgenommenen Zonierung nicht der Schluss auf die Schutzwürdigkeit der fraglichen Gebäude an der Seefeldstrasse gezogen werden könne. Im Rahmen eines Rekurses gegen die am 17. Mai 1992 angenommene Bauordnung (BZO) sei die Baurekurskommission sinngemäss zum Schluss gelangt, dass die Blockrandbebauungen im fraglichen Gebiet nicht Objekte im Sinne von § 203 Abs. 1 lit. c PBG/ZH seien und sich deshalb eine Zuweisung zu einer Kernzone nicht rechtfertige, sondern sich die mit der PBG-Revision von 1991 geschaffene Quartiererhaltungszone als planerisches Instrument anbiete. Die mit der heute gültigen BZO ausgeschiedenen Quartiererhaltungszonen würden die Hofrandkernzonen gemäss der BZO von 1992 ersetzen.
In Anbetracht der zitierten Rechtsprechung zu § 50a PBG/ZH ist es deshalb nicht falsch, geschweige denn willkürlich, wenn die Vorinstanz davon ausgeht, dass die Quartiererhaltungszone kein Instrument des Heimatschutzes darstellt und der umstrittene Bauentscheid folglich unabhängig von heimatschutzrechtlichen Gesichtspunkten erging.
Die Verweigerung der Beschwerdeberechtigung der Beschwerdeführerin ist demnach verfassungskonform.
5. Nach dem Gesagten ist die Beschwerde unbegründet und abzuweisen, soweit darauf einzutreten ist. Auf die Erhebung von Gerichtskosten wird verzichtet (<ref-law>). Die Beschwerdeführerin hat aber die private Beschwerdegegnerin im bundesgerichtlichen Verfahren angemessen zu entschädigen (Art. 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Es werden keine Gerichtskosten erhoben.
3. Die Beschwerdeführerin hat die private Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 2'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien, der Bausektion der Stadt Zürich und dem Verwaltungsgericht des Kantons Zürich, 1. Abteilung, 1. Kammer, schriftlich mitgeteilt.
Lausanne, 16. März 2010
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Féraud Schoder