Sachverhalt:
A.
Die Bausektion der Stadt Zürich erteilte B._ am 22. August 2017 eine baurechtliche Bewilligung für den Neubau eines fünfeckigen Mehrfamilienhauses mit sieben Wohnungen und sechs Autoabstellplätzen in einer Garage auf dem Grundstück Kat.-Nr. FL1398 am Häldeliweg 34 in Zürich-Fluntern. Die 3 m breite und 30 m lange Zufahrt zur Garage soll über die westlich und nordwestlich gelegenen Grundstücke Kat.-Nrn. FL1396 und FL 1397 sowie FL 3393 führen.
B.
Gegen diesen Entscheid erhob u.a. A._ Rekurs beim Baurekursgericht des Kantons Zürich. Nach Durchführung eines Augenscheins wies dieses den Rekurs am 10. August 2018 ab, soweit es darauf eintrat.
Das Verwaltungsgericht des Kantons Zürich wies die dagegen erhobene Beschwerde mit Urteil vom 17. April 2019 ab.
C.
Dagegen hat A._ am 5. Juni 2019 Beschwerde beim Bundesgericht erhoben. Sie beantragt, das Urteil des Verwaltungsgerichts sei aufzuheben und die Baubewilligung sei zu verweigern. Eventualiter beantragt sie, die Streitsache sei zu neuer Beurteilung an die Vorinstanz zurückzuweisen. Der Beschwerde sei zudem die aufschiebende Wirkung zu erteilen.
D.
Das Verwaltungsgericht beantragt die Abweisung der Beschwerde, soweit darauf einzutreten sei. B._ (Beschwerdegegnerin) und die Bausektion der Stadt Zürich beantragen ebenfalls die Abweisung der Beschwerde.
E.
Mit Verfügung vom 11. Juli 2019 hat der Präsident der I. öffentlich-rechtlichen Abteilung der Beschwerde aufschiebende Wirkung zuerkannt.
F.
Im weiteren Schriftenwechsel halten die Beteiligten an ihren Anträgen fest.

Erwägungen:
1.
Das angefochtene Urteil des Verwaltungsgerichts ist ein Endentscheid einer letzten kantonalen Instanz (Art. 82 lit. a i.V.m. 86 Abs. 1 lit. d und 90 BGG). Ihm liegt ein Beschwerdeverfahren über ein Baubegehren und damit eine Angelegenheit des öffentlichen Rechts zugrunde. Da keine Ausnahmegründe im Sinne von <ref-law> vorliegen, ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten nach <ref-law> zulässig.
Die Beschwerdeführerin hat am Verfahren vor der Vorinstanz teilgenommen und ist als Eigentümerin der nordöstlich an die Bauparzelle angrenzenden Nachbarparzelle (Kat.-Nr. FL237) in ihren schutzwürdigen Interessen besonders betroffen. Damit ist sie zur Beschwerdeführung berechtigt (<ref-law>).
Auf die form- und fristgerecht erhobene Beschwerde ist somit grundsätzlich einzutreten.
2.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann insbesondere die Verletzung von Bundesrecht gerügt werden (<ref-law>); dieses wendet das Bundesgericht grundsätzlich von Amtes wegen an (<ref-law>). Die Verletzung von Grundrechten - einschliesslich die willkürliche Anwendung von kantonalem Recht - prüft es dagegen nur insoweit, als eine solche Rüge in der Beschwerde vorgebracht und genügend begründet worden ist (<ref-law>). Für derartige Rügen gelten qualifizierte Begründungsanforderungen (<ref-ruling> E. 1.4.2 S. 254 mit Hinweisen). Das Bundesgericht prüft nur klar und detailliert erhobene und, soweit möglich, belegte Rügen; auf rein appellatorische Kritik am angefochtenen Entscheid tritt es nicht ein.
Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat, sofern dieser nicht offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (Art. 105 und Art. 97 Abs. 1 BGG). Neue Tatsachen und Beweismittel können nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>). Tatsachen oder Beweismittel, die erst nach dem angefochtenen Entscheid eingetreten oder entstanden sind (sog. echte Noven), können von vornherein nicht berücksichtigt werden (<ref-ruling> E. 2.1 S. 344; <ref-ruling> E. 3.1.2 S. 123).
Die Beschwerdeführerin bringt vor Bundesgericht erstmals eine Fotografie und ein gartendenkmalpflegerisches Gutachten vor. Sie tut in ihrer Beschwerde jedoch nicht dar, inwiefern der Entscheid der Vorinstanz Anlass zum Einreichen dieser neuen Beweismittel gibt (<ref-ruling> E. 2.2.1 S. 226). Diese sind somit nicht zulässig.
3.
Die Parzelle der Beschwerdeführerin grenzt nordöstlich an das Baugrundstück an. Sowohl das darauf befindliche Gebäude als auch der Garten sind im städtischen Inventar schutzwürdiger Objekte verzeichnet. Die Beschwerdeführerin macht im Wesentlichen geltend, das Bauvorhaben nehme nicht genügend Rücksicht auf diese Schutzobjekte. Sie wirft dem Verwaltungsgericht vor, § 238 Abs. 2 des kantonalen Planungs- und Baugesetzes vom 7. September 1975 (PBG/ZH; LS 700.1) willkürlich angewendet zu haben. Insbesondere habe es weder den Schutzzweck der Inventarobjekte eruiert, noch diesen eine grösstmögliche Schonung zukommen lassen. In diesem Zusammenhang rügt sie auch eine Verletzung der Begründungspflicht: Weder der baurekursgerichtliche noch der vorinstanzliche Entscheid liessen erkennen, inwiefern das Bauvorhaben gemäss § 238 Abs. 2 PBG/ZH auf die inventarisierten Objekte Rücksicht nehme. Schliesslich habe das Verwaltungsgericht ihr rechtliches Gehör verletzt, indem es den Streitgegenstand auf die Zulässigkeit der Zufahrt zur Garage beschränkt hat.
3.1. Gemäss § 238 PBG/ZH sind Bauten, Anlagen und Umschwung für sich und in ihrem Zusammenhang mit der baulichen und landschaftlichen Umgebung im ganzen und in ihren einzelnen Teilen so zu gestalten, dass eine befriedigende Gesamtwirkung erreicht wird (Abs. 1). Auf Objekte des Natur- und Heimatschutzes ist besondere Rücksicht zu nehmen (Abs. 2).
3.2. Das Verwaltungsgericht führt in seinem Urteil aus, die Beurteilung des Baurekursgerichts betreffend Einordnung des Bauvorhabens sei nicht rechtsfehlerhaft. Dieses habe eine heterogene bauliche Umgebung festgestellt und dargelegt, dass die projektierte Erschliessung eine bereits bestehende asphaltierte Fläche auf dem Grundstück FL3393 nutze und damit naheliegend sei. Die von der Beschwerdeführerin vorgebrachte alternative Erschliessung würde ebenfalls Grünfläche verbauen und direkt durch den Garten des Grundstücks am Häldeliweg 30/32 führen. Das Baurekursgericht habe weiter ausgeführt, dass die geplante Zufahrt zur Garage vom beschwerdeführerischen Grundstück aus nicht als störend wahrgenommen werde, da das Terrain zum Baugrundstück hin steil abfalle. Das Schutzobjekt werde daher nicht beeinträchtigt. Dieser Schluss sei - so das Verwaltungsgericht - nicht zu beanstanden; die Beschwerdeführerin habe ausser der Inanspruchnahme der Grünfläche unterhalb ihres Grundstücks auch nichts Entscheidendes dagegen vorgebracht. Der Beizug der erstmals im Beschwerdeverfahren eingereichten Inventarblätter ändere nichts an dieser Beurteilung. Das Verwaltungsgericht hielt weiter fest, dass die vorgesehene Erschliessung weder eine entscheidende Schmälerung des Quartier- oder Strassenbildes bewirke, noch den Pflanzen- bzw. Baumbestand des Schutzobjektes tangiere.
3.3. Diese Begründung genügt den Anforderungen des rechtlichen Gehörs (<ref-law>; vgl. <ref-ruling> E. 5.2 S. 70 f. mit Hinweisen). Sie lässt insbesondere erkennen, auf welche Überlegungen sich das Verwaltungsgericht stützte. Entgegen der Ansicht der Beschwerdeführerin geht die Begründung über die Beurteilung der befriedigenden Gesamtwirkung im Sinne von § 238 Abs. 1 PBG/ZH hinaus und befasst sich mit der von § 238 Abs. 2 PBG/ZH geforderten Rücksichtnahme. Ob die Begründung zutrifft, ist keine Frage des rechtlichen Gehörs, sondern der materiellen Prüfung.
Im Übrigen zeigt die Beschwerdeführerin nicht auf, wieso das Verwaltungsgericht die Zulässigkeit der gesamten Neubaute hätte prüfen sollen. Auf ihre Rüge, das Verwaltungsgericht hätte den Streitgegenstand unrechtmässig auf die Zulässigkeit der Zufahrt beschränkt, ist mangels rechtsgenüglicher Begründung nicht einzutreten (<ref-law>).
3.4. Das Bundesgericht prüft die Anwendung des kantonalen Rechts nicht frei, sondern grundsätzlich nur unter dem Blickwinkel der Willkür. Willkür in der Rechtsanwendung liegt vor, wenn der angefochtene Entscheid offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft. Dass eine andere Lösung ebenfalls als vertretbar oder gar zutreffender erscheint, genügt nicht (<ref-ruling> E. 7.1 S. 124 mit Hinweis).
Entgegen der Ansicht der Beschwerdeführerin ist keine Willkür in der Anwendung von § 238 Abs. 2 PBG/ZH erkennbar. Der Entscheid der Vorinstanz ist weder offensichtlich unhaltbar, noch steht er im klaren Widerspruch mit der tatsächlichen Situation. Vielmehr hat sich das Verwaltungsgericht auf die plausible Beurteilung des Baurekursgerichts gestützt, wonach die projektierte Zufahrt die Schutzobjekte nicht beeinträchtige. Dabei hat es auch die von der Beschwerdeführerin eingereichten Inventarblätter berücksichtigt, aus denen sich die Schutzzwecke der Inventarobjekte ergeben (gemäss Inventarblatt GDP 33.051: Schutz des Quartier- und Strassenbilds sowie des Pflanzen- und Baumbestands). Liegt keine Beeinträchtigung der Schutzobjekte vor, ist eine besondere Rücksichtnahme garantiert und es ist nicht willkürlich, keine weiteren Massnahmen zur Schonung des Objekts zu prüfen.
3.5. Die Vorinstanz hat somit weder § 238 Abs. 2 PBG/ZH willkürlich angewendet, noch das rechtliche Gehör (Anspruch auf gehörige Begründung) der Beschwerdeführerin verletzt.
4.
Die Beschwerdeführerin macht schliesslich geltend, die Schutzwürdigkeit der Weggrundstücke und des Baugrundstücks seien zu Unrecht nicht abgeklärt worden. Der von der Zufahrt beanspruchte Grünbereich gehe nahtlos in den inventarisierten Bereich über und habe früher zur Gartenanlage gehört. Es seien noch Elemente eines vor 100 Jahren modisch gewesenen Alpengartens (unter anderem Kalksteinanordnungen) vorhanden. Der obere und der untere Garten seien durch ein feines, noch heute erkennbares Wegesystem miteinander verbunden gewesen. Angesichts der Gefährdung der potentiellen Schutzobjekte durch das Bauvorhaben hätte die Stadt deren Schutzwürdigkeit von Amtes wegen abklären müssen. Sie rügt in diesem Zusammenhang die Verletzung des Willkürverbots und eine qualifiziert unrichtige Sachverhaltsfeststellung. Überdies habe das Verwaltungsgericht das rechtliche Gehör verletzt, weil es keinen eigenen Augenschein vorgenommen habe.
4.1. Das Verwaltungsgericht hat keine eigene Sachverhaltsfeststellung zur Schutzwürdigkeit der Weg- und Baugrundstücke getroffen, sondern lediglich festgehalten, dieses sei selbst nicht inventarisiert - dies ist unstreitig. Dass das Baugrundstück selbst zu schützen sei, werde - wenn überhaupt - verspätet vorgebracht.
Die Beschwerdeführerin rügt dies als willkürlich, legt aber nicht dar, weshalb ihr Vorliegen rechtzeitig erfolgte und die gegenteilige Ansicht des Verwaltungsgerichts offensichtlich unrichtig sei. Auf ihre Willkürrüge ist daher mangels rechtsgenüglicher Begründung nicht einzutreten (<ref-law>).
4.2. Gleiches gilt, soweit sie behauptet, die Schutzabklärung der Weggrundstücke und des Baugrundstücks hätte von Amtes wegen erfolgen müssen. Wie die Stadt in ihrer Vernehmlassung darlegt, wurden die betroffenen Grundstücke 1987 im Rahmen der Überprüfung des gesamten Stadtgebiets auf potentiell schutzwürdige Gärten geprüft, doch wurden sie - im Gegensatz zur Parzelle der Beschwerdeführerin - nicht als potentiell schützenswert befunden. Die Beschwerdeführerin legt nicht dar, weshalb die Stadt verpflichtet gewesen wäre, auf diese Einschätzung zurückzukommen bzw. im Baubewilligungsverfahren eine erneute Schutzabklärung vorzunehmen, obwohl dies - jedenfalls bis zum Beschwerdeverfahren vor Verwaltungsgericht - von keiner Seite vorgebracht wurde.
4.3. Unter diesen Umständen war das Verwaltungsgericht auch nicht verpflichtet, einen Augenschein zur Schutzwürdigkeit der Weg- und Baugrundstücke durchzuführen. Auch hierin liegt keine Verletzung des Gehörsanspruchs der Beschwerdeführerin.
5.
Nach dem Gesagten ist die Beschwerde abzuweisen, soweit darauf einzutreten ist. Bei diesem Ausgang des Verfahrens sind die Gerichtskosten der unterliegenden Beschwerdeführerin aufzuerlegen (<ref-law>). Diese hat der anwaltlich vertretenen privaten Beschwerdegegnerin eine angemessene Parteientschädigung auszurichten (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 4'000.-- werden der Beschwerdeführerin auferlegt.
3.
Die Beschwerdeführerin hat die private Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 3'000.-- zu entschädigen.
4.
Dieses Urteil wird den Parteien, der Bausektion der Stadt Zürich und dem Verwaltungsgericht des Kantons Zürich, 1. Abteilung, 1. Kammer, schriftlich mitgeteilt.
Lausanne, 21. Oktober 2019
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Chaix
Die Gerichtsschreiberin: Hänni