Sachverhalt:
A.
Der Hochbau- und Planungsausschuss Männedorf bewilligte E._ mit Beschluss vom 11. Juli 2012 den Neubau eines Mehrfamilienhauses mit Tiefgarage, den Ersatzbau eines Ökonomiegebäudes sowie den Umbau eines Schutzobjekts an der Aufdorfstrasse 105 in Männedorf (Grundstück Kat.-Nr. 6044). Das bestehende, denkmalgeschützte Wohnhaus (ein ehemaliges Weinbauernhaus) befindet sich auf der westlichen Parzellenhälfte direkt an der Strasse, dahinter steht das Ökonomiegebäude. Die östliche Parzellenhälfte, wo das Mehrfamilienhaus geplant ist, ist noch unüberbaut. Die Tiefgaragenausfahrt soll westlich des Schutzobjekts zur Aufdorfstrasse führen, während die sich heute östlich davon befindliche Grundstückszufahrt aufgehoben werden soll.
Gegen die Baubewilligung erhoben verschiedene Nachbarn Rekurs. Das Baurekursgericht des Kantons Zürich führte einen Augenschein durch und wies in der Folge mit Entscheid vom 20. Februar 2013 den Rekurs ab, soweit es darauf eintrat.
Eine dagegen von A._, F._, B._, C._ und D._ erhobene Beschwerde wies das Verwaltungsgericht des Kantons Zürich mit Urteil vom 28. November 2013 ab.
B.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht vom 10. Februar 2014 beantragen A._, F._, B._, C._ und D._ im Wesentlichen, das Urteil des Verwaltungsgerichts, der Entscheid des Baurekursgerichts und die Baubewilligung seien aufzuheben. Eventualiter sei die Sache zur neuen Beurteilung an die Vorinstanz zurückzuweisen.
Das Verwaltungsgericht beantragt, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei. Die Baudirektion des Kantons Zürich und die Beschwerdegegnerin schliessen auf Abweisung der Beschwerde. Die Beschwerdeführer halten in ihrer Stellungnahme dazu an ihren Anträgen und Rechtsauffassungen fest.

Erwägungen:
1.
Dem angefochtenen Entscheid liegt ein Beschwerdeverfahren über eine baurechtliche Bewilligung zu Grunde. Dagegen ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten nach <ref-law> das zutreffende Rechtsmittel. Die Beschwerdeführer haben am vorinstanzlichen Verfahren teilgenommen, sind als Nachbarn durch den angefochtenen Entscheid besonders berührt und haben ein schutzwürdiges Interesse an dessen Aufhebung oder Änderung (<ref-law>). Die weiteren Sachurteilsvoraussetzungen geben zu keinen Bemerkungen Anlass. Auf die Beschwerde ist einzutreten.
2.
2.1. Die Beschwerdeführer halten die Sichtweite bei der geplanten Ausfahrt für unzureichend. Sie machen geltend, die minimale Sichtweite müsse bei einer Ausfahrt der fraglichen Art (Ausfahrt-Typ B) zwischen 50 und 90 m betragen. Konkret gehe es um eine Ausfahrt aus einer Anlage mit 19 Parkplätzen in eine stark frequentierte Kantonsstrasse, was am oberen Rand dessen liege, was noch als Ausfahrts-Typ B zu qualifizieren sei. Indem das Verwaltungsgericht trotzdem eine Sichtweite von 50 m als hinreichend erachtet habe, habe es sein Ermessen nicht ausgeübt, was willkürlich sei (<ref-law>). Zudem habe es die Begründungspflicht verletzt, weil es nicht dargelegt habe, inwiefern bei den gegebenen Umständen eine Sichtweite von 50 m sachlich gerechtfertigt sei (<ref-law>). Hinzu komme, dass selbst eine minimale Sichtweite von 50 m nicht erreicht werden könne, ohne das unter Denkmalschutz stehende Wohnhaus übermässig zu beeinträchtigen. Das Verwaltungsgericht habe in dieser Hinsicht zwar festgestellt, dass die Sichtweite von 50 m durch leichte Terrainveränderungen erreicht werden könne, was jedoch offensichtlich unrichtig sei (<ref-law>). Vielmehr wären erhebliche Abgrabungen direkt vor der Fassade des Schutzobjekts notwendig, was dazu führen würde, dass dessen Aussentreppe gleichsam in der Luft hänge. Im vorinstanzlichen Verfahren sei dies anhand von Höhenkoten und Ausführungen zur massgebenden Sichtverbindungslinie dargelegt worden. Damit habe sich das Verwaltungsgericht nicht auseinandergesetzt und somit abermals die Begründungspflicht verletzt.
2.2. Das Verwaltungsgericht führte aus, die Aufdorfstrasse sei zwar durchschnittlich stark befahren, verlaufe aber flach und sei normaliengerecht ausgebaut. Zudem betrage die signalisierte Maximalgeschwindigkeit 50 km/h. Gegen Osten könne eine Sichtweite von mindestens 50 m eingehalten werden, indem auf hohe Bepflanzung verzichtet, das Terrain leicht abgegraben und die Stützmauer gekürzt werde. Da die erforderliche Abgrabung nicht bis zur Aussentreppe reiche, hänge diese auch nicht "in der Luft", wie die Beschwerdeführer behaupteten.
2.3. Mit diesen Erwägungen ist das Verwaltungsgericht seiner Begründungspflicht nachgekommen. Zur erforderlichen Sichtweite hat es darauf hingewiesen, dass die Aufdorfstrasse flach verlaufe, normaliengerecht ausgebaut sei und die signalisierte Maximalgeschwindigkeit 50 km/h betrage. Auch hat es dargelegt, wie die Sichtweite gewährleistet werden kann. <ref-law> verlangt nicht, dass sich die Behörde mit allen Parteistandpunkten einlässlich auseinandersetzt und jedes einzelne Vorbringen ausdrücklich widerlegt. Vielmehr kann sie sich auf die für den Entscheid wesentlichen Punkte beschränken. Die Beschwerdeführer waren aufgrund der Begründung des angefochtenen Entscheids denn auch in der Lage, sich über dessen Tragweite Rechenschaft zu geben und ihn in voller Kenntnis der Sache an die höhere Instanz weiterzuziehen (<ref-ruling> E. 5.2 S. 236 mit Hinweisen).
2.4. Unzutreffend ist der Vorwurf, das Verwaltungsgericht habe den vom Gesetz eingeräumten Ermessensspielraum missachtet und dadurch das Willkürverbot verletzt (<ref-law>). Zwar kann ein grober Ermessensfehler über die Verletzung der betreffenden Gesetzesbestimmung hinaus auch dem Willkürverbot zuwiderlaufen, doch liegt jedenfalls hier kein solcher Fall vor. Gemäss dem Anhang zur Verkehrssicherheitsverordnung des Kantons Zürich vom 15. Juni 1983 (VSiV; LS 722.15) gilt für den Ausfahrts-Typ B eine Mindestsichtweite in Richtung Fahrstreifenmitte der übergeordneten Strasse von 50-90 m. Das Verwaltungsgericht hat 50 m als hinreichend angesehen und dies, wie erwähnt, mit dem flachen Verlauf, dem normaliengerechten Ausbau und der Höchstgeschwindigkeit von 50 km/h begründet. Auch wenn es, wie die Beschwerdeführer vorbringen, Ausfahrten des Typs B gibt, die im allgemeinen für die Verkehrssicherheit noch weniger Schwierigkeiten bieten (wie die Ausfahrt aus einem einzelnen Abstellplatz in eine Sammelstrasse), so ist es jedenfalls nicht willkürlich, wenn das Verwaltungsgericht aufgrund der genannten Kriterien auch im vorliegenden Fall eine Sichtweite von 50 m als ausreichend erachtet hat.
2.5. Die vorinstanzliche Feststellung, die für die Gewährleistung der Sichtweite notwendigen Abgrabungen seien nicht erheblich und es könne nicht davon gesprochen werden, dass die Aussentreppe des Weinbauernhauses gleichsam "in der Luft" hänge, ist ebenfalls nicht willkürlich (<ref-law>). Das Verwaltungsgericht hat insbesondere unter Hinweis auf die Akten dargelegt, dass die Abgrabungen gar nicht bis zur Aussentreppe reichen, was die Beschwerdeführer nicht bestreiten. Diese verzichten im Übrigen ausdrücklich darauf, die Beurteilung der Einordnung durch das Verwaltungsgericht zu rügen (§ 238 des Gesetzes des Kantons Zürich vom 7. September 1975 über die Raumplanung und das öffentliche Baurecht [LS 700.1; im Folgenden: PBG]).
3.
3.1. Die Beschwerdeführer sind der Auffassung, das Verwaltungsgericht habe § 240 Abs. 3 PBG willkürlich angewendet, indem es eine rückwärtige Erschliessung als nicht notwendig angesehen habe. Gemäss dieser Bestimmung haben Verkehrserschliessungen im Bereich wichtiger öffentlicher Strassen nach Möglichkeit rückwärtig oder durch Zusammenfassung mehrerer Ausfahrten zu erfolgen.
3.2. Das Verwaltungsgericht hielt dazu fest, eine rückwärtige Erschliessung sei aufgrund der bestehenden Überbauung und den Eigentumsverhältnissen mit erheblichen Schwierigkeiten verbunden, müsste sie doch über eine durch eine Tiefgarage Dritter führende private Stichstrasse erfolgen. Da die Aufdorfstrasse im fraglichen Abschnitt durch dicht bebautes Gebiet führe und bereits heute mehrere Einmündungen von Quartierstrassen und zahlreiche direkte Grundstückserschliessungen aufweise, sei die Zulassung der vorgesehenen direkten Erschliessung nicht zu beanstanden. Zudem entstehe keine zusätzliche Ein- und Ausfahrt; das Baugrundstück verfüge bereits heute über einen direkten Zugang zur Staatsstrasse.
3.3. Es erscheint nicht als willkürlich, wenn das Verwaltungsgericht darauf abstellte, ob eine rückwärtige Erschliessung mit Schwierigkeiten verbunden ist. Die Formulierung von § 240 Abs. 3 PBG ("nach Möglichkeit") lässt dafür Raum und fordert insbesondere nicht zwingend gescheiterte Bemühungen des Bauherrn. Das gleiche gilt für das Kriterium, ob im fraglichen Bereich schon zahlreiche Einmündungen von Quartierstrassen oder direkte Grundstückserschliessungen bestehen, zumal in diesem Fall eine weitere direkte Grundstückserschliessung für die Verkehrssicherheit weniger ins Gewicht fällt. Die Beschwerdeführer bezeichnen zwar die betreffende Feststellung des Verwaltungsgerichts als offensichtlich unrichtig, verweisen dabei jedoch einzig auf die direkt an das Baugrundstück angrenzenden Parzellen auf der gleichen Strassenseite, während das Verwaltungsgericht offensichtlich einen etwas grösseren Bereich zum Massstab genommen hat. Eine willkürliche Sachverhaltsfeststellung lässt sich darin nicht erblicken.
4.
Die Beschwerdeführer bringen weiter vor, das Baurekursgericht sei auf ihre Rüge, wonach die Erschliessung für Fussgänger ungenügend sei, nicht eingetreten. Sie werfen dem Verwaltungsgericht vor, <ref-law> verletzt zu haben, indem es diesen Entscheid geschützt habe. Dabei übersehen sie jedoch, dass das Baurekursgericht die Erschliessung für Fussgänger als gerade noch zumutbar beurteilte bzw. es als nicht gänzlich unvertretbar ansah, wenn die Baudirektion den Zugang als verkehrssicher qualifizierte. Lediglich im Sinne einer Eventualerwägung setzte sich das Baurekursgericht mit der Möglichkeit auseinander, den Zugang zu verbessern; von der Anordnung einer entsprechenden Nebenbestimmung sah es indessen ab und verneinte diesbezüglich auch die Legitimation der Beschwerdeführer. Richtig besehen hätte es den Rekurs in diesem Punkt freilich abweisen müssen. Wenn das Verwaltungsgericht die vorinstanzlichen Eventualerwägungen bestätigte, verletzte es jedenfalls die Parteirechte der Beschwerdeführer nicht. Entscheidend ist, dass das Baurekursgericht eine hinreichende Erschliessung bejaht und sich diesbezüglich mit den Vorbringen der Beschwerdeführer inhaltlich befasst hatte.
5.
5.1. Die Beschwerdeführer sind der Ansicht, das Verwaltungsgericht habe den Sachverhalt insofern offensichtlich unrichtig festgestellt, als es verkannt habe, dass auf dem Baugrundstück ein Fliessgewässer bestehe. Der übergangsrechtliche Gewässerraum gemäss den Übergangsbestimmungen zur Änderung vom 4. Mai 2011 der Gewässerschutzverordnung vom 28. Oktober 1998 (GSchV; SR 814.201) verbiete eine Überbauung in einem beidseitigen Uferstreifen von mindestens 9 m Breite. Die südliche Ecke des geplanten Neubaus reiche in diesen Bereich hinein. Die Beschwerdeführer verweisen in dieser Hinsicht auf einen Grundbuchauszug vom 17. August 2012, den Situationsplan für die Baueingabe vom 1. Februar 2012, den Übersichtsplan der öffentlichen Gewässer der Gemeinde Männedorf vom 30. Januar 1989 sowie das Geoinformationssystem GIS (Rubrik "Gewässer-Ökomorphologie"). Sie sind weiter der Ansicht, das Verwaltungsgericht habe als Folge davon auch Ziff. 1.6.1 des Anhangs zur kantonalen Bauverfahrensverordnung vom 3. Dezember 1997 (BVV; LS 700.6) verletzt, wonach das kantonale Amt für Abfall, Wasser, Energie und Luft (AWEL) für solche Fälle zum Entscheid zuständig sei.
5.2. Das Verwaltungsgericht führte dazu aus, auf keinem der bei den Akten liegenden Pläne sei ein das Baugrundstück durchfliessendes Gewässer eingezeichnet. Der von der Baudirektion genehmigte Übersichtsplan der öffentlichen Gewässer der Gemeinde Männedorf vom 30. Januar 1989 beschreibe das Gewässer, auf das sich die Beschwerdeführer beziehen würden, wie folgt: "Schwerzibach, auch Langacherbach genannt, an der Auf-Dorf-Strasse beginnend, bis zur Mündung in den Zürichsee, grösstenteils eingedolt". Auch die amtliche Vermessung vermerke im Bereich des Baugrundstücks kein eingedoltes Fliessgewässer. Hingegen sei auf dem Situationsplan für die Baueingabe eine Leitung in der südöstlichen Grundstücksecke ersichtlich. Aus den weiteren Planunterlagen gehe jedoch hervor, dass es sich dabei um einen (ehemaligen) Meteorwasserschacht handle.
5.3. Es trifft zu, dass der von den Beschwerdeführern erwähnte Grundbuchauszug unter dem Titel "Angaben der amtlichen Vermessung" den Hinweis "Durchfluss eingedoltes öffentliches Gewässer Nr. 12a" enthält. Indessen erscheint es nicht als willkürlich, wenn das Verwaltungsgericht gestützt auf die weiteren Unterlagen davon ausging, dass das Gewässer erst unterhalb der Bauparzelle beginnt. Dass dies zutrifft, bestätigt ein von der Baudirektion im Verfahren vor Bundesgericht eingereichter Mitbericht des AWEL vom 13. März 2014. Dieses weist darauf hin, dass die Baudirektion mit Verfügung vom 3. September 2013 die amtliche Vermessung nachgeführt und gleichzeitig den bereinigten Übersichtsplan der öffentlichen Gewässer in der Gemeinde Männedorf vom 23. Mai 2013 und das zugehörige Verzeichnis genehmigt habe. Gemäss diesem Verzeichnis beginnt der Schwerzibach an der Aufdorfstrasse, wobei aus dem Übersichtsplan hervorgeht, dass damit der Bereich unterhalb und nicht oberhalb der Aufdorfstrasse gemeint ist.
Die Feststellung, die geplante Baute tangiere den übergangsrechtlichen Gewässerraum nicht, ist somit nicht willkürlich (vgl. zum Gewässerraum das zur Publ. vorgesehene Urteil 1C_803/2013 vom 14. August 2014, insbes. E. 2 mit Hinweis). Damit erweist sich auch die Rüge der willkürlichen Anwendung von Ziff. 1.6.1 Anhang BVV als unbegründet.
6.
Die Beschwerde ist aus den genannten Gründen abzuweisen.
Bei diesem Ausgang des Verfahrens sind die Gerichtskosten den Beschwerdeführern aufzuerlegen (<ref-law>). Sie haben der anwaltlich vertretenen Beschwerdegegnerin eine angemessene Parteientschädigung auszurichten (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 4'000.-- werden den Beschwerdeführern auferlegt.
3.
Die Beschwerdeführer haben der Beschwerdegegnerin eine Parteientschädigung von Fr. 2'000.-- auszurichten.
4.
Dieses Urteil wird den Parteien, dem Hochbau- und Planungsausschuss Männedorf, der Baudirektion und dem Verwaltungsgericht des Kantons Zürich, 1. Abteilung, schriftlich mitgeteilt.
Lausanne, 6. Oktober 2014
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Dold