Sachverhalt:
A.
A._ will ihren Landwirtschaftsbetrieb B._ an der C._strasse "..." in Herrliberg mit verschiedenen baulichen Massnahmen in einen Betrieb mit Pferdehaltung umwandeln. Der Landwirtschaftsbetrieb befindet sich teilweise in der Kernzone "Weiler" und teilweise in der Landwirtschaftszone. Für die bis zu 29 Pferde ist eine rund 12 ha grosse Weidefläche vorgesehen, welche die Parzellen Kat.-Nrn. 1110, 1111, 1113, 1114, 1313, 1314, 1316, 1318, 1320, 2103, 2104, 6594 und 6956 umfasst. Ein Holzlattenzaun, bestehend aus 1.5 m hohen Pfählen aus Naturholz mit drei horizontalen Holzlatten soll die einzelnen Teilflächen des Weidegebiets abgrenzen. Am 14. Juni 2013 erfolgte die amtliche Publikation des Baugesuchs.
Am 25. Juli 2013 erteilte die Baudirektion des Kantons Zürich A._ die raumplanungsrechtliche Bewilligung unter verschiedenen Auflagen und Bedingungen. Für die Umzäunung verfügte sie in Dispositiv-Ziffer I lit. d Folgendes:
Für die Weidezäunungen, die über die zulässige Fläche von 2.32 ha hinausgehen, die in Hofnähe fest eingezäunt werden kann, sind maximal 1.6 m hohe Holzpfosten natur (nicht weiss) mit Elektrobändern in dunkler Farbe (grau, braun oder schwarz) zu verwenden, wobei das unterste Band nicht stromführend sein darf und 40 cm Bodenabstand aufweisen muss.
Am 9. September 2013 erteilte die Baukommission der Gemeinde Herrliberg A._ die baurechtliche Bewilligung unter verschiedenen Auflagen und Bedingungen. Gleichzeitig eröffnete sie ihr die Bewilligung der Baudirektion.
A._ erhob gegen die zitierte Auflage in der Bewilligung der Baudirektion Rekurs ans Baurekursgericht des Kantons Zürich. Sie beantragte in der Hauptsache, die Auflage sei aufzuheben und es sei ihr zu erlauben, die Weideeinzäunungen, welche über die Fläche von 2.32 ha hinausgehen, in Naturholz und mit drei horizontalen Latten, 1.50 m hoch zu erstellen. Am 11. März 2014 wies das Baurekursgericht den Rekurs ab.
Eine von A._ gegen den Entscheid des Baurekursgerichts erhobene Beschwerde wies das Verwaltungsgericht des Kantons Zürich mit Urteil vom 23. Oktober 2014 ab.
B.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 5. Januar 2015 ans Bundesgericht beantragt A._ im Wesentlichen, das Urteil des Verwaltungsgerichts sei aufzuheben und es sei ihr zu erlauben, die Weideeinzäunungen, welche über die Fläche von 2.32 ha hinausgehen, in Naturholz und mit drei horizontalen Latten, 1.50 m hoch zu erstellen.
Das Verwaltungsgericht beantragt, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei. Die Baukommission Herrliberg hat auf eine Stellungnahme verzichtet. Die Baudirektion des Kantons Zürich hat sich nicht vernehmen lassen. Das ebenfalls zur Vernehmlassung eingeladene Bundesamt für Raumentwicklung beantragt die Abweisung der Beschwerde. Die Beschwerdeführerin hält in ihrer Stellungnahme dazu an ihren Anträgen fest.

Erwägungen:
1.
Angefochten ist ein letztinstanzlicher kantonaler Entscheid über eine öffentlich-rechtliche Angelegenheit (Art. 82 lit. a und Art. 86 Abs. 1 lit. d BGG). Die Beschwerdeführerin ist als Baugesuchstellerin zur Beschwerdeführung legitimiert (<ref-law>). Die weiteren Sachurteilsvoraussetzungen geben zu keinen Bemerkungen Anlass. Auf die Beschwerde ist einzutreten.
2.
2.1. Zu beurteilen ist die Frage ob die Beschwerdeführerin nicht nur 2.32 ha Weidefläche in Hofnähe (800 m2 pro Pferd), sondern auch die übrigen rund 10 ha mit einem reinen Holzzaun eingrenzen darf. Das Verwaltungsgericht schützte die Auflage der Baudirektion, wonach die Beschwerdeführerin die Holzpfosten mit Elektrobändern verbinden muss. Die von der Beschwerdeführerin dagegen vorgebrachten Argumente prüfte es unter den Gesichtspunkten des Tierschutzes, des Landschaftsschutzes und der Sicherheit.
Tierschutzrechtliche Argumente stehen nach den Erwägungen des Verwaltungsgerichts der Auflage nicht entgegen, zumal nur die Zaungestaltung betroffen sei, nicht aber die Grösse der umzäunten Fläche. Selbst wenn nur 2.32 ha umzäunt würden, wären die tierschutzrechtlichen Minimalanforderungen immer noch bei Weitem überschritten.
Hinsichtlich der Landschaftsschutzinteressen hielt das Verwaltungsgericht zunächst fest, dass der Zaun der Baubewilligungspflicht unterliege. Die Beurteilung der Baudirektion, dass ein mit drei Holzquerlatten versehener Zaun die Landschaft stärker beeinträchtige als ein mit dunklen, breiten Elektrobändern verbundener Zaun, erscheine nachvollziehbar und könne nicht als ermessensfehlerhaft bezeichnet werden. In solchen Gestaltungsfragen komme der Baudirektion ein relativ grosses Ermessen zu. Wenn ferner berücksichtigt werde, dass die Baudirektion über Fachkenntnisse verfüge, sei nicht zu beanstanden, dass sie in Anwendung von <ref-law> i.V.m. Art. 3 Abs. 2 RPG und ohne Durchführung eines Augenscheins zum Schluss gekommen sei, dass der Holzlattenzaun die Landschaft erheblich beeinträchtige.
Die Berücksichtigung von Sicherheitsaspekten führe nicht zu einem anderen Ergebnis. Breite, gut sichtbare Elektrobänder würden den Sicherheitsanforderungen von Art. 7 Abs. 1 der Tierschutzverordnung vom 23. April 2008 (TSchV; SR 455.1) nach innen (Verletzungsgefahr der Pferde) und nach aussen (Ausbruchsicherheit; Verletzungsgefahr von Kindern) genügen, zumal die Voraussetzungen für eine Stromzaunverwendung gemäss <ref-law> erfüllt seien. Zwar möge zutreffen, dass ein Holzlattenzaun in der Regel etwas sicherer sei. Nach der insofern sachgerechten Praxis der Baudirektion sei indessen davon auszugehen, dass feste Zäune mit Holzquerlatten nur in Hofnähe im Umfang von maximal 800 m2 pro Pferd oder ausnahmsweise an sehr exponierten Stellen (bspw. entlang einer Kantonsstrasse) zulässig seien. Letzteres treffe hier nicht zu. Es sei deshalb nicht rechtsverletzend, wenn die Baudirektion und das Baurekursgericht Landschaftsschutzinteressen höher gewichteten als die Sicherheitsinteressen, soweit es sich um vom Hof entfernte Weiden handle, deren Fläche über das tierschutzrechtlich für 29 Pferde empfohlene Mass hinausgehe.
3.
Eine in der Landwirtschaftszone geplante Baute oder Anlage muss für die vorgesehene zonenkonforme Nutzung notwendig sein, was eine Prüfung allenfalls entgegenstehender Interessen bedingt (Urteil 1C_144/2013 vom 29. September 2014 E. 4.2 mit Hinweis). <ref-law> sieht in diesem Sinne vor, dass eine Bewilligung für Bauten und Anlagen in der Landwirtschaftszone nur erteilt werden darf, wenn der Baute oder Anlage am vorgesehenen Standort keine überwiegenden Interessen entgegenstehen (vgl. für Bauten und Anlagen für die Haltung und Nutzung von Pferden auch den Verweis in der seit dem 1. Mai 2014 in Kraft stehenden Bestimmung von <ref-law>). Die verlangte Interessenabwägung bezieht sich neben der eigentlichen Standortwahl auch auf die Ausgestaltung ( ALEXANDER RUCH, in: Kommentar zum Bundesgesetz über die Raumplanung, 2010, N. 26 zu Art. 16a RPG; vgl. auch Urteil 1C_647/2012 vom 3. September 2014 E. 9 mit Hinweis). Lenkender Massstab der Interessenabwägung bilden namentlich die Ziele und Grundsätze der Raumplanung (Art. 1 und 3 RPG), wobei die Anliegen des Landschaftsschutzes von besonderer Bedeutung sind (Urteil 1C_565/2008 vom 19. Juni 2009 E. 4.2.2 mit Hinweisen).
4.
4.1. Die Beschwerdeführerin rügt unter verschiedenen Gesichtspunkten eine Rechtsverweigerung und eine Verletzung des rechtlichen Gehörs (Art. 29 Abs. 1 und 2 BV). Das Verwaltungsgericht habe keine Interessenabwägung gemäss <ref-law> vorgenommen und sei nicht auf die von ihr vorgebrachten betrieblichen Gründe eingegangen. Auch habe es sich nicht mit ihrer Rüge auseinandergesetzt, wonach im Rahmen der Direktzahlungen gemäss dem Programm "RAUS" ("Regelmässiger Auslauf im Freien") keine Grössenbeschränkungen von Weideflächen vorgesehen seien (vgl. zu Letzterem <http://www.blw.admin.ch/themen/> unter Direktzahlungen/Produktionssystembeiträge/Tierwohlbeiträge (BTS/RAUS) [besucht am 22. April 2015]). Schliesslich hätten die Vorinstanzen keinen Augenschein durchgeführt, was aber zwingend notwendig gewesen wäre.
4.2. Aus den oben wiedergegebenen Erwägungen geht hervor, dass das Verwaltungsgericht entgegen der Kritik der Beschwerdeführerin eine Interessenabwägung vorgenommen hat. Es räumte ein, dass ein Holzlattenzaun in der Regel etwas sicherer sei. Den Unterschied erachtete es aber nicht als so gross, dass er die landschaftsschützerischen Aspekte zu überwiegen vermöchte. Damit hat es geprüft, ob die Verwaltung ihr Ermessen rechtsverletzend gehandhabt hat, und hat dies mit rechtsgenüglicher Begründung verneint. Eine Gehörsverletzung oder Rechtsverweigerung liegt nicht vor. Inwiefern die Argumentation der Beschwerdeführerin zum sogenannten "RAUS"-Programm entscheidrelevant sein soll, wird in der Beschwerde nicht dargelegt und ist auch nicht ersichtlich. Auch insofern kann dem Verwaltungsgericht nicht vorgeworfen werden, es habe in seiner Entscheidbegründung einen wesentlichen Aspekt ausgeblendet.
4.3. Wie sich aus den nachfolgenden Erwägungen ergibt, ist die Beurteilung der vorliegenden Angelegenheit zudem auf Grund der Akten möglich. Welche zusätzlichen wesentlichen Erkenntnisse der von der Beschwerdeführerin verlangte Augenschein hätte hervorbringen können, ist nicht ersichtlich. Sie legt dies denn auch nicht dar. Das Verwaltungsgericht verletzte unter diesen Voraussetzungen das rechtliche Gehör der Beschwerdeführerin nicht, wenn es in antizipierter Beweiswürdigung darauf verzichtete (vgl. <ref-ruling> E. 5.3 S. 236 f. mit Hinweisen).
5.
5.1. Die Beschwerdeführerin rügt weiter, das Verwaltungsgericht habe den Sachverhalt unrichtig festgestellt (<ref-law>). Zum einen habe es Allwetterauslauf und Weide verwechselt. Zum andern habe es in aktenwidriger Weise festgestellt, die Einschätzung der Baudirektion, ein Holzlattenzaun beeinträchtige die Landschaft stärker, sei nachvollziehbar. Diese Einschätzung beruhe bloss auf einer kantonalen Praxis und entspreche nicht den spezifischen örtlichen Verhältnissen.
5.2. Das Verwaltungsgericht bezog sich mehrfach auf die gesetzlichen Bestimmungen zum Allwetterauslauf und dessen Ausgestaltung (vgl. <ref-law> und Bundesamt für Raumentwicklung, Wegleitung "Pferd und Raumplanung", 2011, S. 22 f., <http://www.are.admin.ch/ dokumentation/publikationen> [besucht am 22. April 2015]). Inwiefern diese Bestimmungen für den Ausgang des Verfahrens relevant sind, geht aus dem angefochtenen Entscheid nicht hervor, wird andererseits aber auch von der Beschwerdeführerin nicht dargelegt. Mangels Erheblichkeit erübrigen sich weitere Ausführungen dazu.
5.3. Die Einschätzung der Baudirektion, ein Holzlattenzaun beeinträchtige die Landschaft stärker als ein Elektrobandzaun, steht nicht im Widerspruch zu den Akten. Dass sich die Baudirektion in dieser Hinsicht nicht auf die spezifischen örtlichen Verhältnisse bezog, macht diese vom Verwaltungsgericht bestätigte Feststellung auch nicht offensichtlich unrichtig. Es ist nicht per se willkürlich davon auszugehen, ein bestimmter Zauntyp beeinträchtige unbesehen der konkreten Verhältnisse vor Ort die Landschaft stärker. Die Feststellung, dies sei in Bezug auf den von der Beschwerdeführerin gewünschten Holzlattenzaun der Fall, erscheint ebenfalls nicht als offensichtlich falsch. Auch wenn die verwendeten Elektrobänder gleich breit wären wie die Holzlatten, was nicht auf der Hand liegt, weil Holzlatten von höchstens 4 cm Breite keine grosse Stabilität bieten, so sind sie doch jedenfalls weniger massig. Allenfalls erlauben sie auch, die Pfosten in einem grösseren Abstand aufzustellen, was einen zusätzlichen Gewinn für die Landschaft darstellen würde.
6.
6.1. In Bezug auf die nach <ref-law> erforderliche Interessenabwägung ist somit davon auszugehen, dass Gründe des Landschaftsschutzes gegen die Verwendung von Holzlatten sprechen. Diesem öffentlichen Interesse stehen die von der Beschwerdeführerin geltend gemachten privaten Interessen gegenüber. Sie argumentiert, die von ihr vorgesehene Mäh-Weide-Nutzung diene der Erhaltung der Grasnarbe, beeinflusse den Grasbestand positiv und verhindere die Vermehrung von Krankheitserregern. Um diese Nutzung umsetzen zu können, müsse ein Ausbrechen der Fohlen und Jungpferde verhindert werden. Diese würden sich durch Bänder nicht abhalten lassen, zumal das unterste Band gemäss Baubewilligung nicht stromführend sein dürfe.
6.2. Wenn das Verwaltungsgericht den Sicherheitsgewinn durch die Verwendung eines Holzlattenzauns als gering einstufte und jedenfalls als weniger gewichtig als die dadurch verursachte zusätzliche Beeinträchtigung der Landschaft, ist dies unter dem Gesichtswinkel von <ref-law> nicht zu beanstanden. Bereits das Baurekursgericht hielt fest, dass die Elektrobänder auch von den Jungtieren respektiert werden sollten. Diese vom Verwaltungsgericht geschützte Feststellung erscheint nicht als offensichtlich falsch. Das Baurekursgericht wies zudem zu Recht darauf hin, dass nötigenfalls für "notorische Ausbrecher" die mit Holz eingezäunten Flächen in Hofnähe zur Verfügung stehen würden. Zu berücksichtigen ist in dieser Hinsicht, dass der Beschwerdeführerin immerhin 2.32 ha Weide mit Holzlattenzaun zur Verfügung stehen, mithin mehr als ein Sechstel des gesamten Weidegebiets.
6.3. Die weiteren von der Beschwerdeführerin vorgebrachten Argumente überzeugen nicht. Ihre Behauptung, es bestünde bei einem Zaun mit Bändern ein Versicherungsproblem, ist unbelegt. Entgegen ihrer Ansicht geht zudem aus dem die Haftung des Pferdehalters betreffenden <ref-ruling> nicht hervor, dass Holzlatten Bändern vorzuziehen sind (a.a.O., E. 2.3). Zu beurteilen war in jenem Fall die Einzäunung mit einem einzigen dünnen, elektrisch geladenen Plastikband. Auch die von der Beschwerdeführerin angeführten Empfehlungen der Beratungsstelle für Unfallverhütung in der Landwirtschaft machen keinen Unterschied zwischen Holzlatten- und Elektrobandzäunen (<http://www.bul.ch/de/fachthemen/tierhaltung/pferdehaltung.html> [besucht am 22. April 2015]). Schliesslich ist unzutreffend, dass gemäss einem Merkblatt des Schweizerischen Tierschutzes zwingend verlangt sei, alle drei Bänder müssten stromführend sein ( <http://www.tierschutz.com/publikationen/ wildtiere/index.html> unter Sichere Weidezäune für Nutz- und Wildtiere, S. 8 [besucht am 22. April 2015]) In Bezug auf den Tierschutz erwog die Baudirektion zudem, dass Querlatten für die Wildtiere nachteilig seien.
Die Rüge der Beschwerdeführerin, das Verwaltungsgericht habe <ref-law> verletzt, erweist sich somit als unbegründet.
7.
Die Beschwerde ist aus den genannten Gründen abzuweisen.
Bei diesem Verfahrensausgang sind die Gerichtskosten der Beschwerdeführerin aufzuerlegen (<ref-law>). Eine Parteientschädigung ist nicht zuzusprechen (Art. 68 Abs. 1-3 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 3'000.-- werden der Beschwerdeführerin auferlegt.
3.
Es wird keine Parteientschädigung zugesprochen.
4.
Dieses Urteil wird der Beschwerdeführerin, der Baukommission Herrliberg, der Baudirektion des Kantons Zürich, dem Verwaltungsgericht des Kantons Zürich, 3. Abteilung, 3. Kammer, und dem Bundesamt für Raumentwicklung schriftlich mitgeteilt.
Lausanne, 28. April 2015
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Dold