Sachverhalt: A. A._ will ihren Landwirtschaftsbetrieb B._ an der C._strasse "..." in Herrliberg mit verschiedenen baulichen Massnahmen in einen Betrieb mit Pferdehaltung umwandeln. Der Landwirtschaftsbetrieb befindet sich teilweise in der Kernzone "Weiler" und teilweise in der Landwirtschaftszone. Für die bis zu 29 Pferde ist eine rund 12 ha grosse Weidefläche vorgesehen, welche die Parzellen Kat.-Nrn. 1110, 1111, 1113, 1114, 1313, 1314, 1316, 1318, 1320, 2103, 2104, 6594 und 6956 umfasst. Ein Holzlattenzaun, bestehend aus 1.5 m hohen Pfählen aus Naturholz mit drei horizontalen Holzlatten soll die einzelnen Teilflächen des Weidegebiets abgrenzen. Am 14. Juni 2013 erfolgte die amtliche Publikation des Baugesuchs. Am 25. Juli 2013 erteilte die Baudirektion des Kantons Zürich A._ die raumplanungsrechtliche Bewilligung unter verschiedenen Auflagen und Bedingungen. Für die Umzäunung verfügte sie in Dispositiv-Ziffer I lit. d Folgendes: Für die Weidezäunungen, die über die zulässige Fläche von 2.32 ha hinausgehen, die in Hofnähe fest eingezäunt werden kann, sind maximal 1.6 m hohe Holzpfosten natur (nicht weiss) mit Elektrobändern in dunkler Farbe (grau, braun oder schwarz) zu verwenden, wobei das unterste Band nicht stromführend sein darf und 40 cm Bodenabstand aufweisen muss. Am 9. September 2013 erteilte die Baukommission der Gemeinde Herrliberg A._ die baurechtliche Bewilligung unter verschiedenen Auflagen und Bedingungen. Gleichzeitig eröffnete sie ihr die Bewilligung der Baudirektion. A._ erhob gegen die zitierte Auflage in der Bewilligung der Baudirektion Rekurs ans Baurekursgericht des Kantons Zürich. Sie beantragte in der Hauptsache, die Auflage sei aufzuheben und es sei ihr zu erlauben, die Weideeinzäunungen, welche über die Fläche von 2.32 ha hinausgehen, in Naturholz und mit drei horizontalen Latten, 1.50 m hoch zu erstellen. Am 11. März 2014 wies das Baurekursgericht den Rekurs ab. Eine von A._ gegen den Entscheid des Baurekursgerichts erhobene Beschwerde wies das Verwaltungsgericht des Kantons Zürich mit Urteil vom 23. Oktober 2014 ab. B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 5. Januar 2015 ans Bundesgericht beantragt A._ im Wesentlichen, das Urteil des Verwaltungsgerichts sei aufzuheben und es sei ihr zu erlauben, die Weideeinzäunungen, welche über die Fläche von 2.32 ha hinausgehen, in Naturholz und mit drei horizontalen Latten, 1.50 m hoch zu erstellen. Das Verwaltungsgericht beantragt, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei. Die Baukommission Herrliberg hat auf eine Stellungnahme verzichtet. Die Baudirektion des Kantons Zürich hat sich nicht vernehmen lassen. Das ebenfalls zur Vernehmlassung eingeladene Bundesamt für Raumentwicklung beantragt die Abweisung der Beschwerde. Die Beschwerdeführerin hält in ihrer Stellungnahme dazu an ihren Anträgen fest.