Sachverhalt:
A.
A._ ist Eigentümer der in der Landwirtschaftszone gelegenen Grundstücke Kat.-Nr. 3328 und 3329 in U._, Gemeinde Richterswil. Auf den Grundstücken befanden sich früher ein landwirtschaftlich genutztes Betriebsleiterwohnhaus sowie ein nie landwirtschaftlich genutztes Wohnhaus. Im Jahr 2012 wurden A._ von der Planungs- und Baukommission der Gemeinde Richterswil und der Baudirektion des Kantons Zürich die Bewilligungen erteilt für den Abbruch der bestehenden Gebäude und für die Errichtung zweier Ersatzneubauten, nämlich ein vergrössertes Betriebsleiterwohnhaus mit Stöckli auf dem Grundstück Kat.-Nr. 3329 und ein ebenfalls vergrössertes Wohnhaus auf dem Grundstück Kat.-Nr. 3328. In der Folge entschied sich A._, die beiden Ersatzneubauten zu einem Mehrfamilienhaus zusammenzufassen. Diese Projektänderung wurde ihm von der Planungs- und Baukommission bzw. der Baudirektion am 16. Dezember 2013 bzw. 14. Januar 2014 nachträglich bewilligt. Teil des Ersatzbauvorhabens bildete ein von der Baudirektion bereits am 12. Februar 2013 bewilligter Umgebungsplan. Dieser umfasste drei fassadenbündige Sitzplätze mit einer Grösse von je 21 m2, einen als bestehend bezeichneten bestehenden Ziergarten östlich vom Gebäude und eine Hecke entlang der Garagenrampe.
B.
Die in der Folge realisierte Umgebungsgestaltung weicht vom bewilligten Umgebungsplan ab. Die drei Sitzplätze wurden grösser ausgeführt, südöstlich des Mehrfamilienhauses wurde ein zusätzlicher Sitzplatz mit Pergola errichtet und zwischen den Sitzplätzen wurden Sichtschutzwände aus Steinkörben erstellt. Anstelle des vorgesehenen und bestehenden Ziergartens wurden ein Nutz- sowie Steingarten, eine Blocksteinmauer und ein Zugangsweg zum Sitzplatz mit Pergola angelegt. A._ reichte bei der Gemeinde nachträglich einen Umgebungsplan ein, der vom 3. November 2014 datiert und aus dem die bereits realisierte Umgebungsgestaltung teilweise ersichtlich war.
Am 15. Oktober 2015 verweigerte die Baudirektion die bereits erfolgte, nicht mit der Bewilligung vom 12. Februar 2013 im Einklang stehende Umgebungsgestaltung. Sie lud die örtliche Baubehörde ein, die Wiederherstellung des rechtmässigen Zustands zu prüfen. Gestützt darauf verweigerte die Planungs- und Baukommission der Gemeinde Richterswil am 28. Oktober 2015 die Bewilligung für die abgeänderte Umgebungsgestaltung. Gleichzeitig verlangte sie unter anderem den Rückbau der Umgebungsgestaltung südwestlich des Wohnhauses (Pergola, Sitzplatz, Blocksteinmauern, Stützmauer und Steingarten, Aussenzugang südlich der Garagenrampe, Rasengestaltung bis maximal über die erstellte Unterniveaugarage) innert sechs Monaten. Mit Wiedererwägungsbeschluss vom 13. Januar 2016 verzichtete die Planungs- und Baukommission auf die Wiederherstellung des rechtmässigen Zustands in Bezug auf den Aussenzugang südlich der Garagenrampe. Im Übrigen hielt sie an der Verpflichtung zur Wiederherstellung des rechtmässigen Zustands gemäss Beschluss vom 28. Oktober 2015 fest.
C.
A._ erhob sowohl gegen die Entscheide der Baudirektion vom 15. Oktober 2015 bzw. der Planungs- und Baukommission vom 28. Oktober 2015 als auch gegen den Wiedererwägungsbeschluss vom 13. Januar 2016 Rekurs an das Baurekursgericht des Kantons Zürich. Am 10. Januar 2017 vereinigte das Baurekursgericht die beiden Rekurse und wies sie ab, soweit sie nicht durch den kommunalen Wiedererwägungsbeschluss gegenstandslos geworden waren. Eine von A._ gegen den Entscheid des Baurekursgerichts erhobene Beschwerde wies das Verwaltungsgericht des Kantons Zürich am 5. Juli 2018 ab.
D.
Gegen das Urteil des Verwaltungsgerichts hat A._ am 11. September 2018 Beschwerde an das Bundesgericht erhoben. Er beantragt die Aufhebung des angefochtenen Urteils sowie des Entscheids des Baurekursgerichts vom 10. Januar 2017. Es sei die Umgebungsgestaltung gemäss Plan vom 3. Januar 2014 (gemeint ist wohl gemäss Plan vom 3. November 2014) zu bewilligen. Eventualiter sei das Verfahren zur Erteilung der Bewilligung an die Planungs- und Baukommission Richterswil bzw. an die Baudirektion zurückzuweisen.
Die Vorinstanz und die Baudirektion beantragen, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei. Die Planungs- und Baukommission beantragt sinngemäss Beschwerdeabweisung. Das vom Bundesgericht zur Stellungnahme eingeladene Bundesamt für Raumentwicklung (ARE) beantragt ebenfalls Beschwerdeabweisung. Der Beschwerdeführer hat mit Eingabe vom 11. März 2019 vollumfänglich an seinen Anträgen festgehalten.
E.
Mit verfahrensleitender Verfügung vom 26. Oktober 2018 hat der Präsident der I. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde die aufschiebende Wirkung zuerkannt.

Erwägungen:
1.
Angefochten ist ein kantonal letztinstanzlicher Endentscheid über die Nichterteilung einer Bewilligung für die Umgebungsgestaltung eines in einer Landwirtschaftszone gelegenen Mehrfamilienhauses. Dagegen steht die Beschwerde in öffentlich-rechtlichen Angelegenheiten grundsätzlich offen (vgl. Art. 82 lit. a, Art. 86 Abs. 1 lit. d und Art. 90 BGG). Der Beschwerdeführer hat am vorinstanzlichen Verfahren teilgenommen und ist als Bauherr bzw. Grundeigentümer zur Beschwerde legitimiert (vgl. <ref-law>). Da auch die übrigen Sachurteilsvoraussetzungen erfüllt sind, ist auf die Beschwerde grundsätzlich einzutreten.
2.
Die Vorinstanz hat Lage, Ausmass und Erscheinungsbild der neuen Gartenanlage ausführlich beschrieben. Unter Angabe der konkreten Masse bezeichnete sie unter anderem die neue Gartenanlage im Vergleich zum ursprünglichen Garten als deutlich grösser und die Betonmauer, welche die Anlage Richtung Südosten begrenzt, als im Vergleich zu einer früheren Mauer teilweise deutlich höher.
Ohne auf die von der Vorinstanz angegebenen Masse bzw. die Beschreibung der Gartenanlage detailliert einzugehen oder diese konkret zu bestreiten, wendet der Beschwerdeführer ein, der Garten weise "in etwa die gleiche Grösse" auf wie der abgebrochene Vorgänger. Es sei auch nicht richtig, dass die abgebrochene und wieder hergestellte Gartenmauer sehr viel massiver sei als die Vorgängerin. Sie sei einfach neuer, weniger verwittert und daher auch besser sichtbar.
Soweit der Beschwerdeführer damit den Sachverhalt überhaupt von der Vorinstanz abweichend darstellt, setzt er sich mit den Ausführungen der Vorinstanz jedenfalls nicht genügend detailliert auseinander und legt er nicht substanziiert dar, inwiefern die Vorinstanz den entscheidwesentlichen Sachverhalt offensichtlich unrichtig festgestellt hätte. Auf die Beschwerde ist mangels genügender Begründung insoweit nicht einzutreten (vgl. <ref-law> i.V.m. <ref-law> und <ref-law>).
3.
Der Beschwerdeführer führt einen Landwirtschaftsbetrieb. Er hat auf den Grundstücken Kat.-Nr. 3328 und 3329 ein Mehrfamilien-Wohnhaus errichtet, welches aus einem in der Landwirtschaftszone (vgl. Art. 16 und 16a RPG [SR 700]) zonenkonformen Teil (Betriebsleiterwohnhaus mit Stöckli) und einem zonenfremden Teil besteht. Derjenige Teil des Wohnhauses, der als Ersatz für das frühere, nie landwirtschaftlich genutzte Wohnhaus errichtet wurde und nicht vom Beschwerdeführer und seiner Mutter bewohnt wird, wurde mit einer Ausnahmebewilligung i.S.v. Art. 24c RPG bewilligt. Umstritten ist, ob für die nicht bewilligte, aber bereits realisierte Umgebungsgestaltung des Mehrfamilienhauses nachträglich eine Baubewilligung zu erteilen ist.
Die Baudirektion des Kantons Zürich hatte sich bei der Beurteilung der Zulässigkeit der Umgebungsgestaltung unter anderem auf ihre Praxis zu den altrechtlichen Wohnbauten gemäss Art. 24c RPG abgestützt, wonach nur im Nahbereich eines Wohnhauses, bzw. grundsätzlich nur innerhalb eines 7 m-Radiuses um das Wohnhaus, eine Gartengestaltung vorgenommen werden dürfe. Die Vorinstanz hat erwogen, dass sich die zulässige Grösse zonenkonformer Wohnbauten in der Landwirtschaftszone nach Art. 16a Abs. 1 Satz 1 RPG und <ref-law> und demgemäss nach ihrer Notwendigkeit richte. Landwirtschaftliche Wohnbauten dürften nicht überdimensioniert sein, wobei den Behörden ein erheblicher Spielraum in der Beurteilung darüber zustehe, wie viel Wohnraum erstellt werden dürfe. Gemäss den Ausführungen der Vorinstanz haben sich auch zonenkonforme Wohnbauten in der Landwirtschaftszone an den Zielen und Grundsätzen von Art. 1 und 3 RPG zu orientieren. Dazu zählten namentlich der Landschaftsschutz und die Erhaltung genügender Flächen geeigneten Kulturlandes. Dementsprechend seien auch zonenkonforme landwirtschaftliche Wohnbauten in ihrem Umfang zu beschränken, nämlich um die Zersiedelung gering zu halten und Kulturland sowie Landschaft zu schützen. Unter diesen Umständen sei nicht einzusehen, warum einer landwirtschaftlichen Wohnnutzung eine grössere Gartenfläche zustehen sollte als einer nicht zonenkonformen Wohnnutzung. Es sei gerechtfertigt, die Praxis, wonach Gartenanlagen bei altrechtlichen Wohnbauten im Sinne von Art. 24c RPG nur im Nahbereich des Wohnhauses bzw. grundsätzlich nur in einem 7 m-Radius erstellt werden dürften, sinngemäss auf zonenkonforme Wohnbauten in der Landwirtschaftszone anzuwenden, zumal diese Praxis nicht als absolut zu betrachten sei, im konkreten Fall jeweils eine Interessenabwägung stattfinde und die 7 m-Regel nur als Richtschnur diene. Die Anwendung der erwähnten Praxis zu Art. 24c RPG rechtfertige sich im vorliegenden Fall umso mehr, als die Wohnbaute in der Landwirtschaftszone nicht ausschliesslich zonenkonform sei, sondern sich aus einem zonenkonformen und einem nicht zonenkonformen Teil zusammensetze. Sodann setzte sich die Vorinstanz im angefochtenen Urteil mit Lage, Ausmass und Erscheinungsbild der neu gestalteten Gartenanlage ausführlich auseinander und kam zum Schluss, dass diese zu Recht nicht bewilligt worden sei.
4.
Der Beschwerdeführer rügt eine Verletzung von Art. 16 und 16a RPG.
4.1. Er macht geltend, eine zonenfremde Nutzung des Gartens finde nicht statt, zumal die zonenfremde Nutzung im Umfang von zwei 2,5-Zimmer-Wohnungen lediglich im Dachgeschoss bestehe und der Umschwung um das Mehrfamilienhaus ausschliesslich von ihm als Betriebsinhaber und eventuell seinen Eltern genutzt werde. Der Garten diene der Erholung des Landwirts und sei zonenkonform i.S. von Art. 16a RPG. Die Anwendung der 7 m-Praxis sei nicht zulässig. Für die Garten- und Umgebungsgestaltung für Landwirte in Landwirtschaftszonen bestünden keine gesetzlichen Sonderregeln. Es könne nicht sein bzw. es bestehe keine Rechtsgrundlage dafür, dass eine Behörde einem Landwirt vorschreibe, wie gross sein Garten sein dürfe und wie er diesen zu gestalten habe.
4.2. Voraussetzung für die Erteilung einer Baubewilligung ist unter anderem, dass die Bauten oder Anlagen dem Zweck der Nutzungszone entsprechen (Art. 22 Abs. 2 lit. a RPG). In der Landwirtschaftszone sind gemäss Art. 16a Abs. 1 RPG Bauten und Anlagen zonenkonform, die zur landwirtschaftlichen Bewirtschaftung oder für den produzierenden Gartenbau nötig sind (vgl. auch Art. 34 Abs. 4 lit. a der Raumplanungsverordnung vom 28. Juni 2000 [RPV; SR 700.1]). Ausserdem dürfen der Baute oder Anlage am vorgesehenen Standort keine überwiegenden Interessen entgegenstehen (<ref-law>). Bei Bauten für den Wohnbedarf muss der Wohnraum für den Betrieb des entsprechenden landwirtschaftlichen Gewerbes unentbehrlich sein, einschliesslich des Wohnbedarfs der abtretenden Generation (<ref-law>). Wohngebäude dürfen mit Blick auf den durch die Bodenbewirtschaftung bedingten Wohnbedarf nicht überdimensioniert sein. Im Interesse, die Zersiedelung des Landes zu verhindern (Art. 1 Abs. 2 und Art. 3 Abs. 3 RPG), stellt die Rechtsprechung an die Zonenkonformität von Wohnraum in der Landwirtschaftszone strenge Anforderungen und bejaht sie nur zurückhaltend. Die Unentbehrlichkeit von Wohnraum beurteilt sich allein nach objektiven Kriterien. Subjektive Vorstellungen und Wünsche sind ebenso wenig massgebend wie die persönliche Zweckmässigkeit und Bequemlichkeit. Ausschlaggebend ist eine Gesamtbetrachtung, die sich mehr an qualitativen als an quantitativen Faktoren orientiert (vgl. zum Ganzen: <ref-ruling> E. 2b S. 177 f.; <ref-ruling> E. 3b S. 310 f.; je mit Hinweisen; Urteile 1C_258/2018 vom 11. Dezember 2018 E. 4.2 f. und 1C_227/2014 vom 11. Mai 2016 E. 3.1 f.).
4.3. Bei der vom Beschwerdeführer realisierten Gartenanlage handelt es sich offensichtlich nicht um einen Bauerngarten und damit nicht um eine Anlage, die unmittelbar der landwirtschaftlichen Bewirtschaftung oder dem produzierenden Gartenbau dient. Die in der Umgebung des Wohnhauses realisierten Elemente dienen dem Wohnkomfort der im Mehrfamilienhaus wohnenden Personen bzw. jedenfalls der in der Betriebsleiterwohnung mit Stöckli wohnenden Personen. Wie das ARE überzeugend ausgeführt hat, stellt die Gartenanlage unter diesen Umständen Wohnraum im Sinne von <ref-law> dar, der zusammen mit der eigentlichen Betriebsleiterwohnung mit Stöckli für den Betrieb des landwirtschaftlichen Gewerbes unentbehrlich sein muss und nicht überdimensioniert sein darf.
Die vom Beschwerdeführer realisierte Gartenanlage erstreckt sich ab der Hausfassade rund 10,5 m in Richtung Südosten und rund 20 m in Richtung Südwesten. Sie umfasst unter anderem drei fassadenbündige Sitzplätze mit Sichtschutzwänden aus Steinkörben, einen weiteren Sitzplatz mit Pergola, einen Nutz- und einen Steingarten, eine markante Blocksteinmauer sowie einen Zugangsweg zum Sitzplatz mit der Pergola. In ihrer Grösse und konkreten Ausgestaltung ist die Gartenanlage zusammen mit dem übrigen landwirtschaftlichen Wohnraum mit Blick auf das Interesse an der Vermeidung der Zersiedelung der Landschaft objektiv betrachtet überdimensioniert und für den Betrieb des landwirtschaftlichen Gewerbes des Beschwerdeführers nicht im Sinne von <ref-law> unentbehrlich. Ausserdem stehen der Gartenanlage aufgrund der beanspruchten Fläche, ihrer Gestaltung sowie des abrupten Übergangs von bebauter zu nicht bebauter Fläche im Sinne von <ref-law> überwiegende Interessen entgegen, nämlich das Interesse des Landschaftsschutzes sowie das Interesse am Erhalt landwirtschaftlich genutzter Flächen.
4.4. Bei der Beurteilung, ob die vom Beschwerdeführer realisierte Umgebungsgestaltung im Sinne von Art. 16 und Art. 16a RPG zonenkonform sei, hat sich die Vorinstanz unter anderem an der kantonalen Praxis orientiert, wonach Gartenanlagen bei altrechtlichen Wohnbauten im Sinne von Art. 24c RPG nur im Nahbereich des Wohnhauses bzw. grundsätzlich nur in einem 7 m-Radius erstellt werden dürfen. Gegen konkretisierende Richtlinien bei der Beurteilung der Zonenkonformität einer Gartenanlage in der Landwirtschaftszone - wie vorliegend der 7 m-Regel - ist von Bundesrechts wegen nichts einzuwenden, wenn sie im Interesse einer rechtsgleichen Praxis liegen und nicht starr, sondern im Sinne der bundesrechtlichen Vorgaben flexibel und ergänzend zu diesen gehandhabt werden. Dies ist hier geschehen. Die Mitberücksichtigung der kantonalen Praxis zu Art. 24c RPG rechtfertigte sich vorliegend umso mehr, als es sich beim Mehrfamilienhaus nicht um eine vollumfänglich in der Landwirtschaftszone zonenkonforme Baute, sondern um eine Mischbaute mit einem zonenkonformen und einem zonenfremden Teil handelt (vgl. E. 3 hiervor). Daran ändert auch der Einwand des Beschwerdeführers nichts, der Umschwung um das Mehrfamilienhaus werde ausschliesslich von ihm als Betriebsinhaber und eventuell seinen Eltern genutzt.
4.5. Die vom Beschwerdeführer ebenfalls angeführten Absätze 2 und 3 von Art. 16a RPG sind vorliegend nicht anwendbar. Der Vorinstanz ist somit keine Verletzung von Art. 16 und Art. 16a RPG vorzuwerfen, wenn sie zum Schluss kam, die vom Beschwerdeführer bereits realisierte Umgebungsgestaltung sei zu Recht nicht bewilligt worden.
5.
Der Beschwerdeführer macht nicht geltend, dass für die von ihm realisierte Umgebungsgestaltung eine Ausnahmebewilligung nach Art. 24c RPG hätte erteilt werden müssen. Wie das ARE überzeugend dargelegt hat, wären die Voraussetzungen hierfür auch nicht gegeben. Weil die neue Gartenanlage verschoben wurde, deutlich grösser als der ursprüngliche Garten ist, mehr befestigte Fläche aufweist und im Vergleich zum früheren Zustand gestalterisch sehr auffällig ist, fehlt es jedenfalls in einer Gesamtbetrachtung (vgl. dazu Urteil 1C_128/2018 vom 28. September 2018 E. 6.1) zusammen mit dem rechtskräftig bewilligten Ersatzneubau offensichtlich an der erforderlichen Wesensgleichheit im Sinne von Art. 24c Abs. 2 RPG i.V.m. <ref-law>.
6.
Die Vorinstanz hat im angefochtenen Urteil überdies bestätigt, dass die von der Planungs- und Baukommission angeordnete Wiederherstellung des rechtmässigen Zustands rechtmässig sei. Dazu hat sich der Beschwerdeführer in seiner Beschwerde an das Bundesgericht nicht geäussert, weshalb darauf nicht weiter einzugehen ist.
7.
Nach dem Ausgeführten ist die Beschwerde abzuweisen, soweit darauf einzutreten ist. Bei diesem Verfahrensausgang sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 4'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird dem Beschwerdeführer, der Planungs- und Baukommission Richterswil, der Baudirektion des Kantons Zürich, dem Verwaltungsgericht des Kantons Zürich, 3. Abteilung, und dem Bundesamt für Raumentwicklung schriftlich mitgeteilt.
Lausanne, 13. März 2020
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Chaix
Der Gerichtsschreiber: Mattle