Sachverhalt:
A. A.a X._ ist seit 1973 Eigentümer des rund 1,6 ha grossen Grundstücks Kat.-Nr. "..." in der Gemeinde Egg/ZH. Dieses umfasst auf einer Fläche von etwa 0,65 ha eine Baumschule sowie darüber hinaus einen Lagerplatz und eine Ausstellungsfläche für einen Gartenbaubetrieb. Die Gärtnerei und die Baumschule bestehen seit 1956. X._ erstellte auf dem Gelände verschiedene Volieren, Biotope, Mustermauern, einen Werkplatz mit Steinlager sowie einen Verkaufspavillon, der im Winter als Lager diente, und nahm dafür auch Terrainveränderungen vor.
A.b Nach Klagen von Nachbarn forderte die Gemeinde Egg X._ auf, die Bautätigkeit zu beenden und für die bereits vorgenommenen baulichen Veränderungen sowie den Werkplatzbetrieb ein ordentliches Baugesuch einzureichen. Nach Eingang dieses Gesuchs fand am 14. Dezember 2004 mit Vertretern des Amtes für Raumordnung und Vermessung des Kantons Zürich sowie der Gemeinde Egg ein Augenschein statt.
A.c Am 25. April 2005 erteilte das Amt für Abfall, Wasser, Energie und Luft (AWEL) des Kantons Zürich X._ die gewässerschutzrechtliche Bewilligung für das Sammeln der Abgänge seiner Tierhaltung, deren Verwertung mittels Kompostanlage und deren Ausbringung zusammen mit den Abwässern der beiden Güllegruben auf dem eigenen Kulturland; als Nebenbestimmung erging dazu die Verpflichtung, die Güllegruben zu reinigen und instandzustellen.
A.d Mit Verfügung vom 22. Juli 2005 stellte die Baudirektion des Kantons Zürich fest, dass ein Teil der zu beurteilenden baulichen Massnahmen bereits vor mehr als 30 Jahren realisiert worden seien und deshalb unabhängig von ihrer materiellen Bewilligungsfähigkeit nicht mehr in Frage gestellt werden könnten. Hinsichtlich anderen baulichen Veränderungen verneinte die Baudirektion zwar die Zonenkonformität, erteilte dafür aber eine Ausnahmebewilligung. Nicht bewilligt wurden hingegen die freistehenden Volieren, Teile der Umgebungsgestaltung sowie einzelne, im Zusammenhang mit dem Gartenbaubetrieb von X._ stehende Bauten und Anlagen, nämlich der Naturteich mit Biotop, der Verkaufspavillon, die Mustermauern sowie der Werkplatz mit Steinlager samt dessen Erschliessung. Insofern wurde die Gemeinde Egg aufgefordert, bis spätestens drei Monate nach Eintritt der Rechtskraft der Verfügung der Baudirektion die erforderlichen Massnahmen zur Wiederherstellung des rechtmässigen Zustandes unter Ansetzung einer angemessenen Frist gegenüber dem Pflichtigen zu verfügen. Dieser Aufforderung kam der Gemeinderat Egg am 11. August 2005 nach.
B. Gegen diese kantonalen und kommunalen Entscheide erhob X._ am 16. September 2005 Rekurs beim Regierungsrat des Kantons Zürich. Nach mehrjähriger Sistierung des Verfahrens hiess dieser den Rekurs am 5. Oktober 2011 im Sinne der Erwägungen (hinsichtlich der Umgebungsgestaltung mit Geländeveränderungen und der daneben liegenden Mauern und Wegplatten) teilweise gut und wies ihn im Übrigen ab, soweit er nicht gegenstandslos geworden war. Die teilweise Gutheissung wurde im Wesentlichen damit begründet, beim Betrieb einer Baumschule und einer Humusdeponie auf der Bauparzelle handle es sich um eine Nutzung, die dem Zweck der Landwirtschaftszone entspreche. Dafür benötige X._ einen direkten Zugang, weshalb die direkten Verbindungen von den östlich liegenden Baumschulen bzw. von der Humusdeponie zum Ökonomiegebäude sinnvoll seien und ein befestigter Weg erforderlich sei. Zwischen den entsprechenden Wegplatten und den Böschungen bzw. Natursteinmauern bestehe ein enger Zusammenhang, weshalb auch diese zulässig seien. Hingegen könnte für die übrigen strittigen Anlagen und Bauten, worunter der Werkplatz und der entsprechende Kiesweg, weder eine ordentliche Bewilligung noch eine Ausnahmebewilligung erteilt werden. Diese baulichen Massnahmen müssten daher rückgängig gemacht werden, wofür der Regierungsrat eine Frist von neun Monaten nach Eintritt der Rechtskraft seines Entscheides festsetzte.
C. Dagegen führte X._ Beschwerde beim Verwaltungsgericht des Kantons Zürich. Dieses hiess die Beschwerde am 15. März 2012 teilweise gut und hob die Auflage gemäss der Verfügung des Amts für Abfall, Wasser, Energie und Luft (AWEL) vom 25. April 2005 (Pflicht zur Entleerung, Reinigung und allfälligen Reparatur der Güllegruben) auf, wies die Beschwerde im Übrigen jedoch ab, soweit es darauf eintrat.
D. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht stellt X._ die folgenden Anträge:
"1. Es sei der angefochtene Entscheid insoweit aufzuheben, als damit die Beschwerde bezüglich des im Plan "Grundriss/Situation" vom 12.11.2004 ... verzeichneten Kiesweges im nordöstlichen Teil des Grundstücks Kat.-Nr. "..." zwischen der Z._strasse und dem Werkplatz/Steinlager abgewiesen wurde.
2. Es seien die Baudirektion Kanton Zürich und der Gemeinderat Egg einzuladen, dem Beschwerdeführer in teilweiser Abänderung der baurechtlichen Entscheide vom 22. Juli 2005 bzw. 11. August 2005 die nachträgliche Baubewilligung für den Kiesweg zu erteilen, soweit dieser der Erschliessung der Baumschule und der Humusdeponie dient, und im Übrigen auf eine Wiederherstellung des rechtmässigen Zustands zu verzichten.
3. Eventuell sei die Angelegenheit zur Ergänzung und zum Neuentscheid an die Vorinstanz zurückzuweisen.
4. Es sei ein Augenschein an Ort und Stelle durchzuführen.
..."
Zur Begründung führt X._ im Wesentlichen aus, das Urteil des Verwaltungsgerichts verletze seinen Anspruch auf rechtliches Gehör (<ref-law>), weil weder von der Baudirektion noch vom Regierungsrat noch vom Verwaltungsgericht ein Augenschein durchgeführt worden sei. Sodann beruhe das Urteil, wohl weil es keinen solchen Augenschein gegeben habe, auf einer offensichtlich unrichtigen Feststellung des Sachverhalts. In der Sache verstosse der Entscheid weiter gegen das Raumplanungsgesetz des Bundes (Art. 22 RPG) sowie gegen die Eigentumsgarantie (<ref-law>) und den Grundsatz von Treu und Glauben (<ref-law>). Der einzig noch strittige Kiesweg erschliesse die zonenkonforme Baumschule und den zwar als zonenfremd erkannten, aber nicht rückbaupflichtigen Werkplatz und bilde dafür eine unentbehrliche Verkehrsanlage, deren Beseitigung unsinnig sei und die angerufenen Verfassungs- und Gesetzesgarantien verletze.
E. Die Gemeinde Egg, die Baudirektion des Kantons Zürich und das Bundesamt für Raumentwicklung ARE haben auf eine Vernehmlassung verzichtet. Das Verwaltungsgericht des Kantons Zürich schliesst unter Verweis auf die Erwägungen seines Urteils auf Abweisung der Beschwerde. Das Amt für Abfall, Wasser, Energie und Luft (AWEL) des Kantons Zürich hat innert Frist keine Stellungnahme eingereicht.

Erwägungen:
1. 1.1 Angefochten ist ein letztinstanzlicher kantonaler Endentscheid über die Erteilung bzw. Verweigerung einer Baubewilligung. Dagegen steht die Beschwerde in öffentlich-rechtlichen Angelegenheiten nach <ref-law> an das Bundesgericht offen (vgl. <ref-ruling> E. 1.2 S. 251). Der Beschwerdeführer ist als Baugesuchsteller und direkter Adressat des angefochtenen Entscheids grundsätzlich zur Beschwerde legitimiert (<ref-law>), soweit ihm damit die ersuchte Baubewilligung teilweise verweigert wurde.
1.2 Streitgegenstand bildet einzig noch der "Kiesweg" im nordöstlichen Teil des fraglichen Grundstückes, der von der Z._strasse her auf einer Länge von rund 50 Metern entlang der bestehenden Baumschule und der temporären Humusdeponie bis zum Werkplatz mit Steinlager führt und entsprechend im in den Akten liegenden Plan "Grundriss/Situation" vom 12. November 2004 verzeichnet ist. Im Übrigen akzeptiert der Beschwerdeführer den angefochtenen Entscheid ausdrücklich.
2. 2.1 Nach Art. 22 Abs. 1 RPG dürfen Bauten und Anlagen nur mit behördlicher Bewilligung errichtet oder geändert werden. Voraussetzung einer solchen Bewilligung ist namentlich, dass die Bauten und Anlagen dem Zweck der Nutzungszone entsprechen und das Land erschlossen ist (Art. 22 Abs. 2 RPG). Gemäss Art. 16 Abs. 1 RPG umfassen Landwirtschaftszonen insbesondere Land, das sich für die landwirtschaftliche Bewirtschaftung oder den produzierenden Gartenbau eignet (lit. a) oder im Gesamtinteresse landwirtschaftlich bewirtschaftet werden soll (lit. b). Nach Art. 16a Abs. 1 RPG sind Bauten und Anlagen in der Landwirtschaftszone zonenkonform, die zur landwirtschaftlichen Bewirtschaftung oder für den produzierenden Gartenbau nötig sind. Gemäss Art. 24 RPG können abweichend von Art. 22 Abs. 2 lit. a RPG Bewilligungen erteilt werden, wenn der Zweck der Bauten und Anlagen einen Standort ausserhalb der Bauzonen erfordert und keine überwiegenden Interessen entgegenstehen.
2.2 Unter den Verfahrensbeteiligten ist nicht mehr strittig, dass Bauten und Anlagen auf dem fraglichen Grundstück, das in der Landwirtschaftszone liegt und dem Beschwerdeführer gehört, der Baubewilligungspflicht unterstehen. Von allen Seiten anerkannt wird, dass der Betrieb einer Baumschule und einer Humusdeponie zum produzierenden Gartenbau zählt und daher zonenkonform ist. Andere Bauten und Anlagen auf dem Grundstück muss der Beschwerdeführer hingegen wegen Zonenwidrigkeit beseitigen. Vereinzelte bauliche Veränderungen beurteilten die Vorinstanzen zwar grundsätzlich ebenfalls als nicht zonenkonform und verweigerten die entsprechende Bewilligung; da sie schon mehr als 30 Jahre bestehen, wurde jedoch von einem Rückbau bzw. von der Wiederherstellung des natürlichen Zustands abgesehen. Das trifft namentlich im nordöstlichen Teil der Parzelle auf den Werkplatz mit Steinlager zu, nicht aber auf die später erstellten daneben liegenden und daher zu beseitigenden Mustermauern. Umstritten sind demgegenüber die Zonenkonformität und damit die Bewilligungsfähigkeit des - gemäss Feststellung der Vorinstanz im Jahre 2001 erstellten - Kiesweges im gleichen Parzellenteil, der die Z._strasse mit dem Werkplatz verbindet. Die Vorinstanzen ordneten dessen Rückbau an, wogegen sich der Beschwerdeführer wehrt.
3. 3.1 Nach der bundesgerichtlichen Rechtsprechung ist in der Landwirtschaftszone eine Strasse, die der Erschliessung von bestandesgeschützten, aber landwirtschaftsfremden Bauten dient, nicht (gemäss Art. 22 RPG) zonenkonform und auch nicht (im Sinne von Art. 24 RPG) standortgebunden (Urteil des Bundesgerichts 1A.256/2004 vom 31. August 2005 E. 4 und 5). Soweit der umstrittene Kiesweg daher den Zugang zum zonenfremden Werkplatz bezweckt, ist er nicht bewilligungsfähig, woran nichts ändert, dass der Werkplatz selbst nicht beseitigt werden muss. Da der Kiesweg auch nicht wegen Zeitablaufs gegen Beseitigung geschützt ist, verletzt es insoweit, d.h. mit Blick auf den Werkplatz, überdies Bundesrecht nicht, dass die Wiederherstellung des natürlichen Zustands angeordnet wurde.
3.2 Fraglich erscheint indessen ein anderer Gesichtspunkt. Der Kiesweg erschliesst nicht nur den Werkplatz, sondern auch die temporäre Humusdeponie sowie den in der nordöstlichen Parzellenecke angesiedelten Teil der Baumschule, wo gemäss dem Situationsplan vom 12. November 2004 "Kulturbäume" und "Blautannen" angepflanzt werden. Der Regierungsrat führte in seinem Entscheid vom 5. Oktober 2011 dazu aus, der Beschwerdeführer benötige für den Gartenbaubetrieb einen direkten Zugang zur Humusdeponie und zur Baumschule. Dafür sei ein befestigter Weg erforderlich, denn bei intensiven Regenfällen sei der Naturboden derart stark aufgeweicht und durchnässt, dass der Transport der Bäume und von anderen schweren Gegenständen erheblich erschwert werde. Für die sinnvolle Nutzung des Grundstücks seien daher die (ursprünglich ohne Bewilligung) verlegten (und nunmehr zu bewilligenden) Wegplatten erforderlich, zumal aus Gründen der Verkehrssicherheit ein zu häufig genutzter Zugang direkt von der Z._strasse her zu vermeiden sei. Das Verwaltungsgericht übernimmt diese Argumentation durch entsprechenden Verweis und teilweise inhaltliche Wiederholung im angefochtenen Entscheid. Das Verwaltungsgericht ergänzt ausdrücklich, die Humusdeponie sei (gleich wie der - hier allerdings nicht mehr massgebliche - Werkplatz) über die Wegplatten erreichbar und verweist dazu auf den genannten Situationsplan.
3.3 Einerseits spricht Einiges dafür, dass der umstrittene, wohl an den Bedürfnissen des Werkplatzes ausgerichtete Kiesweg für die Erschliessung der temporären Humusdeponie und der Baumschule im nordöstlichen Parzellenteil überdimensioniert ist und in der vorliegenden Ausgestaltung nicht bewilligt werden kann. Andererseits ergibt eine Konsultation des Situationsplanes, dass die Wegplatten an einem Zaun, der den Kiesweg begrenzt, enden. Im Zaun liesse sich zwar ein Tor anbringen, aber der Zugang zur Humusdeponie und erst recht zur dahinter liegenden, vom Verwaltungsgericht nicht erwähnten Baumschule ist bis anhin lediglich über die Querung bzw. Teilnutzung des Kieswegs gesichert, würde aber bei einem Rückbau desselben wegfallen. Bei den Wegplatten scheint es sich sodann um einen schmalen Plattenweg zu handeln, der wohl für eine Begehung zu Fuss und allenfalls mit kleinen Gerätschaften, nicht aber mit Fahrzeugen geeignet sein dürfte. Dieser Zugang ist in keiner Weise vergleichbar mit demjenigen im südwestlichen Parzellenteil, wo ein deutlich breiterer Weg mit Verbundsteinbelag die dortige Humusdeponie und Baumschule erschliesst. Der Zugang zum nordöstlichen Teil über die Wegplatten scheint mithin sowohl von der Reichweite als auch von der Wegbreite und der Belastungsfähigkeit her ungenügend. Allein gestützt auf den Situationsplan und die in den Akten liegenden sonstigen Unterlagen wie die vorhandenen Aufnahmen lässt sich das aber nicht abschliessend beurteilen. Der Beschwerdeführer rügt denn auch dementsprechend, die vorinstanzlichen Sachverhaltsfeststellungen seien insofern offensichtlich unrichtig und unvollständig, und verlangt dazu die Vornahme eines Augenscheins.
3.4 Gemäss <ref-law> legt das Bundesgericht seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat. Deren Sachverhaltsfeststellung kann nur auf Rüge hin oder von Amtes wegen berichtigt oder ergänzt werden, wenn sie offensichtlich unrichtig ist oder auf einer gravierenden Rechtsverletzung (im Sinne von <ref-law>) beruht (Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG). Immerhin verlangt der in <ref-law> gewährleistete Anspruch auf rechtliches Gehör unter anderem, dass die Behörde bei der Beweiserhebung die Vorbringen des vom Entscheid in seiner Rechtsstellung Betroffenen auch tatsächlich hört, prüft und in der Entscheidfindung berücksichtigt (<ref-ruling> E. 3a S. 51 und 241 E. 2 S. 242, je mit Hinweisen). Keine Verletzung des rechtlichen Gehörs liegt vor, wenn ein Gericht auf die Abnahme beantragter Beweismittel verzichtet, weil es aufgrund der bereits abgenommenen Beweise seine Überzeugung gebildet hat und ohne Willkür in vorweggenommener Beweiswürdigung annehmen kann, dass seine Überzeugung durch weitere Beweiserhebungen nicht geändert würde (<ref-ruling> E. 3 S. 157; <ref-ruling> E. 2.1 S. 428; <ref-ruling> E. 4a S. 211, je mit Hinweisen). Die erhobenen Beweise müssen aber in nachvollziehbarer Weise geeignet sein, die tatsächlichen Feststellungen zu belegen und die entsprechenden Folgerungen mit genügender Sicherheit zu untermauern.
3.5 Im vorliegenden Fall ist nicht klar und nachvollziehbar belegt, dass der Zugang über den Plattenweg den nordöstlichen Parzellenteil mit der dort liegenden Humusdeponie und Baumschule in einer die zulässige Bewirtschaftung des Grundstücks gewährleistenden Weise erschliesst. Vielmehr erscheint sehr fraglich und zweifelhaft, ob der Plattenweg dafür genügt. Daran schliesst die Frage an, ob auch ohne Kiesweg vom heutigen Ende des Plattenwegs an bis zur Humusdeponie und Baumschule eine genügende Erschliessung gewährleistet ist. Die in den Akten liegenden Unterlagen schaffen für sich allein keine genügende Grundlage, um darüber in vorweggenommener Beweiswürdigung willkürfrei entscheiden zu können. Die nötige Gewissheit kann dazu wohl nur ein Augenschein erbringen. Weder die Baudirektion, noch der Regierungsrat, noch das Verwaltungsgericht haben einen solchen vorgenommen, und derjenige, der am 14. Dezember 2004 mit Vertretern des Amtes für Raumordnung und Vermessung des Kantons Zürich sowie der Gemeinde Egg stattgefunden hat, hinterliess in den Akten nicht genügend Beurteilungselemente, um über den hier noch offenen Streitpunkt des Kieswegs abschliessend entscheiden zu können. Der angefochtene Entscheid verstösst insoweit gegen <ref-law> und ist aus diesem Grunde aufzuheben.
3.6 Da es nicht dem Bundesgericht obliegt, den Sachverhalt anstelle der Vorinstanzen zu ergänzen, es sich aber auch nicht rechtfertigt, das Verfahren wegen dieses letzten, an sich überschaubaren Streitpunktes weit zurückzuversetzen, ist die Sache an das Verwaltungsgericht zurückzuweisen. Dieses wird vorzugsweise bei einem Augenschein mit den Verfahrensbeteiligten zu klären haben, ob der vorhandene Plattenweg tatsächlich für die Erschliessung des nordöstlichen Parzellenteils im Hinblick auf die zonenkonforme Nutzung der dortigen Humusdeponie und Baumschule genügt bzw. in welcher Länge, Breite und Streckenführung der umstrittene Kiesweg dafür allenfalls aufrechtzuerhalten und entsprechend zu bewilligen ist. Gestützt auf die diesbezüglichen Feststellungen ist in der Folge in der Sache neu zu entscheiden.
4. 4.1 Demnach ist die Beschwerde teilweise gutzuheissen und der angefochtene Entscheid aufzuheben. Die Sache geht an das Verwaltungsgericht zurück zu neuem Entscheid im Sinne der Erwägungen. Im Übrigen, insbesondere soweit damit die gänzliche Aufrechterhaltung des Kiesweges in der heutigen Ausgestaltung bis hin zum Werkplatz verlangt wird, ist die Beschwerde abzuweisen.
4.2 Der Beschwerdeführer obsiegt weitgehend, aber nicht vollständig. Bei diesem Verfahrensausgang sind ihm die Gerichtskosten zu einem Viertel aufzuerlegen (Art. 66 Abs. 1, Art. 65 BGG). Dementsprechend hat der Kanton Zürich dem Beschwerdeführer für das bundesgerichtliche Verfahren eine reduzierte Parteientschädigung zu entrichten (<ref-law>).

Demnach erkennt das Bundesgericht:
1. 1.1 Die Beschwerde wird teilweise gutgeheissen und das Urteil des Verwaltungsgerichts des Kantons Zürich, 3. Abteilung, 3. Kammer, vom 15. März 2012 wird aufgehoben.
1.2 Die Sache wird an das Verwaltungsgericht des Kantons Zürich zurückgewiesen zur Ergänzung des Sachverhalts sowie zu neuem Entscheid im Sinne der Erwägungen.
1.3 Im Übrigen wird die Beschwerde abgewiesen.
2. Dem Beschwerdeführer werden reduzierte Gerichtskosten von Fr. 1'000.-- auferlegt.
3. Die Gemeinde Egg hat dem Beschwerdeführer für das bundesgerichtliche Verfahren eine reduzierte Parteientschädigung von Fr. 1'000.-- zu entrichten.
4. Dieses Urteil wird dem Beschwerdeführer, dem Gemeinderat Egg, dem Amt für Abfall, Wasser, Energie und Luft des Kantons Zürich (AWEL), der Baudirektion des Kantons Zürich, dem Verwaltungsgericht des Kantons Zürich, 3. Abteilung, 3. Kammer, und dem Bundesamt für Raumentwicklung schriftlich mitgeteilt.
Lausanne, 6. September 2012
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Uebersax