Sachverhalt:
A. Z._ ist Eigentümerin des Grundstücks A._-GBB-399, X._ ist Eigentümer der auf der anderen Strassenseite hangabwärts liegenden Nachbargrundstücke 1209-1211.
B. Mit Klage vom 27. April 2005 beantragte Z._ das Zurückschneiden der Thuja-Hecke sowie der Hochstämmer von X._. Ihre Liegenschaft befinde sich in einem exklusiven Wohngebiet; sie habe diese vorab wegen der einmalig schönen Aussicht gekauft und sei nicht bereit, Einschränkungen durch die nachträglich angepflanzte Thuja-Hecke hinzunehmen.
Mit Urteil vom 15. Februar 2007 verpflichtete das Kantonsgericht Zug X._, den entlang der Strasse B._ bestehenden Abschnitt der Thuja-Hecke auf eine Höhe von maximal 1,5 m und den auf dem Grundstück 1211 liegenden Abschnitt auf maximal 1,8 m sowie den Hochstämmer Nr. 1 auf eine Höhe von maximal 3 m und den Hochstämmer Nr. 2 auf 3,5 m zurückzuschneiden und jeweils bis 31. März entsprechend in Schnitt zu halten.
Auf vollumfängliche Berufung von X._ hin verpflichtete das Obergericht des Kantons Zug diesen mit Urteil vom 20. Mai 2008, lediglich die Thuja-Hecke entsprechend dem erstinstanzlichen Urteil unter Schnitt zu halten.
C. Gegen das obergerichtliche Urteil hat X._ am 25. Juni 2008 Beschwerde in Zivilsachen eingereicht mit dem Begehren um dessen Aufhebung, eventuell um Durchführung der notwendigen tatsächlichen Erhebungen durch das Bundesgericht oder Rückweisung an das Obergericht. X._ beantragt in ihrer Vernehmlassung vom 29. September 2008 die Abweisung der Beschwerde. Die II. zivilrechtliche Abteilung hat die Angelegenheit an einer öffentlichen Sitzung beraten.
Erwägungen:
1. Das angefochtene Urteil ist ein kantonal letztinstanzlicher Entscheid in einer vermögensrechtlichen Zivilsache. Der Streitwert beträgt gemäss obergerichtlicher Feststellung Fr. 200'000.--. Auf die Beschwerde ist somit einzutreten (Art. 72 Abs. 1, Art. 74 Abs. 1 lit. b, Art. 75 Abs. 1 und Art. 90 BGG).
Der Beschwerdeführer rügt eine falsche Anwendung von Art. 679 und 684 ZGB, was das Bundesgericht an sich mit freier Kognition überprüft (Art. 95 lit. a und Art. 106 Abs. 1 BGG). Beim Begriff der übermässigen Einwirkung im Sinn von Art. 684 Abs. 1 ZGB handelt es sich allerdings um eine typische Blankettnorm, welche dem Sachrichter bei der Beurteilung der Frage, ob die von ihm festgestellten Einwirkungen angesichts der gegebenen örtlichen Verhältnisse im Sinn der genannten Bestimmungen übermässig und damit unzulässig sind, ein weites Ermessen eröffnet. Das Bundesgericht übt bei der Überprüfung solcher Entscheide Zurückhaltung und greift nur ein, wenn die kantonale Instanz von dem ihr zustehenden Ermessen einen falschen Gebrauch gemacht hat, d.h. wenn sie grundlos von in Lehre und Rechtsprechung anerkannten Grundsätzen abgegangen ist, wenn sie Gesichtspunkte berücksichtigt hat, die keine Rolle hätten spielen dürfen, oder wenn sie umgekehrt rechtserhebliche Umstände ausser Acht gelassen hat; aufzuheben und zu korrigieren sind ausserdem Ermessensentscheide, die sich als im Ergebnis offensichtlich unbillig, als in stossender Weise ungerecht erweisen (BGE 126 III 223 E. 4a S. 227; 132 III 49 E. 2.1 S. 50 f.).
2. Das Obergericht hat erwogen, die streitigen Pflanzen würden unbestrittenermassen den Anforderungen von § 102 EG ZGB/ZG sowie den einschlägigen öffentlich-rechtlichen Bau- und Abstandsvorschriften entsprechen. Die Grundstücke des Beschwerdeführers befänden sich in der Wohnzone W1, während dasjenige der Beschwerdegegnerin in der Landwirtschaftszone liege. Unmittelbar nordwestlich der Liegenschaften bestehe ein Richtung See verlaufender Waldstreifen; sodann befinde sich südöstlich der Liegenschaften ein grösseres Waldstück. Die Hochstämmer seien deshalb als ortsüblich anzusehen. Etwas anderes gelte für die Thuja-Hecke, die infolge ihrer Anordnung, Verdichtung und Höhe eine undurchsichtige Wand mit mauerähnlichem Charakter bilde und einen erdrückenden sowie massivst sichtbehindernden Gesamteindruck vermittle. Vorliegend werde das Erscheinungsbild der Wohnlagen nicht so sehr durch den umliegenden Waldbestand als vielmehr durch die Aussicht geprägt, und auch die hohen Bodenpreise seien darauf zurückzuführen. Der Einblick auf die Grundstücke des Beschwerdeführers vom weiter oben liegenden öffentlichen Grill- und Spielplatz sei gering; sodann wäre ein Sichtschutz direkt beim Gartensitzplatz bzw. beim Schwimmbad auch möglich, ohne dass dadurch die nachbarlichen Interessen an der Aussicht beeinträchtigt würden. Es sei deshalb nichts einzuwenden gegen den erstinstanzlichen Entscheid, wonach es sich bei der Thuja-Hecke um eine übermässige Immission handle.
3. Zwischen den Parteien ist die Auslegung von Art. 684 ZGB im Zusammenhang mit Anpflanzungen umstritten.
3.1 Jedermann ist verpflichtet, bei der Ausübung seines Eigentums, wie namentlich bei dem Betrieb eines Gewerbes auf seinem Grundstück, sich aller übermässigen Einwirkung auf das Eigentum der Nachbarn zu enthalten (Art. 684 Abs. 1 ZGB). Verboten sind insbesondere alle schädlichen und nach Lage und Beschaffenheit der Grundstücke oder nach Ortsgebrauch nicht gerechtfertigten Einwirkungen durch Rauch oder Russ, lästige Dünste, Lärm oder Erschütterung (Art. 684 Abs. 2 ZGB).
Mit BGE 126 III 452 hat das Bundesgericht die bis dahin bestehende Kontroverse in der Literatur dahingehend entschieden, dass übermässige Einwirkungen im Sinn von Art. 684 Abs. 1 ZGB nicht nur von den in Art. 684 Abs. 2 ZGB beispielhaft aufgezählten positiven Immissionen, sondern auch von negativen Einwirkungen wie Lichtentzug herrühren können (E. 2 S. 454 ff.). Diese Rechtsprechung ist übrigens in der bevorstehenden Revision des Sachenrechts aufgenommen worden; Art. 684 Abs. 2 E ZGB lautet: Verboten sind insbesondere alle schädlichen und nach Lage und Beschaffenheit der Grundstücke oder nach Ortsgebrauch nicht gerechtfertigten Einwirkungen durch Luftverunreinigung, üblen Geruch, Lärm, Schall, Erschütterung, Strahlung oder durch den Entzug von Besonnung oder Tageslicht.
Mit Bezug auf Pflanzen ist freilich zu berücksichtigten, dass Art. 688 ZGB einen zuteilenden Vorbehalt enthält, der die Kantone u.a. ermächtigt, die Abstände festzulegen, welche die Eigentümer für Anpflanzungen einhalten müssen. Zum Verhältnis zwischen der kantonalen Rechtsetzungskompetenz und der bundeszivilrechtlichen Norm von Art. 684 ZGB hat das Bundesgericht im zitierten Entscheid BGE 126 III 452 erwogen, dass der bundesrechtliche Immissionsschutz selbst dann, wenn der betreffende Kanton von seiner (nicht exklusiven) Rechtsetzungskompetenz Gebrauch gemacht hat, zum Tragen kommen kann, jedoch nur im Sinn einer Minimalgarantie (E. 3 S. 457 ff.), weshalb nur in den seltensten Fällen von übermässigen Immissionen auszugehen ist, wenn die kantonalrechtlichen Pflanzenabstände eingehalten sind (E. 3c/bb S. 460). Ein praktisch wichtiger Anwendungsfall ist die Situation, dass ein kantonalrechtlicher Beseitigungsanspruch infolge kurzer Verjährungsfristen nicht mehr durchgesetzt werden kann, obwohl die Immissionen durch fortgesetztes Wachstum der Pflanzen in der Zwischenzeit ein unzumutbares Mass angenommen haben und insofern die kantonale Regelung lückenhaft erscheint (E. 3c/bb S. 459 f.). Es geht mit anderen Worten um eine Handhabe gegen Härten des kantonalen Rechts (ROOS, Pflanzen im Nachbarrecht, Diss. Zürich 2002, S. 37).
Was die Behinderung der Aussicht im Speziellen anbelangt, so handelt es sich nicht um eine physische Einwirkung, wie sie bei Pflanzen insbesondere von eindringenden Ästen und Wurzeln oder von Blütenstaub und Laub, aber auch von Lichtentzug und einer damit einhergehenden Beeinträchtigung der Wohnhygiene ausgehen kann. Indes kann über den eigentlichen Lichtentzug hinaus auch das Verstellen einer spektakulären Aussicht in den Anwendungsbereich von Art. 684 ZGB fallen, wird doch diese Art der Einwirkung sowohl von der Lehre (z.B. STEINAUER, Les droits réels, Band II, Bern 2002, Rz. 1811a ["vue exceptionelle"]) als auch von der Botschaft zur bevorstehenden Revision des Sachenrechts erwähnt (BBl 2007 5307 ["übermässiger Entzug von Besonnung, Aussicht oder Fernsicht"]). Dass im zukünftigen Gesetzestext, mit welchem die Rechtsprechung zum geltenden Bundesrecht positiviert werden soll, nur vom Entzug von Besonnung oder Tageslicht die Rede und die Aussicht nicht speziell erwähnt ist, zeigt aber, dass diese Art der Beeinträchtigung durch Anpflanzungen nur in Ausnahmefällen übermässig im Sinn von Art. 684 ZGB sein kann, etwa wenn eine besonders schöne Aussicht in schwerwiegender Weise eingeschränkt wird oder das Nachbargrundstück aufgrund einer besonderen Nutzungsart auf die Aussicht angewiesen ist, wie dies bei einem Hotelbetrieb der Fall sein kann (so ROOS, a.a.O., S. 46).
3.2 Für den vorliegend zu beurteilenden Fall spricht das Obergericht von einer mauerähnlichen Hecke, die einen geradezu erdrückenden und massivst sichtbehindernden Gesamteindruck vermittelt. Aus den obergerichtlichen Sachverhaltsfeststellungen und aus den anlässlich des erstinstanzlichen Augenscheins gemachten sowie von den Parteien eingereichten Fotos ergibt sich, dass die Beschwerdegegnerin früher eine phantastische Sicht auf den Zugersee genoss, welche nunmehr durch die sich gleich einer undurchdringlichen Mauer meterhoch auftürmende Hecke fast vollständig verbarrikadiert wird. Es bedarf keiner weiteren Ausführungen, dass die Wohn- und Lebensqualität der Beschwerdeführerin dadurch in drastischer Weise beeinträchtigt ist, und mit Bezug auf die Ortsüblichkeit gilt es zu berücksichtigen, dass das Quartier bzw. die Wohnlage spezifisch durch die atemberaubende Seesicht geprägt und das Grundstück der Beschwerdegegnerin durch deren Verdecken geradezu seiner Einmaligkeit beraubt wird.
3.3 Angesichts dieser speziellen Ausgangslage lässt sich nicht sagen, das Obergericht habe von seinem weiten Ermessen bei der Bewertung der massgebenden Umstände falschen Gebrauch gemacht, so dass Art. 684 ZGB als verletzt angesehen werden müsste bzw. bundesgerichtliches Einschreiten geboten wäre (dazu E. 1), zumal das Obergericht nicht etwa die vollständige Beseitigung der Hecke, sondern lediglich deren Zurückschneiden angeordnet hat auf ein Mass, mit dem einerseits die spektakuläre Seesicht für die Beschwerdegegnerin wieder freigelegt und andererseits der Sichtschutz und die hierdurch garantierte Privatsphäre für den Beschwerdeführer aufrechterhalten wird.
4. Zusammenfassend ergibt sich, dass die Beschwerde in Zivilsachen abzuweisen ist. Bei diesem Verfahrensausgang wird der Beschwerdeführer kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und Art. 68 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde in Zivilsachen wird abgewiesen.
2. Die Gerichtsgebühr von Fr. 3'000.-- wird dem Beschwerdeführer auferlegt.
3. Der Beschwerdeführer hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 5'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zug, Zivilrechtliche Abteilung, schriftlich mitgeteilt.
Lausanne, 12. März 2009
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Der Gerichtsschreiber:
Hohl Möckli