Sachverhalt:
A. Mit letztwilliger Verfügung vom 12. Mai 1999 bestimmte A._ die A._-Stiftung mit Sitz in B._ zu seiner Erbin. Seine Ehefrau X._ und seine Tochter C._ setzte er auf den Pflichtteil und legte die ihnen zukommenden Anteile mittels Teilungsvorschriften fest. Zudem richtete er mit letztwilliger Verfügung vom 22. April 2002 eine Reihe von Vermächtnissen aus. In seinem Testament vom 9. Mai 2003 ernannte er Y._ als Willensvollstrecker.
Am 19. Mai 2003 verstarb A._ an seinem letzten Wohnsitz in D._.
B. Mit Beschwerde vom 8. Februar 2007 verlangte X._ im Wesentlichen die Absetzung von Y._ als Willensvollstrecker und die Anordnung einer Erbschaftsverwaltung; eventualiter beantragte sie dessen Suspendierung und subeventualiter den Erlass von richterlichen Weisungen an den Willensvollstrecker. Zur Begründung führte sie aus, der Willensvollstrecker sei gleichzeitig Stiftungsrat der vom Erblasser gegründeten A._-Stiftung und befinde sich deshalb in einem unlösbaren Interessenkonflikt: Einerseits müsste er als Willensvollstrecker bestrebt sein, alle Nachlasswerte festzustellen und insbesondere die nicht deklarierten Vermögenswerte des Erblassers, die vermutungsweise über Trusts gehalten würden, zur Nachlassmasse zu ziehen; andererseits habe er als Stiftungsrat ein Interesse daran, dass die undeklarierten Vermögenswerte nicht aufgefunden würden. Er habe die hängige Erbschaftsklage gegen die Anstalten F._ und G._ von K._ immer wieder verzögert, er habe sich geweigert, in K._ gegen mutmassliche Informationsträger auf Auskunft über die nicht deklarierten Vermögenswerte zu klagen, und er habe auch in anderer Hinsicht nicht genügend nach den undeklarierten Werten gesucht.
Mit Verfügung vom 11. Juli 2008 wies das Bezirksgericht L._ die Beschwerde ab und verpflichtete X._ zu einer Gerichtsgebühr von Fr. 584'888.-- und einer Entschädigung von Fr. 379'163.-- zzgl. MwSt an den Willensvollstrecker; es ging dabei von einem Streitwert von Fr. 89,83 Mio. aus (Wert der nicht deklarierten Vermögenswerte gemäss Angaben der Beschwerdeführerin von Fr. 92 Mio., abzüglich Nachsteuern von Fr. 10,5 Mio., zuzüglich Darlehen von Fr. 8,33 Mio., welches die Beschwerdeführerin mit der Beschwerde erzwingen wollte).
In teilweiser Gutheissung der Kostenbeschwerde gegen die Gerichtskosten und des Rekurses gegen die Parteientschädigung setzte das Obergericht des Kantons Zürich mit Beschluss vom 8. Dezember 2008 die erstinstanzliche Gerichtsgebühr auf Fr. 450'000.-- und die Parteientschädigung auf Fr. 320'000.-- zzgl. MwSt fest; es ging dabei von einem Streitwert von Fr. 118 Mio. aus, modifizierte aber gegenüber der ersten Instanz die nach der Gebührenordnung möglichen Zu- und Abschläge.
C. Gegen den Beschluss des Obergerichts hat X._ am 16. Januar 2009 Beschwerde in Zivilsachen eingereicht mit den Begehren um Festsetzung der erstinstanzlichen Anwaltsgebühr auf Fr. 24'000.--, eventuell um Rückweisung der Sache an das Obergericht.
Mit Präsidialverfügung vom 2. Februar 2009 wurde der Beschwerde die aufschiebende Wirkung erteilt.
Mit Vernehmlassung vom 4. Februar 2009 verlangt der Beschwerdegegner die Abweisung der Beschwerde, soweit darauf einzutreten sei. Das Obergericht hat auf das Einreichen einer Vernehmlassung verzichtet.
Erwägungen:
1. Angefochten ist die kantonal letztinstanzliche (Art. 75 Abs. 1 BGG i.V.m. § 284 Ziff. 2 ZPO/ZH) Festsetzung der Anwaltsgebühr in einem Aufsichtsverfahren gegen den Willensvollstrecker, mithin in einer öffentlich-rechtlichen Streitigkeit in unmittelbarem Zusammenhang mit dem Zivilrecht (Art. 72 Abs. 2 lit. b Ziff. 5 BGG; Urteil 5A_646/2008 vom 22. Dezember 2008, E. 1.1). Der Streitwert von Fr. 30'000.-- (Art. 74 Abs. 1 lit. b BGG) ist offensichtlich erreicht.
2. In verschiedener Hinsicht rügt die Beschwerdeführerin eine Verletzung des rechtlichen Gehörs; wegen dessen formeller Natur ist diese Rüge vorweg zu prüfen (BGE 121 I 230 E. 2a S. 232; 122 II 464 E. 4a S. 469).
2.1 Die Beschwerdeführerin behauptet, es sei ihr keine Gelegenheit zur Stellungnahme eingeräumt worden, insbesondere nicht dazu, dass das Obergericht der Festsetzung des Anwaltshonorars den Nachlasswert zugrunde gelegt habe.
Die Rüge geht fehl: Das oberinstanzliche Verfahren hatte ausschliesslich die Kosten- und Entschädigungsfestsetzung zum Gegenstand. Die Beschwerdeführerin hat sich mit Rekurs und Replik zweimal umfassend geäussert. Dabei hat sie sich bereits in ihrem Rekurs ausführlich zur Praxis des Obergerichts, wonach bei Streitigkeiten um den Willensvollstrecker für die Streitwertfestsetzung in der Regel vom Nachlasswert ausgegangen wird, Bezug genommen und die betreffende Praxis kritisiert. Diese war der Beschwerdeführerin mithin bekannt, und sie hat dazu, wie festgehalten, ausführlich Stellung genommen.
2.2 Die Beschwerdeführerin rügt wiederholt eine Verletzung der Begründungspflicht als Teilgehalt des rechtlichen Gehörs.
Die Begründung eines Entscheides muss so abgefasst sein, dass der Betroffene ihn gegebenenfalls sachgerecht anfechten kann. Dies ist nur möglich, wenn sowohl er wie auch die Rechtsmittelinstanz sich über die Tragweite des Entscheids ein Bild machen können. In diesem Sinn müssen wenigstens kurz die Überlegungen genannt werden, von denen sich die Behörde hat leiten lassen und auf welche sich ihr Entscheid stützt. Es ist jedoch nicht nötig, dass sich die Behörde mit jeder tatsächlichen Behauptung und mit jedem rechtlichen Einwand auseinandersetzt. Vielmehr kann sie sich auf die für den Entscheid wesentlichen Gesichtspunkte beschränken (BGE 129 I 232 E. 3.2 S. 236; 133 III 439 E. 3.3 S. 455; 134 I 83 E. 4.1 S. 88).
Der angefochtene Entscheid setzt sich mit allen wesentlichen Vorbringen der Beschwerdeführerin auseinander. Er nennt die zentralen Überlegungen, von denen das Obergericht ausgegangen ist, und diese werden in jeder Hinsicht verständlich und nachvollziehbar ausgeführt. Wie ihre 30-seitige Beschwerde zeigt, war die Beschwerdeführerin denn auch ohne weiteres in der Lage, den Entscheid des Obergerichts sachgerecht anzufechten. Die Rüge ist demnach unbegründet.
3. Die Beschwerdeführerin rügt eine Verletzung des Rechtsgleichheitsgebots. Sie tut aber nicht dar, inwiefern sie gegenüber anderen Personen in einer der in Art. 8 Abs. 2 BV aufgezählten Punkte diskriminiert worden wäre, wendet doch das Obergericht bei Willensvollstreckerbeschwerden unabhängig von den persönlichen Eigenschaften einer Partei die gleichen Kriterien an. Folgt das Obergericht für die Streitwertbestimmung einer festen Praxis, kann ihm auch nicht der Vorwurf gemacht werden, Gleiches nicht nach Massgabe seiner Gleichheit gleich und Ungleiches nicht nach Massgabe seiner Ungleichheit ungleich behandelt zu haben. Fehl geht in diesem Zusammenhang insbesondere auch der Verweis auf die Verfügungssperre, wo es lediglich um eine temporäre Beschränkung in der Verfügungsmöglichkeit ging, und auf ein Auskunftsbegehren, das ebenfalls von beschränkter Tragweite war. Daraus lässt sich für das vorliegende Verfahren nichts ableiten; vielmehr muss das im nunmehr zu beurteilenden Einzelfall konkret zugesprochene Anwaltshonorar vor den einschlägigen gebührenrechtlichen Grundlagen bzw. in diesem Zusammenhang vor dem Willkürverbot standhalten (dazu sogleich).
4. In der Sache wirft die Beschwerdeführerin dem Obergericht vor, bei der Festsetzung des Anwaltshonorars in Willkür verfallen zu sein.
4.1 Die Prozessentschädigung wird nach Ermessen festgesetzt (§ 69 ZPO/ZH). Wo sich die entschädigungsberechtigte Partei durch einen Anwalt hat vertreten lassen, richtet sich die Entschädigung nach der Verordnung des Obergerichts über die Anwaltsgebühren (GebV, LS 215.3).
Grundlage für die Festsetzung des Anwaltshonorars bilden der Streitwert, die Verantwortung, die Schwierigkeit des Falls und der notwendige Zeitaufwand (§ 2 Abs. 2 GebV). Offensichtliche Missverhältnisse zwischen diesen Komponenten sind gemäss § 2 Abs. 3 GebV durch entsprechende Erhöhung oder Herabsetzung auszugleichen. Bei nicht vermögensrechtlichen Streitigkeiten beträgt die Grundgebühr in der Regel Fr. 1'400.-- bis Fr. 16'000.-- (§ 3 Abs. 5 GebV). Für vermögensrechtliche Streitigkeiten sieht § 3 Abs. 1 GebV einen streitwertabhängigen Tarif vor. Die Grundgebühr umfasst den einfachen Schriftenwechsel; Zuschläge werden namentlich für jede weitere Rechtsschrift gewährt (§ 6 Abs. 1 lit. c GebV). Die genannten Ansätze können zufolge besonderer Umständen des Einzelfalls höchstens um einen Drittel über- oder unterschritten werden (§ 3 Abs. 2 GebV). In summarischen Verfahren beträgt die Gebühr in der Regel ein Fünftel bis zwei Drittel (§ 7 GebV).
Gemäss § 17 ZPO/ZH richtet sich der Streitwert nach dem Rechtsbegehren des Klägers zur Zeit des Eintritts der Rechtshängigkeit. Geht die Klage nicht auf Geldzahlung, ist der Wert massgebend, welchen die Parteien dem Streitgegenstand übereinstimmend beilegen (§ 22 Abs. 1 ZPO/ZH). Sind die Parteien nicht einig, bestimmt das Gericht den Streitwert nach freiem Ermessen; in der Regel ist der höhere Betrag massgebend (§ 22 Abs. 2 ZPO/ZH).
4.2 Das Obergericht ist von einer vermögensrechtlichen Streitigkeit ausgegangen, was die Beschwerdeführerin für willkürlich hält. Sie macht geltend, es sei ihr mit der Willensvollstreckerbeschwerde bloss um Transparenz bezüglich der finanziellen Situation bzw. um die Speisung der A._-Stiftung durch saubere Mittel gegangen, ferner auch um die Erledigung des Steuerstrafverfahrens, um den Schutz des Rufes des Erblassers und um die Vermeidung einer "black box". All dies seien nicht vermögenswerte, sondern ideelle Ziele.
Vorab liesse sich fragen, ob die Willkürrüge nicht bereits daran scheitert, dass erbrechtliche Angelegenheiten naturgemäss nicht ideeller, sondern vermögensrechtlicher Art sind. Weiter ist darauf hinzuweisen, dass das Bundesgericht in seiner publizierten Rechtsprechung sowohl den Ausschluss aus einer Stockwerkeigentümergemeinschaft (BGE 113 II 15 E. 1 S. 17) und die Anfechtung von Beschlüssen der Stockwerkeigentümergemeinschaft schlechthin (BGE 108 II 77 E. 1b S. 79 f.) als auch die Anfechtung von Generalversammlungsbeschlüssen einer Aktiengesellschaft (BGE 107 II 179 E. 1 S. 181) und das Gesuch um Einsetzung eines Sonderprüfers (BGE 120 II 393 E. 2 S. 395; 129 III 301 E. 1.2.2 S. 304) als vermögensrechtlich ansieht. Was den Willensvollstrecker im Speziellen anbelangt, hat das Bundesgericht im Urteil 5A_646/2008 vom 22. Dezember 2008, E. 2.3, ausdrücklich entschieden, dass die Annahme, ein Streit um dessen Absetzung sei vermögensrechtlicher Natur, nicht als willkürlich angesehen werden kann. Von einer vermögensrechtlichen Streitigkeit geht auch die Lehre aus (vgl. Poudret/Sandoz-Monod, Commentaire de la loi fédérale d'organisation judiciaire, Band II, Bern 1990, S. 16 und 233).
Im vorliegenden Fall stehen direkte finanzielle Interessen sogar besonders stark im Vordergrund. Anlass und Zweck der Willensvollstreckerbeschwerde war, dass die Beschwerdeführerin zusätzliche Vermögenswerte von ca. 90 Mio. in die Nachlassmasse holen will und der Willensvollstrecker nach ihrer Auffassung diese Pläne zu durchkreuzen versucht. Sie verfolgt somit keine ideellen, sondern vermögensrechtliche Interessen. Die Willensvollstreckerbeschwerde durfte mithin willkürfrei als vermögensrechtliche Streitigkeit qualifiziert und ihr ein Streitwert beigemessen werden.
4.3 Was dessen Höhe anbelangt, hat das Obergericht erwogen, weder könnten die vom Willensvollstrecker erbrachten bzw. zu erbringenden Leistungen massgeblich sein, stehe doch weit mehr als nur dessen Honorar auf dem Spiel, noch der Erbteil der Beschwerdeführerin, ansonsten sich der Streitwert laufend ändern würde, je nachdem, welcher Erbe die Beschwerde einreiche. Umso weniger könne dies im vorliegenden Fall relevant sein, wo die Beschwerdeführerin im Hauptpunkt die Absetzung des Willensvollstreckers verlangt habe, was die Abwicklung des gesamten Nachlasses betreffe und sich auf sämtliche Erben gleichermassen auswirke. Eine Amtsführung, der nur durch die Absetzung des Willensvollstreckers begegnet werden könne, gefährde regelmässig den Nachlass als Ganzes, und deshalb bilde in solchen Fällen der Nachlasswert die wirtschaftliche Tragweite der Willensvollstreckerbeschwerde am besten ab.
4.4 Die Beschwerdeführerin erachtet es als willkürlich, dass das Obergericht für die Streitwertberechnung den Nachlasswert als Grundlage genommen hat.
In der Tat ist im vorliegenden Fall nicht der Nachlass als solches, sondern die Absetzung des Willensvollstreckers der direkte Streitgegenstand. Entsprechend ist der Nachlasswert ein sachfremdes Kriterium im Zusammenhang mit der Beurteilung (einzig und spezifisch) der Absetzungsfrage. Dass es unhaltbar und damit willkürlich ist, den Nachlasswert als Streitwert im Absetzungsverfahren anzunehmen, zeigt sich insbesondere auch darin, dass es im Zuge der Erbschaftsabwicklung ohne weiteres zu stets neuen Beschwerden, ja auch zu mehreren Absetzungsbegehren kommen kann, während im ganzen Bereich des Zivilrechts in der Sache selbst typischerweise ein einziges materielles Urteil gefällt wird.
Im vorliegenden Fall darf aber im Zusammenhang mit der Absetzung selbstverständlich die hinter dieser Frage stehende grosse (finanzielle) Tragweite berücksichtigt werden: Wie erwähnt geht es der Beschwerdeführerin letztlich darum, mit der personellen Ersetzung des Willensvollstreckers umfangreiche Vermögenswerte in die Nachlassmasse zu holen. Die Behauptung der Beschwerdeführerin, sie habe von der Gutheissung der Beschwerde keinen oder nur einen geringen finanziellen Nutzen erwartet, ist deshalb falsch. Unzutreffend ist auch die Behauptung, es sei ihr gar nicht um eine Absetzung des Willensvollstreckers gegangen, sie habe die Ersetzung durch einen Erbschaftsverwalter nur als "ultima ratio" angesehen: Die Beschwerdeführerin hat erstinstanzlich als Hauptbegehren die Absetzung des Willensvollstreckers und Ersetzung durch einen Erbschaftsverwalter, eventualiter eine Einstellung des Willensvollstreckers im Amt und subeventualiter die nach Ermessen des Einzelrichters zum Schutz des Nachlasses und der Interessen der Erben erforderlichen Weisungen verlangt. Diese Rechtsbegehren, welche die Beschwerdeführerin selbst gestellt hat, muss sie sich entgegenhalten lassen.
Die Kostenfestsetzung ergeht vorliegend gestützt auf kantonales Recht und der Kanton geniesst bei der Bemessung der Parteikosten einen weiten Spielraum, der einzig durch das Willkürverbot begrenzt ist. Es würde daher nicht angehen, dem Obergericht über die vorstehend genannten Anhaltspunkte hinaus konkrete Vorgaben für die Neufestsetzung der Parteikosten zu machen.
4.5 Hat das Obergericht nach dem Gesagten den Streitwert neu zu bestimmen und auf dieser Grundlage neu über die Höhe der Parteikosten zu befinden, erübrigen sich Ausführungen zu den Vorbringen rund um das Verhältnis zwischen den vom Willensvollstrecker in Rechnung gestellten und den extern erbrachten Leistungen sowie um den für das vorliegende Verfahren gebührenden Aufwand. Sie mögen sich bei der Neufestsetzung in entsprechend modifizierter Weise wiederum stellen, werden aber in jenem Kontext zu beantworten sein.
In diesem Zusammenhang sei einzig darauf hingewiesen, dass der streitwertabhängigen Honorierung begriffsgemäss eine gewisse Pauschalisierung des abzugeltenden Aufwandes innewohnt. Wäre unabhängig vom Streitwert in jedem Fall nicht mehr und nicht weniger als der tatsächliche Stundenaufwand zu vergüten, würde ein Streitwerttarif von vornherein keinen Sinn machen. Immerhin kann er nicht verabsolutiert werden, darf doch nach dem Gesagten das Honorar auch bei vermögensrechtlichen Angelegenheiten nicht ausserhalb jeden vernünftigen Verhältnisses zur Wichtigkeit und Schwierigkeit der Sache sowie zu der damit für den Anwalt verbundenen Verantwortung und der von ihm in gebotener Weise aufgewendeten Zeit stehen. Genau dies wird aber von der einschlägigen Gebührenverordnung beachtet, indem gemäss § 3 Abs. 2 GebV die Grundgebühr nach den Kriterien von § 2 Abs. 2 (Verantwortung, Schwierigkeit des Falls, notwendiger Zeitaufwand) angepasst werden kann, wenn es die besonderen Umstände des Einzelfalls rechtfertigen.
5. Zusammenfassend erweist es sich als willkürlich, im Zusammenhang mit der Absetzung eines Willensvollstreckers den Nachlasswert als Streitwert einzusetzen, und die Festsetzung der erstinstanzlichen Parteikosten auf Fr. 320'000.-- hält im vorliegenden Fall nicht vor dem Willkürverbot stand. Der angefochtene Entscheid ist demzufolge aufzuheben und das Obergericht hat neu über die Kostenfrage zu entscheiden.
Die Beschwerdeführerin ist im Grundsatz durchgedrungen, weshalb der unterliegende Beschwerdegegner vollumfänglich kosten- und entschädigungspflichtig wird (Art. 66 Abs. 1 und Art. 68 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde in Zivilsachen wird gutgeheissen und der Beschluss des Obergerichts des Kantons Zürich, II. Zivilkammer, vom 8. Dezember 2008 wird aufgehoben.
2. Die Gerichtskosten von Fr. 6'000.-- werden dem Beschwerdegegner auferlegt.
3. Der Beschwerdegegner hat die Beschwerdeführerin für das bundesgerichtliche Verfahren mit Fr. 8'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, II. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 20. Mai 2009
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Der Gerichtsschreiber:
Hohl Möckli