Sachverhalt:
A. YA._, geb. 1942, nachfolgend Beschwerdegegner 1, ist der Vater von YB._, geb. 1975, nachfolgend Beschwerdegegner 2, und YC._, geb. 1976, nachfolgend Beschwerdegegner 3.
Die X._ AG, nachfolgend Beschwerdeführerin, gewährte dem Beschwerdegegner 1 am 8. Februar 1991 ein verzinsliches Darlehen über Fr. 1'300'000.--. Dieser leistete in den Jahren 1992 bis 1994 Abzahlungen, so dass sich der Darlehensbetrag auf Fr. 1'160'000.-- verringerte. Die Beschwerdeführerin hat nach ihrer Darstellung noch Anspruch auf Fr. 1'839'694.25 (inkl. Zinsen).
Am 7. Februar 2001 betrieb die Beschwerdeführerin den Beschwerdegegner 1 für Fr. 1'467'400.--. Auf dessen Rechtsvorschlag hin machte sie am 29. Januar 2002 beim Bezirksgericht Q._ eine Teilforderung über Fr. 428'916.67 (gemäss Klage) bzw. Fr. 359'316.67 (gemäss Replik) gerichtlich geltend. Mit Urteil des Kantonsgerichts Basel-Landschaft vom 6. Dezember 2005 wurde der Beschwerdegegner 1 verurteilt, der Beschwerdeführerin Fr. 359'316.67 nebst Zinsen zu bezahlen. Eine hiergegen erhobene Berufung wurde vom Bundesgericht am 3. Juli 2006 abgewiesen (Urteil 4C.98/2006). Die gegen den Beschwerdegegner 1 eingeleitete Betreibung führte am 13. Februar 2007 zu einem definitiven Verlustschein über Fr. 508'246.55.
Am 18. Dezember 2002 schloss der Beschwerdegegner 1 mit seiner Mutter Z._ einen Erbverzichtsvertrag, mit dem er zu Gunsten seiner beiden Söhne auf sein Erbe verzichtete. Am 2. Dezember 2007 verstarb Z._. Sie hinterliess den Beschwerdegegner 1 sowie dessen Geschwister D._ und E._. Mit Verfügung vom 13. Februar 2009 ging der Einzelrichter im summarischen Verfahren in Erbschaftssachen des Bezirkes R._ aufgrund des Erbverzichtes des Beschwerdegegners 1 und des Testamentes von Z._ davon aus, dass D._, E._, die Beschwerdegegner 2 und 3 sowie F._, G._ und H._ gesetzliche bzw. eingesetzte Erben seien.
B. Am 6. August 2008 klagte die X._ AG beim Bezirksgericht R._ gegen die Beschwerdegegner 1-3 mit dem Hauptbegehren, es seien die Zustimmung des Beschwerdegegners 1 zum Erbverzichtsvertrag sowie dieser Vertrag gemäss Art. 578 ZGB aufzuheben, eventualiter sei deren Anfechtbarkeit im Sinn von 578 ZGB festzustellen, und es sei die amtliche Liquidation des Nachlasses anzuordnen; eventualiter verlangte sie, es seien die Beschwerdegegner unter solidarischer Haftbarkeit zu verpflichten, ihr Fr. 508'246.55 zu bezahlen, subeventualiter seien die Erbteile bzw. Zuwendungen an die Beschwerdegegner 2 und 3 im Sinn von Art. 522 ff. ZGB proportional auf jenen Bruchteil ihres Wertes herabzusetzen, der dem Beschwerdegegner 1 einen Wertanteil von Fr. 508'246.55, maximal jedoch seinen vollen Pflichtteil von einem Viertel des Gesamtnachlasses verschaffe.
Mit Urteilen vom 12. Januar 2010 bzw. 5. Dezember 2011 wiesen sowohl das Bezirksgericht R._ als auch das Obergericht des Kantons Zürich die Klage ab.
C. Gegen das obergerichtliche Urteil hat die X._ AG am 23. Januar 2012 eine Beschwerde in Zivilsachen eingereicht, im Wesentlichen mit den Anträgen auf dessen Aufhebung und Zuspruch der vorgenannten Klagebegehren, eventualiter um Rückweisung der Sache an das Obergericht zur Neubeurteilung. Mit Verfügung vom 25. Januar 2012 wurde das Gesuch um aufschiebende Wirkung abgewiesen. Es wurden keine Vernehmlassungen eingeholt.
Erwägungen:
1. Angefochten ist eine kantonal letztinstanzlich beurteilte Erbschaftssache mit Fr. 30'000.-- übersteigendem Streitwert; die Beschwerde in Zivilsachen steht somit offen (Art. 72 Abs. 1, Art. 74 Abs. 1 lit. b, Art. 75 Abs.1 und Art. 90 BGG).
2. Wie bereits im kantonalen Verfahren macht die Beschwerdeführerin auch vor Bundesgericht eine falsche Anwendung von Art. 578 ZGB (dazu E. 3) oder jedenfalls ein rechtsmissbräuchliches Verhalten des Beschwerdegegners 1 geltend, indem dieser mit dem Erbverzichtsvertrag die Anfechtungsmöglichkeit des Gläubigers mit Bezug auf die Ausschlagung des Erbes habe umgehen wollen (dazu E. 4). Im Eventualstandpunkt beruft sich die Beschwerdeführerin auf die Bestimmungen über die Herabsetzungsklage gemäss Art. 522 ff. ZGB (dazu E. 5). Überdies macht sie weiterhin einen Anfechtungsanspruch im Sinn von Art. 286 oder 288 SchKG geltend (dazu E. 6 und 7).
Hinsichtlich der obergerichtlichen Erwägung, wonach Art. 578 ZGB einen Ausgleich für die getäuschte Hoffnung der Gläubiger zum Zweck habe, nennt die Beschwerdeführerin verschiedene Beweismittel (u.a. Zeugeneinvernahmen) mit Bezug auf ihre angebliche Erwartung als Gläubigerin, dass der Beschwerdegegner 1 dereinst ein ansehnliches Vermögen erbe, und sie beruft sich dabei auf Art. 99 Abs. 1 BGG. Indes wird nicht dargetan, inwiefern die Voraussetzungen für ein nachträgliches Einreichen von Beweismitteln gegeben sein sollen; Gründe sind denn auch nicht ersichtlich, da die Beschwerdeführerin offensichtlich eine umfassende Auslegung mit Blick auf Sinn und Zweck des von ihr als verletzt angerufenen Art. 578 ZGB durch das Obergericht zu gewärtigen hatte.
Unzulässig ist ferner das Nachschieben von Sachverhaltselementen, die im angefochtenen Urteil nicht festgestellt sind, wie dies insbesondere in Rz. 92 ff. der Beschwerde geschieht.
3. Umstritten ist zunächst die Auslegung von Art. 578 ZGB, den die Beschwerdeführerin auch auf den Erbverzichtsvertrag angewandt wissen möchte.
3.1 Im Zusammenhang mit dieser Norm verneinte das Obergericht die Passivlegitimation der Beschwerdegegner 2 und 3. Die Beschwerdeführerin kritisiert dies.
Die in der Literatur kontrovers diskutierte Frage (Passivlegitimation des ausschlagenden Erben: TUOR/PICENONI, Berner Kommentar, N. 12 zu Art. 578 ZGB; SCHWANDER, Basler Kommentar, N. 7 zu Art. 578 ZGB; HÄUPTLI, Praxiskommentar Erbrecht, N. 13 zu Art. 578 ZGB; Passivlegitimation der Begünstigten: ESCHER, Züricher Kommentar, N. 10 zu Art. 578 ZGB; PIOTET, SPR IV/2, S. 645; GÜBELI, Gläubigerschutz im Erbrecht, Diss. Zürich 1999, S. 107) wurde bereits in BGE 55 II 18 E. 3 S. 19 dahingehend entschieden, dass die Klage ausschliesslich gegen den ausschlagenden Erben zu richten ist. Es besteht kein Anlass, auf diese Rechtsprechung zurückzukommen, und zwar auch nicht unter dem Gesichtspunkt, dass das Bundesgericht seinen Entscheid damit begründet hat, dass es sich bei der Ausschlagung um ein einseitig vorgenommenes Rechtsgeschäft handle: Vorliegend zielt die Beschwerdeführerin zwar auf den Erbverzichtsvertrag, der im Unterschied zur Ausschlagung kein einseitiges Rechtsgeschäft ist; indes waren die Beklagten 2 und 3 an diesem ebenso wenig beteiligt. Sodann ist die Rechtsfolge nicht, dass die Begünstigten die Vollstreckung ins betreffende Substrat zu dulden haben (Art. 285 Abs. 1 und Art. 291 Abs. 1 SchKG; BGE 135 III 265 E. 3 S. 268), sondern die amtliche Liquidation des Nachlasses (Art. 578 Abs. 2 ZGB).
3.2 In materieller Hinsicht befand das Obergericht, die Erbanwartschaft habe in keiner Weise als Sicherheit für das gewährte Darlehen gedient und die Beschwerdeführerin mache auch nicht geltend, sie habe darauf vertrauen dürfen, dass die Rückforderung des Darlehens dereinst aus dem fraglichen Erbe gedeckt werde. Genau darauf ziele aber Art. 578 ZGB, indem er die Ausschlagung in fraudem creditorum als anfechtbar erkläre. Es handle sich dabei um den Schutz der Gläubiger mit Bezug auf Vermögenswerte, die mit dem Erbgang bereits an den ausschlagenden Erben übergegangen seien. Ein Schutz im Hinblick auf blosse Erbanwartschaften sei dagegen vom Gesetz nicht vorgesehen. Ebenso wenig bestehe Schutz gegen eine aus der Annahme einer Erbschaft erwachsende Benachteiligung der Erbengläubiger; der Gesetzgeber habe das in den Entwürfen zum ZGB diesbezüglich vorgesehene Mittel der amtlichen Liquidation abgelehnt mit der Begründung, dass es dem Schuldner frei stehe, durch Eingehung neuer Verbindlichkeiten die Lage der Gläubiger zu verschlechtern. Diesem Tatbestand könne der (erbvertragliche) Verzicht auf Vermögenswerte oder das Nichteintreiben von Ansprüchen gleichgesetzt werden. Sodann sehe das Gesetz andere Schutzmöglichkeiten des Gläubigers vor (Art. 609 Abs. 1 sowie Art. 524 Abs. 1 und 2 ZGB). Umgekehrt werde bei Art. 480 ZGB die Familie des Erblassers gegen eine Benachteiligung auf Kosten der Erbengläubiger geschützt. Im Ergebnis sei davon auszugehen, dass die Gläubiger eines Erben vor dem Erbanfall keinen geschützten Anspruch auf das Vermögen des Erblassers hätten; einerseits stehe es diesem frei, sein Vermögen zu verbrauchen, und andererseits stehe es dem Schuldner frei, auf die Erbanwartschaft zu verzichten, weshalb ein Gläubiger grundsätzlich immer mit einer möglichen Verschlechterung des Haftungssubstrates rechnen müsse.
3.3 Die Beschwerdeführerin ist zusammengefasst der Meinung, dass es keinen Unterschied mache, ob der Erbe auf sein Erbe vertraglich verzichte oder ob er dieses ausschlage, weshalb die Anfechtungsmöglichkeit im Sinn von Art. 578 ZGB über den Gesetzeswortlaut hinaus in beiden Konstellationen greifen müsse, zumal die Willensäusserung des Beschwerdegegners 1 beim Erbverzichtsvertrag letztlich als antizipierte Ausschlagung interpretiert werden müsse. Es sei nicht plausibel, weshalb die in Art. 578 ZGB verpönte Gläubigerschädigung plötzlich zulässig sein soll, wenn sie in Form eines Erbverzichtsvertrages herbeigeführt werde, gehe es doch in beiden Konstellationen darum, dass die Vergrösserung des Vermögens verhindert werde.
3.4 Grundsätzlich haftet der Schuldner für eingegangene Verpflichtungen mit seinem gesamten persönlichen Vermögen. Bei ausbleibender Tilgung fälliger Schulden kann er vom Gläubiger betrieben und kann in sein Vermögen vollstreckt werden, wobei alle ihm gehörenden verkehrsfähigen Vermögenswerte pfändbar sind. Unpfändbar sind Anwartschaften oder Rechte mit ungewisser Entstehung und von ungewissem Umfang (BGE 97 III 23 E. 2 S. 27; 99 III 52 E. 3 S. 55), wozu insbesondere auch die Erbanwartschaft gehört (BGE 73 III 149). Pfändbar ist hingegen der Liquidationsanteil an einer angefallenen aber noch nicht verteilten Erbschaft (vgl. BGE 130 III 652; 135 III 179), weil dieser einen zurechenbaren Vermögenswert des Erben darstellt; die Abwicklung erfolgt hier nach der Verordnung über die Pfändung und Verwertung von Anteilen an Gemeinschaftsvermögen vom 17. Januar 1923 (VVAG, SR 281.41).
Aus dem Gesagten ergibt sich, dass eine Erbanwartschaft des Schuldners für den Gläubiger keine gesicherte Kreditierungsbasis, sondern eine blosse Hoffnung auf zukünftigen Anfall von Vollstreckungssubstrat darstellt. Der Erblasser kann bis zum Todeszeitpunkt frei über sein Vermögen verfügen, so dass sich die Hoffnung des Gläubigers selbst bei einem Pflichtteilserben zerschlagen kann. Ebenso wenig hat er Möglichkeiten zur Beeinflussung der persönlichen Vermögenslage des Schuldners; so kann dieser über vorhandene Vermögenswerte verfügen oder seine Bonitätslage auch durch Eingehen weiterer Verpflichtungen verschlechtern. Will der Gläubiger in seinem Glauben auf vertragskonforme Erfüllung auf keinen Fall enttäuscht werden, muss er sich deshalb ausreichende persönliche oder dingliche Sicherheiten stellen lassen.
Dies heisst aber nicht, dass der ungesicherte Gläubiger über keinerlei Mittel gegen den unredlich handelnden Schuldner verfügen würde; vielmehr hat der Gesetzgeber im Erb- wie auch im Zwangsvollstreckungsrecht verschiedene Behelfe zur Verfügung gestellt. Vorliegend interessiert Art. 578 Abs. 1 ZGB, welcher dem Gläubiger, der nicht anderweitig sichergestellt wird, eine Anfechtungsmöglichkeit gibt, wenn ein überschuldeter Erbe die Erbschaft mit dem Zweck ausgeschlagen hat, sie dem Gläubiger zu entziehen. Entgegen der Meinung der Beschwerdeführerin lässt sich daraus aber keine Anfechtungsmöglichkeit mit Bezug auf einen Erbvertrag ableiten.
Ein solches Ansinnen scheitert vorliegend bereits an der grammatikalischen Auslegung von Art. 578 ZGB, weil das Bundesgericht an einen klaren und unzweideutigen Gesetzeswortlaut gebunden ist, sofern dieser den wirklichen Sinn der Norm wiedergibt. Zwar sind Abweichungen von einem klaren Wortlaut zulässig oder sogar geboten, wenn triftige Gründe zur Annahme bestehen, dass dieser nicht dem wahren Sinn der Bestimmung entspricht; solche Gründe können sich aus der Entstehungsgeschichte der Bestimmung, aus ihrem Sinn und Zweck oder aus dem Zusammenhang mit anderen Vorschriften ergeben (systematische, teleologische, historische und rechtsvergleichende Auslegung, vgl. BGE 127 III 318 E. 2b S. 322 f.; 130 III 76 E. 4 S. 82; 133 III 257 E. 2.4 S. 265). Vorliegend ist indes aufgrund des vom Gesetzgeber bloss punktuell gewährten Gläubigerschutzes, angesichts der systematischen Einordnung der Regelung in den Bestimmungen über die Ausschlagung (Art. 566-579 ZGB) sowie vor dem Hintergrund der Materialien (vgl. namentlich die von Eugen Huber verfassten Erläuterungen zum Vorentwurf des ZGB, Band I, S. 401, wo davon die Rede ist, dass nicht der Lehrmeinung zu folgen sei, wonach der im negativen Erbvertrag erklärte Erbverzicht als eine Verpflichtung zur Ausschlagung der Erbschaft oder als Verzicht auf die Geltendmachung der Herabsetzungs- und Erbschaftsklage aufzufassen sei, sondern dass das ZGB der Anschauung folge, wonach der Erbverzicht eine Aufhebung der Erbenqualität bedeute) nicht ersichtlich, inwiefern der klare Wortlaut der Norm nicht dem wirklichen Willen des Gesetzgebers entsprechen und Art. 578 ZGB auf etwas anderes als die Ausschlagung anwendbar sein soll. Insbesondere lässt sich solches auch nicht aus BGE 128 III 314 oder BGE 131 III 49 ableiten; diese Entscheide betreffen ganz andere Konstellationen und tragen nichts zur Auslegung von Art. 578 ZGB bei.
Nach dem Gesagten kann der Beschwerdeführerin nicht durch Gesetzesauslegung im Sinn von Art. 1 Abs. 1 ZGB, sondern könnte ihr höchstens durch richterliche Lückenfüllung modo legislatoris im Sinn von Art. 1 Abs. 2 ZGB geholfen werden. Indes enthält die Beschwerde keine entsprechenden Ausführungen und das Bundesgericht prüft die Rechtsanwendung aufgrund von Art. 42 Abs. 2 BGG nur im Rahmen begründeter Vorbringen, was umso mehr für eine Lückenfüllung zu gelten hat, welche vor dem Hintergrund der Begründungspflicht nicht von Amtes wegen vorzunehmen wäre. Ohnehin dürfte aber keine Gesetzeslücke vorliegen, weil grundsätzlich der Kreditor das Kreditrisiko zu tragen hat und der Gesetzgeber dem Gläubiger nur punktuell Behelfe zur Verfügung stellen wollte (z.B. Art. 497, 524, 578, 579, 594, 609 ZGB sowie Art. 285 ff. SchKG).
Eine andere Frage ist, ob der Beschwerdegegner allenfalls das Institut des Erb(verzichts)vertrages missbraucht hat. Sie steht aber, obwohl in der Beschwerde damit vermengt (indem der Verzicht unzutreffend als "antizipierte Ausschlagung" charakterisiert wird), in keinem Zusammenhang mit der Auslegung bzw. Anwendung von Art. 578 ZGB und ist deshalb im Folgenden eigenständig zu prüfen.
4. Die Beschwerdeführerin begründet den Rechtsmissbrauch mit der tautologischen Begründung, der Erbverzichtsvertrag diene nicht dazu, die Erbschaft den Gläubigern des Erben zu entziehen, denn es gäbe Art. 578 ZGB nicht, wenn es ein vom Gesetzgeber toleriertes Ziel wäre, die Gläubiger des Erben auf diese Art um ihre Ansprüche zu bringen. Sie führt weiter an, dass der vom Beschwerdegegner 1 erklärte Erbverzicht zugunsten der eigenen Kinder gegen den Redlichkeitsstandard von Treu und Glauben verstosse und ihr Vertrauen verletzt habe; die bewusste Benachteiligung der Gläubiger müsse aber generell als rechtsmissbräuchlich qualifiziert werden.
4.1 Zunächst ist festzuhalten, dass das Eingehen eines Erbverzichtsvertrages im Grundsatz keinen Verstoss gegen Treu und Glauben im Zusammenhang mit der viele Jahre früher eingegangenen Darlehensverpflichtung bedeutet: Nach dem Gesagten trägt prinzipiell der Kreditor das Kreditrisiko und steht es dem Schuldner frei, seine Bonität durch das Eingehen weiterer Schulden, durch Erlass ihm zustehender Forderungen oder durch Verzicht auf prozessuale Durchsetzung derselben zu verschlechtern. Der Hinweis der Beschwerdeführerin auf den in BGE 125 III 257 E. 2a S. 259 angesprochenen "Redlichkeitsstandard" ist deshalb für die vorliegend zu beurteilende Fallkonstellation nicht topisch, zumal im Zusammenhang mit dem seinerzeitigen Eingehen des Darlehensvertrages und dem Jahre danach abgeschlossenen Erbverzichtsvertrag auch kein venire contra factum proprium ersichtlich ist. Davon könnte höchstens die Rede sein, wenn der Erbverzicht in unmittelbarem Zusammenhang mit dem Abschluss des Darlehensvertrages stünde oder darin vom Erbanfall als zukünftige Haftungsbasis die Rede wäre.
Vorliegend steht vielmehr, wie die Beschwerdeführerin ebenfalls vorträgt, der im Sinn von Art. 2 Abs. 2 ZGB verpönte Rechtsmissbrauch im Vordergrund, und zwar in der Ausprägungsform des sog. Institutsmissbrauchs (dazu statt vieler: HONSELL, N. 51 zu Art. 2 ZGB). Nachfolgend zu prüfen ist mithin, ob der Beschwerdegegner 1 das Institut des Erbverzichtsvertrages in einer derart anderen als der ihm vom Gesetzgeber angedachten Form verwendet hat, dass von Rechtsmissbrauch im Sinn eines Institutsmissbrauchs ausgegangen werden muss.
4.2 Der Erbvertrag ist kein in sich geschlossenes Institut. Er kann höchst unterschiedliche Motive haben (namentlich auch steuerliche) und vielfältige Ausprägung erfahren, sowohl in der Form des Erbeinsetzungs- (Art. 494 ZGB) als auch des Erbverzichtsvertrages (Art. 495 ZGB). Betroffen ist in der Regel nicht nur das Verhältnis zwischen Erblasser und erklärendem Vertragspartner, sondern auch dasjenige der Erben untereinander sowie dasjenige zwischen erklärendem Erben und dessen Umfeld. Dass diese einzelnen Rechtsbeziehungen in einem Spannungsfeld stehen und teilweise unbillige Folgen eintreten können, war dem Gesetzgeber durchaus bewusst, weshalb er im Zusammenhang mit den Erbverträgen ebenfalls punktuelle Korrekturmöglichkeiten vorgesehen hat (z.B. Art. 494 Abs. 3, Art. 514, Art. 527, Art. 535 f., Art. 626 Abs. 2 ZGB).
Vorliegend wurde ein Erbverzichtsvertrag abgeschlossen. Dieser kann entgeltlich (sog. Erbauskauf) oder unentgeltlich erfolgen (statt vieler: BREITSCHMID, Basler Kommentar, N. 3 zu Art. 395 ZGB). Sodann stellt Art. 495 Abs. 3 ZGB klar, dass der Erbverzichtsvertrag grundsätzlich auch gegenüber den Nachkommen des Verzichtenden wirkt, indes eine andere Parteivereinbarung möglich ist. Ermöglicht aber das Gesetz den unentgeltlichen Verzicht zugunsten der Nachkommen, so ist die vorliegende, von der Beschwerdeführerin als "Missbrauch" angesehene Situation geradezu im Gesetz bzw. im gesetzlich zugelassenen Handlungsspielraum angelegt. Insofern ist nicht zu sehen, inwiefern diesbezüglich von einer Zweckentfremdung des Institutes des Erbverzichtsvertrages gesprochen werden könnte, zumal der Verzicht auf eine Anwartschaft entgegen der Behauptung der Beschwerdeführerin nicht mit der Ausschlagung angefallener Vermögenswerte gleichgesetzt werden kann. So ist denn auch die Lehre, soweit sie sich zum Problem äussert, der Ansicht, dass im Zusammenhang mit Erbverzichtsverträgen kein Schutz der Gläubiger des verzichtenden Erben besteht, selbst wenn der Verzicht ohne Gegenleistung erfolgte (STEINAUER, Le droit des successions, Bern 2006, Rz. 652; BREITSCHMID, Basler Kommentar, N. 1 zu Art. 497 ZGB).
5. Im Eventualstandpunkt macht die Beschwerdeführerin einen Herabsetzungsanspruch gemäss Art. 522 ff. ZGB geltend. Indes gehen die auf Art. 524 ZGB gestützten Rechte des über Verlustscheine verfügenden Erbengläubigers nicht weiter als der Herabsetzungsanspruch, wie er im Rahmen von Art. 522 f. ZGB dem Erben selbst zugestanden hätte. Derjenige, der im Rahmen eines Erbvertrages auf sein Erbe verzichtet hat, wird aber gar nie Erbe, insbesondere auch nicht "Erbe" im Sinn von Art. 522 Abs. 1 ZGB, da mit dem Verzicht auf die Erbanwartschaft auch der Pflichtteilsschutz verloren gegangen ist (BÜTTIKOFER, Der Erbverzicht nach schweizerischem ZGB, Diss. Bern 1942, S. 88). Entsprechend kann auch sein Gläubiger nicht "Gläubiger des Erben" im Sinn von Art. 524 ZGB sein und kraft Legalzession in Genuss der Herabsetzungsansprüche kommen. Einzig dem nicht verzichtenden Pflichtteilserben - und folglich dessen Gläubiger - könnte mit Bezug auf die vom Verzichtenden empfangene Gegenleistung ein Herabsetzungsanspruch zustehen (vgl. Art. 527 Ziff. 2 ZGB).
6. Die Beschwerdeführerin macht eine Schenkungspauliana geltend, in welcher Hinsicht die doppelte Frist von Art. 286 Abs. 1 i.V.m. Art. 288a Ziff. 4 SchKG einerseits und von Art. 292 Ziff. 1 SchKG andererseits unbestrittenermassen eingehalten ist. Sodann können die paulianischen Anfechtungsklagen zusätzlich zu den erbrechtlichen Anfechtungsansprüchen geltend gemacht werden, wie bereits aus der Botschaft zum SchKG hervorgeht (dazu E. 6.3; vgl. sodann die Zusammenstellung der die Frage kontrovers behandelnden Literatur bei GÜBELI, a.a.O., S. 103 Fn. 3).
6.1 Die Anfechtungsklage richtet sich gegen die Personen, die mit dem Schuldner die anfechtbaren Rechtsgeschäfte abgeschlossen haben oder von ihm in anfechtbarer Weise begünstigt wurden. Passivlegitimiert sind deshalb stets die tatsächlich begünstigten Personen, also diejenigen, denen die fraglichen Vermögenswerte aufgrund der anfechtbaren Rechtshandlung zugeflossen sind (BGE 135 III 265 E. 3 S. 268). Demzufolge ist der Beschwerdegegner 1 vorliegend nicht passivlegitimiert.
6.2 In der Sache selbst hat das Obergericht erwogen, dass der Erbverzicht zugunsten der beiden Söhne keine Schenkung darstelle, weil diese nach der Legaldefinition von Art. 239 Abs. 1 OR "aus seinem Vermögen" erfolgen müsste, was beim Erbverzicht nicht der Fall sei. Sodann mache gemäss Art. 239 Abs. 2 OR keine Schenkung, wer auf ein Recht verzichte, bevor er es erworben habe, oder eine Erbschaft ausschlage; bewirke aber nicht einmal die Ausschlagung eine Schenkung, so könne dies umso weniger beim Erbverzicht der Fall sein.
Was die Beschwerdeführerin dagegen vorbringt - die Erblasserin hätte die Beschwerdegegner 2 und 3 ebenso gut per Testament einsetzen können, statt dass der Beschwerdegegner 1 zu deren Gunsten verzichtet habe; aus diesem Grund habe dieser faktisch verfügt und stellte der Erbverzichtsvertrag eine Schenkung zugunsten seiner beiden Söhne dar -, überzeugt nicht. Der Erbverzicht verhindert die zukünftige Entstehung des Erbrechts der verzichtenden Partei; er betrifft mithin nicht ein gegenwärtiges, sondern ein zukünftiges Recht (HRUBESCH-MILLAUER, Der Erbvertrag: Bindung und Sicherung des (letzten) Willens des Erblassers, Zürich 2008, Rz. 619). Er bewirkt daher als solcher keine Vermögensverschiebung, weshalb die Kriterien der Legaldefinition der Schenkung nicht erfüllt sind.
6.3 Zu prüfen ist weiter die Frage, ob der Erbverzicht zugunsten der beiden Söhne als "unentgeltliche Verfügung" im Sinn von Art. 286 SchKG anzusehen ist.
Das Obergericht hat befunden, dass es bei Art. 285 ff. SchKG um die Entäusserung bereits zustehenden Haftungssubstrates gehe. Es sei dem Schuldner grundsätzlich möglich, den Erwerb neuen Vermögens zu unterlassen oder auf die Anfechtung einer Enterbung zu verzichten. Die geltende Rechtsordnung sehe in diesem Zusammenhang keinen Schutz der Gläubiger des präsumtiven Erben vor, soweit nicht der Anspruch des Erben auf eine angefallene Erbschaft erworben oder gepfändet worden sei (Art. 609 ZGB) oder die Erbschaft durch einen überschuldeten Erben mit dem Zweck ausgeschlagen werde, dass sie seinen Gläubigern entzogen bleibe (Art. 578 ZGB).
Die Beschwerdeführerin ist der Ansicht, dass der Begriff der unentgeltlichen Verfügung wesentlich über denjenigen der Schenkung hinausgehe und nach dem Willen des Gesetzgebers insbesondere auch der Erbverzicht anfechtbar sei. Sie verweist dazu auf die Botschaft zum Entwurf für ein SchKG, wonach auch der Verzicht auf zustehende Ansprüche sowie "Erbschaftsentsagungen" unentgeltliche Verfügungen seien.
Der Entwurf des SchKG sah in Art. 41 ff. verschiedene Bestimmungen über die Anfechtungsklage vor, wobei gemäss Art. 45 Abs. 1 "Schenkungen und anderweitige unentgeltliche Verfügungen" anfechtbar sein sollten (BBl 1886 II 92). Die Botschaft des Bundesrates hatte in diesem Zusammenhang nebst dem Verzicht auf zustehende Rechte auch "Erbschaftsentsagungen" als Beispiel für eine unentgeltliche Verfügung angeführt (BBl 1886 II 58). Damit war aber nicht der Erbverzicht, sondern die Ausschlagung der Erbschaft gemeint. Dies wird vollends klar aus der französischen Fassung der Botschaft, wo von "répudiations d'héritage" die Rede ist (FF 1886 II 55). Im Sinn des später erlassenen ZGB kann deshalb nur die "répudiation" gemäss Art. 566 ff. und nicht die "renonciation à succession" im Sinn von Art. 495 Abs. 1 gemeint sein. In der Tat ist denn die Ausschlagung einer werthaltigen Erbschaft, nicht aber der Verzicht auf die Erbenstellung als unentgeltliche Verfügung im Sinn von Art. 286 SchKG anzusehen, wie die folgenden Ausführungen zeigen.
Die Lehre ist sich nicht ganz einig darüber, ob die "unentgeltliche Verfügung" begrifflich wesentlich über die "Schenkung" hinausgehe oder ob einfach auch entsprechende einseitige Rechtsgeschäfte erfasst sein sollen. Für den vorliegend zu beurteilenden Fall ist aber nicht zu sehen, inwiefern dies eine Rolle spielen könnte; aus der Gesetzessystematik ergibt sich vielmehr, dass es bei beiden Spielarten um gläubigerschädigende Liberalität des Schuldners geht. Die bundesgerichtliche Rechtsprechung fusst deshalb auf der Prämisse, dass eine unentgeltliche Verfügung im Sinn von Art. 286 ZGB vorliegt, wenn der Schuldner eine Leistung erbringt oder eine Verpflichtung eingeht, mithin eine Beschwerung seines Vermögens vollzieht, ohne dass er hierzu rechtlich verpflichtet wäre und ohne dass er hierfür eine Gegenleistung erhielte (ausführlich BGE 31 II 350 E. 3 S. 351 f.; sodann 95 III 47 E. 2 S. 51 f.). Angesprochen ist damit die sog. Zuwendung, also die Rechtshandlung, durch welche jemand einem anderen einen Vorteil verschafft, der in einer Vergrösserung des Vermögens oder in der Abwendung einer drohenden Vermögensverminderung besteht (vgl. dazu VON TUHR/PETER, Allgemeiner Teil des Schweizerischen Obligationenrechts, Band I, Zürich 1979, S. 198 ff.). Es geht bei Art. 286 SchKG mithin um Leistungen oder Verpflichtungen, die zu einer Verminderung der Aktiven oder der Vermehrung der Passiven führen (STAEHELIN, Die Anfechtungsklagen, BlSchK 1997, S. 83). Solche Vermögensdispositionen sind nach der bundesgerichtlichen Rechtsprechung beispielsweise gegeben beim Eingehen einer Bürgschaft, weil die Regressforderung jedenfalls wirtschaftlich keine adäquate Gegenleistung darstellt (BGE 31 II 350 E. 4 S. 352 f.), bei der Pfandbestellung für eine fremde Schuld (BGE 49 III 27), bei der Zahlung oder Sicherstellung einer fremden Schuld (BGE 95 III 47) sowie gegebenenfalls bei der unwiderruflichen Begünstigung eines Dritten aus einer Personenversicherung (BGE 34 II 394 E. 5 S. 400; 64 III 85 E. 1 S. 88; vgl. auch Art. 82 VVG).
Der Verzicht auf die Erbenstellung ist keine solche Leistung oder Verpflichtung. Zwar lässt sich eine Literaturstelle ausfindig machen, wonach der Erbverzicht zugunsten Dritter eine unentgeltliche Verfügung im Sinn von Art. 286 SchKG darstelle (BÜTTIKOFER, a.a.O., S. 141). Diese nicht weiter begründete Auffassung übergeht aber das Kernelement, dass der präsumptive Erbe beim Erbverzicht weder in rechtlicher noch in wirtschaftlicher Hinsicht über einen Vermögenswert disponiert, dies im Unterschied zur Ausschlagung, die in der Literatur zu Recht als Beispiel einer unentgeltlichen Verfügung aufgeführt wird (z.B. BLUMENSTEIN, Handbuch des Schweizerischen Schuldbetreibungsrechtes, Bern 1911, S. 877; SCHÜPBACH, Droit et action révocatoires, Basel 1997, N. 38 zu Art. 286 SchKG). Die Ausschlagung einer (werthaltigen) Erbschaft bedeutet nämlich insofern eine unentgeltliche Verfügung zugunsten Dritter, als eine kraft Universalsukzession eo ipso angefallene Vermögensposition (vgl. Art. 560 Abs. 1 ZGB) aufgegeben wird und bei den anderen Erben zu einem entsprechenden Vermögenszuwachs führt. Hier lässt sich ohne weiteres von einer Zuwendung sprechen, die jedenfalls wirtschaftlich aus dem Vermögen des Ausschlagenden erfolgt, und sie führt gleichzeitig gegenüber dem Gläubiger des ausschlagenden Erben zu einem im Sinn von Art. 285 Abs. 1 SchKG verpönten "Entzug von Vermögenswerten". Der Verzicht auf die Erbenstellung, selbst wenn er in Abweichung zur Vermutung von Art. 495 Abs. 3 ZGB zugunsten der Nachkommen erfolgt, bedeutet aber nicht nur juristisch keine Disposition über das eigene Vermögen (vgl. E. 3.3), sondern führt auch wirtschaftlich zu keiner Vermögensverschiebung vom Präsumtiverben zu seinen Nachkommen, da weder auf ein Aktivum verzichtet noch ein solches verschafft wird; die Grosskinder erhalten einzig ein Erbrecht und damit die Anwartschaft, dereinst direkt in das erblasserische Vermögen zu sukzedieren.
7. Die Beschwerdeführerin macht weiter eine Absichtspauliana geltend. Auch in dieser Hinsicht ist die doppelte Frist eingehalten, kann indes der Beschwerdegegner 1 nicht als passivlegitimiert angesehen werden.
7.1 Im angefochtenen Entscheid wurde festgehalten, dass die Absichtspauliana erst vor Obergericht geltend gemacht worden sei und es an einem rechtzeitig vorgebrachten Sachverhalt fehle, der auf eine Anwendung von Art. 288 SchKG schliessen lasse bzw. für eine entsprechende Prüfung überhaupt Anlass geben könnte, müsste doch die Schädigungs- bzw. Benachteiligungsabsicht des Schuldners für die Begünstigten erkennbar gewesen sein, und zwar zur Zeit der Vornahme der anfechtbaren Handlung. Solche Vorbringen seien vor erster Instanz nicht gemacht worden und den entsprechenden obergerichtlichen Behauptungen stünden diejenigen der Beschwerdegegner 2 und 3 gegenüber, dass sie am Erbverzicht nicht beteiligt gewesen seien und davon keine Kenntnis gehabt hätten.
7.2 Diesen Ausführungen versucht die Beschwerdeführerin zu begegnen mit dem Vorbringen, im Vater-Sohn-Verhältnis müsse eine natürliche Vermutung gelten, dass der Begünstigte die effektiv vorhandene schlechte Vermögenslage des Schuldners gekannt habe, zumal diese Vermutung im deutschen Recht für die Begünstigung naher Angehöriger im Gesetz sogar ausdrücklich geregelt sei.
7.3 Nach der bundesgerichtlichen Rechtsprechung zu Art. 288 SchKG ist in Würdigung sämtlicher Gegebenheiten des konkreten Einzelfalls zu beurteilen, ob der Begünstigte die Schädigungsabsicht des Schuldners im Zeitpunkt der Vornahme der anfechtbaren Handlung wirklich erkannt hat oder bei pflichtgemässer Sorgfalt hätte erkennen können und müssen, dass als natürliche Folge der angefochtenen Handlung möglicherweise eine Gläubigerschädigung eintritt. Hiermit wird aber keine unbeschränkte Erkundigungspflicht aufgestellt; nur wenn deutliche Anzeichen für eine Gläubigerbegünstigung bzw. -benachteiligung bestehen, darf vom Begünstigten eine sorgfältige Prüfung verlangt werden (BGE 134 III 4 E. 4.2 S. 456; 135 III 265 E. 2 S. 267). Indes gilt unter nahen Verwandten und Ehegatten eine natürliche Vermutung, dass der Begünstigte die wirklich vorhandene schlechte Vermögenslage des Schuldners kannte (vgl. BGE 40 III 293 E. 2 S. 298; Urteil 5A_747/2010 E. 4.3). Als Folge der Vermutung muss der Anfechtungsgläubiger lediglich den Abschluss eines Vertrages mit dem nahen Angehörigen beweisen (STAEHELIN, Basler Kommentar, N. 20 zu Art. 288 SchKG).
Die in der vorstehend aufgeführten bundesgerichtlichen Rechtsprechung aufgestellte Vermutung bezog sich stets auf Rechtsgeschäfte, an denen der Begünstigte direkt beteiligt war und ihn deshalb der Vorwurf traf, dass er im Zusammenhang mit dem Abschluss des Rechtsgeschäftes jedenfalls nähere Erkundigungen hätte tätigen müssen. So ging es bei BGE 40 III 293 um eine Forderungszession, bei welcher der insolvente Schuldner seinem Bruder, mit dem er in engstem Verhältnis stand und detaillierte Korrespondenz führte, einen Titel abgetreten hatte, und beim Urteil 5A_747/2010 ging es um einen Schenkungsvertrag, mit welchem der bedrängte Schuldner zwei in seinem Alleineigentum stehende Liegenschaften (Wohnhäuser mit Garagengebäuden) durch unentgeltliche Übertragung auf seine Ehefrau dem Zugriff der Gläubiger zu entziehen suchte. Demgegenüber waren die Söhne vorliegend am angefochtenen Rechtsgeschäft, durch welches sie potenziell begünstigt wurden, gerade nicht beteiligt. Während sich bei Ehegatten aufgrund der tatsächlichen Lebensgemeinschaft und der ökonomischen Verbundenheit allenfalls der Standpunkt vertreten liesse, der Abschluss eines Erbverzichtsvertrages habe dem anderen Ehegatten trotz der Tatsache, dass er am betreffenden Geschäft nicht beteiligt war, ebenso wenig verborgen bleiben können wie die desolate Finanzlage, weil hierüber zwischen Ehegatten naturgemäss Gespräche geführt würden, lässt sich solches mit Bezug auf erwachsene Söhne nicht behaupten. Damit die vorerwähnte Vermutung im Vater-Sohn-Verhältnis auch mit Bezug auf Rechtsgeschäfte, an welchen diese nicht beteiligt waren, greifen könnte, müsste die Beschwerdegegnerin (recte: Beschwerdeführerin) zumindest konkrete Anhaltspunkte liefern, die Anlass zur Annahme geben könnten, dass die Begünstigten um die betreffenden Sachumstände wussten oder bei pflichtgemässer Sorgfalt hätten wissen müssen, denn grundsätzlich ist der Anfechtungsgläubiger für alle drei Tatbestandsmerkmale der Absichtspauliana beweispflichtig (BGE 134 III 452 E. 2 S. 454; 136 III 247 E. 3 S. 250; 137 III 268 E. 3 und 4 S. 282). Solche Anhaltspunkte - wie sie im Übrigen auch bei BGE 40 III 293 und beim Urteil 5A_747/2010 vom Anfechtungsgläubiger geliefert worden waren - hat die Beschwerdeführerin im kantonalen Verfahren nach den Feststellungen des Obergerichts nicht bzw. nicht rechtzeitig vorgebracht; zum Verhältnis zwischen Vater und Söhnen ist aus dem angefochtenen Urteil nicht das Geringste bekannt.
Eine Verletzung von Art. 8 ZGB, wie die Beschwerdeführerin sie moniert, ist deshalb in der vorliegend zu beurteilenden Konstellation nicht ersichtlich. Vor dem Hintergrund der unbewiesenen Erkennbarkeit kann im Übrigen offenbleiben, ob die übrigen Tatbestandsmerkmale von Art. 288 SchKG erfüllt wären.
8. Zusammenfassend ergibt sich, dass die Beschwerde in Zivilsachen abzuweisen ist, soweit auf sie eingetreten werden kann. Die Gerichtskosten sind somit der Beschwerdeführerin aufzuerlegen (Art. 66 Abs. 1 BGG). Der Gegenseite ist kein entschädigungspflichtiger Aufwand entstanden.
Demnach erkennt das Bundesgericht:
1. Die Beschwerde in Zivilsachen wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 8'000.-- werden der Beschwerdeführerin auferlegt.
3. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, I. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 16. Mai 2012
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Möckli