Sachverhalt:
A. A._ ist Alleinerbe seines am 5. August 2000 verstorbenen gleichnamigen Onkels und Paten.
Auf eigenes Ersuchen war für H._ sel. durch Beschluss der Vormundschaftsbehörde K._ vom 5. Juli 1999 eine Beistandschaft im Sinn von <ref-law> errichtet und wunschgemäss L._ als Beiständin ernannt worden.
Nachdem diese trotz mehrfacher Aufforderung und Mahnung kein Eröffnungsinventar erstellt hatte, beschloss die Vormundschaftsbehörde am 23. Mai 2000, die Beiständin im Sinn von <ref-law> in ihrem Amt vorläufig einzustellen. Gleichzeitig wurde Treuhänder M._ als vorläufiger Beistand eingesetzt. Dieser stellte am 8. September 2000 fest, dass das Vermögen des Verbeiständeten praktisch aufgebraucht war, obwohl ihm Anfang des Jahres 2000 aus dem Verkauf der Eigentumswohnung 120'000.-- an baren Mitteln zugeflossen waren. Weiter stellte er fest, dass für die Summe von Fr. 108'140.55 jegliche Quittungen fehlten bzw. durch L._ nicht beigebracht werden konnten. Die Schlussabrechnung wurde von der Vormundschaftsbehörde mit Beschluss vom 5. Februar 2001 genehmigt.
In der Folge erhob A._ als Erbe des H._ sel. am 22. August 2002 gegen die ehemalige Beiständin eine Klage über Fr. 108'140.55 nebst Zins seit 2. April 2002. L._ anerkannte diese Forderung mit Schreiben vom 7. September 2002, worauf Bezirksgericht N._ das Verfahren mit Beschluss vom 17. Oktober 2002 als durch Klageanerkennung erledigt abschrieb. Es stellte sich heraus, dass L._ überschuldet und die von ihr anerkannte Forderung deshalb uneinbringlich war.
B. In der Folge reichte A._ am 23. September 2003 gestützt auf <ref-law> gegen die Mitglieder der Vormundschaftsbehörde K._ eine Klage über Fr. 115'231.75 (die vorgenannten Fr. 108'140.55 zuzüglich Fr. 7'091.20 Prozessentschädigung aus dem Verfahren gegen die Beiständin) nebst Zinsen ein.
Mit Urteilen vom 14. September 2006 bzw. 12. Juni 2007 wiesen das Bezirksgericht N._ und das Obergericht des Kantons Zürich die Klage von A._ sowie am 30. Juni 2008 das Kassationsgericht des Kantons Zürich die von ihm erhobene Nichtigkeitsbeschwerde ab. Demgegenüber erachtete das Bundesgericht mit Urteil 5A_594/2008 vom 2. Dezember 2008, publiziert als <ref-ruling>, die Haftungsvoraussetzungen als grundsätzlich gegeben und wies die Sache zur Bemessung des Schadens sowie für allfällige Exkulpations- oder Reduktionsgründe an das Obergericht zurück. Dieses wies die Sache seinerseits zur betreffenden Beweiserhebung und Neubeurteilung an das Bezirksgericht zurück, welches eine lange Zeugeneinvernahme mit L._ durchführte.
Mit Urteilen vom 9. August 2010 bzw. 10. November 2011 wiesen das Bezirksgericht N._ und das Obergericht Zürich die Klage erneut ab mit der Begründung, das Beweisverfahren habe aufgrund der Zeugenaussagen von L._ ergeben, dass H._ sel. allen Geldbezügen laufend und jedenfalls nachträglich zugestimmt habe, weshalb keine unfreiwillige Vermögensminderung vorliege und folglich gar kein Schaden entstanden sei.
C. Gegen das obergerichtliche Urteil vom 10. November 2011 hat A._ am 9. Januar 2012 eine Beschwerde in Zivilsachen erhoben mit dem Begehren um Verurteilung der Beschwerdegegner zu Fr. 115'231.75 nebst Zins zu 5 % seit 2. April 2002 auf Fr. 108'140.55 und seit 17. April 2003 auf Fr. 7'091.20. Er wirft dem Obergericht eine willkürliche Sachverhaltsfeststellung bzw. Beweiswürdigung vor und macht in verschiedener Hinsicht Rechtsverletzungen geltend.
Das Obergericht hat mit Stempel vom 27. Januar 2012 auf eine Vernehmlassung verzichtet. Die Beschwerdegegner schliessen in ihrer Vernehmlassung vom 15. Februar 2012 auf kostenfällige Abweisung der Beschwerde. Die Sache wurde an einer Sitzung am 24. Mai 2012 öffentlich beraten.

Erwägungen:
1. Angefochten ist ein kantonal letztinstanzlicher Endentscheid über die vermögensrechtliche Verantwortlichkeit vormundschaftlicher Organe (Art. 75 Abs. 1 und Art. 90 BGG). Auseinandersetzungen dieser Art stehen - wie diejenigen auf dem Gebiet der Aufsicht über die Vormundschaftsbehörden (dazu ausdrücklich Art. 72 Abs. 2 lit. b Ziff. 5 BGG) - in unmittelbarem Zusammenhang mit Zivilrecht, weshalb die Beschwerde in Zivilrecht gegeben ist (Urteil 5A_594/2008 vom 2. Dezember 2008 E. 1.2), zumal im Übrigen der Mindeststreitwert von Fr. 30'000.-- erreicht ist (<ref-law>).
2. Zunächst ist zwischen den Parteien umstritten, ob das Obergericht den Schaden vor dem Hintergrund, dass das Bundesgericht in seinem Urteil vom 2. Dezember 2008 alle Haftungsvoraussetzungen bejaht hatte, nicht nur in der Höhe, sondern auch vom Grundsatz her prüfen durfte oder ob diesbezüglich eine Bindewirkung bestand.
Das Bundesgericht hatte im genannten Urteil in E. 3 festgehalten, dass für den Fall, dass die Haftungsvoraussetzungen erfüllt seien, durch die kantonalen Instanzen noch Abklärungen zur Höhe des Schadens zu treffen seien. Sodann hatte es in E. 8 im Zusammenhang mit der Kausalität ausgeführt, dass der im Verbrauch des erzielten Verkaufserlöses bestehende Schaden gar nicht hätte eintreten können, wenn die Vormundschaftsbehörde auf der fristgerechten Erstellung des Eröffnungsinventars beharrt hätte und damit die Unfähigkeit der Beiständin rasch zutage getreten wäre. Schliesslich hatte es in E. 9 festgehalten, dass alle Voraussetzungen für eine grundsätzliche Haftung gegeben seien, die Sache indes zur Abklärung der Schadenshöhe sowie hinsichtlich möglicher Exkulpations- oder Reduktionsgründe zurückzuweisen sei.
Das Obergericht hat den Schaden als unfreiwillige Verminderung des Reinvermögens definiert und eine solche verneint, indem es befand, die Aussagen der als Zeugin einvernommenen Beiständin hätten ergeben, dass H._ sel. mit sämtlichen Bezügen bzw. dem Verbrauch seines Vermögens einverstanden gewesen sei und auch nach Absetzen von L._ als Beiständin noch einmal erklärt habe, dass er mit allem einverstanden sei; dies sei als Genehmigung zu werten und folglich mangle es an der Unfreiwilligkeit der Vermögensverminderung, weil H._ sel. durch die Errichtung der Beistandschaft in seiner Handlungsfähigkeit nicht beschränkt worden sei und er deshalb weiterhin rechtsgültig über sein Vermögen habe verfügen dürfen.
Die Schadensdefinition, mit welcher das Obergericht operiert, entspricht derjenigen des Bundesgerichts (<ref-ruling> E. 8.1 S. 205; <ref-ruling> E. 4 S. 366; <ref-ruling> E. 4.4.2 S. 471). Auch die Lehre geht grösstenteils von dieser Definition aus (statt vieler: SCHWENZER, Schweizerisches Obligationenrecht, Allgemeiner Teil, 4. Aufl. 2006, Rz. 14.03), wobei dies nur vereinzelt näher begründet wird (so namentlich bei VON TUHR/PETER, Allgemeiner Teil des schweizerischen Obligationenrechts, Band I, Zürich 1979, S. 84); isoliert wird demgegenüber vertreten, dass auch eine freiwillige Vermögensminderung einen Schaden bedeuten könne (OFTINGER/STARK, Schweizerisches Haftpflichtrecht, Allgemeiner Teil, Band I, Zürich 1995, § 2 N. 8; vgl. sodann die Überlegungen zur Unschärfe des Kriteriums der (Un-)Freiwilligkeit im Zusammenhang mit Wiederherstellungskosten bei NÄNNI, Integritätsinteresse und Ersatz fiktiver Kosten, in: Vertrauen - Vertrag - Verantwortung, Festschrift für Hans Caspar von der Crone, Zürich 2007, S. 155). Vorliegend besteht kein Anlass, von der grossmehrheitlich vertretenen Schadensdefinition abzuweichen. Folglich stellt sich die Frage, ob vor dem Hintergrund der vorstehend zitierten Erwägungen im Urteil 5A_594/2008 vom 2. Dezember 2008 für die kantonalen Gerichte noch ein Spielraum Bestand, im Rahmen der Rückweisung über die (Un-)Freiwilligkeit der Vermögensverminderung Beweis zu führen und in Bejahung der Freiwilligkeit den Schaden zu verneinen.
Vorauszuschicken ist zweierlei: Erstens wird auf die Frage zurückzukommen sein, in welchem Verhältnis das Kriterium der (Un-)Freiwilligkeit der Vermögensminderung bzw. der Genehmigung des Vermögensverbrauches zur Vermögenserhaltungs- und -fürsorgepflicht des Beistandes gemäss <ref-law> steht. Zweitens ist das Kriterium im vorliegenden Fall insofern schillernd, als es potenziell auch die Kausalität (die rechtzeitige Einsetzung eines anderen Beistandes durch die Vormundschaftsbehörde wäre möglicherweise ohne Einfluss geblieben, wenn H._ sel. aufgrund eigenen Willensentschlusses unabhängig von der jeweiligen Person des Beistandes in Eigenregie sein ganzes Vermögen verbraucht hätte) und die Widerrechtlichkeit (Einwilligung des Verletzten als Rechtfertigungsgrund) beschlagen kann. Im Übrigen besteht zwischen den beiden Vorbemerkungen eine gewisse Interdependenz: Trifft nämlich den Beistand eine Vermögenserhaltungspflicht, die ihn zu adäquatem Handeln anhält (dazu im Einzelnen E. 5), so hat eine diesbezügliche Unterlassung bzw. die Verletzung von Interventionspflichten seitens der Vormundschaftsbehörde wiederum einen Einfluss auf die Kausalität, und insbesondere könnte das Handeln des Beistandes dann auch Rückwirkungen auf die Schadenshöhe haben.
Vorliegend geht es aber zunächst darum, das Kriterium der (Un-)Freiwilligkeit der Vermögensminderung im Zusammenhang mit der Begriffsbestimmung des Schadens zu würdigen. In dieser Hinsicht ist zu bemerken, dass die (Un-)Freiwilligkeit zwar die Schadensdefinition als solche betrifft, dass sie aber teilbar ist: Es wäre sehr gut möglich, dass nur ein Teil des Verbrauchs genehmigt worden wäre und deshalb in der Optik des Obergerichtes nicht die ganze Vermögensverminderung als freiwillig herbeigeführt erscheinen würde. Mithin ist in erster Linie die Schadenshöhe angesprochen und hat sich das Obergericht nicht über die Bindewirkung des bundesgerichtlichen Rückweisungsurteils hinweggesetzt, wenn es hierüber Beweis geführt hat und zum Schluss gelangt ist, weil sämtliche Geldbezüge von H._ sel. genehmigt worden seien, betrage die Schadenshöhe null.
3. Das Obergericht hat für die Zeugenaussagen im Wesentlichen auf das bezirksgerichtliche Urteil verwiesen. Aus diesem geht hervor, dass mit Beschluss vom 14. Januar 2010 den Beschwerdegegnern der Hauptbeweis dafür auferlegt wurde, dass die von L._ während ihrer Zeit als Beiständin getätigten Barbezüge von den Konten des H._ sel. in der Höhe von Fr. 108'140.55, über deren Verwendung keine Belege vorliegen, mit diesem abgesprochen bzw. von diesem genehmigt worden seien. Sodann hat das Bezirksgericht Folgendes festgehalten:
Die Zeugin habe bei der Einvernahme im vorliegenden zivilrechtlichen Haftungsprozess bestätigt, während ihrer Zeit als Beiständin (7. September 1999 bis 23. Mai 2000) Barbezüge ab den Konten von H._ sel. von Fr. 108'140.55 getätigt zu haben, davon Fr. 106'237.15 zwischen 1. Februar 2000 und 23. Mai 2000. Nach langem Hin und Her und unter Hinweis auf die Tatsache, dass sie in dem gegen sie angestrengten Verfahren die Schuld über Fr. 108'140.55 anerkannt habe (Prot. S. 21-26), habe sie erklärt, das Geld mehrheitlich für sich verwendet zu haben (Prot. 26). Einen Teil des Geldes habe sie aber H._ sel. gebracht, und sie habe immer wieder betont, nie Geld abgehoben zu haben, ohne dies mit ihm abgesprochen zu haben (Prot. S. 27). Auch nach ihrer Absetzung als Beiständin habe sie mit ihm über die Kontobezüge gesprochen. Dabei habe er immer wiederholt, dass sie ja Alleinerbin sei; er werde dem neuen Beistand bestätigen, dass sie ihm einen Teil des Geldes gebracht habe und einen Teil für sich habe verwenden dürfen (Prot. S. 28). Auf die Frage, ob sich H._ sel. keine Sorgen gemacht habe, dass er nicht einmal mehr seine eigenen Ausgaben decken könne, als Ende Mai 2000 kaum mehr Geld auf seinen Konti gewesen sei, habe die Zeugin geantwortet, dass er solche Sorgen nicht gekannt habe; er habe immer wieder gesagt, es sei sein Geld und er könne damit machen, was er wolle (Prot. S. 29). Das Bezirksgericht hat ferner festgehalten, dass sich diese Aussagen mit denjenigen deckten, welche die Zeugin am 12. Juni 2001 im Rahmen des gegen sie eingeleiteten Strafverfahrens wegen ungetreuer Geschäftsführung gemacht habe (dort hatte sie nach der Zusammenfassung im bezirksgerichtlichen Urteil angegeben, das Geld aus dem Wohnungsverkauf grösstenteils zur Bezahlung offener Rechnungen verwendet zu haben, wobei sie teilweise H._ sel. auf sein Begehren auch grössere Beträge in bar ab dem Konto überbracht habe, von denen sie nicht wisse, was er damit gemacht habe; sie selbst habe in seinem Einverständnis etwa Fr. 40'000.-- für sich selbst verbraucht, wobei sie sich ein Auto für Fr. 20'000.-- sowie ein Motorrad für Fr. 10'000.-- gekauft und mit dem Rest offene Rechnungen beglichen habe; sie sei damals in einer finanziellen Notlage gewesen, da ihr Ehemann die Alimente für sie und ihre drei Kinder nur unregelmässig geleistet habe; ihre Anfragen um finanzielle Unterstützung habe H._ sel. immer bereitwillig genehmigt, wobei er jeweils ausgeführt habe, sie solle nur nehmen, was sie brauche, sie erbe dereinst ja sowieso alles, schliesslich habe sie sich um ihn gekümmert und ihn gepflegt, er könne mit seinem Geld machen, was er wolle).
Beweiswürdigend hat das Bezirksgericht, worauf das Obergericht ausdrücklich verweist, befunden, dass die Zeugin bei der Einvernahme zum Teil widersprüchliche Aussagen gemacht habe, was aber nachvollziehbar sei, weil die Vorkommnisse lange zurücklägen. Insgesamt zeichne sich ein Bild eines älteren kinderlosen Wittwers, der im Pflegeheim gelebt habe und dem deshalb seine eigene finanzielle Situation nicht besonders wichtig gewesen sei, weshalb er nichts dagegen gehabt habe, dass sein Geld nicht dem Staat, sondern einer alleinerziehenden Mutter dreier Kinder, welche ihn seit Jahren unterstütze, zukomme. Deshalb habe er sich auch nach der Absetzung der Beiständin nie bei jemandem über die Tatsache beschwert, dass sein ganzes Vermögen innert weniger Monate aufgebraucht worden sei. Insgesamt müsse davon ausgegangen werden, dass er um die Bezüge der Beiständin gewusst und dagegen nichts einzuwenden gehabt habe.
Zur Glaubwürdigkeit der Zeugin, welche der Beschwerdeführer auch im Berufungsverfahren in Frage stellte, hat das Obergericht ergänzend befunden, es treffe zwar zu, dass die Zeugin ausgesagt habe, dass es ihr zum fraglichen Zeitpunkt psychisch sehr schlecht gegangen sei und sie hohe Schulden gehabt habe; ebenfalls habe sie erwähnt, auch heute noch verschuldet zu sein und eine Beiständin zu haben. Daraus sei aber nicht zu schliessen, dass sie nicht wahrheitsgemässe Aussagen machen könne. Namentlich sei der Behauptung nicht zu folgen, dass sie ein Interesse daran habe, den Schaden möglichst tief zu halten, denn sie habe diesen ja in ihrem eigenen Prozess anerkannt und vorliegend gehe es um die gegen die Mitglieder der Vormundschaftsbehörde gerichtete Klage. Weiter würden ihre Aussagen auch vor dem Hintergrund, dass sie keine Angaben zur Verwendung der abgehobenen Geldbeträge habe machen können, nicht als unglaubhaft erscheinen, da die Vorfälle lange zurücklägen. Wenn schliesslich vorgebracht werde, es sei unwahrscheinlich, dass ein voll urteilsfähiger Mann innerhalb von wenigen Monaten sein ganzes Vermögen verbraucht bzw. verschenkt haben soll, so sei darauf hinzuweisen, dass H._ sel. L._ schon drei Jahre vor ihrer Ernennung zur Beiständin Vollmachten über all seine Konten erteilt und er sie ausdrücklich als Beiständin gewünscht habe. Unter diesen Umständen erscheine es keineswegs als in hohem Mass unwahrscheinlich, dass er ihr die fraglichen Geldmittel zugewendet habe.
Ausgehend von der vorstehend geschilderten Beweiswürdigung hat das Obergericht in rechtlicher Hinsicht befunden, es gebreche an der Unfreiwilligkeit der Vermögensminderung. Die Verbeiständung lasse die Handlungsfähigkeit nämlich unberührt (<ref-law>) und H._ sel. habe deshalb mit seinem Geld machen dürfen, was er wolle; insbesondere habe er es entgegennehmen und selbst verbrauchen, aber auch der Beiständin schenken dürfen. Das erstinstanzlich durchgeführte Beweisverfahren habe ergeben, dass sämtliche Bezüge durch die Beiständin mit H._ sel. abgesprochen gewesen seien. Dies betreffe insbesondere auch den Teil, welchen die Beiständin nach ihren Aussagen selbst habe verbrauchen dürfen. Diesbezüglich sei mithin eine Schenkung anzunehmen. Entgegen dem Vorbringen des Klägers sei diese nicht genehmigungspflichtig im Sinn von <ref-law> gewesen, weil <ref-law> als lex specialis zum Tragen komme. Im Übrigen habe H._ sel. ohnehin auch nach der Absetzung von L._ als Beiständin noch einmal alles genehmigt, indem er gemäss deren Zeugenaussagen geäussert habe, sie solle den neuen Beistand anrufen oder dieser solle ihn persönlich kontaktieren, um die Sache mit den Geldbezügen zu klären; er werde dem neuen Beistand bestätigen, dass sie ihm einen Teil des Geldes gebracht und einen Teil für sich habe verwenden dürfen.
4. Mit Bezug auf die Beweiswürdigung kritisiert der Beschwerdeführer als willkürlich, dass das Obergericht nicht auf die rechtskräftige und bei der Zeugeneinvernahme bestätigte Anerkennung der Schadensforderung durch die Beiständin, sondern auf ihre vagen und über grosse Teile widersprüchlichen Aussagen abgestellt und diese als gelungenen Beweis für eine Einwilligung bzw. Genehmigung durch H._ sel. erachtet habe, zumal sie angesichts ihrer damals wie heute massiven Überschuldung und ihrer nunmehr eigenen Verbeiständung nicht als glaubwürdig erachtet werden könne.
4.1 Soweit der Beschwerdeführer vorbringt, für den Umfang des Schadens sei allein relevant, dass die Beiständin diesen in dem gegen sie angestrengten Haftungsprozess vollumfänglich anerkannt habe, weshalb die betreffende Schuldanerkennung angesichts der Kaskadenhaftung nunmehr die Grundlage für die Zusprechung eben dieses Schadenquantums sein müsse, ist mit den kantonalen Instanzen festzuhalten, dass die Schuldanerkennung der Beiständin nur in jenem Verfahren direkte Rechtsfolgen ausgelöst hat; für eine Sachverhaltsfixierung mit Bezug auf den vorliegenden Prozess hätte es einer Streitverkündung bedurft. Würde im vorliegenden Prozess direkt auf jene Schuldanerkennung abgestellt, hätte dies zur Folge, dass ein Beistand eine beliebige, auch eine offensichtlich unberechtigte Forderung anerkennen könnte und die Mitglieder der Vormundschaftsbehörde diese ohne Parteirechte in jenem Prozess gegen sich gelten lassen müssten. Das heisst zweierlei: Zum einen ist die Schuldanerkennung der Beiständin im vorliegenden Verfahren nicht verbindlich, wohl aber ein Beweismittel, welches im Rahmen der Beweiswürdigung zu berücksichtigen ist. Zum anderen können die Beschwerdegegner Beweismittel nennen, um den ihnen mit Beschluss vom 14. Januar 2010 auferlegten Hauptbeweis zu erbringen, dass H._ sel. und mithin auch seinem Universalsukzessor aus den getätigten Bankbezügen kein Schaden erwachsen ist; diesen Beweis versuchen sie mit den Zeugenaussagen der Beiständin zu führen, welche ebenfalls im Rahmen der Beweiswürdigung zu berücksichtigen sind.
4.2 Was die vom Beschwerdeführer als willkürlich kritisierte Glaubwürdigkeit anbelangt, wurde im angefochtenen Urteil (durch Verweis auf das bezirksgerichtliche Urteil) festgestellt, dass die Zeugin nach langem Hin und Her (Prot. S. 21-26) schliesslich ausgesagt habe, das Geld mehrheitlich für sich verwendet (Prot. 26) und einen Teil H._ sel. gebracht zu haben (Prot. S. 27). Das gerichtlich angesprochene "lange Hin und Her" wird nicht näher dargestellt, obwohl für die Frage der Glaubwürdigkeit der Aussagen der Zeugin von entscheidender Bedeutung. Sie werden deshalb im Rahmen einer auf <ref-law> gestützten Sachverhaltsergänzung nachfolgend auszugsweise festgehalten:
Die Zeugin hielt zunächst fest, dass sie die Gemeinde mehrmals angerufen und gesagt habe, dass sie mit der Sache überfordert sei, man müsse ihr helfen; sie habe um einen Besprechungstermin gebeten, jedoch nie einen bekommen (Prot. S. 26). Sodann machte sie Ausführungen zu den Besuchsintervallen bei H._ sel., welche sie mit "sehr oft", "manchmal zwei Mal pro Woche", "manchmal nur wöchentlich", manchmal auch nur alle zwei Wochen", "es kam auch vor, dass ich ihn erst nach einem Monat wieder besuchen konnte" umschrieb; es sei von der jeweiligen Situation abhängig gewesen (Prot. S. 19).
Die Zeugin konnte sich nicht mehr erinnern, wie hoch der Erlös aus dem Wohnungsverkauf war. Auf Vorhalt, dass während ihrer Zeit als Beiständin Beträge von Fr. 108'140.55 abgehoben worden seien, über deren Verwendung es keine Belege gebe, antwortete sie: "Wenn Sie dies sagen, muss es wohl stimmen." Sie sagte weiter aus, das Geld immer H._ sel. ins Spital gebracht und nie ohne sein Wissen abgehoben zu haben (Prot. S. 20). Auf Vorhalt, dass im Anschluss an den Wohnungsverkauf in der Zeit vom 1. Februar 2000 bis zu ihrer Einstellung im Amt am 23. Mai 2000 Beträge von Fr. 106'237.15 abgehoben worden seien: "Es wird wohl stimmen, wenn es hier so steht." Auf Vorhalt, dass aus den Bankunterlagen nicht hervorgehe, wer das Geld abgehoben habe: "Es ist sicher, dass ich vielleicht das Geld für ihn geholt habe, da ich ja die Vollmacht über das Konto hatte. Er ging bestimmt nicht selber an den Bankschalter. Das heisst, die Unterschriften sind sicher von mir. Das kann ich mir zumindest vorstellen. Danach habe ich ihm das Geld jedoch gebracht." Auf weiteren Vorhalt, wonach am 10. Februar Fr. 10'000.--, am 18. Februar Fr. 1'000.--, am 24. Februar Fr. 47'537.15 und am 3. März Fr. 20'000.-- abgehoben wurden: "Ich kann mich an die damalige Zeit nicht mehr erinnern. Ich habe Ihnen ja bereits gesagt, dass ich mit dieser Situation völlig überfordert war. Ich habe kein Geld abgehoben, welches ich ihm nicht auch gebracht habe. Ich habe von ihm lediglich den Betrag von Fr. 20'000.-- für das Auto bekommen." Auf weitere Frage, ob sie immer bei H._ sel. vorbeigegangen sei, um das Einverständnis zu den Geldbezügen zu holen: "Nein, wir haben miteinander telefoniert und er sagte mir jeweils, wie viel Geld ich abholen müsse" (Prot. S. 21). Auf Frage, wie lange diese Gespräche jeweils gedauert hätten: "Das ist schon so lange her. Dies kann ich Ihnen nicht mehr sagen. Wirklich nicht. Soll ich sagen, ich habe das Geld einfach abgehoben?" Auf die Antwort des Richters, er wolle nur die Wahrheit hören: "Für mich ist dies die Wahrheit." Auf Frage, ob bestimmte Beträge in bestimmten Situationen besprochen worden seien: "Ja, darüber haben wir gesprochen. Das ist so." Auf weitere Frage, was er dann gesagt habe: "Ich habe ihm das ganze Geld, abgesehen von den Fr. 20'000.-- für das Auto, jeweils danach gebracht." Auf Frage, ob sie ihm z.B. den ganzen Betrag von Fr. 47'000.-- ins Altersheim gebracht habe: "Ja, das habe ich getan" (Prot. S. 22). Auf Frage, wofür er das Geld gebraucht habe: "Er sagte mir, er wolle das Geld jemandem geben. Was er mit dem Geld effektiv gemacht hat, weiss ich nicht. Er hat mir stets gesagt, das Geld habe er gespart, es sei sein Geld und das wolle er auch haben. Es müsse niemand wissen, auch ich nicht, was er mit seinem Geld mache. Er sagte, er könne das Geld auch ins WC hinunterspülen." Auf Vorhalt, nicht einmal in der Strafuntersuchung erwähnt zu haben, dass sie ihm die Fr. 47'000.-- ins Altersheim gebracht habe: "Während der Strafuntersuchung war ich vielleicht auch nervös. Ich habe dem Richter jedoch gesagt, dass ich ihm das Geld gebracht habe. So habe ich es im Kopf. Aber sie werden es vor sich haben." Auf Frage, welche der beiden Aussagen (sie dürfe Geld abheben und für sich verwenden - sie habe das abgehobene Geld immer ins Altersheim gebracht) richtig sei: "Mit dem Geld habe ich teilweise Rechnungen bezahlt und den Betrag in der Höhe von Fr. 20'000.-- habe ich für das von ihm geschenkte Auto verwendet. Es können ja beide Aussagen stimmen. Ich kann mich wirklich nicht mehr daran erinnern. Es kann auch sein, dass er mir sagte, ich solle den Betrag nehmen, den ich brauche. Ich habe ihm aber auch viel Geld, das er wollte, gebracht" (Prot. S. 23). Auf Frage, wofür er das Geld im Pflegeheim gebraucht habe: "Er sagte jeweils nur, dass es sein Geld sei und er dies haben wolle. Er erwähnte immer wieder, dass er aufgrund seines Aufenthaltes im Pflegeheim über nichts verfügen könne, worauf ich erwiderte, dass das sein Geld sei und er dieses so verwenden könne, wie er wolle." Auf Vorhalt, es mute an, wie wenn sie das Konto als das ihre betrachtet hätte bzw. ein Geldbetrag, kaum sei er auf das Konto geflossen, wieder weg gewesen sei: "Wenn Sie das so sagen, wird es auch so sein. Ich kann Ihnen das nicht beantworten. Schlussendlich bin ich die Angeschuldigte. Ich kann Ihnen nur mitteilen, was in meinem Kopf vorhanden ist." An den gegen sie eingeleiteten Haftungsprozess konnte sich die Zeugin nicht mehr erinnern, ebenso wenig an ihre dem Gericht eingereichte Schuldanerkennung: "Dass ich aber einem Gericht geschrieben haben soll, ist mir neu. Mich dünkt, es kommen komische Dinge hervor." Gemäss Verbal bestritt die Zeugin sodann, das Schuldanerkennungsschreiben vom 7. September 2002 verfasst zu haben, bestätigte jedoch, dass es ihre Unterschrift sei. Auf den weiteren Vorhalt, dass das Gerichtsverfahren gestützt auf ihre Schuldanerkennung abgeschrieben worden und ihr der Gerichtsbeschluss, welchen sie quittiert habe, zugestellt worden sei: "Dann wird das so sein." Auf erneuten Vorhalt, dass sie mit dem erwähnten Schreiben gegenüber dem Beschwerdeführer anerkannt habe, den Betrag von Fr. 108'000.-- zurückbezahlen zu müssen: Verbal, wonach die Zeugin dies zur Kenntnis nimmt (Prot. S. 25). Auf den weiteren Vorhalt, dass sie heute bestreite, das Geld für sich behalten zu haben: "Dann wird das stimmen, was in diesem Schreiben steht." Auf Frage, was mit den zwischen Februar und Mai 2000 bezogenen Geldbeträgen geschehen sei: "Dann müsste ich wohl sagen, dass ich es für mich verwendet habe. Für mich war die Situation aber anders. Aber wenn ich die damalige Klage anerkannt habe, dann wäre es ja so, dass ich die Beträge bezogen habe. Dann müsste ich sagen, ich hätte das Geld für mich verwendet. Oder was soll ich sagen?" Nach der richterlichen Aussage, sie solle die Wahrheit sagen, wiederum die Zeugin: "Gut, dann habe ich das Geld für mich verwendet. Das wollen Sie ja hören." Auf erneute Frage, ob sie das Geld für sich verwendet oder H._ sel. gebracht habe: "Ich habe ihm sicher einen Teil des Geldes gebracht. Ich habe kein Geld abgehoben, was ich mit ihm nicht so besprochen habe." Auf richterlichen Hinweis, dass sie unabhängig von der Klageanerkennung auch sagen könne, dass ihr damals ein Fehler unterlaufen sei und es nicht stimme, dass sie das Geld für sich verwendet habe, und auf erneute Frage nach dem Verwendungszweck: "Ich habe sicher nicht das ganze Geld, welches ich bezogen habe, für mich verwendet. Aber ja, wenn ich dies damals so anerkannt habe, ist es so. Nun weiss ich gar nichts mehr. Wenn ich dies damals so anerkannt habe, dann muss es wohl so sein" (Prot. S. 26). Auf erneute Frage, was nun stimme: "Was soll ich sagen? Ich kann es Ihnen nicht sagen. Wenn wir von der Anerkennung ausgehen, muss ich zustimmen, dass ich die Bezüge für mich verwendet habe." Auf Frage, ob die einzelnen Bezüge besprochen gewesen seien: "Ich habe es mit ihm besprochen. Ich habe nicht ohne sein Wissen Geld bezogen. Ich habe nichts gemacht, worüber er nicht im Bild war." Betreffend Frage nach Besuchsintervallen: "Ich kann mich nicht mehr genau an alles erinnern. Ich habe zu dieser Zeit auch gearbeitet, aber wir haben jeden Tag miteinander telefoniert" (Prot. S. 27). Mit Bezug auf die Diskussionen zu den verschwundenen Geldbeträgen zwischen H._ sel. und der Beiständin nach deren Absetzung sagte sie aus: "Ja, darüber habe ich mit ihm gesprochen. Ich habe ihn auch über das Schreiben von Herrn M._ informiert, woraufhin H._ sel. meinte, ich solle Herrn M._ anrufen oder Herr M._ soll ihn persönlich kontaktieren, um die Sache zu klären. Er werde ihm bestätigen, dass ich ihm einen Teil des Geldes gebracht habe und einen Teil für mich verwenden durfte" (Prot. S. 28). Auf Frage, ob sich H._ sel. nie Sorgen gemacht habe, nicht einmal mehr seine eigenen Ausgaben decken zu können: "Nein, diese Sorgen kannte er nicht. Er sagte immer wieder, es sei sein Geld und er könne damit machen was er wolle" (Prot. S. 29). Auf weitere Frage, ob man diskutiert habe, was zu machen sei, wenn es plötzlich kein Geld mehr auf dem Konto habe: "Ja, wir haben darüber auch gesprochen. Er sagte lediglich, dass ihm dies egal sei, denn es sei sein Geld, er habe dies gespart." Auf Frage, dass er gleichzeitig ein Testament gemacht habe, wonach das Patenkind Fr. 36'000.-- erhalte: "Dies würde natürlich nicht zusammen passen. Aber ich wusste nichts davon" (Prot. S. 30).
4.3 Fest steht, dass während der Zeit, als L._ Beiständin war, Beträge über total Fr. 108'140.55 von den Konten des H._ sel. abgehoben wurden, für deren Verwendung es keine Belege gibt und dass diese Gelder quasi dem gesamten Vermögen von H._ sel. entsprachen. Ferner kann als erstellt gelten, dass nicht H._ sel., sondern die Beiständin sämtliche Bezüge tätigte, dass diese hohe persönliche Schulden hatte, dass sie mit dem Amt als Beiständin aufgrund ihrer psychischen Verfassung und auch sonst völlig überfordert war, dass sie von der Gemeinde keine Hilfe bei der Amtsausübung erhielt und dass sie bis zum Schluss ausser Stande oder nicht nicht Willens war, ein Eröffnungsinventar zu erstellen.
Mit Ausnahme des Autokaufes ist die nähere Verwendung der Bezüge unbekannt; die Zeugin konnte oder wollte keine konkreten Angaben dazu machen. Weder hatte sie eine Erklärung, wofür H._ sel. die hohen Geldbeträge, welche sie ihm je nach Aussagevariante ins Altersheim gebracht haben will, gebraucht hätte (dieser habe gesagt, es gehe niemanden etwas an, was er mit dem Geld mache), noch konnte sie im Rahmen einer ihrer weiteren Aussagevarianten, wonach sie auch viel Geld für H._ sel. verwendet habe, die Verwendung näher substanziieren (sie sprach pauschal davon, Rechnungen bezahlt zu haben und konnte sich im Übrigen schlicht an nichts mehr erinnern).
Weiter machte die Zeugin widersprüchliche Angaben zum Geldfluss im Anschluss an die Bankbezüge: Einmal war davon die Rede, dass sie beliebig Geld für sich habe abheben dürfen, einmal wollte sie sämtliche Bezüge in bar ins Altersheim gebracht haben, um dann wieder davon zu sprechen, einen Teil H._ sel. gebracht und einen Teil für sich selbst behalten zu haben.
Was schliesslich die Frage der Einwilligung anbelangt, sind die Aussagen der Zeugin zwar dahingehend konstant, dass H._ sel. mit allem einverstanden gewesen sei, jedoch in verschiedener Hinsicht diffus: Zum einen machte sie stets die pauschale Aussage, "alles" sei mit ihm abgesprochen gewesen. Auf welche Weise dies genau geschah, wurde im Übrigen angepasst an neue Vorhalte modifiziert. So wollte sie dies zuerst anlässlich von Besuchen mit H._ sel. abgesprochen haben. Auf konkreten Vorhalt der Daten von grösseren Bankbezügen, die in rascherem Intervall als die angegebenen Besuche erfolgten, sagte die Zeugin dann aus, sie habe täglich mit H._ sel. telefoniert und das Ganze jeweils telefonisch mit ihm besprochen. Wie bereits erwähnt, waren auch ihre Angaben widersprüchlich, ob sie das Geld für sich habe behalten dürfen, ob sie es stets in Altersheim gebracht habe oder ob eine kombinierte Variante zutreffe.
Sodann fällt auf, dass die Zeugin den einvernehmenden Richter mehrmals danach fragte, was er hören wolle, und sie dasjenige zur Antwort gab, von dem sie vermutete, dass man es von ihr hören wolle. Schliesslich konnte sie sich an vieles nicht mehr erinnern, auch an zentrale und sie selbst betreffende Dinge. So war ihr nicht mehr bewusst, dass sie die Forderung in ihrem eigenen Prozess anerkannt hatte, und mit Bezug auf ihr diesbezügliches Schreiben, welches sie nicht mehr wiedererkannte, wohl aber die Unterschrift als die ihrige bestätigte, dünkte sie, es kämen komische Dinge hervor.
Vor diesem ganzen Hintergrund erscheint es als willkürlich, die Zeugin, zumal diese die Plünderung der Konten verursachte und mithin zentral in das Geschehen verwickelt ist, als neutrale und objektive Person zu charakterisieren, ihr eine uneingeschränkte Glaubhaftigkeit zu attestieren und ihre pauschalen Aussagen, H._ sel. sei "mit allem" einverstanden gewesen, als gelungenen Beweis für eine erlaubte Verwendung der von ihr bezogenen Gelder zu werten. Sodann kann die nicht weiter konkretisierte Aussage der Zeugin, H._ sel. habe nach ihrer Absetzung gemeint, sie solle Herrn M._ anrufen und er werde diesem bestätigen, dass sie ihm einen Teil des Geldes gebracht und einen Teil für sich habe verwenden dürfen, nicht willkürfrei als nachträgliche Genehmigung von H._ sel. zu allen Geldbezügen und zum gesamten Geldverbrauch, dessen Umstände völlig im Dunkeln liegen, gewertet werden.
Insbesondere können all die vorgenannten diffusen Aussagen der Zeugin auch nicht einfach deshalb zu einem tauglichen Beweis erhoben werden, weil die Vorkommnisse lange zurückliegen, denn damit wird die mit Beweisbeschluss vom 14. Januar 2010 korrekt im Sinn von <ref-law> verteilte Beweislast umgekehrt: Es ist nicht der Beschwerdeführer, welcher die Folgen gedächtnisbedingter Verschwommenheit zu tragen hat, sondern die mit dem Beweis für die Genehmigung belasteten Beschwerdegegner. Im Übrigen kontrastieren die in den kantonalen Urteilen erfolgten Erklärungshinweise auf die lange zurückliegenden Begebenheiten auch mit der gleichzeitigen Feststellung, die heutigen Aussagen der Zeugin würden mit denjenigen übereinstimmen, welche sie bereits bei der Einvernahme am 12. Juni 2001 anlässlich des Strafverfahrens gemacht habe.
5. In rechtlicher Hinsicht ist zu bemerken, dass zwar die Handlungsfähigkeit des Vermögensträgers durch die Verbeiständung in der Tat nicht beeinträchtigt wird (<ref-law>). Indes setzt die Beistandschaft auf eigenes Begehren voraus, dass der zu Verbeiständende infolge von Altersschwäche oder anderen Gebrechen oder von Unerfahrenheit seine Angelegenheiten nicht gehörig zu besorgen vermag (Art. 394 i.V.m. 372 ZGB), und den Beistand, welchem die Verwaltung oder Überwachung eines Vermögens übertragen wird, trifft eine gesetzliche Vermögenserhaltungs- und Vermögensfürsorgepflicht (<ref-law>). Aus dem für die Errichtung einer Beistandschaft erforderlichen Schwächezustand des Verbeiständeten und den Fürsorgepflichten des Beistandes ergibt sich, dass der Beistand bei offensichtlicher Vermögensverschleuderung durch den Verbeiständeten Einhalt gebieten muss, indem er diesen abmahnt und vermögensschützende Vorkehrungen trifft und indem er bei der Vormundschaftsbehörde die Prüfung schärferer vormundschaftlicher Massnahmen beantragt, wenn seine Bemühungen im Rahmen der bei einer Beistandschaft gegebenen Interventionsmöglichkeiten fruchtlos bleiben. So hat das Bundesgericht im Zusammenhang mit der Haftung eines Beirates festgehalten, dass dieser seine Pflicht zur sorgfältigen Vermögensverwaltung verletzt, wenn er die verbeiratete Person innert weniger Jahre das ganze Vermögen verbrauchen lässt, ohne zu intervenieren (Regeste zu <ref-ruling>), weil der Beirat im Rahmen seiner Pflicht zur sorgfältigen Verwaltung des Mündelvermögens das Gesamtinteresse des Verbeirateten bestmöglichst zu wahren hat und die Ausgaben für den Verbeirateten so planen muss, dass nach vorsichtiger Schätzung dessen Lebensführung gegen das Lebensende hin keine Beeinträchtigung zu erleiden braucht (<ref-ruling> E. 3.2.1 S. 120), ansonsten ein beim Mündel eingetretener Vermögensschaden anzunehmen ist (<ref-ruling> E. 3.2 S. 119). Diese Ausführungen gelten mutatis mutandis auch im Zusammenhang mit den entsprechenden Vermögenserhaltungs- und -fürsorgepflichten des Beistandes. Indem die Beiständin vorliegend nichts unternommen hat, sondern umgekehrt aktiv an der Vermögensverschleuderung beteiligt war oder diese gar initiierte, kann im vormundschaftlichen Haftungskontext nicht von einem fehlenden Schaden ausgegangen werden, auch wenn die Beistandschaft die Handlungsfähigkeit des Verbeiständeten an sich unberührt lässt. Es kann nicht angehen, dass der Beistand dem Verbeiständeten Hilfe leistet oder diesen sogar dazu anhält, innert kürzester Zeit sein ganzes Vermögen zu verprassen, und er bzw. die Mitglieder der Vormundschaftsbehörde sich dabei auf ein - vorliegend nach dem in E. 4 Gesagten ohnehin nicht willkürfrei bewiesenes - "Einverständnis" des vom Schwächezustand Betroffenen berufen. Im Umfang der getätigten Bankbezüge, für deren Verwendung keine Belege vorhanden und im Übrigen auch keine klaren Anhaltspunkte nachgewiesen sind, ist deshalb ein Schaden gegeben.
Ebenfalls höchst diffus bleibt, in welchem Umfang angeblich "Schenkungen" vorliegen sollen, indem das abgehobene Geld nicht für H._ sel. verwendet, sondern von der Beiständin selbst verbraucht wurde. Angesichts des vorstehenden Resultates erübrigen sich aber Ausführungen zu der vom Beschwerdeführer erneut thematisierten Frage, ob solche Rechtsgeschäfte für ihre Gültigkeit nicht einer Genehmigung durch die Aufsichtsbehörde bedurft hätten, dies in analoger Anwendung von <ref-law> (bejahend: DESCHENAUX/ STEINAUER, Personnes physiques et tutelle, 4. Aufl. 2001, Rz. 1132; GEISER, Basler Kommentar, N. 33 zu Art. 421/422 ZGB; EGGER, Zürcher Kommentar, N. 19 zu <ref-law>; vgl. ferner die Regelung betreffend Interessenkollision in Art. 413 des auf 1. Januar 2013 in Kraft tretenden revidierten Vormundschaftsrechts, AS 2011 S. 738).
Nicht relevant sind ferner die langen Ausführungen der kantonalen Gerichte im Zusammenhang mit der Frage, ob die Beiständin wusste, dass sie von H._ sel. testamentarisch als Erbin eingesetzt worden war, und die diesbezügliche Beweisführung (sie machte hierzu ebenfalls widersprüchliche Zeugenaussagen): Abgesehen davon, dass gerade bei älteren Personen hohe Pflegekosten anfallen können und deshalb ein Interesse des Verbeiständeten an Vermögenserhaltung evident ist (vgl. auch <ref-ruling> E. 3.2.2 S. 120), dass deshalb den Beistand die bereits erwähnte Vermögenserhaltungs- und -fürsorgepflicht trifft (<ref-law>) und dass drittens testamentarische Anordnungen jederzeit frei widerrufbar sind (<ref-law>), weshalb die Verprassung des Mündelvermögens durch die Beiständin selbst vor dem Hintergrund eines allfälligen Wissens um die Erbeinsetzung moralisch nicht zu entschuldigen wäre, ist vorliegend aus rechtlicher Sicht allein massgebend, dass die Verfügungsberechtigung ausschliesslich dem aktuellen und nicht einem zukünftigen potenziellen Vermögensträger zusteht; bis zum Tod des Erblassers handelt es sich für einen allfälligen Erben um Fremdvermögen, an welchem er in keiner Weise rechtszuständig ist.
6. Zusammenfassend ergibt sich, dass im Umfang der von der Beiständin getätigten Bankbezüge, für deren Verwendung keine Belege vorliegen, was unbestrittenermassen den Betrag von Fr. 108'140.55 betrifft, ein Schaden gegeben ist. Demgegenüber können die Kosten des Prozesses gegen die Beiständin nicht als Schaden im Prozess gegen die Mitglieder der Vormundschaftsbehörde geltend gemacht werden. Zwar können Rechtsverfolgungskosten unter Umständen eine Schadensposition darstellen (vgl. Urteil 4C.11/2003 vom 19. Mai 2003 E. 5.1 und 5.2 m.w.H.). Indes ist die Haftung der Mitglieder der vormundschaftlichen Behörden im Sinn von <ref-law> eine selbständige und es ist auch ein eigenständiger Prozess erforderlich. Insofern ist nicht ersichtlich, inwiefern sie für das Inkassorisiko mit Bezug auf die Kosten des Prozesses gegen die Beiständin einstehen sollen; solches ergibt sich jedenfalls auch nicht aus der sich offensichtlich auf den durch schuldhaftes Handeln zugefügten Schaden beziehenden Formulierung in <ref-law>, dass bei gleichzeitiger Haftbarkeit die Mitglieder der Vormundschaftsbehörde für das belangt werden können, "was vom Vormund nicht erhältlich ist". Exkulpations- oder Reduktionsgründe wurden von den Beschwerdegegnern nicht geltend gemacht und vom Obergericht auch nicht festgestellt. Die übrigen Haftungsvoraussetzungen wurden im Urteil 5A_594/2008 vom 2. Dezember 2008 verbindlich bejaht. Demzufolge ist dem Beschwerdeführer der Betrag von Fr. 108'140.55 zuzusprechen.
Der Beschwerdeführer verlangt auf diesem Betrag Zins von 5 % seit 2. April 2002 (Datum des Sühnebegehrens im seinerzeit gegen die Beiständin eingeleiteten Haftungsprozess). Die Beschwerdegegner machen geltend, an jenem Verfahren nicht beteiligt gewesen zu sein, weshalb auch für den Zins keine Bindewirkung bestehe. Der Schädiger ist in dem Zeitpunkt ersatzpflichtig, in welchem der Schaden eintritt (<ref-law>, OFTINGER/STARK, a.a.O., § 6 Rz. 19). Zum Schaden gehört deshalb nach konstanter Rechtsprechung der Zins vom Zeitpunkt an, in dem das schädigende Ereignis sich finanziell ausgewirkt hat; dieser Schadenszins bezweckt, den Anspruchsberechtigten so zu stellen, wie wenn er für seine Forderung am Tag der unerlaubten Handlung bzw. für deren wirtschaftliche Auswirkungen befriedigt worden wäre (<ref-ruling> E. 6 S. 519). Er setzt im Gegensatz zum Verzugszins weder eine Mahnung des Gläubigers noch den Verzug des Schuldners voraus, erfüllt jedoch denselben Zweck: Er soll den Nachteil ausgleichen, der dadurch entsteht, dass ein Kapital nicht genutzt werden kann, weshalb er wie der Verzugszins mit 5 % zu veranschlagen ist (<ref-ruling> E. 4a/b S. 54 ff.). Der Schadenszins darf nicht auf den Schaden aufgerechnet bzw. auf den Schadenszins darf nicht zusätzlich Verzugszins kumuliert werden (mit ausführlicher Begründung <ref-ruling> E. 9 S. 22 ff.), was vorliegend aber auch nicht verlangt wird. Vielmehr beschränkt sich das Rechtsbegehren auf einen Schadenszins von 5 % ab 2. April 2002. In diesem Zeitpunkt war der Schaden längst eingetreten, weshalb der Zins im geforderten Umfang zugesprochen werden kann.
Die Mitglieder der Vormundschaftsbehörde haften für die vorgenannte Forderung nebst Zins nicht solidarisch, sondern anteilsmässig (<ref-law>).
7. Der Beschwerdeführer ist mit Ausnahme einer untergeordneten Kostenforderung, für welche sich keine Kostenausscheidung rechtfertigt, grundsätzlich durchgedrungen, weshalb die Beschwerdegegner kosten- und entschädigungspflichtig werden (Art. 66 Abs. 1 und Art. 68 Abs. 2 BGG). Die Liquidation der kantonalen Kosten entsprechend dem neuen Ausgang des Verfahrens wird dem Obergericht übertragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. In teilweiser Gutheissung der Beschwerde in Zivilsachen und in Aufhebung des Urteils des Obergerichtes des Kantons Zürich vom 10. November 2011 werden die Beschwerdegegner verurteilt, dem Beschwerdeführer je Fr. 18'023.40 nebst Zins zu 5 % seit 2. April 2002 zu bezahlen. Im Übrigen wird die Beschwerde abgewiesen.
2. Die Gerichtskosten von Fr. 5'000.-- werden den Beschwerdegegnern auferlegt, unter solidarischer Haftbarkeit.
3. Die Beschwerdegegner haben den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 5'000.-- zu entschädigen, unter solidarischer Haftbarkeit.
4. Die Liquidation der kantonalen Kosten wird dem Obergericht übertragen.
5. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, II. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 24. Mai 2012
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Möckli