Sachverhalt: A. A._ ist Alleinerbe seines am 5. August 2000 verstorbenen gleichnamigen Onkels und Paten. Auf eigenes Ersuchen war für H._ sel. durch Beschluss der Vormundschaftsbehörde K._ vom 5. Juli 1999 eine Beistandschaft im Sinn von Art. 394 ZGB errichtet und wunschgemäss L._ als Beiständin ernannt worden. Nachdem diese trotz mehrfacher Aufforderung und Mahnung kein Eröffnungsinventar erstellt hatte, beschloss die Vormundschaftsbehörde am 23. Mai 2000, die Beiständin im Sinn von Art. 448 ZGB in ihrem Amt vorläufig einzustellen. Gleichzeitig wurde Treuhänder M._ als vorläufiger Beistand eingesetzt. Dieser stellte am 8. September 2000 fest, dass das Vermögen des Verbeiständeten praktisch aufgebraucht war, obwohl ihm Anfang des Jahres 2000 aus dem Verkauf der Eigentumswohnung 120'000.-- an baren Mitteln zugeflossen waren. Weiter stellte er fest, dass für die Summe von Fr. 108'140.55 jegliche Quittungen fehlten bzw. durch L._ nicht beigebracht werden konnten. Die Schlussabrechnung wurde von der Vormundschaftsbehörde mit Beschluss vom 5. Februar 2001 genehmigt. In der Folge erhob A._ als Erbe des H._ sel. am 22. August 2002 gegen die ehemalige Beiständin eine Klage über Fr. 108'140.55 nebst Zins seit 2. April 2002. L._ anerkannte diese Forderung mit Schreiben vom 7. September 2002, worauf Bezirksgericht N._ das Verfahren mit Beschluss vom 17. Oktober 2002 als durch Klageanerkennung erledigt abschrieb. Es stellte sich heraus, dass L._ überschuldet und die von ihr anerkannte Forderung deshalb uneinbringlich war. B. In der Folge reichte A._ am 23. September 2003 gestützt auf Art. 426 ff. ZGB gegen die Mitglieder der Vormundschaftsbehörde K._ eine Klage über Fr. 115'231.75 (die vorgenannten Fr. 108'140.55 zuzüglich Fr. 7'091.20 Prozessentschädigung aus dem Verfahren gegen die Beiständin) nebst Zinsen ein. Mit Urteilen vom 14. September 2006 bzw. 12. Juni 2007 wiesen das Bezirksgericht N._ und das Obergericht des Kantons Zürich die Klage von A._ sowie am 30. Juni 2008 das Kassationsgericht des Kantons Zürich die von ihm erhobene Nichtigkeitsbeschwerde ab. Demgegenüber erachtete das Bundesgericht mit Urteil 5A_594/2008 vom 2. Dezember 2008, publiziert als BGE 135 III 198, die Haftungsvoraussetzungen als grundsätzlich gegeben und wies die Sache zur Bemessung des Schadens sowie für allfällige Exkulpations- oder Reduktionsgründe an das Obergericht zurück. Dieses wies die Sache seinerseits zur betreffenden Beweiserhebung und Neubeurteilung an das Bezirksgericht zurück, welches eine lange Zeugeneinvernahme mit L._ durchführte. Mit Urteilen vom 9. August 2010 bzw. 10. November 2011 wiesen das Bezirksgericht N._ und das Obergericht Zürich die Klage erneut ab mit der Begründung, das Beweisverfahren habe aufgrund der Zeugenaussagen von L._ ergeben, dass H._ sel. allen Geldbezügen laufend und jedenfalls nachträglich zugestimmt habe, weshalb keine unfreiwillige Vermögensminderung vorliege und folglich gar kein Schaden entstanden sei. C. Gegen das obergerichtliche Urteil vom 10. November 2011 hat A._ am 9. Januar 2012 eine Beschwerde in Zivilsachen erhoben mit dem Begehren um Verurteilung der Beschwerdegegner zu Fr. 115'231.75 nebst Zins zu 5 % seit 2. April 2002 auf Fr. 108'140.55 und seit 17. April 2003 auf Fr. 7'091.20. Er wirft dem Obergericht eine willkürliche Sachverhaltsfeststellung bzw. Beweiswürdigung vor und macht in verschiedener Hinsicht Rechtsverletzungen geltend. Das Obergericht hat mit Stempel vom 27. Januar 2012 auf eine Vernehmlassung verzichtet. Die Beschwerdegegner schliessen in ihrer Vernehmlassung vom 15. Februar 2012 auf kostenfällige Abweisung der Beschwerde. Die Sache wurde an einer Sitzung am 24. Mai 2012 öffentlich beraten.