Sachverhalt:
A. B._ wurde am 28. März 1937 als eheliches Kind von E und F G._ geboren. Sie wuchs in X._ auf. Nach der Schule arbeitete sie an wechselnden Orten als Hilfskraft. Später wurde sie Mutter von zwei ausserehelichen Kindern (1958 und 1962), die zur Adoption freigegeben wurden. Im Jahr 1965 heiratete sie den Landwirt I._, wenige Wochen vor der Geburt des gemeinsamen Sohnes J._, der 1975 fremdplatziert werden musste und später tödlich verunglückte. Der Ehemann starb 1971 und hinterliess ein ansehnliches Vermögen, insbesondere mehrere Grundstücke in der Gemeinde Y._. Die im Jahr 1974 mit K._, einem Knecht im Landwirtschaftsbetrieb von I._, eingegangene Ehe wurde 1977 wieder geschieden. Ein Jahr später heiratete B._ den RhB-Angestellten C._. Das Ehepaar lebte bis Mai 1998 im Engadin, anschliessend im Kanton Tessin.
Im Zusammenhang mit kleineren Vermögensdelikten wurde B._ 1961 erstmals begutachtet. Die Diagnose der Ärzte lautete auf eine haltlose und willensschwache, infantile und primitiv intelligente Person. 1975 erfolgten Klinikeinweisungen wegen Suizid- und Verwahrlosungsgefahr, wobei die Gutachter eine hysterische Psychopathie mit Verwahrlosungstendenzen feststellten; ausserdem bestehe erheblicher Verdacht auf eine Polytoxikomanie, vor allem mit Schmerz- und Schlaftabletten. Im Rahmen einer weiteren Strafuntersuchung ergab ein neues Gutachten, dass B._ als haltlose, hysterische Psychopathin einzustufen sei, welche ausgesprochen triebhaft handle sowie geltungssüchtig und lügenhaft sei. Wegen zunehmender sozialer und körperlicher Verwahrlosung wurde 1987 ein weiterer Anstaltsaufenthalt notwendig. Die begutachtenden Ärzte diagnostizierten eine hysterische Psychopathie mit Geltungssucht, Haltlosigkeit und Triebhaftigkeit sowie eine durch Medikamentenmissbrauch bedingte Polytoxikomanie. Die Patientin sei zwar durchaus in der Lage, die Angelegenheiten des täglichen Lebens zu überblicken; für weiterreichende Entscheidungen fehle ihr aber die geordnete Denk- und Handlungsweise. Bestätigt wurden diese Untersuchungsergebnisse durch ein Gutachten im Tessin aus dem Jahr 2004.
B. Im Jahr 1973 entzog die Vormundschaftsbehörde B._ gestützt auf <ref-law> die Handlungsfähigkeit. 1975 wurde die Massnahme bestätigt und Dr. iur. L._ als Vertreter eingesetzt. Im Jahr 1978 ersetzte die Vormundschaftsbehörde die Massnahme durch eine Verwaltungsbeiratschaft im Sinn von <ref-law> mit Dr. L._ als Beirat. Ab 1984 wurde die Beiratschaft durch die Vormundschaftsbehörde geführt. 1985 wurde B._ gestützt auf <ref-law> entmündigt und der Sozialarbeiter M._ als Vormund eingesetzt. Mangels liquider Mittel wurde 1986 im Einverständnis mit der Vormundschaftsbehörde und dem Bezirksgerichtsausschuss eine Parzelle verkauft. Der nach Ablösung der Hypothek und Tilgung der übrigen Schulden verbleibende Betrag wurde mündelsicher angelegt.
Ab Januar 1995 wurde A._ zunehmend für B._ und C._ tätig, dies gestützt auf deren umfassend gehaltene Vollmachten. Am 16. Februar 1996 liess B._ durch A._ bei der Vormundschaftsbehörde die Aufhebung der Vormundschaft beantragen. Nach Verhandlungen wandelte die Vormundschaftsbehörde die Vormundschaft mit Beschluss vom 2. Oktober 1996 in eine kombinierte Mitwirkungs- und Verwaltungsbeiratschaft um, unter Einsetzung von A._ zum Beirat mit Wirkung ab 1. Dezember 1996. Dieser machte sowohl gegenüber der Vormundschaftsbehörde als auch gegenüber B._ und C._ geltend, dass sämtliche Bemühungen nach dem Anwaltstarif zu entschädigen seien.
C. Als Anwalt und Beirat von B._ wollte A._ im Rahmen des Projektes "Z._" in Y._ erreichen, dass die Parzellen Nr. 1 und 2 in eine Bauzone überführt würden, um sie und die beiden ebenfalls B._ gehörenden Grundstücke Nr. 3 und 4 zur Realisierung einer Überbauung veräussern zu können. Mit den Projektierungsarbeiten betraut wurde die N._ AG, an welcher A._ finanziell beteiligt und deren Verwaltungsratspräsident er war.
Wegen der Gefahr von Interessenkollisionen stellte die Vormundschaftsbehörde B._ mit Beschluss vom 29. Oktober 2001 für alle Geschäfte im Zusammenhang mit den Parzellen Nr. 1 und 2 einen Beistand ad hoc zur Seite. Die hiergegen gerichtete Beschwerde der durch einen Büropartner von A._ vertretenen B._ wies der Bezirksgerichtsausschuss Maloja mit Urteil vom 27. März 2002 ab. Im gleichen Entscheid wurde A._ seines Amtes als Beirat enthoben.
Während des Rechtsmittelverfahrens bezüglich Amtsenthebung veräusserte B._ am 14. Juni 2002 unter Mitwirkung von A._ ihre beiden Parzellen Nr. 3 und 4 für Fr. 46'520.-- an die Kollektivgesellschaft O._. Die Vormundschaftsbehörde und der Bezirksgerichtsausschuss stimmten diesem Geschäft zu. In Bezug auf die Parzellen Nr. 1 und 2 kam es unter Mitwirkung von A._ gleichentags zur Unterzeichnung eines Vorvertrages auf Abschluss von Kaufverträgen mit Begründung von limitierten Kaufrechten. Dieses Geschäft wurde durch die vormundschaftlichen Organe nicht bestätigt. Deshalb wurde der Vorvertrag am 24. Januar 2003, nunmehr unter Mitwirkung des Beistandes ad hoc, durch einen neuen ersetzt, wiederum auf Abschluss eines Kaufvertrages mit Einräumung von Kaufrechten und Vorkaufsrechten. Die Vormundschaftsbehörde und der Bezirksgerichtsausschuss genehmigten dieses Geschäft am 9. April 2003 bzw. 6. Mai 2003.
Die Teilrevision der Ortsplanung Y._ für das Gebiet "Z._" wurde an den Gemeindeversammlungen vom 18. Dezember 2000 und vom 9. Dezember 2002 gutgeheissen. In der Folge kam es zusätzlich zum bereits erwähnten Vorvertrag zum Abschluss verschiedener, für die Einleitung des regierungsrätlichen Genehmigungsverfahrens notwendiger Vereinbarungen, teils zwischen den betroffenen Grundeigentümern selbst, teils zwischen einzelnen von ihnen und der Gemeinde Y._. Am 5. Juni 2003 wurden die durch die Teilrevision der Ortsplanung geänderten Pläne an die Kantonsregierung weitergeleitet, welche sie mit Beschluss vom 14. Januar 2004 genehmigte. Damit wurde der Weg frei für die Veräusserung von zu Bauland gewordenem Grundbesitz von B._.
D. In der Zeit, in welcher A._ als Beirat von B._ tätig war, verringerte sich deren Wertschriftenvermögen von ursprünglich Fr. 650'000.-- Ende November 1996 auf Franken Null Ende Oktober 2001. Nach der endgültigen Abweisung der gegen die Amtsenthebung eingelegten Rechtsmittel Ende Dezember 2002 widerrief B._ die ihm erteilten Vollmachten. An seiner Stelle ernannte sie am 16. Januar 2003 Rechtsanwalt P._, zu ihrem Vertreter. Zu diesem Zeitpunkt verfügten B._ und ihr Ehemann lediglich noch über ein monatliches Renteneinkommen von Fr. 5'500.-- bis Fr. 6'000.--. Bei Bewertung der Parzellen Nr. 1 und 2 zu Nichtbaulandpreisen bestanden per 31. Dezember 2002 Schulden in der Höhe von Fr. 357'490.05 (Gutachten H._).
E. Am 17. März 2004 klagte B._ gegen A._ aus vormundschaftlicher Verantwortlichkeit auf Zahlung von Fr. 500'000.-- nebst Zins zu 5% seit 17. März 2004. Sie vertrat die Meinung, dass das Wertschriftenvermögen im Zeitpunkt der Beendigung der Beiratschaft noch in diesem Betrag hätte vorhanden sein sollen; dass das ganze Vermögen verbraucht worden sei, müsse ihrem ehemaligen Beirat angelastet werden. Nach ihrem Tod am 11. Juli 2004 traten die Erben in den Prozess ein. Es handelt sich um den Ehemann C._, den Sohn D._ und die von der Erblasserin testamentarisch errichtete Stiftung B._.
Mit Urteilen vom 28. August 2007 und 22. September 2008 verurteilten sowohl das Bezirksgericht Surselva als auch das Kantonsgericht von Graubünden A._ zur Zahlung von Fr. 500'000.-- nebst Zins an die in den Prozess eingetretenen Erben von B._.
F. Gegen das Urteil des Kantonsgerichts hat A._ am 15. Mai 2009 eine Beschwerde in Zivilsachen erhoben mit den Begehren um dessen Aufhebung und Klageabweisung, eventualiter um Festlegung des Schadens nach Ermessen des Bundesgerichts, subeventualiter um Rückweisung der Sache an das Kantonsgericht. Ferner werden verschiedene Ausstandsbegehren gestellt. Mit Schreiben vom 25. Juni 2009 hat das Kantonsgericht auf eine Vernehmlassung verzichtet. In ihrer Vernehmlassung vom 17. August 2009 haben die Beschwerdegegner auf Beschwerdeabweisung geschlossen.

Erwägungen:
1. Vorab ist über die Eintretensvoraussetzungen und die Ausstandsbegehren zu befinden.
1.1 Angefochten ist ein kantonal letztinstanzlicher Entscheid in einer Zivilsache mit Fr. 30'000.-- übersteigendem Streitwert; die Beschwerde erweist sich als zulässig (Art. 72 Abs. 1, Art. 74 Abs. 1 lit. b, Art. 75 Abs. 1 und Art. 90 BGG).
1.2 Nebst der unrichtigen Anwendung von Bundeszivilrecht werden verschiedene Verfassungsverletzungen gerügt. Diese werden bei der Beschwerde in Zivilsachen zwar erwähnt, aber erst im Rahmen der im zweiten Teil der Eingabe erhobenen subsidiären Verfassungsbeschwerde richtig begründet. Letztere steht nicht offen (vgl. <ref-law> zweiter Teilsatz), weil Verfassungsnormen zum Bundesrecht im Sinn von <ref-law> gehören und entsprechende Verletzungen vorliegend im Rahmen der Beschwerde in Zivilsachen geltend gemacht werden können (<ref-ruling> E. 1 S. 203; <ref-ruling> E. 1.2 S. 382). Sofern jedoch die für Verfassungsrügen geltenden erhöhten Begründungsanforderungen gemäss <ref-law> erfüllt sind und die Konversion als Ganzes möglich ist (<ref-ruling> E. 6 S. 279; <ref-ruling> E. 1.2 S. 382), was vorliegend zutrifft, schadet die falsche Bezeichnung des Rechtsmittels nicht (<ref-ruling> E. 3 S. 437; <ref-ruling> E. 1.3 S. 296), weil die unzulässige Verfassungsbeschwerde diesfalls konvertiert und als Teil der Beschwerde in Zivilsachen entgegengenommen werden kann (Urteile 4A_480/2007 E. 1.2 und 1.3; 4D_30/2007 E. 2.2).
1.3 Der Beschwerdeführer verlangt den Ausstand von Bundesrichter Bianchi, Meyer und Zünd sowie Gerichtsschreiber Schett. Er hält diese für befangen, weil das Bundesgericht in dieser Besetzung seinerzeit die Amtsenthebung des Beschwerdeführers geschützt (Urteile 5C.200/2002 und 5P.320/2002, je vom 16. Oktober 2002) und in diesem Zusammenhang erwogen hat, dass der vollständige Verbrauch des Wertschriftenvermögens nichts anderes bedeute, als dass der Beschwerdeführer als Beirat die ihm übertragene Aufgabe schlechthin nicht wahrgenommen habe, weshalb sich die Absetzung von selbst verstehe.
Die Ausstandsbegehren sind insofern ohne Gegenstand, als vorliegend in anderer Besetzung geurteilt wird. Der Vollständigkeit halber sei aber festgehalten, dass die erneute Mitwirkung an der gleichen Sache in der Regel keinen Anschein von Befangenheit zu begründen vermag (<ref-ruling> E. 2a S. 30; <ref-ruling> E. 3.6 S. 120).
2. Das Kantonsgericht hat dem Beschwerdeführer zusammengefasst vorgeworfen, dem Vermögensverzehr tatenlos zugeschaut zu haben, und es verneinte die Kausalität zwischen dem Vermögensverzehr und der Wertsteigerung der Grundstücke infolge Einzonung. Es befand, der Beschwerdeführer habe bis zur effektiven Umzonung nicht auf die Wertsteigerung spekulieren dürfen, weil diese ungewiss gewesen sei. Immerhin wäre ein jährlicher Vermögensverzehr von Fr. 25'000.-- angesichts der gesamten Umstände zulässig gewesen, so dass der Beschwerdeführer hierfür trotz Untätigkeit nicht einzustehen habe. Hingegen hätte er den Verbrauch des restlichen Vermögens von Fr. 500'000.-- nicht zulassen dürfen, weil das monatliche Einkommen von B._ und C._ zwischen Fr. 5'500.-- und Fr. 6'000.-- für die Altersvorsorge, insbesondere für Pflegekosten nicht ausgereicht hätte.
2.1 Im Rahmen seiner Verfassungsrügen bzw. der Rüge der willkürlichen Anwendung kantonalen Rechts macht der Beschwerdeführer zunächst geltend, in der Klageschrift sei ein monatliches Einkommen von Fr. 6'500.-- zugestanden gewesen und das Kantonsgericht hätte deshalb keine anderen Feststellungen treffen bzw. kein Beweisverfahren über die Höhe des Einkommens durchführen dürfen; <ref-law>/GR sei willkürlich angewandt worden. Die Beschwerdegegner machen dagegen in ihrer Vernehmlassung geltend, die Höhe des Einkommens sei in der Prozessantwort bestritten und deshalb sei darüber Beweis zu führen gewesen.
Wie es sich damit verhält, kann offen bleiben, weil eine Differenz von Fr. 500.-- offensichtlich nicht entscheidrelevant wäre: Das Kantonsgericht hat zutreffend erwogen, dass bei Personen in fortgeschrittenem Alter mit vorhandenem Vermögen bevorstehende Pflegekosten sichergestellt werden müssen. Im Pflegefall von B._ - womit angesichts ihres schlechten und zunehmend schlechteren Gesundheitszustandes ernsthaft zu rechnen war - hätte der Ehemann weiterhin ein Teil des gemeinsamen Renteneinkommens für sein tägliches Leben gebraucht, so dass nur ein Betrag in der Grössenordnung von maximal etwas über Fr. 3'000.-- für die Pflegekosten von B._ verblieben wäre. Es ist notorisch, dass der Aufenthalt in einem Alters- oder Pflegeheim erheblich teurer ist; im Urteil 5C.186/2006, E. 3.2.3, hat das Bundesgericht von monatlichen Kosten bis zu Fr. 20'000.-- gesprochen, weshalb es in jenem Fall im Zusammenhang mit der Verwandtenunterstützungspflicht befunden hat, dass im Alter ein ganz erheblicher Vermögensbedarf bestehe, der nicht angetastet werden dürfe.
2.2 Sodann rügt der Beschwerdeführer als willkürlich und gehörsverletzend, dass seinem Antrag auf Edition sämtlicher Bankbelege der Credit Suisse der Jahre 1997 bis 2002 nicht stattgegeben worden sei. Aus diesen könnte sich ergeben, dass ein Teil des verbrauchten Geldes in die Baulandentwicklung geflossen und insofern gar kein Schaden entstanden sei.
Im kantonalen Verfahren hatte der Beschwerdeführer seinen Editionsantrag lediglich damit begründet, dass aus den Bankbelegen ersichtlich sei bzw. sein könnte, dass das meiste Geld von C._ abgehoben worden sei. Das Kantonsgericht hat diesem Vorbringen zutreffend entgegengehalten, die Urheberschaft sei nicht von Belang, da der Beschwerdeführer im Rahmen der kombinierten Beiratschaft über B._ auch hätte einschreiten müssen, wenn ihr Ehemann statt sie selbst (das unbestrittenermassen B._ allein gehörende) Geld abgehoben und verbraucht hätte. Dass ein Teil des Geldes in die Baulandentwicklung geflossen sein könnte bzw. solches aus den Bankauszügen ersichtlich sei, wird erst vor Bundesgericht behauptet und ist somit neu. Damit lässt sich weder Willkür noch eine Gehörsverletzung mit Bezug auf die kantonale Beweisaufnahme dartun.
Gleiches gilt für die Edition der Eurocard-Abrechnung, welche das Kantonsgericht abgewiesen hat mit der Begründung, nach <ref-law>/GR könnten vor zweiter Instanz keine neuen Beweismittel angerufen werden. Darin liegt keine Gehörsverletzung begründet, gibt doch das rechtliche Gehör einen Anspruch einzig auf die Abnahme prozessual rechtzeitig und formrichtig angebotener Beweismittel (<ref-ruling> E. 2b S. 162; <ref-ruling> E. 2 S. 242).
2.3 Der Beschwerdeführer macht weiter geltend, der Urteilszeitpunkt sei für die Schadensberechnung massgeblich und deshalb hätte der Wert der Grundstücke für diesen Zeitpunkt abgeklärt werden müssen; auch in diesem Zusammenhang sei <ref-law> verletzt.
Wie das Kantonsgericht zutreffend festgestellt hat und worauf zurückzukommen sein wird, steht die Wertvermehrung der Grundstücke durch Einzonung in keinem (Kausal-) Zusammenhang mit dem durch vollständigen Verbrauch des Wertschriftenvermögens eingetretenen Schaden und durfte der Beirat nicht einfach auf eine Wertvermehrung der Grundstücke spekulieren. Entsprechend ist der genaue Baulandwert der Grundstücke nicht erheblich. Es besteht aber ein Anspruch auf Abnahme nur von entscheidrelevanten Beweismitteln (<ref-ruling> E. 4a S. 55; <ref-ruling> E. 2 S. 242). Ohnehin wurden die Grundstücke bereits im Gutachten H._ sowohl zu Bauland- als auch zu Nichtbaulandpreisen erfasst, so dass sich das Einholen eines weiteren Gutachtens nach den Feststellungen des Kantonsgerichtes auch aus diesem Grund erübrigte.
2.4 Der Beschwerdeführer rügt schliesslich eine Verletzung bzw. eine willkürliche Anwendung von Art. 52 EGzZGB/GR, wonach die Vormundschaftsbehörde von Amtes wegen zu handeln hat, sobald ihr ein Grund zum Einschreiten bekannt wird.
Wie das Kantonsgericht zutreffend erwogen hat, durfte der Beschwerdeführer aufgrund des später teilweise unterbliebenen Einschreitens der Vormundschaftsbehörde nicht einfach darauf schliessen, diese sei einverstanden, und noch weniger, er müsse dem Vermögensverzehr keinen Einhalt gebieten.
Sind aber die Haftungsvoraussetzungen zu bejahen, was im Folgenden zu prüfen sein wird, so ist der Beschwerdeführer als Beirat aufgrund der sog. Kaskadenhaftung als erster und unabhängig von einem allfälligen Mitverschulden der Vormundschaftsbehörde ins Recht zu fassen (vgl. <ref-law>). Eine Ausnahme von der primären Haftung des Beirates könnte einzig dann zur Diskussion stehen, wenn die Vormundschaftsbehörde in selbständiger und führender Weise einen Haftungsgrund gesetzt hätte, z.B. durch unsachgemässe verbindliche Weisungen (<ref-ruling>; FORNI/PIATTI, Basler Kommentar, N 8 zu Art. 426-429 ZGB), wobei selbst solchen Weisungen nicht blind Folge geleistet werden dürfte (AEPLI, Die Verantwortlichkeit der vormundschaftlichen Organe, Diss. Freiburg 1979, S. 42); verbindliche Weisungen behauptet aber ohnehin nicht einmal der Beschwerdeführer.
Aufgrund des Gesagten ist der Behauptung, die Nichtanwendung von Art. 52 EGzZGB durch das Kantonsgericht stelle eine Rechtsverweigerung dar, von vornherein der Boden entzogen.
2.5 Hält die kantonale Sachverhaltsfeststellung aufgrund der vorstehenden Erwägungen vor den verfassungsrechtlichen Garantien stand, ist die Haftung des Beirates auf dieser tatbeständlichen Grundlage zu prüfen (<ref-law>).
3. Die Haftung des Beirates richtet sich nach den Bestimmungen über diejenige des Vormundes (Art. 367 Abs. 3 i.V.m. <ref-law>; <ref-ruling> E. 1 S. 467) und kennt die üblichen Haftungsvoraussetzungen, nämlich Schaden, adäquater Kausalzusammenhang, Widerrechtlichkeit sowie Verschulden (<ref-law>; AEPLI, a.a.O. S. 22).
3.1 Als der Beschwerdeführer am 1. Dezember 1996 das Amt als Beirat antrat, verfügte B._ über ein Wertschriftenvermögen von Fr. 650'000.-- (Festgeldanlage von Fr. 100'000.-- und Kassenobligationen von Fr. 550'000.--). Bereits Ende 2001 war dieses Kapital vollständig aufgebraucht. Das Kantonsgericht stellte fest, dass das Vermögen anfänglich einen jährlichen Ertrag von Fr. 35'000.-- abwarf. Sodann verfügte das Ehepaar über ein Renteneinkommen von Fr. 65'000.-- pro Jahr. Das Kantonsgericht erwog, dass der Beirat vor diesem Hintergrund einen jährlichen Vermögensverzehr von Fr. 25'000.-- hätte zulassen dürfen, um eine den Umständen entsprechende Lebensführung zu ermöglichen, jedoch ein darüber hinausgehender Vermögensverzehr mit Hinblick auf die Altersvorsorge bzw. Pflegebedürftigkeit von B._ nicht statthaft war. Im Übrigen befand es, der Beirat habe nicht auf die Umzonung der Grundstücke und einen damit verbundenen Vermögenszuwachs spekulieren dürfen, und für die Schadensberechnung könne auch nicht einfach die damalige mit der heutigen Vermögenslage verglichen werden, weil zwischen dem Verzehr des Anlagevermögens und dem Wertzuwachs der Grundstücke infolge Umzonung zu Bauland kein Konnex bestehe. Ausgehend von diesen Erwägungen bestimmte es den Schaden auf Fr. 500'000.-- (Fr. 650'000.-- abzüglich den als zulässig erachteten Vermögensverzehr von Fr. 25'000.-- pro Jahr bis zur rechtskräftigen Amtsenthebung).
3.1.1 Der Beschwerdeführer macht in erster Linie geltend, im Zeitpunkt der Amtsenthebung sei das Vermögen von B._ erheblich grösser gewesen als bei der Amtsübernahme; er habe es folglich vermehrt und könne nicht haftbar sein.
Das in diesem Zusammenhang gemachte Vorbringen der Surrogation scheitert bereits daran, dass die Grundstücke nicht aus dem Wertschriftenvermögen erworben wurden, sondern diese B._ ab initio bzw. parallel zu den Wertschriften gehörten.
Desgleichen geht das Argument der Vorteilsanrechnung an der Sache vorbei, besteht doch zwischen der Vermögenszunahme infolge Überführung der Grundstücke in die Bauzone und der Vermögensabnahme durch Verbrauch des Wertschriftenkapitals kein innerer Zusammenhang, d.h. es fehlt an der für die Vorteilsanrechnung notwendigen Konnexität: Unabhängig vom Wert der Grundstücke wäre das heutige Gesamtvermögen ohne Verzehr dieses Kapitals um Fr. 500'000.-- grösser, und massgeblich ist entgegen der Auffassung des Beschwerdeführers nicht die Differenz zwischen dem Vermögensstand bei Amtsantritt und Amtsenthebung, sondern die Differenz zwischen dem Vermögensstand mit und ohne den als unzulässig erachteten Kapitalverzehr.
3.1.2 Soweit der Beschwerdeführer vorbringt, ein Teil des verbrauchten Kapitals sei in die Baulandentwicklung geflossen und habe insofern zu einer Vermögenssteigerung beigetragen, handelt es sich um eine neue und damit unzulässige Behauptung, zumal nicht erst der angefochtene Entscheid dazu Anlass gegeben hat (<ref-law>; vgl. auch E. 2.2). Massgeblich ist für das bundesgerichtliche Verfahren somit die kantonale Sachverhaltsfeststellung, dass das gesamte Wertschriftenvermögen - wie vom Beschwerdeführer denn auch ursprünglich vorgebracht - für einen gehobenen Lebensstandard von B._ und C._ verbraucht worden und kein Konnex zwischen Kapitalverzehr und Wertsteigerung der Grundstücke gegeben sei (<ref-law>).
3.1.3 Wenn der Beschwerdeführer schliesslich geltend macht, das Kantonsgericht habe <ref-law> verletzt, weil es bei der Schadensfestsetzung die Verschuldensfrage nicht geprüft habe, so ist auf die nachfolgende E. 3.4 zu verweisen, wonach das Verschulden des Beschwerdeführers schwer wiegt.
Im Übrigen gebieten auch Recht und Billigkeit nicht, einen geringeren Schaden anzunehmen: Es trifft zwar zu, dass den Erben von B._ nunmehr ein ansehnliches Vermögen zugefallen ist; dieses ist aber ausschliesslich auf die Umzonung zurückzuführen, die nach dem Gesagten in keinem Zusammenhang mit dem Kapitalverzehr steht. B._ selbst hat denn auch bis zu ihrem Tod nie von diesem Vermögenszuwachs profitiert, sondern vielmehr den vollumfänglichen Kapitalverzehr zu tragen gehabt. Im Übrigen ist der Beschwerdeführer, was im Zusammenhang mit der von ihm angerufenen Billigkeitsmaxime ebenfalls zu berücksichtigen wäre, nicht etwa in einem altruistischen Sinn für B._ tätig geworden; vielmehr hat er das Mandat geradezu an sich gezogen, um im Zusammenhang mit seinen über die von ihm präsidierte N._ AG abgewickelten Überbauungsplänen eigennützige Ziele verfolgen zu können, und er hat der Vormundschaftsbehörde gegenüber auch dezidiert geltend gemacht, dass alle beiratschaftlichen Leistungen zum Anwaltstarif abzugelten seien. Vor diesem Hintergrund kann von einer "aufopfernden Tätigkeit", wie der Beschwerdeführer dies geltend macht, keine Rede sein, und lässt sich dem Kantonsgericht auch keine Verletzung von <ref-law> vorwerfen, wenn es nicht von schadensausschliessenden oder jedenfalls schadensmildernden Umständen ausgegangen ist.
3.2 Der vorstehend beschriebene Schaden ist ein reiner Vermögensschaden. Somit ist kein absolutes Rechtsgut verletzt und die Widerrechtlichkeit nur gegeben, wenn der Beschwerdeführer mit seinem Verhalten gegen den Schutzzweck bestimmter Normen verstossen bzw. die aus einer Garantenstellung fliessenden Handlungspflichten verletzt hat (<ref-ruling> E. 3c S. 20).
3.2.1 B._ stand unter einer sog. kombinierten Beiratschaft, bei welcher dem Beirat sowohl die Mitwirkung zu bestimmten Geschäften im Sinn von <ref-law> als auch die Verwaltung des Mündelvermögens gemäss <ref-law> obliegt. Die Verwaltungsbeiratschaft hat eine Beschränkung der Handlungsfähigkeit der verbeirateten Person zur Folge. Nicht anders als bei einer bevormundeten Person ist dem Verbeirateten der Bereich der Vermögensverwaltung gänzlich entzogen (LANGENEGGER, Basler Kommentar, N. 14 und 17 zu <ref-law>; BACHMANN, Die Beiratschaft de lege lata und de lege ferenda, Diss. Zürich 1990, S. 120). Diesbezüglich hat der Beirat gemäss Art. 395 Abs. 2 i.V.m. <ref-law> die Pflicht zur sorgfältigen Verwaltung des Mündelvermögens. Im Vordergrund steht dabei die Erhaltung oder sogar die Mehrung der Substanz (GULER, Basler Kommentar, N. 3 zu <ref-law>; CAVIEZEL, Die Vermögensverwaltung durch den Vormund, Diss. Freiburg 1987, S. 202). Geschütztes Rechtsgut ist hier mithin das Vermögen (<ref-ruling> E. 4a S. 20). Dessen Erhalt oder gar Äufnung ist freilich kein Selbstzweck; vielmehr ist das Gesamtinteresse des Verbeirateten bestmöglichst zu wahren und das Vermögen den konkreten Verhältnissen angepasst zu verwalten (CAVIEZEL, a.a.O., S. 216). Das bedeutet, dass der Beirat die Ausgaben für den Verbeirateten so planen muss, dass nach vorsichtiger Schätzung dessen Lebensführung gegen das Lebensende hin keine Beeinträchtigung zu erleiden braucht (CAVIEZEL, a.a.O., S. 222). Zu diesem Zweck ist das Vermögen, soweit es nicht für notwendige oder weitere den konkreten Vermögensverhältnissen angepasste Ausgaben verwendet wird, mündelsicher anzulegen; der Beirat hat sich dabei jeglicher spekulativer Anlagen oder Geschäfte zu enthalten (BGE 52 II 319 E. 2 S. 321; GULER, a.a.O., N. 5 zu Art. 413).
3.2.2 An der soeben dargestellten Rechtslage scheitert die Behauptung des Beschwerdeführers, das Mündelwohl habe es geboten, für B._ ein grösstmögliches Mass an Wohlergehen und somit eine gehobene Lebensführung zu ermöglichen. Gerade die Unfähigkeit, vernünftig, d.h. den konkreten Verhältnissen angepasst mit Geld umzugehen, wozu insbesondere auch die Absicherung der im Alter üblicherweise anfallenden Kosten gehört, ist der massgebende Anlass für die Errichtung einer Verwaltungsbeiratschaft. Aus diesem Grund sind insbesondere auch die Literaturhinweise auf die Vermögensverwaltung bei Unmündigen, welche der Beschwerdeführer auf den vorliegenden Fall übertragen haben möchte, nicht einschlägig: Bei Kindern und jungen Erwachsenen steht die (unter Umständen kostenintensive) Ausbildung und nicht die Absicherung von Pflegekosten im Alter im Vordergrund.
3.2.3 Im genannten Zusammenhang macht der Beschwerdeführer im Übrigen geltend, als Beirat habe ihm ein grosses Ermessen zugestanden. In dieses dürfe nicht eingegriffen werden und nur ein eigentlicher Ermessensmissbrauch würde Widerrechtlichkeit begründen.
Mit dieser Argumentation überspielt der Beschwerdeführer den Kernvorwurf des Kantonsgerichts, er habe überhaupt keine Vorkehrungen getroffen. Hat sich aber der Beirat gar nicht erst um die Vermögensverwaltung gekümmert und insbesondere auch keine bewussten Entscheide getroffen, wie viel an Vermögen pro Jahr oder welche Beträge für einzelne Ereignisse zu verbrauchen sei, sondern hat er den innert wenigen Jahren erfolgten vollständigen Kapitalverzehr tatenlos gewähren lassen, so hat er seine Amtspflichten nicht im Ansatz wahrgenommen (so bereits das im vorliegenden Fall ergangene Urteil 5P.320/2002, E. 2.3; vgl. sodann das bei CAVIEZEL, S. 247, zitierte Urteil) und hat auch gar nicht erst eine Ermessensbetätigung stattgefunden.
3.2.4 Daran ändert auch der Hinweis auf die infolge Einzonung bei den Grundstücken eingetretene Wertvermehrung nichts. Nach dem Gesagten stellen spekulative Geschäfte - mit der Umzonung konnte nach den Feststellungen des Kantonsgerichts nicht gerechnet werden - eine Amtspflichtverletzung dar (vgl. E. 3.2.1). Das Kapitalvermögen war bei der ersten Gemeindeabstimmung weitestgehend und noch vor der zweiten Abstimmung vollständig aufgezehrt. Im Übrigen hat das Kantonsgericht für das Bundesgericht verbindlich festgehalten, dass die Überbaubarkeit selbst in diesem Zeitpunkt keineswegs sicher war, weil zwischen den Eigentümern im Zusammenhang mit Freihaltezonen komplizierte Verträge abzuschliessen waren, die angesichts der unterschiedlichen Interessen der einzelnen Eigentümer jederzeit hätten scheitern können und erst im Frühling 2003 erfolgreich zustande kamen. Das Kantonsgericht zog daraus den zutreffenden Schluss, dass die zulässige Lebenshaltung von B._ erst ab diesem Zeitpunkt bzw. ab der Genehmigung der Umzonung durch den Regierungsrat den neuen Verhältnissen hätte angepasst werden dürfen.
Entgegen der sinngemässen Darstellung des Beschwerdeführers fällt die Amtspflichtverletzung auch nicht im Nachhinein dadurch weg, dass die Spekulation am Ende aufgegangen ist. Die Handlungen bzw. Unterlassungen bleiben rechtswidrig. Einzig könnte es diesfalls an einem Schaden im Sinn einer Vermögensdifferenz fehlen, soweit zwischen Entreicherung und Bereicherung ein ursächlicher Zusammenhang bestünde, wie es sich gegebenenfalls in dem vom Beschwerdeführer erwähnten Beispiel der (nicht mündelsicheren) Anlage des Vermögens in Aktien verhalten kann. Vorliegend bestand indes zwischen dem Kapitalverzehr und dem Vermögenszuwachs auf den Grundstücken, wie bereits mehrfach festgehalten, kein Konnex.
3.2.5 Ebenso wenig verfängt die im gleichen Zusammenhang gemachte Aussage des Beschwerdeführers, seine Amtspflicht habe sich einzig darauf beschränkt, dass B._ nicht armengenössig werde, wofür aber angesichts des Renteneinkommens keine Gefahr bestanden habe:
Würde diese Argumentation zutreffen, dürfte bei Personen mit gesichertem Renteneinkommen unabhängig von einem konkreten Schwächezustand und Schutzbedürfnis von vornherein nie eine vormundschaftliche Massnahme verhängt werden. Ausschlaggebend ist aber ohnehin, dass die Berechtigung der vorliegend verfügten kombinierten Beiratschaft, gegen die sich der Beschwerdeführer mit seinen Ausführungen materiell wendet, gar nicht Thema des Haftungsprozesses ist: Die Massnahme, gegen welche die üblichen Rechtsmittel offen standen, ist rechtskräftig angeordnet worden und der Beschwerdeführer hat das vormundschaftliche Amt angenommen; damit ist er in alle damit verbundenen Rechte und Pflichten eingetreten. Die wesentlichste Pflicht im Rahmen der Verwaltungsbeiratschaft ist nach dem Gesagten aber gerade die Vermögensfürsorge, und der Beirat kann sich dieser Kernpflicht selbstredend nicht entziehen, indem er dem vollständigen Kapitalverzehr tatenlos zusieht mit dem Hinweis, der Verbeiratete verfüge ja noch über eine existenzsichernde Rente.
3.2.6 Soweit der Beschwerdeführer schliesslich sinngemäss vorbringt, B._ habe eine luxuriöse Lebensführung gewünscht, ist ihm entgegenzuhalten, dass dem Verbeirateten bei der Verwaltungsbeiratschaft die Handlungsfähigkeit mit Bezug auf die Vermögenssubstanz ex lege entzogen ist (E. 3.2.1), weshalb die Einwilligung des Verletzten als Rechtfertigungsgrund entfällt. Aus dem gleichen Grund kann es auch nicht als treuwidrig angesehen werden, wenn B._ nach Verbrauch des Vermögens ihren Beirat eingeklagt hat mit der Begründung, dieser hätte den Vermögensverzehr nicht zulassen dürfen.
3.3 Mit seinem Gewährenlassen hat der Beschwerdeführer die ihm nach der Amtsübernahme obliegende Pflicht zur sorgfältigen Vermögensverwaltung (Art. 395 Abs. 2 i.V.m. <ref-law>) sowie die damit verbundenen Garantenstellung (<ref-ruling> E. 3c S. 20) verletzt und damit den eingetretenen Vermögensschaden adäquat kausal verursacht.
3.4 Bereits im Urteil 5P.320/2002, E. 2.3, hat das Bundesgericht festgestellt, dass der Beschwerdeführer seine Amtspflicht schlichtweg nicht wahrgenommen hat. Ihm lag einzig an der Einzonung der Grundstücke mit Blick auf die geplante Überbauung, woran er ein persönliches finanzielles Interesse hatte. Hingegen liess er B._ und deren Ehemann mit Bezug auf das Wertschriftenvermögen unbekümmert um seine Amtspflichten freie Hand, obwohl er von der Vormundschaftsbehörde mit der Vorgeschichte vertraut und ausdrücklich darauf aufmerksam gemacht wurde, dass die Schwierigkeiten vor allem darin lägen, die Ausgaben von B._ in einem vertretbaren Verhältnis zu ihren Einkünften zu halten, und er mit Schreiben der Vormundschaftsbehörde vom 23. Oktober 1998 wegen Zulassen eines übermässigen Vermögensverzehrs zu einer verantwortungsvollen Vermögensverwaltung angehalten wurde. Der Beschwerdeführer nahm folglich in Kauf, dass das Vermögen zufolge seiner Untätigkeit in kurzer Zeit aufgebraucht und für bevorstehende Alterslasten kein Kapital mehr vorhanden sein würde; insofern hat er seine Amtspflichten geradezu eventualvorsätzlich vernachlässigt. Jedenfalls aber hat er durch sein tatenloses Zusehen die elementarsten bzw. ureigensten sich aus dem Amt der kombinierten Beiratschaft ergebenen Schutz- und Fürsorgepflichten in grobfahrlässiger Weise nicht wahrgenommen. Das Verschulden wiegt insgesamt schwer.
4. Zusammenfassend ergibt sich, dass das Kantonsgericht mit dem angefochtenen Entscheid weder eine Verfassungsgarantie verletzt noch das Recht falsch angewandt hat. Zufolge Beschwerdeabweisung wird der Beschwerdeführer kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und Art. 68 Abs. 2 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde in Zivilsachen wird abgewiesen.
2. Die Gerichtskosten von Fr. 10'000.-- werden dem Beschwerdeführer auferlegt.
3. Der Beschwerdeführer hat die Beschwerdegegner mit Fr. 12'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Kantonsgericht von Graubünden, Zivilkammer, schriftlich mitgeteilt.
Lausanne, 4. Dezember 2009
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Der Gerichtsschreiber:
Hohl Möckli