Sachverhalt: A. B._ wurde am 28. März 1937 als eheliches Kind von E und F G._ geboren. Sie wuchs in X._ auf. Nach der Schule arbeitete sie an wechselnden Orten als Hilfskraft. Später wurde sie Mutter von zwei ausserehelichen Kindern (1958 und 1962), die zur Adoption freigegeben wurden. Im Jahr 1965 heiratete sie den Landwirt I._, wenige Wochen vor der Geburt des gemeinsamen Sohnes J._, der 1975 fremdplatziert werden musste und später tödlich verunglückte. Der Ehemann starb 1971 und hinterliess ein ansehnliches Vermögen, insbesondere mehrere Grundstücke in der Gemeinde Y._. Die im Jahr 1974 mit K._, einem Knecht im Landwirtschaftsbetrieb von I._, eingegangene Ehe wurde 1977 wieder geschieden. Ein Jahr später heiratete B._ den RhB-Angestellten C._. Das Ehepaar lebte bis Mai 1998 im Engadin, anschliessend im Kanton Tessin. Im Zusammenhang mit kleineren Vermögensdelikten wurde B._ 1961 erstmals begutachtet. Die Diagnose der Ärzte lautete auf eine haltlose und willensschwache, infantile und primitiv intelligente Person. 1975 erfolgten Klinikeinweisungen wegen Suizid- und Verwahrlosungsgefahr, wobei die Gutachter eine hysterische Psychopathie mit Verwahrlosungstendenzen feststellten; ausserdem bestehe erheblicher Verdacht auf eine Polytoxikomanie, vor allem mit Schmerz- und Schlaftabletten. Im Rahmen einer weiteren Strafuntersuchung ergab ein neues Gutachten, dass B._ als haltlose, hysterische Psychopathin einzustufen sei, welche ausgesprochen triebhaft handle sowie geltungssüchtig und lügenhaft sei. Wegen zunehmender sozialer und körperlicher Verwahrlosung wurde 1987 ein weiterer Anstaltsaufenthalt notwendig. Die begutachtenden Ärzte diagnostizierten eine hysterische Psychopathie mit Geltungssucht, Haltlosigkeit und Triebhaftigkeit sowie eine durch Medikamentenmissbrauch bedingte Polytoxikomanie. Die Patientin sei zwar durchaus in der Lage, die Angelegenheiten des täglichen Lebens zu überblicken; für weiterreichende Entscheidungen fehle ihr aber die geordnete Denk- und Handlungsweise. Bestätigt wurden diese Untersuchungsergebnisse durch ein Gutachten im Tessin aus dem Jahr 2004. B. Im Jahr 1973 entzog die Vormundschaftsbehörde B._ gestützt auf Art. 386 Abs. 2 ZGB die Handlungsfähigkeit. 1975 wurde die Massnahme bestätigt und Dr. iur. L._ als Vertreter eingesetzt. Im Jahr 1978 ersetzte die Vormundschaftsbehörde die Massnahme durch eine Verwaltungsbeiratschaft im Sinn von Art. 395 Abs. 2 ZGB mit Dr. L._ als Beirat. Ab 1984 wurde die Beiratschaft durch die Vormundschaftsbehörde geführt. 1985 wurde B._ gestützt auf Art. 372 ZGB entmündigt und der Sozialarbeiter M._ als Vormund eingesetzt. Mangels liquider Mittel wurde 1986 im Einverständnis mit der Vormundschaftsbehörde und dem Bezirksgerichtsausschuss eine Parzelle verkauft. Der nach Ablösung der Hypothek und Tilgung der übrigen Schulden verbleibende Betrag wurde mündelsicher angelegt. Ab Januar 1995 wurde A._ zunehmend für B._ und C._ tätig, dies gestützt auf deren umfassend gehaltene Vollmachten. Am 16. Februar 1996 liess B._ durch A._ bei der Vormundschaftsbehörde die Aufhebung der Vormundschaft beantragen. Nach Verhandlungen wandelte die Vormundschaftsbehörde die Vormundschaft mit Beschluss vom 2. Oktober 1996 in eine kombinierte Mitwirkungs- und Verwaltungsbeiratschaft um, unter Einsetzung von A._ zum Beirat mit Wirkung ab 1. Dezember 1996. Dieser machte sowohl gegenüber der Vormundschaftsbehörde als auch gegenüber B._ und C._ geltend, dass sämtliche Bemühungen nach dem Anwaltstarif zu entschädigen seien. C. Als Anwalt und Beirat von B._ wollte A._ im Rahmen des Projektes "Z._" in Y._ erreichen, dass die Parzellen Nr. 1 und 2 in eine Bauzone überführt würden, um sie und die beiden ebenfalls B._ gehörenden Grundstücke Nr. 3 und 4 zur Realisierung einer Überbauung veräussern zu können. Mit den Projektierungsarbeiten betraut wurde die N._ AG, an welcher A._ finanziell beteiligt und deren Verwaltungsratspräsident er war. Wegen der Gefahr von Interessenkollisionen stellte die Vormundschaftsbehörde B._ mit Beschluss vom 29. Oktober 2001 für alle Geschäfte im Zusammenhang mit den Parzellen Nr. 1 und 2 einen Beistand ad hoc zur Seite. Die hiergegen gerichtete Beschwerde der durch einen Büropartner von A._ vertretenen B._ wies der Bezirksgerichtsausschuss Maloja mit Urteil vom 27. März 2002 ab. Im gleichen Entscheid wurde A._ seines Amtes als Beirat enthoben. Während des Rechtsmittelverfahrens bezüglich Amtsenthebung veräusserte B._ am 14. Juni 2002 unter Mitwirkung von A._ ihre beiden Parzellen Nr. 3 und 4 für Fr. 46'520.-- an die Kollektivgesellschaft O._. Die Vormundschaftsbehörde und der Bezirksgerichtsausschuss stimmten diesem Geschäft zu. In Bezug auf die Parzellen Nr. 1 und 2 kam es unter Mitwirkung von A._ gleichentags zur Unterzeichnung eines Vorvertrages auf Abschluss von Kaufverträgen mit Begründung von limitierten Kaufrechten. Dieses Geschäft wurde durch die vormundschaftlichen Organe nicht bestätigt. Deshalb wurde der Vorvertrag am 24. Januar 2003, nunmehr unter Mitwirkung des Beistandes ad hoc, durch einen neuen ersetzt, wiederum auf Abschluss eines Kaufvertrages mit Einräumung von Kaufrechten und Vorkaufsrechten. Die Vormundschaftsbehörde und der Bezirksgerichtsausschuss genehmigten dieses Geschäft am 9. April 2003 bzw. 6. Mai 2003. Die Teilrevision der Ortsplanung Y._ für das Gebiet "Z._" wurde an den Gemeindeversammlungen vom 18. Dezember 2000 und vom 9. Dezember 2002 gutgeheissen. In der Folge kam es zusätzlich zum bereits erwähnten Vorvertrag zum Abschluss verschiedener, für die Einleitung des regierungsrätlichen Genehmigungsverfahrens notwendiger Vereinbarungen, teils zwischen den betroffenen Grundeigentümern selbst, teils zwischen einzelnen von ihnen und der Gemeinde Y._. Am 5. Juni 2003 wurden die durch die Teilrevision der Ortsplanung geänderten Pläne an die Kantonsregierung weitergeleitet, welche sie mit Beschluss vom 14. Januar 2004 genehmigte. Damit wurde der Weg frei für die Veräusserung von zu Bauland gewordenem Grundbesitz von B._. D. In der Zeit, in welcher A._ als Beirat von B._ tätig war, verringerte sich deren Wertschriftenvermögen von ursprünglich Fr. 650'000.-- Ende November 1996 auf Franken Null Ende Oktober 2001. Nach der endgültigen Abweisung der gegen die Amtsenthebung eingelegten Rechtsmittel Ende Dezember 2002 widerrief B._ die ihm erteilten Vollmachten. An seiner Stelle ernannte sie am 16. Januar 2003 Rechtsanwalt P._, zu ihrem Vertreter. Zu diesem Zeitpunkt verfügten B._ und ihr Ehemann lediglich noch über ein monatliches Renteneinkommen von Fr. 5'500.-- bis Fr. 6'000.--. Bei Bewertung der Parzellen Nr. 1 und 2 zu Nichtbaulandpreisen bestanden per 31. Dezember 2002 Schulden in der Höhe von Fr. 357'490.05 (Gutachten H._). E. Am 17. März 2004 klagte B._ gegen A._ aus vormundschaftlicher Verantwortlichkeit auf Zahlung von Fr. 500'000.-- nebst Zins zu 5% seit 17. März 2004. Sie vertrat die Meinung, dass das Wertschriftenvermögen im Zeitpunkt der Beendigung der Beiratschaft noch in diesem Betrag hätte vorhanden sein sollen; dass das ganze Vermögen verbraucht worden sei, müsse ihrem ehemaligen Beirat angelastet werden. Nach ihrem Tod am 11. Juli 2004 traten die Erben in den Prozess ein. Es handelt sich um den Ehemann C._, den Sohn D._ und die von der Erblasserin testamentarisch errichtete Stiftung B._. Mit Urteilen vom 28. August 2007 und 22. September 2008 verurteilten sowohl das Bezirksgericht Surselva als auch das Kantonsgericht von Graubünden A._ zur Zahlung von Fr. 500'000.-- nebst Zins an die in den Prozess eingetretenen Erben von B._. F. Gegen das Urteil des Kantonsgerichts hat A._ am 15. Mai 2009 eine Beschwerde in Zivilsachen erhoben mit den Begehren um dessen Aufhebung und Klageabweisung, eventualiter um Festlegung des Schadens nach Ermessen des Bundesgerichts, subeventualiter um Rückweisung der Sache an das Kantonsgericht. Ferner werden verschiedene Ausstandsbegehren gestellt. Mit Schreiben vom 25. Juni 2009 hat das Kantonsgericht auf eine Vernehmlassung verzichtet. In ihrer Vernehmlassung vom 17. August 2009 haben die Beschwerdegegner auf Beschwerdeabweisung geschlossen.