Sachverhalt:
A. Am 26. März 2004 verstarb Z._. Als gesetzliche Erben hinterliess sie ihren Ehemann X._ sowie die fünf gemeinsamen Kinder S._, T._, U._, V._ und W._. Auf Antrag von U._ wurde mit Entscheid des Einwohnergemeinderates A._ vom 31. Januar 2005 in der Person von Y._ ein Erbenvertreter gemäss Art. 602 Abs. 2 ZGB bestellt. Dieser Entscheid erwuchs unangefochten in Rechtskraft.
B. Nachdem der Erbenvertreter Y._ sein Mandat niedergelegt hatte, hob der Einwohnergemeinderat A._ mit Entscheid vom 24. November 2008 die Erbenvertretung auf, da die Voraussetzungen nicht mehr gegeben seien. S._, T._ und U._ erhoben gegen diesen Entscheid Beschwerde beim Regierungsrat, der diese am 10. November 2009 guthiess. Am 20. Januar 2009 wurde der Nachlass von Z._ sel. durch den Gemeinderat A._ im Rahmen einer superprovisorischen Massnahme vorübergehend unter vormundschaftliche Verwaltung gestellt; am 16. Februar 2009 wurde diese Massnahme bestätigt. Mit Beschluss vom 16. März 2009 ernannte der Gemeinderat Prof. Dr. R._ zum neuen Erbenvertreter; er konnte, nachdem die hiergegen von X._ eingereichte Beschwerde vom Regierungsrat abgewiesen worden war, per 1. Januar 2010 eingesetzt werden. Somit fiel die vorübergehende Massnahme der vormundschaftlichen Erbschaftsvertretung per 31. Dezember 2009 dahin.
C. Am 14. Dezember 2009 erhob X._ beim Verwaltungsgericht Obwalden Beschwerde mit den Begehren, die Beschlüsse Ziff. 1-6 des Regierungsrates vom 10. November 2009 seien aufzuheben, der Beschluss des Gemeinderates vom 24. November 2008 sei zu bestätigen, die Beschlüsse des Gemeinderates vom 20. Januar 2009 bzw. vom 16. Februar 2009 seien aufzuheben, der Entscheid des Gemeinderates vom 16. März 2009 sei aufzuheben, unter Verzicht auf die Ernennung eines Erbenvertreters, namentlich in der Person von Prof. R._, und der Entscheid des Gemeinderates vom 27. Juli 2009 sei aufzuheben. Zur Begründung brachte X._ vor, eine Erbenvertretung sei nie notwendig gewesen, da er die Verwaltung der Erbmasse selber durchführen könne. Eine Erbenvertretung habe bisher nur geschadet und hohe Kosten verursacht; zudem sei Prof. R._ ihm gegenüber befangen.
In seinem Entscheid vom 23. Dezember 2011 wies das Verwaltungsgericht des Kantons Obwalden die Beschwerde ab und bestätigte den Entscheid des Regierungsrates vom 10. November 2009.
D. Gegen den Entscheid des Verwaltungsgerichts erhob X._ am 3. Februar 2012 eine "Beschwerde in öffentlich-rechtlichen Angelegenheiten im Sinn von Art. 82 ff. BGB" (gemeint: BGG) mit den Begehren um dessen Aufhebung und Rückweisung der Sache an die Vorinstanz zur Neubeurteilung sowie um Aufhebung der Beschlüsse des Einwohnergemeinderates A._ vom 20. Januar 2009 bzw. 26. Februar 2009, vom 16. März 2009 und vom 27. Juli 2009. In ihren Vernehmlassungen vom 7. bzw. 16. März 2012 schlossen das Verwaltungsgericht und die Beschwerdegegner auf Abweisung der Beschwerde.
Erwägungen:
1. Entgegen den Ausführungen in der Beschwerde beschlägt die Einsetzung von erbrechtlichen Vertretern sowie die Aufsicht über dieselben eine Zivilsache im Sinn von Art. 72 BGG, wobei Streitigkeiten betreffend Erbenvertretung vermögensrechtlicher Natur sind und deshalb die Beschwerde in Zivilsachen nur zulässig ist, wenn der Mindeststreitwert von Fr. 30'000.-- erreicht wird oder eine Rechtsfrage von grundsätzlicher Bedeutung gegeben ist (Urteile 5A_787/2008 vom 22. Januar 2009 E. 1.1; 5D_133/2010 vom 12. Januar 2011 E. 1.1). Obwohl die Beschwerdevoraussetzungen und namentlich auch eine allfällige Rechtsfrage von grundsätzlicher Bedeutung in der Beschwerde darzulegen sind (Art. 42 Abs. 2 BGG) und die Problematik dem Beschwerdeführer aufgrund seines Hinweises, bei einer Beschwerde in öffentlich-rechtlichen Angelegenheiten sei kein Mindeststreitwert erforderlich, offensichtlich bekannt war, enthält die Beschwerde keine entsprechenden Ausführungen. Als Anhaltspunkt geht aus ihr lediglich hervor, dass der Beschwerdeführer u.a. mit den Rechnungen der Einwohnergemeinde A._ in der Höhe von Fr. 27'110..-- nicht einverstanden ist. Indes dürfe der Streitwert von Fr. 30'000.-- ohne weiteres erreicht sein, weil verschiedene weitere Punkte im Streit liegen. Die Eingabe vom 3. Februar 2012 ist mithin als Beschwerde in Zivilsachen gemäss Art. 72 ff. BGG und nicht als subsidiäre Verfassungsbeschwerde im Sinn von Art. 113 ff. BGG entgegenzunehmen, wobei dies auf die zulässigen Rügen keinen Einfluss hat.
Bei der Einsetzung eines Erbenvertreters - und a fortiori auch bei der Anordnung einer vorübergehenden Vermögensverwaltung im Sinn von Art. 393 ZGB infolge Vakanz beim Erbenvertretermandat - handelt es sich um eine Sicherungsmassregel und damit um eine vorsorgliche Massnahme im Sinn von Art. 98 BGG, weil es dabei um die Gewährleistung einer geordneten Erledigung laufender Angelegenheiten während einer beschränkten Zeit (bis zur Teilung der Erbschaft) geht (Urteile 5A_787/2008 vom 22. Januar 2009 E. 1.1; 5D_133/2010 vom 12. Januar 2011 E. 1.1). Bei solchen Massnahmen kann lediglich die Verletzung verfassungsmässiger Rechte gerügt werden (vgl. Art. 98 BGG), so wie es auch bei der subsidiären Verfassungsbeschwerde der Fall wäre (vgl. Art. 116 BGG). Im Zusammenhang mit der Verletzung verfassungsmässiger Rechte gilt das strenge Rügeprinzip (Art. 98 i.V.m. 106 Abs. 2 BGG), wonach das Bundesgericht nur klar und detailliert erhobene und soweit möglich belegte Rügen prüft, während es auf ungenügend begründete Rügen und rein appellatorische Kritik am angefochtenen Entscheid nicht eintritt (BGE 134 II 244 E. 2.2 S. 246).
Auf die Beschwerde kann deshalb nicht eingetreten werden, soweit appellatorische Ausführungen gemacht werden oder direkt die Anwendung von Gesetzesrecht kritisiert wird. Zulässig sind demgegenüber die im Folgenden zu beurteilenden Gehörsrügen (Art. 29 Abs. 2 BV) und ferner die Willkürrüge (Art. 9 BV).
2. Im Zusammenhang mit den Gehörsrügen wirft der Beschwerdeführer dem Verwaltungsgericht vor, verschiedene seiner Vorbringen nicht geprüft und im Entscheid nicht berücksichtigt zu haben.
2.1 Das rechtliche Gehör nach Art. 29 Abs. 2 BV verlangt, dass das Gericht die Vorbringen des vom Entscheid in seiner Rechtsstellung Betroffenen auch tatsächlich hört, prüft und in der Entscheidfindung berücksichtigt (BGE 124 I 49 E. 3a S. 51, 241 E. 2 S. 244). Daraus folgt die Verpflichtung, den Entscheid zu begründen. Dabei ist es nicht erforderlich, dass sich das Gericht mit allen Parteistandpunkten einlässlich auseinandersetzt und jedes einzelne Vorbringen ausdrücklich widerlegt. Vielmehr kann es sich auf die für den Entscheid wesentlichen Punkte beschränken. Die Begründung muss so abgefasst sein, dass sich der Betroffene über die Tragweite des Entscheides Rechenschaft geben und ihn in voller Kenntnis der Sache an die höhere Instanz weiterziehen kann. In diesem Sinn müssen wenigstens kurz die Überlegungen genannt werden, von denen sich das Gericht hat leiten lassen und auf die sich sein Entscheid stützt (vgl. BGE 133 III 439 E. 3.3 S. 445; 134 I 83 E. 4.1 S. 88; 136 I 229 E. 5.2 S. 236).
2.2 Der Beschwerdeführer sieht diese Vorgaben verletzt im Zusammenhang mit der Frage, ob auch eine Behörde die Aufgabe eines Beistandes im Rahmen von vorsorglichen Massnahmen übernehmen könne. Das Verwaltungsgericht habe diese Frage zu Unrecht offen gelassen mit der Begründung, die vorsorglichen Massnahmen seien aufgehoben und somit bestehe kein aktuelles Interesse mehr an der Beantwortung, denn der Einwohnergemeinderat A._ habe für seine Bemühungen von Januar bis Juli 2009 einen Betrag von Fr. 15'630.-- und in der Schlussverfügung zusätzlich einen solchen von Fr. 11'480.-- in Rechnung gestellt; diese Beträge dürften nicht der Erbengemeinschaft belastet werden, wenn die vorsorglichen Massnahmen nicht rechtens gewesen wären, weshalb er sehr wohl ein schutzwürdiges Interesse an der Beantwortung der aufgeworfenen Rechtsfrage habe.
Das Obergericht hat die Frage der Zulässigkeit der beanstandeten Massnahmen in E. 3.2 ausführlich behandelt. Es ist dabei zum Schluss gekommen, dass die Erbschaft nach der Amtsniederlegung durch Y._ ohne Verwaltung gewesen sei und die Handlungen des Beschwerdeführers dieses Vakuum nicht hätten aufzufüllen vermögen, da er aufgrund der rechtskräftigen Einsetzung eines Erbenvertreters keine Vertretungsbefugnis mehr gehabt habe. Gemäss Art. 393 ZGB habe die vormundschaftliche Behörde in solchen Fällen eine Beistandschaft anzuordnen. Diese vormundschaftliche Massnahme sei superprovisorisch und dann vorsorglich angeordnet worden; indes habe der neue Erbenvertreter aufgrund eines durch den Beschwerdeführer eingelegten Rechtsmittels sein Mandat erst per 1. Januar 2010 antreten können. Die Erbmasse wäre über ein Jahr ohne Verwaltung gewesen, weshalb die Vormundschaftsbehörde gemäss Art. 393 ZGB verpflichtet gewesen sei, "das Erforderliche" anzuordnen. Die Anordnung der vormundschaftlichen Verwaltung durch den Einwohnergemeinderat sei sinnvoll und erforderlich gewesen und daher nicht zu beanstanden.
Mit Bezug auf die Anschlussfrage, ob auch eine Behörde die Aufgabe der Erbenvertretung übernehmen könne, hat das Verwaltungsgericht in E. 3.6 auf die bejahenden Ausführungen in der Literatur verwiesen und befunden, ob das auch für die vormundschaftliche Verwaltung gelte, könne offen gelassen werden, weil inzwischen Prof. R._ sein Mandat aufgenommen habe und die vorsorgliche Massnahme aufgehoben worden sei, weshalb kein aktuelles Interesse mehr an der Beantwortung der Frage bestehe. Dies trifft zu; insbesondere kann ein solches nicht indirekt aus der Kostenforderung des Gemeinwesens für die Erbenvertretung hergeleitet werden, zumal davon ausgegangen werden darf, dass bei der vom Verwaltungsgericht in E. 3.2 genannten Alternative zum eigenen Handeln durch den Gemeinderat, nämlich bei sofortiger Anordnung eines Ersatz-Erbenvertreters, mindestens die gleichen, wenn nicht höhere Kosten entstanden wären. Dass und inwiefern die Kostenforderung als solche berechtigt war, hat das Verwaltungsgericht sodann in E. 5 ausführlich dargelegt. Vor diesem Hintergrund ist keine Gehörsverletzung ersichtlich.
2.3 Eine weitere Gehörsverletzung sieht der Beschwerdeführer darin, dass sich das Verwaltungsgericht nicht mit seinem Vorwurf befasst habe, wonach das Büro des Einwohnergemeinderates sich nicht an die Auflagen in der Verfügung vom 16. Februar 2009 gehalten habe, indem nicht nur unbestrittene Rechnungen bezahlt, Löhne geregelt und betriebliche Notwendigkeiten sichergestellt worden seien, sondern es eine Aktivität entfaltet habe, welche weit über diese Grenzen hinausgegangen sei.
Das Verwaltungsgericht hat in E. 3.2 festgehalten, dass die Vormundschaftsbehörde zur sinnvollen Verwaltung die gleichen Rechte und Pflichten gehabt habe wie ein Erbenvertreter. Damit hat das Verwaltungsgericht den sich aus der Begründungspflicht als Teilgehalt des rechtlichen Gehörs ergebenden Anforderungen nachgelebt, musste es sich doch nach dem vorstehend Gesagten nicht mit allen Parteistandpunkten einlässlich auseinandersetzen, sondern durfte es sich darauf beschränken, kurz die Überlegungen zu nennen, von denen es sich hat leiten lassen.
2.4 Schliesslich sieht der Beschwerdeführer sein rechtliches Gehör dahingehend verletzt, dass im Zusammenhang mit seiner Rüge, es sei ein unnötiger und überflüssiger Aufwand generiert worden, die Rechnungsstellung nicht überprüft worden sei.
Wie bereits vorstehend erwähnt, hat sich das Verwaltungsgericht mit der Kostenforderung in E. 5 des angefochtenen Entscheides sehr wohl auseinandergesetzt, und zwar nicht betreffend gesetzliche Grundlage, sondern insbesondere auch mit Bezug auf die Höhe. So hat es festgehalten, dass die Vormundschaftsbehörde detaillierte Abrechnungen über den Stundenaufwand vorgelegt habe, der unter anderem auch durch die regelmässigen Eingaben des Beschwerdeführers mitverursacht worden sei; die verrechneten Stunden würden entgegen der Ansicht des Beschwerdeführers nicht als übertrieben, sondern als angebracht erscheinen. Diese Ausführungen werden den sich aus der Begründungspflicht ergebenen Anforderungen gerecht.
3. Im Zusammenhang mit der Einsetzung von Prof. R._ als neuem Erbenvertreter rügt der Beschwerdeführer Aktenwidrigkeiten und eine Verletzung des Willkürverbotes.
Im Einzelnen macht er geltend, Prof. R._ habe die Gegenseite seiner Lebenspartnerin in einer Erbstreitigkeit vertreten. Es sei willkürlich, wenn das Verwaltungsgericht eine Interessenkollision verneine, da die Korrespondenz in jenem Verfahren einen hässigen Ton aufweise und Prof. R._ verschiedentlich die von ihm (Beschwerdeführer) als Buchhalter in jener Erbschaftssache gemachten Zusammenstellungen kritisiert habe. Es seien deshalb gerade die persönlichen Antipathien zwischen ihm und Prof. R._, welche den Interessenkonflikt indizieren würden.
Das Verwaltungsgericht hat in tatsächlicher Hinsicht festgestellt, dass der Beschwerdeführer keinen Nachweis erbrachte, wonach Q._ seine Lebenspartnerin wäre. Diese sei im Tessin angemeldet und in den eingereichten Schriftstücken sei der Beschwerdeführer lediglich als deren Buchhalter aufgeführt. Sie sei vorliegend nicht Erbin und der Beschwerdeführer sei in jenem Verfahren nicht Erbe gewesen.
Vor diesem Hintergrund ist keine Willkür ersichtlich im Zusammenhang mit der Schlussfolgerung das Verwaltungsgerichts, unmittelbare persönliche Interessen oder sonstige Interessenkonflikte seien nicht ersichtlich, wenn Prof. R._ in einem anderen Verfahren Parteiinteressen einer dem Beschwerdeführer zwar bekannten, aber ihm nicht nahe verbundenen Person vertreten habe, handelt es sich doch hierbei um sachliche Argumente, welche weder aktenwidrig sind noch zu einem stossenden Ergebnis führen.
4. Alle übrigen Vorbringen (Fehlen der Voraussetzungen von Art. 393 ZGB für die Anordnung einer Beistandschaft; Verstoss gegen Art. 420 ff. ZGB im Zusammenhang mit der Betrauung des Büros des Einwohnergemeinderates; Kompetenzüberschreitungen durch dasselbe; Verletzung von Art. 416 und 417 ZGB betreffend Kostenersatz; Kritik an der Höhe der Kosten) sind appellatorischer Natur bzw. betreffen direkt die Anwendung von Gesetzesrecht, weshalb sie keine Verfassungsverletzung bedeuten und deshalb im Rahmen von Art. 98 BGG nicht überprüft werden können.
Zusammenfassend ergibt sich deshalb, dass die Eingabe vom 3. Februar 2012 als Beschwerde in Zivilsachen entgegenzunehmen und abzuweisen ist, soweit auf sie eingetreten werden kann. Der Beschwerdeführer wird somit kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und Art. 68 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1. Die Eingabe vom 3. Februar 2012 wird als Beschwerde in Zivilsachen entgegengenommen und abgewiesen, soweit auf sie einzutreten ist.
2. Die Gerichtskosten von Fr. 3'000.-- werden dem Beschwerdeführer auferlegt.
3. Der Beschwerdeführer hat die Beschwerdegegner für das bundesgerichtliche Verfahren mit Fr. 3'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Verwaltungsgericht des Kantons Obwalden schriftlich mitgeteilt.
Lausanne, 16. April 2012
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Möckli