Sachverhalt:
A. X._, geb. 1971, von Kosovo, seit Anfang 2009 mit Ausländerausweis C, ist verheiratet mit Z._, geb. 1977, und hat die vier Kinder A._, geb. 1996, B._, geb. 1998, C._, geb. 2000, und D._, geb. 2007.
Bei X._ wurden kombinierte und andere Persönlichkeitsstörungen (mit narzisstischen, passiv-aggressiven und antisozialen Anteilen, ICD-10 F61), Störungen durch Alkohol, schädlicher Gebrauch (ICD-10 F10.1) sowie eine rezidivierende depressive Störung gegenwärtig mittelgradige Episode ohne somatisches Syndrom (ICD-10 F33.10) diagnostiziert. Er ist deshalb in psychiatrischer Behandlung und wurde in der Vergangenheit verschiedentlich in psychiatrische Kliniken eingeliefert.
Ab April 2006 bis 27. April 2008 bezog X._ Krankentaggeldleistungen. Zwischen dem 22. Oktober und 6. Dezember 2007 fanden berufliche Abklärungen statt, für welche die IV-Stelle Taggelder auszahlte. Am 22. Dezember 2008 verfügte die IV-Stelle Schwyz, dass X._ Anspruch auf eine ganze Invalidenrente bei einem Invaliditätsgrad von 100% ab 1. Juli 2007 habe.
B. Mit Beschluss vom 22. August 2007 errichtete die Vormundschaftsbehörde Y._ eine Vertretungs- und Verwaltungsbeistandschaft über X._. Mit Beschluss vom 22. Januar 2008 nahm die Vormundschaftsbehörde das Eingangsinventar ab.
Am 24. November 2008 reichte der Beistand E._ der Vormundschaftsbehörde den Rechenschaftsbericht für die Zeit vom 30. August 2007 bis 31. Oktober 2008 zur Genehmigung ein und beantragte, infolge Aufgabe seiner Tätigkeit im Sozialzentrum F._ die Beistandschaft auf seinen Amtsnachfolger G._ zu übertragen. Mit Beschluss vom 7. Januar 2009 genehmigte die Vormundschaftsbehörde den Schlussbericht und übertrug die Beistandschaft an H._.
Gegen diesen Beschluss erhob X._ am 26. Januar 2009 Beschwerde beim Regierungsrat des Kantons Schwyz. Mit Verfügung vom 16. Februar 2009 überwies das Sicherheitsdepartement die Beschwerde an die Vormundschaftsbehörde Y._.
Mit Beschluss vom 28. Oktober 2009 hob die Vormundschaftsbehörde die Beistandschaft auf und genehmigte den Schlussbericht des Beistandes.
Am 26. November 2009 reichte H._ den Rechenschaftsbericht für den Zeitraum vom 1. November 2007 bis 16. November 2009 und die Schlussrechnung per 16. November 2009 ein. Am 22. Dezember 2009 reichte die I._ AG ihren Prüfungsbericht ein. Mit Beschluss vom 13. Januar 2010 genehmigte die Vormundschaftsbehörde die Schlussrechnung und entliess H._ aus dem Amt als Beistand.
Gegen diesen Beschluss erhob X._ am 1. Februar 2010 eine Beschwerde, welche der Regierungsrat am 17. August 2011 abwies.
Die hiergegen erhobene Beschwerde vom 13. September 2011 wies das Verwaltungsgericht des Kantons Schwyz mit Entscheid vom 18. Januar 2012 ab, soweit es darauf eintrat.
C. Gegen diesen Entscheid hat X._ am 7. März 2012 eine Beschwerde erhoben mit den Begehren um dessen Aufhebung und um Prüfung der Schlussrechnung der Vormundschaftsbehörde Y._ vom 26. November 2009 durch einen vom Bundesgericht zu bestellenden Gutachter. Ferner verlangt er die unentgeltliche Rechtspflege. Es wurden keine Vernehmlassungen eingeholt, aber die kantonalen Akten beigezogen.

Erwägungen:
1. Angefochten ist der kantonal letztinstanzliche Endentscheid in einer Vormundschaftssache, wogegen die Beschwerde in Zivilsachen offen steht (Art. 72 Abs. 2 lit. b Ziff. 5, Art. 75 Abs. 1 und Art. 90 BGG). Soweit der Beschwerdeführer den Sachverhalt aus seiner eigenen Sicht schildert bzw. ergänzt, ohne dass dieser im angefochtenen Entscheid festgestellt wäre und ohne dass in diesem Zusammenhang die Verletzung verfassungsmässiger Rechte angerufen würde, ist auf die Beschwerde nicht einzutreten (Art. 97 Abs. 1, Art. 99 Abs. 1, Art. 105 Abs. 1 und Art. 106 Abs. 2 BGG). Nicht zum Verfahrensgegenstand gehört sodann die Errichtung der Beistandschaft als solche, welche der Beschwerdeführer als unzulässige Zwangsverwaltung geisselt. Im Übrigen ist auf die Eintretensfrage jeweils im Sachzusammenhang einzugehen.
2. Das Verwaltungsgericht hat festgehalten, dass aufgrund der schwierigen Situation bei Aufnahme der Beistandschaft (u.a. Aufenthalt in der psychiatrischen Klinik) faktisch noch bis Anfang November 2007 die Sozialberatung F._ für die finanzielle Unterstützung zuständig gewesen sei, deren Handlungen nicht Gegenstand des vorliegenden Verfahrens seien, und es sich deshalb rechtfertige, die Berichtsperiode am 1. November 2007 beginnen zu lassen. Sodann hat es darauf hingewiesen, dass gewisse Unklarheiten im vorliegenden Verfahren daher rührten, dass die Handlungsfähigkeit des Verbeiständeten grundsätzlich bestehen bleibe und dieser deshalb die Handlungen des Beistandes durchkreuzen könne.
In der Sache selbst hat das Verwaltungsgericht befunden, dass die Rechnungsführung zu keiner Beanstandung Anlass gebe. Der gesamte Zahlungsverkehr sei erfasst und die Belege seien durchgehend nummeriert, so dass alle Buchungssätze mühelos nachvollzogen werden könnten. Sodann sei, so gut dies unter den gegebenen Umständen und der schwierigen Zusammenarbeit mit dem Beschwerdeführer möglich gewesen sei, ein Inventar aufgenommen und der Schlussrechnung beigefügt worden. Ebenfalls sei über die Vermögensentwicklung berichtet worden. Es lägen ein Verzeichnis der Vermögenswerte, Forderungen und Schulden sowie eine laufende Rechnung vor, weshalb von einer externen Begutachtung abgesehen werden könne, zumal auch in materieller Hinsicht die Rechnung nicht zu beanstanden sei.
3. Der Beschwerdeführer erhebt eine Vielzahl von Willkür- und Gehörsrügen.
3.1 Die Behauptung des Beschwerdeführers, in willkürlicher Weise habe das Verwaltungsgericht seine PC-Konto-Auszüge, aus denen die wahren Zahlungen bevorgehen würden, nicht als Beweismittel zugelassen, erweist sich als appellatorisch, ist doch nicht ersichtlich, an welcher Stelle das Verwaltungsgericht diese aus den Akten gewiesen hätte; insbesondere ist dies nicht in E. 2.2 geschehen, wie vom Beschwerdeführer geltend gemacht.
3.2 Soweit der Beschwerdeführer geltend macht, es sei willkürlich, wenn auf die erst im Zusammenhang mit der Beschwerde an den Regierungsrat gemachte Zusammenstellung der Vormundschaftsbehörde vom 21. Juni 2011 abgestellt werde, geht er nicht auf die Ausführungen im angefochtenen Entscheid ein, wonach dieser Klientenkontoauszug, der den Zeitraum vom 22. August 2007 bis 16. November 2009 betreffe, identisch mit den beiden separaten Klientenkontoauszügen für die Zeit vom 1. November 2007 bis 31. August 2009 und vom 1. November 2009 bis 16. November 2009 sei, welche von der Vormundschaftsbehörde am 13. Januar 2010 genehmigt worden seien, weshalb es sich nicht um neue Tatsachen handle, die ins Recht gelegt worden seien, zumal die Aufstellung nach Buchungskonten im Auszug vom 21. Juni 2011 einzig als Hilfestellung für eine einfachere Überprüfung erfolgt sei. Es ist nicht zu sehen und durch den Beschwerdeführer auch nicht begründet, inwiefern die Zusammenstellung vor diesem Hintergrund ein im kantonalen Verfahren unzulässiges Novum darstellen soll. Ebenso wenig ist eine Gehörsverletzung ersichtlich, wenn das Verwaltungsgericht befunden hat, der Beschwerdeführer habe offensichtlich über die beiden ursprünglichen Auszüge verfügt, da er in seiner Beschwerdeschrift vom 1. Februar 2010 ausdrücklich darauf Bezug genommen habe, weshalb er mithin zu allen entscheidrelevanten Informationen habe Stellung nehmen können.
3.3 Nicht zu folgen ist sodann der Behauptung, durch die willkürliche Ausklammerung der Sozialberatung F._ werde dieser ein rechtsfreier Sonderstatus gewährt: Das Verwaltungsgericht hat einzig festgehalten, dass deren Handlungen nicht Gegenstand des vorliegenden Verfahrens seien. In diesem Zusammenhang ist weder Willkür noch eine Gehörsverletzung ersichtlich, wären doch die Handlungen der Sozialberatung F._ ebenfalls beschwerdefähig. Insofern trifft es auch nicht zu, dass für diese Zeit keine Rechnungslegungspflicht bestanden hätte bzw. die Handlungen gar nie überprüft werden könnten. Im Übrigen hat das Verwaltungsgericht begründet, weshalb es sich rechtfertige, die vorliegend relevante Berichtsperiode am 1. November 2007 beginnen zu lassen (vgl. E. 2); mit den betreffenden Ausführungen setzt sich der Beschwerdeführer nicht auseinander.
3.4 Appellatorisch ist sodann das Wiederholen der Kritik an der Rechnungsprüfung durch die I._ (diese habe nur stichprobenartig geprüft; sie führe einen anderen Schlusssaldo auf; ihre Befunde seien falsch). In diesem Zusammenhang ist weder ersichtlich, inwiefern der angefochtene Entscheid, der sich mit den betreffenden Vorbringen ausführlich auseinandersetzt, willkürlich sein soll, noch ist eine Verletzung des rechtlichen Gehörs dargetan.
Dies gilt insbesondere auch mit Bezug auf das Vorbringen, es seien während der Zeit der Beistandschaft von den IV-Leistungen rund Fr. 70'000.-- (Beschwerde S. 4) bzw. rund Fr. 81'000.-- (Beschwerde S. 10) nicht ausbezahlt bzw. von seinem Vermögen abgezweigt worden, wofür das Verwaltungsgericht keine Erklärung geliefert habe. Dieses hat festgehalten, dass der Beschwerdeführer im Zeitraum vom 1. Juni 2007 bis 31. Dezember 2009 Anspruch auf IV-Rentenleistungen in der Höhe von Fr. 174'565.-- hatte und ihm von der Nachzahlung von Fr. 105'697.-- der IV-Stelle Schwyz vom 22. Dezember 2008 effektiv Fr. 29'722.80 ausbezahlt wurden, weil sich folgende Differenzbeträge ergaben: bereits bezogene IV-Taggelder von Fr. 8'528.40; Rückforderung J._ Versicherung von Fr. 47'666.20; Rückleistung an den Sozialdienst von Fr. 20'856.--; Korrektur der IV-Taggeld-Kürzung von Fr. 1'076.40.
3.5 Nicht einzugehen ist auf die Kritik an den SKOS-Richtlinien; im vorliegenden Verfahren geht es um die Rechnungsprüfung, nicht um die Höhe der ausgezahlten Unterstützungsleistungen. Im Übrigen hat sich das Verwaltungsgericht ausführlich zum Geldfluss und auch zur Verrechnung bzw. Rückerstattung der vorbezogenen Sozialhilfeleistungen geäussert.
3.6 Nicht zur Sache ist sodann die Rundumkritik, wonach das Verwaltungsgericht verkannt habe, dass die "Handlungsfreiheit des Verbeiständeten" tatsachenwidrig sei und er die Pläne des Beistandes eben gerade nicht habe durchkreuzen können, dass er sich erst einen Anwalt habe leisten können, als er durch einen Tipp auf die unentgeltliche Rechtspflege aufmerksam geworden sei, und dass der Grossteil der ihm willkürlich vorenthaltenen IV-Leistungen Kindergeld betroffen habe.
3.7 Im Zusammenhang mit dem verwaltungsgerichtlich abgelehnten Antrag auf externe Prüfung der Rechnung bzw. auf ein Gutachten kritisiert der Beschwerdeführer, dass das Verwaltungsgericht sich selbst eine Buchhaltungs-Expertenfunktion anmasse und falsche Plausibilitäts-Behauptungen aufstelle, was gegen Art. 9 und Art. 29 Abs. 2 BV sowie Art. 6 Ziff. 1 EMRK verstosse. Inwiefern der angefochtene Entscheid in der Sache selbst falsch sein soll, wird jedoch nicht substanziiert dargelegt; vielmehr belässt es der Beschwerdeführer bei allgemeinen Behauptungen, wonach die Darstellung des Verwaltungsgerichts "nach allgemein gültigen buchhalterischen Massstäben per se unsinnig" sei und es im Zusammenhang mit der Gewährung der unentgeltlichen Rechtspflege selbst anerkannt habe, dass die Notwendigkeit für den Beizug eines Rechtsvertreters angesichts der nicht leicht überprüfbaren Schlussrechnung zu bejahen sei. Damit ist weder Willkür noch eine Gehörsverletzung mit Bezug auf die Schlussrechnung darzutun.
Appellatorisch ist weiter die konträr zur gegenteiligen verwaltungsgerichtlichen Feststellung stehende Behauptung, die Buchungsbelege seien unvollständig und verschiedene Zahlungen seien gar nicht verbucht bzw. erfasst worden, und ebenso wenig ist eine angebliche Falsch- oder Nichtbuchung mit der Behauptung dargetan, aufgrund des ihm teilweise verwehrten Zugriffes auf das SZKB-Konto seien die darauf überwiesenen IV-Nachzahlungen gar nicht "effektiv ausbezahlt" worden. Was sodann die erneut thematisierten Taggeldzahlungen der J._ Versicherung sowie die Sozialhilfeleistungen der Fürsorgebehörden K._ und Y._ anbelangt, kann auf E. 3.4 und die ausführlichen Erwägungen des Verwaltungsgerichts verwiesen werden, mit welchen sich der Beschwerdeführer nicht substanziiert auseinandersetzt.
3.8 Soweit abschliessend nochmals sämtliche Erwägungen des Verwaltungsgerichtes als willkürlich und gehörsverletzend gerügt werden und in diesem Zusammenhang ein Verstoss gegen die Garantie eines fairen Verfahrens im Sinn von Art. 6 Ziff. 1 EMRK behauptet wird, ist festzuhalten, dass das Verwaltungsgericht sämtliche Vorbringen des Beschwerdeführers umfassend geprüft hat. Vor diesem Hintergrund ist ein Verstoss gegen Art. 6 Ziff. 1 EMRK insbesondere auch nicht darin zu erblicken, dass das Verwaltungsgericht kein "neutrales Gutachten" zu den gesamten Buchungsvorgängen in Auftrag gegeben hat, durfte es doch aufgrund eigener Prüfung der Schlussrechnung und antizipierter Beweiswürdigung zum Schluss kommen, dass ein solches nicht erforderlich sei.
4. Nach dem Gesagten ist die Beschwerde in Zivilsachen abzuweisen, soweit darauf eingetreten werden kann. Zudem ergibt sich aus den vorstehenden Ausführungen, dass die Beschwerde als von Anfang an aussichtslos anzusehen und deshalb das Gesuch um unentgeltliche Rechtspflege abzuweisen ist (<ref-law>). Aufgrund der besonderen Umstände ist indes auf eine Kostenerhebung zu verzichten (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde in Zivilsachen wird abgewiesen, soweit darauf einzutreten ist.
2. Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3. Es werden keine Gerichtskosten erhoben.
4. Dieses Urteil wird den Parteien und dem Verwaltungsgericht des Kantons Schwyz schriftlich mitgeteilt.
Lausanne, 30. April 2012
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Möckli