Sachverhalt:
A. A._, geb. 1988, ist der volljährige Sohn des X._ und der Y._. Mit Urteil des Bezirksgerichts Z._ vom 23. August 2007 wurde er wegen schwerster geistiger Behinderung als Folge einer im ersten Lebensjahr erlittenen Hirnhautentzündung auf den Zeitpunkt des Erreichens der Mündigkeit entmündigt. Mit Verfügung vom 24. September 2007 stellte ihn die Vormundschaftsbehörde Z._ unter die fortgesetzte elterliche Sorge gemäss <ref-law>.
B. Aufgrund des Revisionsberichts des mit der Kontrolle der Abrechnungen der Kindseltern beauftragten Treuhänders vom 25. Februar 2008 sowie einer schriftlichen Stellungnahme der Stiftung B._ Z._ vom 12. März 2008, in welcher A._ seit seiner Kindergartenzeit schulisch betreut wurde, entzog die Vormundschaftsbehörde den Eltern mit Beschluss vom 14. April 2008 die elterliche Sorge und setzte für A._ einen Vormund ein, insbesondere für die finanziellen und persönlichen Belange, soweit nötig auch für die persönliche Betreuung, und zur Suche eines geeigneten Beschäftigungsplatzes.
Die hiergegen von den Kindseltern eingereichte Beschwerde wies das Bezirksamt Z._ mit Entscheid vom 17. November 2009 in der Sache ab.
Die hiergegen erhobene Beschwerde wies das Obergericht des Kantons Aargau, Kammer für Vormundschaftswesen, mit Entscheid vom 17. Februar 2010 ebenfalls ab.
C. Gegen diesen Entscheid haben X._ und Y._ am 15. April 2010 eine Beschwerde in Zivilsachen eingereicht mit dem Begehren um dessen Aufhebung, eventualiter um Einsetzung eines Beistandes für die Verwaltung und periodische Rechenschaftsablegung über das Einkommen und Vermögen. Es wurden keine Vernehmlassungen eingeholt.

Erwägungen:
1. Angefochten ist ein kantonal letztinstanzlicher Endentscheid auf dem Gebiet des Vormundschaftswesens bzw. der Entmündigung; die Beschwerde in Zivilsachen steht somit grundsätzlich offen (Art. 72 Abs. 2 lit. b Ziff. 5 und 6, Art. 75 Abs. 1 und Art. 90 BGG).
2. In materieller Hinsicht sind alle Rügen gemäss Art. 95 f. BGG zulässig und das Bundesgericht wendet in diesem Bereich das Recht von Amtes wegen an (<ref-law>), was heisst, dass es behauptete Rechtsverletzungen (<ref-law>) mit freier Kognition prüft. Darauf wird in E. 3 zurückzukommen sein.
Hingegen ist das Bundesgericht an den von der letzten kantonalen Instanz festgestellten Sachverhalt gebunden (<ref-law>). Diesbezüglich kann einzig eine willkürliche Sachverhaltsfeststellung oder die Verletzung eines anderen verfassungsmässigen Rechts geltend gemacht werden, wobei der betreffende Mangel überdies für den Ausgang des Verfahrens entscheidend sein muss (<ref-law>) und für all diese Elemente das strenge Rügeprinzip gemäss <ref-law> gilt (vgl. <ref-ruling> E. 1.4.3 S. 256). Das bedeutet, dass das Bundesgericht nur klar und detailliert erhobene und soweit möglich belegte Rügen prüft, während es auf ungenügend begründete Rügen und rein appellatorische Kritik am festgestellten Sachverhalt nicht eintritt. Wird die Verletzung des Willkürverbots gerügt, reicht es sodann nicht aus, die eigene Sichtweise darzustellen und den davon abweichenden angefochtenen Entscheid als willkürlich zu bezeichnen; vielmehr ist im Einzelnen darzulegen, inwiefern das kantonale Gericht in Willkür verfallen sein soll (vgl. <ref-ruling> E. 2.2 S. 246).
Die Beschwerde besteht zum grössten Teil aus Sachverhaltskritik bzw. Kritik am Revisor sowie an den Mitarbeitern der Vormundschaftsbehörde und der Stiftung B._. Dabei beschränken sich die Beschwerdeführer jedoch auf rein appellatorische Ausführungen, indem sie die Sachlage aus eigener Sicht schildern, ohne jedoch in diesem Zusammenhang die Verletzung eines verfassungsmässigen Rechtes geltend zu machen, wie dies erforderlich wäre, damit die betreffenden Vorbringen überprüft werden könnten. Auf die Ausführungen zum Sachverhalt kann mithin nicht eingetreten werden, womit es bei den für das Bundesgericht grundsätzlich verbindlichen Sachverhaltsfeststellungen der letzten kantonalen Instanz sein Bewenden haben muss (vgl. <ref-law>). Diese lassen sich wie folgt zusammenfassen:
Das Obergericht hat auf den Prüfbericht des Treuhänders C._ vom 25. Februar 2008 hingewiesen, wonach die Rechnung für den Sohn von den Beschwerdeführern nicht korrekt geführt wurde und zahlreiche Fragen offen blieben. Es hat erwogen, dies sei umso gravierender, als die Beschwerdeführer ihrerseits Rentenbezüger seien bzw. Sozialhilfe beantragt hätten, weshalb eine besondere Notwendigkeit zum ordnungsgemässen Nachweis der Verwendung des Renteneinkommens und Vermögens des Entmündigten bestehe. Die schriftliche Reaktion auf den Revisionsbericht lasse sodann die Wahrnehmung des erforderlichen Verständnisses vermissen und sei von offensichtlichem Misstrauen gegenüber den Behördenvertretern, aber auch gegenüber dem Betreuungspersonal der Stiftung B._ geprägt. In der Stellungnahme der Stiftung vom 23. März 2008 zur Kritik der Beschwerdeführer werde festgehalten, dass der Vater vor allem fordernd aufgetreten sei, ohne jedoch Eigeninitiative zu zeigen. Dieses Verhalten hat sich nach den Feststellungen des Obergerichts bei der zweiten Anhörung durch die Vormundschaftsbehörde am 25. März 2008 bestätigt. Bedenklich stimme auch das Aussageverhalten zur engen Beziehung zwischen dem Sohn und der Mutter, die ihrerseits körperlich beeinträchtigt und daher mit der Betreuung schon jetzt oder jedenfalls in Zukunft überfordert sei, was der Vater nicht gelten lasse, obwohl er sich nicht selbst um die Pflege des Sohnes kümmere. Insgesamt bestehe wegen der angespannten finanziellen Situation der Beschwerdeführer offensichtlich eine Interessenkollision, wobei sich die Gefahr der Verwendung von Mitteln des Kindes für allgemeine Kosten und Auslagen der Familie in der Zwischenzeit infolge des gegenüber dem Vater verweigerten Invalidenrentenanspruches noch verschärft habe.
3. Gemäss <ref-law> tritt bei der Entmündigung mündiger Kinder in der Regel die elterliche Sorge (sog. fortgesetzte, erstreckte oder verlängerte elterliche Sorge) an die Stelle der Vormundschaft. Indes haben die Eltern keinen Anspruch auf Übertragung bzw. Fortsetzung des Sorgerechts (Häfeli, Basler Kommentar, N 29 zu <ref-law>). Es besteht einzig in Analogie zum Verwandtenvorrecht bei der Bestellung des Vormunds (vgl. <ref-law>) eine Vermutung, dass dem Kind mit der Unterstellung unter die elterliche Sorge am besten gedient sei (vgl. Urteil 5A_443/2008, E. 2.2), und aufgrund der Subsidiarität des Vormundschaftsrechts ein Vorrang der Eltern, wenn die erstreckte elterliche Sorge eine gleichwertige Lösung zur Vormundschaft ist (Schnyder/Murer, Berner Kommentar, N 34 zu <ref-law>; Julmy, Die elterliche Gewalt über Entmündigte, Diss. Freiburg 1991, S. 51 oben). Voraussetzung ist aber in jedem Fall, dass die Eltern zur Ausübung des Sorgerechts geeignet erscheinen (Julmy, a.a.O., S. 50 ff.); es gelten mithin andere Kriterien als beim Entzug der elterlichen Gewalt im Sinn einer Kindesschutzmassnahme gemäss <ref-law>. Bei der Frage der Eignung steht massgeblich auch die Fähigkeit zur Vermögensverwaltung im besten Interesse des Schutzbefohlenen im Vordergrund (vgl. Julmy, a.a.O., S. 90 ff.). Auf den einmal gefällten Entscheid betreffend die erstreckte elterliche Sorge kann die Vormundschaftsbehörde im Interesse des Schutzbedürftigen nachträglich zurückkommen und diesen abändern (Schnyder/Murer, a.a.O., N 46), wobei es hierfür nicht etwa ein Verschulden der Eltern braucht, sondern blosses Ungenügen ausreicht (Julmy, a.a.O., S. 144).
Ausgehend von den Sachverhaltsfeststellungen des Obergerichts ist nicht ersichtlich, inwiefern im Zusammenhang mit dem Entzug der fortgesetzten elterlichen Sorge und der Bestellung eines Vormundes Bundesrecht, insbesondere das bei der Beurteilung der Eignung der Eltern von den zuständigen Behörden pflichtgemäss auszuübende Ermessen (Häfeli, a.a.O., N 29; Schnyder/Murer, a.a.O., N 33; Julmy, a.a.O., S. 49) verletzt worden sein soll. Soweit die Beschwerdeführer geltend machen, der Sohn habe seit seiner Geburt immer bei ihnen gelebt, sie hätten ihn betreut und versorgt und es sei auch nie zu Reklamationen oder Beanstandungen gekommen, ist festzuhalten, dass keine der kantonalen Instanzen den Beschwerdeführern Vorwürfe in persönlicher Hinsicht gemacht hat; namentlich wurde nie der Vorwurf erhoben, den Sohn nicht gut gepflegt zu haben. Anlass zur vorliegend angefochtenen Massnahme waren vielmehr die unzulänglichen Abrechnungen und die Vermischung der eigenen mit den fremden finanziellen Belangen, die sich erst manifestierte, als die Beschwerdeführer infolge Übertragung der fortgesetzten elterlichen Sorge gegenüber der Vormundschaftsbehörde rechenschafts- und abrechnungspflichtig wurden. Vor diesem Hintergrund der in tatsächlicher Hinsicht festgestellten Interessenkollision bzw. Gefahr der Verwendung von Mitteln des Kindes für allgemeine Kosten und Auslagen der Familie hat das Obergericht jedenfalls keinen rechtsverletzenden Gebrauch von dem ihm zustehenden Ermessen gemacht, wenn es den Beschwerdeführern die zur Ausübung der elterlichen Sorge erforderliche Eignung abgesprochen und diese durch eine Vormundschaft ersetzt hat.
Nicht in Betracht fallen kann schliesslich die von den Beschwerdeführern in einem Eventualbegehren verlangte Errichtung einer Beistandschaft. Diese dient zur Unterstützung einer Person, welche auf Hilfe namentlich bei der Vermögensverwaltung (vgl. <ref-law>) angewiesen ist, aber nicht an einem so weit gehenden Schwächezustand leidet (vgl. <ref-law>), dass eine Vormundschaft nötig wäre. Hingegen ist sie ausgeschlossen für den Fall, dass der gesetzliche Vertreter (Eltern oder Vormund) eines Entmündigten für die Sorgerechtsausübung seinerseits der Hilfe bedarf. Kann eine Beistandschaft demnach nicht zur Diskussion stehen, stellt sich die Frage der Subsidiarität nicht und ist der Entzug des fortgesetzten Sorgerechts bzw. die Bestellung eines Vormundes auch in allgemeiner Hinsicht verhältnismässig, weil erforderlich (vgl. Julmy, a.a.O., S. 40 f.).
4. Zusammenfassend ergibt sich, dass die Beschwerde in Zivilsachen abzuweisen ist. Das Gesuch um unentgeltliche Rechtspflege wird gutgeheissen (<ref-law>) und demzufolge von einer Kostenerhebung abgesehen.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde in Zivilsachen wird abgewiesen, soweit darauf eingetreten wird.
2. Es werden keine Kosten erhoben.
3. Dieses Urteil wird den Beschwerdeführern, der Vormundschaftsbehörde Z._ und dem Obergericht des Kantons Aargau, Kammer für Vormundschaftswesen, schriftlich mitgeteilt.
Lausanne, 1. Juni 2010
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Der Gerichtsschreiber:
Hohl Möckli