Sachverhalt: A. A._, geb. 1988, ist der volljährige Sohn des X._ und der Y._. Mit Urteil des Bezirksgerichts Z._ vom 23. August 2007 wurde er wegen schwerster geistiger Behinderung als Folge einer im ersten Lebensjahr erlittenen Hirnhautentzündung auf den Zeitpunkt des Erreichens der Mündigkeit entmündigt. Mit Verfügung vom 24. September 2007 stellte ihn die Vormundschaftsbehörde Z._ unter die fortgesetzte elterliche Sorge gemäss Art. 385 Abs. 3 ZGB. B. Aufgrund des Revisionsberichts des mit der Kontrolle der Abrechnungen der Kindseltern beauftragten Treuhänders vom 25. Februar 2008 sowie einer schriftlichen Stellungnahme der Stiftung B._ Z._ vom 12. März 2008, in welcher A._ seit seiner Kindergartenzeit schulisch betreut wurde, entzog die Vormundschaftsbehörde den Eltern mit Beschluss vom 14. April 2008 die elterliche Sorge und setzte für A._ einen Vormund ein, insbesondere für die finanziellen und persönlichen Belange, soweit nötig auch für die persönliche Betreuung, und zur Suche eines geeigneten Beschäftigungsplatzes. Die hiergegen von den Kindseltern eingereichte Beschwerde wies das Bezirksamt Z._ mit Entscheid vom 17. November 2009 in der Sache ab. Die hiergegen erhobene Beschwerde wies das Obergericht des Kantons Aargau, Kammer für Vormundschaftswesen, mit Entscheid vom 17. Februar 2010 ebenfalls ab. C. Gegen diesen Entscheid haben X._ und Y._ am 15. April 2010 eine Beschwerde in Zivilsachen eingereicht mit dem Begehren um dessen Aufhebung, eventualiter um Einsetzung eines Beistandes für die Verwaltung und periodische Rechenschaftsablegung über das Einkommen und Vermögen. Es wurden keine Vernehmlassungen eingeholt.