Faits: A. Par décision du 25 avril 2006, la Justice de paix du 2ème cercle de la Veveyse a instauré une curatelle volontaire en faveur des époux A._ et B.X._, tous deux sous traitements médicamenteux (méthadone, resp. antabuse pour l'épouse) et en proie à des difficultés financières (poursuite pour quelque 80'000 fr. et saisie de salaire). La mère du pupille ayant par la suite sollicité la décharge de son mandat de curatrice, la Justice de paix de l'arrondissement de la Veveyse (ci-après : la Justice de paix) a, par décision du 29 août 2013, confié ce mandat à C._, curatrice professionnelle auprès du Service des curatelles de la Veveyse. B. Le 28 octobre 2013, A._ et B.X._ ont demandé à la Justice de paix de changer de curateur et de désigner la personne de leur choix, savoir D._. Après audition du précité, la Justice de paix a, par décision du 14 novembre 2013, rejeté leur requête. Par arrêt du 19 mars 2014, la Cour de protection de l'enfant et de l'adulte du Tribunal cantonal de l' état de Fribourg a rejeté le recours des intéressés contre le refus de leur requête de changement de curateur. C. Par acte du 7 avril 2014, A._ et B.X._ se sont adressés au Tribunal fédéral en déclarant faire " opposition à la décision du tribunal cantonal de fribourg ". En substance, ils concluent à la désignation de D._ comme curateur en lieu et place de C._. Des déterminations n'ont pas été demandées à l'autorité précédente ou aux autres parties ou participants à la procédure.