Considérant en fait et en droit :
1.
En raison d'une profonde dépression et de l'inquiétude manifestée par certains proches, une procédure de protection de l'adulte a été ouverte le 12 novembre 2013 en faveur de A.A._ (né en 1990).
Par décision du 30 août 2016, l'APEA, statuant sur un premier renvoi, a institué une curatelle de portée générale au sens de l'<ref-law> en faveur de A.A._.
Sur recours de A.A._, la Cour administrative du Tribunal cantonal de la République et canton du Jura a, par arrêt du 2 mars 2017, annulé ladite décision, faute d'expertise psychiatrique neutre et indépendante.
Suite à ce renvoi, l'APEA a ordonné une expertise confiée au Dr B._, spécialiste FMH en psychiatrie et psychothérapie. Dans son rapport du 10 avril 2019, l'expert a confirmé le diagnostic d'un retard mental moyen chez l'intéressé.
Par décision du 11 février 2020, sur la base de l'expertise du Dr B._ et d'un précédent rapport d'évaluation sociale, l'APEA a institué une curatelle de représentation et de gestion du patrimoine au sens des art. 394 et 395 CC en faveur de A.A._, privé l'intéressé de l'exercice de ses droits civils pour ce qui a trait à la gestion globale de ses affaires administratives et financières et désigné C._, assistante sociale, en qualité de curatrice.
A.A._ a déposé recours contre cette décision le 11 mars 2020, concluant à son annulation et contestant en particulier le fait que son père, D.A._, n'ait pas été désigné comme curateur, malgré son souhait et celui de son médecin traitant.
2.
Par arrêt du 2 mars 2021, la Cour administrative du Tribunal cantonal a rejeté le recours formé le 11 mars 2020 par A.A._.
L'autorité précédente a confirmé la décision de l'APEA instituant une mesure de curatelle de représentation et de gestion du patrimoine. S'agissant de la non-désignation de son père en qualité de curateur, elle a rappelé les critères déterminants s'agissant de la personne à nommer en qualité de curateur (art. 400 et 401 CC), puis a retenu qu'au vu des poursuites et des actes de défauts de biens qui frappaient ce dernier, ainsi que de l'expulsion de son domicile avec son fils en automne 2020 ayant engendré des difficultés majeures, D.A._ ne disposait pas des compétences nécessaires pour gérer les affaires financières et administratives de son fils, dès lors qu'il était lui-même dans l'incapacité de gérer sa propre situation financière.
3.
Par acte du 23 mars 2021, A.A._ exerce un recours en matière civile au Tribunal fédéral, concluant à ce que son père, D.A._, soit désigné en qualité de curateur. Au préalable, le recourant sollicite l'octroi de l'effet suspensif à son recours.
Par ordonnance du 25 mars 2021 du Président de la IIe Cour de droit civil, la requête d'effet suspensif au recours a été rejetée, faute de motivation quant à la nécessité de cette mesure. Le recourant a également été invité à verser une avance de frais de 200 fr. Par lettre du 26 avril 2021, A.A._ a sollicité d'être mis au bénéfice de l'assistance judiciaire pour la procédure fédérale. Par ordonnance du 27 avril 2021, le Président de la IIe Cour de droit civil a pris acte de cette requête et provisoirement renoncé à la perception d'une avance de frais.
4.
Dans son écriture, le recourant critique " l'appréciation arbitraire " de l'autorité précédente, faisant valoir que celle-ci a ignoré les recommandations de l'expert psychiatre, lequel préconisait que son père puisse prendre le rôle de curateur. Il soutient que la cour cantonale n'a pas exposé les motifs l'ayant conduite à écarter les conclusions de l'expert, affirmant qu'à cet égard, les problèmes financiers de son père ne serait pas un motif suffisant, rectifiant en outre le fait que leur expulsion de leur logement ne serait pas la conséquence d'un retard dans le paiement des intérêts hypothécaires, mais de leur situation de rentiers AI.
La critique du recourant relative à la non-désignation de son père en qualité de curateur est ainsi double : d'une part, la non-prise en considération des conclusions de l'expertise, et, d'autre part, la pertinence des arguments de la cour cantonale pour renoncer à désigner D.A._ aux fonctions de curateur, constituant une violation des art. 400 et 401 CC.
4.1. Le recours en matière civile peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 s. LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>; <ref-ruling> consid. 2.3; <ref-ruling> consid. 2). Cela étant, eu égard à l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, il n'examine en principe que les griefs soulevés (<ref-ruling> consid. 2.4 et les références). Le recourant doit par conséquent discuter les motifs de la décision entreprise et indiquer précisément en quoi il estime que l'autorité précédente a méconnu le droit (<ref-ruling> consid. 1.7.1; <ref-ruling> consid. 2.4 et la référence). Le Tribunal fédéral ne connaît par ailleurs de la violation de droits fondamentaux que si un tel grief a été expressément invoqué et motivé de façon claire et détaillée (" principe d'allégation ", <ref-law>; <ref-ruling> consid. 1.1; <ref-ruling> consid. 2.4).
Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>); le recourant ne peut critiquer les constatations de fait que si elles ont été établies de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law>, et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>). Le recourant qui entend se plaindre d'un établissement manifestement inexact - c'est-à-dire arbitraire (art. 9 Cst.; <ref-ruling> consid. 6.7; <ref-ruling> consid. 2.2 et la référence) - des faits ne peut pas se borner à contredire les constatations litigieuses par ses propres allégations ou par l'exposé de sa propre appréciation des preuves; il doit se conformer au " principe d'allégation ", en sorte qu'il doit invoquer expressément un tel grief et motiver de façon claire et détaillée en quoi ces constatations sont contraires au droit ou entachées d'une erreur indiscutable, c'est-à-dire arbitraires au sens de l'art. 9 Cst. (<ref-law>; <ref-ruling> consid. 2.1; <ref-ruling> consid. 2.1; <ref-ruling> consid. 2.4); les critiques appellatoires sont en conséquence irrecevables (<ref-ruling> consid. 1.1; <ref-ruling> consid. 1.3.1).
4.2. En tant que le recourant critique la non-prise en considération des recommandations du rapport d'expertise du Dr B._ - aux termes duquel " le père de l'expertisé, en l'absence de raisons juridiques qui s'y opposent, [devrait] prendre le rôle de curateur pour diminuer la pression exercée sur l'expertisé " -, il présente sa propre appréciation du rapport d'expertise et omet le fait que le Dr B._ a préconisé la nomination du père du recourant en qualité de curateur, " en l'absence de raisons juridiques qui s'y opposent " et a relevé " qu'une solution alternative à cela serait la nomination d'une personne externe pour la curatelle ". Ce faisant, le recourant ne démontre nullement en quoi l'autorité précédente aurait méconnu le sens de l'expertise, en exposant les raisons ayant conduit à renoncer à nommer D.A._ aux fonctions de curateur.
4.3. Dans la mesure où le recourant critique ensuite la validité des motifs ayant conduit l'autorité précédente à nommer une autre personne que le père en qualité de curateur du recourant, celui-ci entend d'abord rectifier, en fait, les raisons ayant conduit à la décision intimant l'ordre au recourant et à son père de quitter leur logement. Ce faisant, et autant que le recourant soulève une critique d'arbitraire dans l'établissement des faits (art. 9 Cst.), force est de relever que la correction d'un tel vice suppose qu'il ait une incidence sur le sort de la cause (<ref-law> et supra consid. 4.1). Or, tel n'est pas le cas en l'espèce. Les événements ayant conduit à l'expulsion de D.A._ et A.A._ de leur logement ne sont à eux seuls pas pertinents pour l'issue de la présente affaire, à tout le moins le recourant n'établit pas le contraire. Il apparaît quoi qu'il en soit que cette expulsion a eu des répercussions majeures sur la vie de l'intéressé, en sorte qu'un nouveau risque quant à la stabilité du logement de A.A._ doit être évité à l'avenir. Autant que recevable, le grief est infondé.
Pour le surplus, le recourant estime en substance que la cour cantonale aurait violé les art. 400 et 401 CC en retenant que des difficultés financières et un risque quant à la stabilité du logement pourraient constituer des motifs juridiques valables permettant d'écarter D.A._ de la fonction de curateur. Il ressort des considérants de la décision entreprise que la cour cantonale a constaté que le père du recourant rencontrait des difficultés significatives dans la gestion de ses affaires administratives et financières courantes (logement, assurances, impôts), de sorte qu'à la lumière des critères des art. 400 et 401 CC qu'elle a rappelés, celui-ci n'était pas juridiquement éligible à la fonction de curateur du recourant, faute de disposer des aptitudes nécessaire à ces fonctions. En se limitant à réfuter la validité du raisonnement de la cour précédente et à présenter sa propre appréciation de sa cause selon laquelle la nomination de son père doit primer toute autre solution, sans expliciter plus avant sa critique, singulièrement sans s'en prendre plus avant à la motivation de la cour cantonale basée sur les poursuites dont son père fait l'objet, le recourant ne démontre nullement une violation des dispositions précitées. La critique, autant que recevable eu égard aux exigences minimales de motivation (<ref-law>, cf. supra consid. 4.1), est mal fondée et doit en conséquence être rejetée.
5.
Vu ce qui précède, le présent recours doit être rejeté dans la mesure de sa recevabilité.
La requête d'assistance judiciaire pour la procédure fédérale ne saurait être agréée, dès lors que le recours était d'emblée dénué de chances de succès (<ref-law>). Les frais judiciaires, arrêtés à 800 fr., sont par conséquent mis à la charge du recourant qui succombe (<ref-law>).


Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La requête d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal de la République et canton du Jura, Cour administrative.
Lausanne, le 8 juin 2021
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
La Greffière : Gauron-Carlin