Faits :
A.
A.a. Par décision du 18 novembre 2019, le for de la procédure de mesures de protection - curatelle au sens de l'art. 308 al. 1 et 2 CC et suivi thérapeutique au sens de l'<ref-law> - instaurées en faveur de l'enfant B._, née en 2012, fille de C._ et de D._, a été transféré à l'APEA du canton du Jura, avec effet au 1er décembre 2019.
A.b. Le 1er avril 2021, le président de l'APEA, E._ (ci-après: le président), a déposé plainte pénale contre C._ pour insoumission à une décision de l'autorité auprès du Ministère public, au motif que cette dernière n'avait pas respecté la décision du 4 février 2021 de l'APEA lui ordonnant de remettre l'enfant à son père selon les modalités d'exercice du droit de visite fixées par décision du 17 avril 2019 de l'APEA du Tribunal régional des Montagnes et Val-de-Ruz, sous menace de la peine d'amende de l'<ref-law>. Deux autres dénonciations suivront les 25 et 31 mai 2021 pour des faits identiques.
B.
B.a. C._ a mandaté Me A._ en date du 5 mai 2021, selon procuration datée du même jour, pour défendre ses intérêts dans la procédure ouverte en faveur de son enfant auprès de l'APEA; cet avocat en a de suite informé l'autorité concernée, en produisant sa procuration et en sollicitant d'emblée la récusation du président de dite autorité, précisant qu'une demande par courrier recommandé suivrait à cet effet.
B.b. Le 7 mai 2021, C._ a, par l'intermédiaire de son mandataire, formellement demandé la récusation du président de l'APEA, dans le cadre de la procédure susmentionnée, au motif que les levées du secret de fonction que celui-ci avait obtenues dans une autre procédure faisaient l'objet d'une procédure d'opposition. Dans une écriture ultérieure, elle a également fait valoir les plaintes pénales déposées mutuellement l'un contre l'autre par le président de l'APEA et son avocat, en sa qualité de mandataire d'une autre partie.
B.c. Par décision du 8 juin 2021, l'APEA a rejeté la demande de récusation.
B.d. Le 18 juin 2021, C._ a recouru contre cette décision auprès de la Cour administrative du Tribunal cantonal du canton du Jura (ci-après: Cour administrative), en concluant à son annulation et à la récusation du président de l'APEA dans la procédure concernée.
B.e. Par détermination postée le 26 août 2021, le président de l'APEA a requis, à titre provisionnel et principal, le prononcé de l'incapacité de postuler du mandataire de C._ dans la présente procédure, avec effet immédiat, et a conclu, à titre principal, au rejet du recours.
B.f. Par arrêt du 19 janvier 2022, la Cour administrative a notamment prononcé l'incapacité de postuler de Me A._ dans la procédure de mesures de protection ouverte en faveur de l'enfant B._ par l'APEA, ainsi que dans les procédures de recours y relatives et a en conséquence constaté que la demande de récusation de la recourante contre l'intimé et la requête de l'intimé tendant au prononcé de l'incapacité de postuler de Me A._, ainsi que celle déposée à titre provisionnel, étaient devenues sans objet.
C.
Par acte posté le 18 février 2022, A._ exerce un recours en matière civile, subsidiairement un recours constitutionnel, contre l'arrêt du 19 janvier 2022. Il conclut à son annulation dans la mesure où il prononce son incapacité de postuler dans la procédure de mesures de protection ouverte en faveur de l'enfant B._ par l'APEA, ainsi que dans les procédures de recours y relatives et, partant, au renvoi de la cause à l'autorité cantonale pour nouvelle décision au sens des considérants.
Des déterminations sur le fond n'ont pas été requises.
D.
Par ordonnance présidentielle du 11 mars 2022, la requête d'effet suspensif assortissant le recours a été admise.

Considérant en droit :
1.
1.1. Le recours est dirigé contre une décision interdisant au recourant de procéder en tant que représentant de C._ dans la procédure de mesures de protection en faveur de l'enfant B._ actuellement pendante devant l'APEA et rejetant la demande de récusation formée contre le président de dite autorité. La décision sur la capacité de postuler de l'avocat devant être entreprise par la voie de recours ouverte dans la matière en cause, le présent recours est donc en principe recevable comme un recours en matière civile (art. 72 al. 2 let. b ch. 6 LTF; cf. arrêts 4A_20/2021 du 12 octobre 2021 consid. 1 et l'arrêt cité; 5A_967/2014 du 27 mars 2015 consid. 1.1), ce qui entraîne l'irrecevabilité du recours constitutionnel subsidiaire (<ref-law>).
Lorsque la décision entreprise interdit à l'avocat mandaté par la partie demanderesse de procéder en justice en raison d'un conflit d'intérêts, elle cause un préjudice irréparable tant à la demanderesse qu'à l'homme de loi. Mandant et mandataire peuvent recourir immédiatement au Tribunal fédéral (<ref-law>; arrêts 4A_20/2021 du 12 octobre 2021 consid. 1 et les arrêts cités; 5A_967/2014 précité consid. 1.2 et 1.3; 4D_58/2014 du 17 octobre 2014 consid. 1.3).
1.2. Pour le surplus, les autres conditions de recevabilité sont respectées: la Cour administrative a pris la décision querellée dans le cadre d'une procédure de recours, de sorte que la présente écriture est recevable au regard de l'<ref-law> (<ref-ruling> consid. 2.2; <ref-ruling> consid. 1.1); le recourant a par ailleurs qualité pour recourir (<ref-law>; arrêt 5A_967/2014 précité consid. 1.3); le recours a enfin été interjeté dans les formes et le délai prévus par la loi (art. 42 et 100 al. 1 LTF).
2.
2.1. Le recours en matière civile peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 s. LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>). Cela étant, eu égard à l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, il n'examine en principe que les griefs soulevés; il n'est pas tenu de traiter, à l'instar d'une autorité de première instance, toutes les questions juridiques pouvant se poser, lorsque celles-ci ne sont plus discutées devant lui (<ref-ruling> consid. 2.4 et les références, 402 consid. 2.6). Le recourant doit discuter les motifs de la décision entreprise et indiquer précisément en quoi il estime que l'autorité précédente a méconnu le droit (<ref-law>; <ref-ruling> consid. 1.2; <ref-ruling> consid. 1.7.1; <ref-ruling> consid. 2.4 et la référence). Le Tribunal fédéral ne connaît par ailleurs de la violation de droits fondamentaux que si un tel grief a été expressément invoqué et motivé de façon claire et détaillée par le recourant (" principe d'allégation ", <ref-law>; <ref-ruling> consid. 2.1; <ref-ruling> consid. 5.1).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si ceux-ci ont été constatés de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>), et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>). Le recourant qui soutient que les faits ont été établis d'une manière manifestement inexacte, c'est-à-dire arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 2.2; <ref-ruling> consid. 6.7; <ref-ruling> consid. 2.2 et la référence), doit satisfaire au principe d'allégation susmentionné (<ref-law>; cf. supra consid. 2.1). Une critique des faits qui ne satisfait pas à cette exigence est irrecevable (<ref-ruling> consid. 4.1.2; <ref-ruling> consid. 1.1).
En matière d'appréciation des preuves et d'établissement des faits, il n'y a arbitraire que si l'autorité cantonale n'a manifestement pas compris le sens et la portée d'un moyen de preuve, a omis sans raisons objectives de tenir compte de preuves pertinentes ou a opéré, sur la base des éléments recueillis, des déductions insoutenables (<ref-ruling> consid. 4.2; <ref-ruling> consid. 1.1 et la référence). Pour être qualifiée d'arbitraire, la décision doit être insoutenable non seulement dans ses motifs, mais aussi dans son résultat (<ref-ruling> consid. 6.2.1; <ref-ruling> consid. 1.3.1; <ref-ruling> consid. 7.1, 170 consid. 7.3).
2.3. Aucun fait nouveau ni preuve nouvelle ne peut être présenté, à moins de résulter de la décision de l'autorité précédente (<ref-law>). Cette exception vise les faits qui sont rendus pertinents pour la première fois par la décision attaquée; peuvent notamment être introduits des faits nouveaux concernant le déroulement de la procédure devant l'instance précédente, afin d'en contester la régularité, ou encore des faits postérieurs à l'arrêt attaqué permettant d'établir la recevabilité du recours. En dehors de ces cas, les nova ne sont pas admissibles, qu'il s'agisse de faits ou moyens de preuve survenus postérieurement à la décision attaquée, ou d'éléments que les parties ont négligé de présenter aux autorités cantonales (<ref-ruling> consid. 3.1.2; <ref-ruling> consid. 4.4.3).
Par conséquent, les deux décisions adressées au Tribunal de céans par le recourant en date du 21 février 2022, toutes deux postérieures à l'arrêt querellé, sont irrecevables.
3.
La Cour administrative a rappelé qu'une forte inimitié entre le magistrat et l'avocat constitue tant un motif de récusation du magistrat qu'un motif d'incapacité de postuler de l'avocat. Dans une telle hypothèse, le Tribunal fédéral proposait une solution équilibrée: le premier à oeuvrer sur le dossier reste, le second ne doit pas s'en saisir (arrêt 1B_191/2020 du 26 août 2020).
En l'espèce, les fortes tensions personnelles régnant entre les intéressés étaient reconnues de part et d'autre dans leurs écritures respectives; en témoignaient objectivement, dans le cadre d'un autre dossier de l'APEA, les nombreuses procédures introduites tant par le président de l'APEA que par Me A._ à l'encontre de l'autre. II en allait ainsi, en particulier, des différentes plaintes pénales déposées mutuellement par Me A._ (au nom d'une autre partie que C._) et par le président de l'APEA, de la dénonciation de Me A._ par le président de l'APEA auprès de la Chambre des avocats (cf. décision du 29 octobre 2021 de cette autorité de surveillance) et de la procédure relative à la levée du secret de fonction du président de l'APEA pour agir contre Me A._, ainsi que de la procédure de recours contre la décision de refus de l'APEA de désigner Me A._ comme mandataire d'office dans cette autre affaire et, enfin, des demandes de récusation du président de l'APEA par Me A._. Dans ces circonstances, il apparaissait, à l'évidence, que cette situation devait être qualifiée de relation conflictuelle personnelle importante entre les intéressés en tant qu'elle les concernait dans leurs rapports professionnels en leurs qualités respectives de président d'autorité et d'avocat, dans la mesure à tout le moins ou lesdites procédures n'étaient pas encore liquidées définitivement à l'exception de l'affaire ADM 53/2021 (arrêt du 14.07.2021) dont le jugement était actuellement entré en force, mais que le président de l'APEA continuait à critiquer dans sa prise de position, alors même qu'il s'était déporté dans l'affaire au fond, actuellement pendante auprès du Tribunal fédéral (ADM 62/2021 et arrêt précité du 14.07.2021).
Les juges cantonaux ont ensuite constaté que le conflit existant entre Me A._ et le président de l'APEA était antérieur au début du mandat confié par C._ audit avocat, moment auquel le président de l'APEA était déjà en charge du dossier de la fille de celle-ci. En effet, ledit président était intervenu dans la procédure de mesures de protection en faveur de l'enfant B._ à tout le moins depuis le 18 novembre 2019, date de la reprise du for par l'APEA du Jura, dont la décision avait été signée par son président; C._ n'était alors, à cette période, pas encore représentée par son mandataire actuel. Celui-ci a ensuite d'emblée demandé la récusation du président de l'APEA lors de l'annonce de son mandat à ladite autorité en date du 5 mai 2021, sans même avoir encore consulté le dossier, indice qui laissait apparaître qu'il se méfiait déjà de l'intervention préalable du président de l'APEA dans cette cause. Quoi qu'il en soit, l'APEA lui avait transmis le dossier en date du 11 mai 2021, de sorte qu'il était alors en mesure d'en prendre connaissance, ou, à tout le moins, dès le 20 mai 2021 (accusé de réception), et qu'à compter de cet instant, il ne pouvait plus ignorer que le président de l'APEA en était en charge.
La Cour administrative a considéré que, dans ces circonstances, il appartenait au mandataire de C._ de renoncer à ce mandat, au plus tard lorsqu'il avait consulté le dossier, respectivement qu'il avait obtenu la certitude que le président de l'APEA était signataire des décisions de l'APEA d'ores et déjà rendues dans la procédure ouverte en faveur de l'enfant B._. Au vu des relations conflictuelles personnelles d'une certaine importance - et intensité - entre le président de l'APEA et Me A._, celui-ci devait en effet se rendre compte qu'il n'était pas en mesure d'assurer la défense des intérêts de sa mandante avec toute l'indépendance et l'objectivité nécessaires vis-à-vis du président de l'APEA; autrement dit, il lui incombait de déduire les conséquences du manque d'indépendance, qu'il se bornait à reprocher uniquement au président de l'APEA en raison du conflit qui les anime, sur ses propres obligations professionnelles. En ne renonçant pas à ce mandat au profit d'une demande de récusation, le mandataire de la recourante avait violé ses obligations professionnelles (art. 12 let. a à c LLCA; en particulier, l'obligation de soin et de diligence, le devoir d'indépendance, ainsi que l'interdiction des conflits d'intérêts, en l'occurrence au détriment de sa mandante par son intermédiaire avec le président de l'APEA), quelle que fût l'issue de l'une ou l'autre des procédures liées entre les intéressés. En effet, par son raisonnement, le Tribunal fédéral ne cherchait pas à imputer des fautes et proposait une solution pragmatique à une situation pour le moins délicate.
Au vu de ce qui précède, la Cour administrative a jugé que la capacité de postuler devait être déniée à Me A._, celui-ci devant renoncer à assister et à représenter C._ dans le cadre de la procédure de mesures de protection en faveur de son enfant. Au cas particulier, il n'appartenait en effet pas au président de l'APEA de se récuser en apprenant la constitution du mandat de défense des intérêts de C._, accepté à tort par son mandataire. Admettre une solution contraire reviendrait à permettre, au vu du conflit notoire existant entre les intéressés, à des parties mécontentes des décisions du président de l'APEA, de mandater l'avocat en cause pour obtenir ensuite, la récusation dudit président, laquelle devait en principe, selon la jurisprudence, rester exceptionnelle. Un tel procédé abusif serait contraire au bon fonctionnement de la justice, respectivement des autorités administratives.
4.
Aux termes de griefs qui se recoupent largement, le recourant se plaint d'arbitraire (art. 9 Cst.) dans la constatation des faits et l'appréciation des preuves ainsi que d'une violation du principe de proportionnalité (art. 5 al. 2 Cst.) et de l'<ref-law>.
4.1.
4.1.1. L'avocat autorisé à pratiquer doit respecter les règles professionnelles énoncées à l'<ref-law>. Ces règles professionnelles sont des normes destinées à réglementer, dans l'intérêt public, la profession d'avocat, afin d'assurer son exercice correct et de préserver la confiance du public à l'égard des avocats (<ref-ruling> consid. 6.1).
Selon l'<ref-law>, l'avocat doit exercer sa profession avec soin et diligence. Cette disposition constitue une clause générale qui permet d'exiger de l'avocat qu'il se comporte correctement dans l'exercice de sa profession. Sa portée n'est pas limitée aux rapports professionnels de l'avocat avec ses clients, mais comprend aussi les relations avec les confrères et les autorités (<ref-ruling> consid. 4.1 et les références). L'<ref-law> prévoit notamment que l'avocat exerce son activité professionnelle en toute indépendance. L'indépendance est un principe essentiel de la profession d'avocat et doit être garantie tant à l'égard du juge et des parties, que du client (cf. <ref-ruling> consid. 6.1; arrêt 1B_191/2020 du 26 août 2020 consid. 4.1.2 et les autres références). Celui qui s'adresse à un avocat doit pouvoir admettre que celui-ci est libre de tout lien, de quelque nature que ce soit et à l'égard de qui que ce soit, qui pourrait restreindre sa capacité de défendre les intérêts de son client, dans l'accomplissement du mandat que ce dernier lui a confié (arrêt 1B_191/2020 précité loc. cit.). Quant à l'art. 12 let. c LLCA, il prescrit à l'avocat d'éviter tout conflit entre les intérêts de son client et ceux des personnes avec lesquelles il est en relation sur le plan professionnel ou privé. Même si cela ne ressort pas explicitement du texte légal, l'art. 12 let. c LLCA impose aussi d'éviter les conflits entre les propres intérêts de l'avocat et ceux de ses clients. Un avocat ne doit donc pas accepter un mandat, respectivement s'en dessaisir, quand les intérêts du client entrent en collision avec ses propres intérêts. Ainsi, selon la doctrine, en cas de conflit personnel d'une certaine importance avec un confrère qu'il sait assister la partie adverse, un avocat ne doit pas accepter le mandat, dès lors qu'il sait qu'il ne pourra pas le remplir en toute indépendance et sans conflit d'intérêts (arrêt 1B_191/2020 précité loc. cit. et les références). L'interdiction de plaider en cas de conflit d'intérêts se trouve en lien avec la clause générale de l'<ref-law> précité, selon laquelle l'avocat exerce sa profession avec soin et diligence, de même qu'avec l'obligation d'indépendance rappelée à l'<ref-law> (<ref-ruling> consid. 2.1 et les références).
Les règles susmentionnées visent avant tout à protéger les intérêts des clients de l'avocat, en leur garantissant une défense exempte de conflit d'intérêts. Elles tendent également à garantir la bonne marche du procès, en particulier en s'assurant qu'aucun avocat ne soit restreint dans sa capacité de défendre l'un de ses clients (<ref-ruling> consid. 2.1; <ref-ruling> consid. 2.1; arrêt 1B_191/2020 précité loc. cit.).
Il faut éviter toute situation potentiellement susceptible d'entraîner des conflits d'intérêts. Un risque purement abstrait ou théorique ne suffit pas; le risque doit être concret. Il n'est toutefois pas nécessaire que le danger concret se soit réalisé et que l'avocat ait déjà exécuté son mandat de façon critiquable ou en défaveur de son client (<ref-ruling> consid. 2.1; arrêts 2C_293/2021 du 27 juillet 2021 consid. 4.1; 1B_191/2020 précité loc. cit. et les références). Dès que le conflit d'intérêts survient, l'avocat doit mettre fin à la représentation (<ref-ruling> consid. 2.1 et les références). Celui qui, en violation des obligations énoncées à l'<ref-law>, accepte ou poursuit la défense alors qu'il existe un tel risque de conflit doit se voir dénier par l'autorité la capacité de postuler. L'interdiction de plaider est, en effet, la conséquence logique du constat de l'existence d'un tel conflit (<ref-ruling> consid. 2.5.1).
4.1.2. Un grave conflit personnel ou une forte inimitié entre un magistrat et un avocat constitue tant un motif de récusation du magistrat qu'un motif d'incapacité de postuler de l'avocat. Dans une telle situation, le Tribunal fédéral a jugé en substance que le premier d'entre eux à oeuvrer sur le dossier devait rester alors qu'il appartenait au second de renoncer à s'en saisir (cf. arrêt 1B_191/2020 du 26 août 2020 consid 4.3; BARTH/BURGENER, Tensions entre avocats et magistrats: récusation du magistrat ou incapacité de postuler de l'avocat ?, commentaire de l'arrêt 1B_191/2020, in Revue de l'avocat, 11/12/2020 p. 47 ss).
4.2.
4.2.1. Quoi qu'en dise le recourant, on ne voit pas en quoi la règle posée par le Tribunal fédéral dans son arrêt 1B_191/2020 consistant à imposer à l'avocat se trouvant déjà en conflit avec un magistrat de ne pas accepter de nouveau mandat impliquant de procéder devant celui-ci ne devrait pas s'appliquer en l'espèce.
Le recourant soutient que la Cour administrative ne pouvait pas sans autre appliquer ladite règle, dès lors que les faits de la présente affaire s'en distinguaient sur deux aspects principaux. En premier lieu, il relève que, dans l'affaire pénale en question, l'avocate était en conflit, à l'instar de l'ensemble des membres de son étude, depuis environ trois ans avec une procureure, ce qui avait donné lieu au dépôt de nombreuses plaintes à l'encontre de la magistrate. Or, en l'occurrence, il n'avait à titre personnel jamais déposé de plainte pénale contre le président. En outre, contrairement à ce qui prévalait dans le cadre d'une procédure pénale, l'organisation jurassienne de la protection de l'enfant et de l'adulte conférait pratiquement au président de l'APEA " l'apanage d'administrer toutes les procédures ". L'interdiction prononcée revenait donc matériellement à l'empêcher de tout exercice de sa profession devant l'APEA du Jura, ce qui était très clairement contraire au principe de proportionnalité, à la liberté économique et à l'intérêt public. Il serait ainsi plus conforme au principe de proportionnalité et à la bonne marche de la justice que le président se récuse d'office au profit de l'un de ses vice-présidents. Le recourant est d'avis que cette solution garantirait en outre à tout administré, en particulier à C._, le libre choix de l'avocat et ne limiterait pas de manière infondée sa liberté économique et son droit de représentation en justice. Sur le premier point, on relèvera que le recourant oppose, sans en démontrer l'arbitraire, sa propre appréciation des faits à celle de la cour cantonale qui a précisément retenu l'existence de plaintes pénales déposées mutuellement par les parties. Quoi qu'il en soit, la condition permettant d'exiger de l'avocat qu'il renonce à son mandat, respectivement du juge qu'il se récuse, est l'existence non pas d'une procédure pénale entre eux mais d'un grave conflit personnel ou d'une forte inimitié. Le recourant soutient ensuite que la présente cause se distinguerait également de l'affaire pénale précitée parce que l'inimitié existant entre le président et lui le contraindrait à systématiquement renoncer à exercer sa profession devant l'APEA du Jura, dès lors que l'art. 12 de la Loi jurassienne sur l'organisation de la protection de l'enfant et de l'adulte (LOPEA; RS/JU 213.1) accordait de très larges compétences au président de l'APEA en matière de protection de l'enfant et de l'adulte et qu'il administre donc pratiquement toutes les procédures. Ce faisant, le recourant omet toutefois que l'art. 7 al. 2 de la LOPEA prévoit que les deux autres membres permanents de l'autorité de protection assument la fonction de vice-président. Quant à l'art. 11 al. 1 LOPEA, il impose certes la prise de décisions de manière collégiale par trois membres de l'autorité, mais n'exige pas que le président soit dans la composition, seule la présence d'un des membres permanents, à savoir du président ou d'un des vice-présidents étant nécessaire. Partant, dans l'hypothèse où le recourant se verrait confier un mandat avant que la composition de l'APEA dans le dossier en question ne soit déterminée, le président pourra parfaitement se récuser et l'un de ses vice-présidents siéger à sa place. Il suit de ce qui précède qu'aucun motif ne justifie de s'écarter de la règle développée dans l'arrêt 1B_191/2020.
4.2.2. Le recourant reproche encore à la cour cantonale d'avoir retenu arbitrairement l'existence d'une inimitié réciproque entre les intéressés, alors que seul le président aurait manifesté une telle inimitié à son encontre et qu'il n'était donc pas responsable du conflit qui l'opposait audit président. Ce faisant, le recourant ne fait toutefois qu'opposer sa propre appréciation de la situation à celle de la cour cantonale. Or, cette dernière a fait état de nombreuses procédures introduites tant par le président que par le recourant l'un à l'encontre de l'autre, à savoir notamment différentes plaintes pénales déposées mutuellement. Le recourant ne le conteste pas mais se contente de soutenir qu'il n'aurait jamais eu de comportement déplacé envers le président alors qu'il ne s'agit pas d'une condition pour conclure à l'existence d'une inimitié. Par ailleurs, le fait que la Cour administrative n'ait pas rapporté le contenu détaillé d'une décision en particulier, à savoir la décision du 29 octobre 2021 de la Chambre des avocats jurassienne, n'est pas pertinent dans la mesure où elle n'est aucunement liée par les considérants de dite décision. Cela étant, contrairement à ce que soutient le recourant, cette décision est bien mentionnée au considérant 4.3.1 de l'arrêt querellé, de sorte que rien ne permet de retenir que la cour cantonale aurait omis d'en tenir compte. Quoi qu'il en soit, en application de la règle posée dans l'arrêt 1B_191/2020, la question pertinente dans le cas d'espèce n'est pas de connaître l'origine de l'inimitié entre les parties ou de définir si elle est réciproque ou unilatérale comme le recourant s'évertue à le faire. Seule importe en effet la question de savoir qui a été saisi du dossier en premier lieu.
Or, il ressort de l'état de fait cantonal non contesté sur ce point que le président est intervenu dans la procédure de mesures de protection en faveur de l'enfant B._ à tout le moins depuis le 18 novembre 2019, date de la reprise du for par l'APEA du Jura, décision qu'il a d'ailleurs lui-même signée. A cette date, C._ n'était pas encore représentée par le recourant, son mandataire actuel. Ce dernier a d'ailleurs d'emblée demandé la récusation du président lors de l'annonce de son mandat à ladite autorité en date du 5 mai 2021, ce qui laisse apparaître qu'il se méfiait déjà de l'intervention préalable du président dans cette cause. Il apparaît dès lors que le président a bien été saisi de la cause avant que le recourant n'accepte ce mandat. Partant, on ne voit pas en quoi la motivation de la Cour administrative prêterait le flanc à la critique en tant qu'elle retient que le recourant, en acceptant le mandat de représenter C._ dans une procédure déjà pendante devant l'APEA du Jura et menée par le président, a enfreint l'<ref-law>, puisqu'au vu de son inimitié patente envers ce dernier et du conflit les opposant, il existait un risque qu'il ne dispose pas du recul suffisant pour satisfaire à son devoir d'indépendance et qu'il fasse passer son intérêt personnel avant celui de sa cliente.
5.
En définitive, le recours constitutionnel subsidiaire est irrecevable et le recours en matière civile est rejeté dans la mesure de sa recevabilité, aux frais du recourant (<ref-law>). Il n'y a pas lieu d'allouer de dépens à l'intimée (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours constitutionnel subsidiaire est irrecevable.
2.
Le recours en matière civile est rejeté dans la mesure où il est recevable.
3.
Les frais judiciaires, arrêtés à 1'500 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal de la République et canton du Jura, Cour administrative.
Lausanne, le 26 avril 2022
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
La Greffière : Hildbrand