Faits :
A.
Par décision du 6 octobre 2020, la Justice de paix du district de La Broye-Vully a notamment retiré à A._ le droit de déterminer le lieu de résidence des enfants C._ et D._ et confié un mandat de placement et de garde à la Direction générale de l'enfance et de la jeunesse. Statuant par arrêt du 13 janvier 2021, la Chambre des curatelles du Tribunal cantonal du canton de Vaud (ci-après: la Chambre des curatelles) a rejeté le recours formé par A._ contre cette décision, de même que sa requête d'assistance judiciaire.
Par arrêt du 10 septembre 2021, le Tribunal fédéral a admis le recours interjeté le 3 novembre 2020 par A._ et renvoyé la cause à l'autorité cantonale pour instruction complémentaire et nouvelle décision, tant sur la question du retrait du droit de la recourante de déterminer le lieu de résidence de ses enfants et du prononcé du placement qu'en ce qui concerne le rejet de la requête d'assistance judiciaire qu'elle avait introduite pour la procédure de recours cantonale (cause 5A_131/2021). Le Tribunal fédéral a précisé qu'il appartiendrait aussi à l'autorité cantonale de statuer à nouveau sur les frais et dépens de la procédure cantonale.
B.
Ensuite de l'arrêt de renvoi du Tribunal fédéral, par ordonnance du 27 septembre 2021 de la Juge déléguée de la Chambre des curatelles, A._ a été mise au bénéfice de l'assistance judiciaire avec effet au 3 novembre 2020 pour la procédure de recours, comprenant l'exonération d'avance et des frais judiciaires ainsi que l'assistance d'un avocat d'office en la personne de Me E._. Le 29 novembre 2021, celui-ci a produit une liste des opérations dans laquelle il indiquait avoir consacré 22 heures et 35 minutes à la présente affaire.
Par arrêt du 31 décembre 2021, la Chambre des curatelles a renvoyé la cause à l'autorité de première instance pour instruction et nouvelle décision, considérant en substance que pour se conformer aux injonctions du Tribunal fédéral, il convenait de compléter l'état de fait sur des points essentiels, de sorte qu'il se justifiait de respecter le double degré de juridiction cantonale. Entre autres points, la Chambre des curatelles a aussi fixé l'indemnité de Me E._, laissée provisoirement à la charge de l'Etat, à 3'015 fr. 50, TVA et débours compris.
C.
Par acte du 18 janvier 2022, Me E._ exerce un recours constitutionnel subsidiaire au Tribunal fédéral contre l'arrêt précité. Il conclut principalement à sa réforme, en ce sens que l'indemnité d'office est fixée à 4'458 fr. 65, TVA et débours compris, subsidiairement au renvoi de la cause à la cour cantonale pour nouvelle décision.
Il n'a pas été demandé d'observations.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 2).
1.1. Lorsqu'elle porte, comme en l'espèce, sur la rétribution de l'activité déployée par le défenseur d'office dans une affaire susceptible de recours en matière civile (art. 72 al. 2 let. b ch. 6 LTF), la décision est rendue dans une matière connexe au droit civil au sens de l'<ref-law> (parmi plusieurs, cf. arrêt 5A_301/2018 du 7 juin 2018 consid. 1.1), sous réserve des conditions de recevabilité de ce recours (<ref-law>).
1.2. Le litige portant sur la rétribution de l'avocat d'office est de nature pécuniaire, en sorte que le recours en matière civile n'est recevable que si la valeur litigieuse atteint 30'000 fr. (<ref-law>). Cette indemnité ne constitue pas un " point accessoire " des conclusions au fond, mais concerne une prétention (découlant du droit public) qui compète en propre à l'avocat; partant, pour déterminer la valeur litigieuse, il faut se fonder sur le montant contesté de l'indemnité (arrêt 5D_7/2019 du 5 août 2019 consid. 1.2 non publié in <ref-ruling>, et les références). Par conséquent, la valeur litigieuse n'est pas atteinte et c'est à juste titre que le recourant interjette un recours constitutionnel subsidiaire (<ref-law>), aucune des exceptions prévues à l'<ref-law> n'étant de surcroît réalisée.
1.3. En l'espèce, la fixation de l'indemnité de l'avocat d'office pour la procédure de recours cantonale ne participe pas du caractère incident de la décision de renvoi sur le fond. L'autorité précédente a mis un terme à la procédure en ce qui concerne ce point pour l'instance de recours cantonale. Cette question constitue l'unique objet du présent recours, de sorte que cette décision apparaît matériellement finale au sens de l'<ref-law> (cf. arrêt 5D_37/2021 du 2 février 2022 consid. 1.2 [concernant le refus de l'assistance judiciaire]). Il sera au surplus précisé que la présente cause se distingue de l'affaire 5A_40/2022 tranchée ce jour, dont l'objet n'est pas la fixation de l'indemnité du conseil d'office mais l'octroi de dépens et la fixation du montant de ceux-ci dans le cadre de la décision de renvoi sur le fond du 31 décembre 2021, à savoir un prononcé accessoire qui, de jurisprudence constante, constitue une décision incidente au sens de l'<ref-law> (cf. notamment <ref-ruling> consid. 1.3; <ref-ruling> consid. 1.2.2), étant encore relevé que les parties recourantes en instance fédérale ne sont pas non plus les mêmes dans ces deux affaires, seul l'avocat ayant qualité pour recourir contre le montant de l'indemnité fixé en sa faveur, alors que la qualité pour recourir s'agissant des dépens cantonaux appartient à la partie qui réclame l'octroi de dépens.
1.4. Pour le surplus, le recours a été interjeté en temps utile (art. 100 al. 1, 46 al. 1 let. c et 117 LTF) à l'encontre d'une décision émanant d'une autorité cantonale de dernière instance (art. 75 et 114 LTF). Le recourant a pris part à la procédure devant la juridiction précédente et dispose, en tant que titulaire de cette prétention, d'un intérêt juridiquement protégé à la modification de la décision attaquée (<ref-law>).
2.
2.1. Le recours constitutionnel subsidiaire peut être formé pour violation des droits constitutionnels (<ref-law>). Saisi d'un grief d'arbitraire (art. 9 Cst.), le Tribunal fédéral ne censure la décision attaquée que si elle est manifestement insoutenable, non seulement dans ses motifs, mais encore dans son résultat (<ref-ruling> consid. 1.5 et les références). Il n'examine en outre que les griefs expressément soulevés et motivés conformément au principe d'allégation (<ref-law>, par renvoi de l'<ref-law>; sur cette exigence: <ref-ruling> consid. 2.1 et les citations).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Le recourant ne peut obtenir leur rectification ou leur complètement que s'il démontre une violation de droits constitutionnels (<ref-law>). Il doit ainsi exposer avec précision, conformément au principe d'allégation (cf. supra consid. 2.1), en quoi la constatation d'un fait, pertinent pour l'issue du litige, est manifestement insoutenable, c'est-à-dire en contradiction évidente avec la situation de fait, reposant sur une inadvertance manifeste ou dépourvue de toute justification objective (<ref-ruling> consid. 2.2 et les citations).
3.
La Chambre des curatelles a retenu que A._ ayant désormais été mise au bénéfice de l'assistance judiciaire avec effet au 3 novembre 2020, Me E._ avait droit à une rémunération équitable au sens de l'<ref-law>. Celui-ci avait indiqué, dans sa liste d'opérations, avoir consacré à l'affaire 22,58 heures, soit 22 heures et 35 minutes. En particulier, il invoquait, dans le cadre de la procédure ayant mené à l'arrêt du 13 janvier 2021 de la Chambre des curatelles, 12,5 heures pour la rédaction des 17 pages du recours du 3 novembre 2020, soit 2 heures le 28 octobre 2020, 1,5 heures le 29 octobre 2020, 3 heures le 30 octobre 2020, 4,5 heures le 2 novembre 2020 et 1,5 heures le 3 novembre 2020. Il revendiquait également 4,83 heures pour la rédaction des 7 pages des déterminations spontanées du 19 novembre 2020, soit 3,5 heures le 18 novembre 2020 et 1,33 heures le 19 novembre 2020. Ces deux écritures totalisent ainsi 17,33 heures. Compte tenu de l'absence de complexité particulière de la présente procédure, la Chambre des curatelles a considéré que cette durée était excessive et devait être réduite à 10 heures pour la rédaction des deux écritures. Au vu de ce qui précède et dans la mesure où le reste des heures ressortant de la liste d'opérations pouvait être admis sans rectification, il convenait de déduire 7,33 heures aux 22,58 heures revendiquées, pour retenir in fine une durée totale de 15,25 heures. Au tarif horaire de 180 fr., l'indemnité de Me E._ devait donc être fixée à 3'015 fr. 50, soit 2'745 fr. à titre d'honoraires (15,25 heures à 180 fr.), 54 fr. 90 à titre de débours et 215 fr. 60 de TVA.
4.
Le recourant se plaint d'arbitraire dans la fixation de l'indemnité d'avocat d'office qui lui a été allouée pour la procédure de recours cantonale.
4.1. Les cantons sont compétents pour fixer le tarif des frais comprenant le défraiement de l'avocat commis d'office (<ref-law> en relation avec les art. 95 al. 3 let. b et <ref-law>). Le canton de Vaud a délégué cette compétence législative à la Cour plénière du Tribunal cantonal (art. 39 al. 5 du Code de droit privé judiciaire vaudois du 12 janvier 2010 [CDPJ; RSV 211.02]; art. 69 let. c de la loi d'organisation judiciaire du 12 décembre 1979 [LOJV; BLV 173.01]). Le Tribunal cantonal vaudois a adopté le 7 décembre 2010 le Règlement sur l'assistance judiciaire en matière civile (RAJ; BLV 211.02.3). L'art. 2 al. 1 RAJ - qui renvoie à l'<ref-law> - précise que le conseil juridique commis d'office a droit au remboursement de ses débours et à un défraiement équitable, qui est fixé en considération de l'importance de la cause, de ses difficultés, de l'ampleur du travail et du temps consacré par le conseil juridique commis d'office (arrêt 5A_10/2018 du 17 avril 2018 consid. 3.2.2.1). Le juge apprécie l'étendue des opérations nécessaires pour la conduite du procès. Il applique le tarif horaire de 180 fr. pour un avocat et de 110 fr. pour un avocat-stagiaire (art. 2 al. 1 let. a et b RAJ).
4.2. Le conseil juridique commis d'office n'exerce pas un mandat privé, mais accomplit une tâche de droit public, à laquelle il ne peut se soustraire (cf. art. 12 let. g LLCA) et qui lui confère une prétention de droit public à être rémunéré équitablement dans le cadre des normes cantonales applicables (cf. <ref-law>; <ref-ruling> consid. 3.2.2). Ce droit ne comprend pas tout ce qui est important pour la défense des intérêts du mandant; en effet, le mandat d'office ne consiste ainsi pas simplement à faire financer par l'État un mandat privé. Il constitue une relation tripartite dans laquelle l'État confère au conseil d'office la mission de défendre les intérêts du justiciable démuni, lui conférant une sorte de mandat en faveur d'un tiers (<ref-ruling> consid. 3.2.2). Le droit à l'indemnité n'existe dès lors que dans la mesure où les démarches entreprises sont nécessaires à la sauvegarde des droits de la défense (<ref-ruling> consid. 3.1) et pas déjà lorsqu'elles sont simplement justifiables. Dans le champ d'application du CPC, le législateur fédéral a délibérément renoncé à prescrire une pleine indemnisation (<ref-ruling> consid. 5.3). L'<ref-law> n'oblige qu'à une rémunération " équitable " du défenseur d'office (cf. arrêt 5A_10/2018 du 17 avril 2018 consid. 3.2.2.2).
Dans la fixation de l'indemnité du défenseur d'office, les cantons disposent ainsi d'un large pouvoir d'appréciation (cf. <ref-law>). Celui-ci s'étend tant à la détermination des démarches à indemniser in concreto qu'aux principes d'indemnisation. Le Tribunal fédéral n'intervient qu'en cas d'arbitraire (arrêt 5A_10/2018 du 17 avril 2018 consid. 3.2.2.2 et les références). Tel est le cas lorsque la décision attaquée repose sur une appréciation insoutenable des circonstances, est incompatible avec les règles du droit et de l'équité, omet de prendre en considération tous les éléments propres à fonder la décision ou, au contraire, tient compte de critères dénués de pertinence. Le Tribunal fédéral fait preuve de réserve lorsque l'autorité estime exagérés le temps ou les opérations déclarés par l'avocat d'office, car il appartient aux autorités cantonales de juger de l'adéquation entre les activités déployées par celui-ci et celles qui sont justifiées par l'accomplissement de sa tâche (<ref-ruling> consid. 3.2; <ref-ruling> consid. 2d; arrêt 5A_157/2015 du 12 novembre 2015 consid. 3.2.1). Enfin, il ne suffit pas que l'autorité ait apprécié de manière erronée un poste de l'état de frais ou qu'elle se soit fondée sur un argument déraisonnable; encore faut-il que le montant global alloué à titre d'indemnité d'office se révèle arbitraire (<ref-ruling> consid. 3d; arrêts 5A_301/2018 du 7 juin 2019 consid. 3.1; 5A_10/2018 du 17 avril 2018 consid. 3.2.2.2; 5D_4/2016 du 26 février 2016 consid. 4.3.1).
5.
Le recourant fait valoir que l'ensemble des heures mentionnées dans sa liste des opérations étaient nécessaires à l'accomplissement de son mandat. S'agissant en particulier des deux écritures ayant fait l'objet d'un retranchement global de 42,3%, à savoir son recours de 17 pages et des déterminations de 7 pages, il soutient que les motifs retenus par la cour cantonale, à savoir la prétendue absence de complexité particulière de la cause, relève de l'arbitraire. Il rappelle que la procédure en limitation de l'autorité parentale a été ouverte en 2016, qu'un premier recours contre le prononcé du placement a été admis par arrêt du 23 janvier 2018, et que s'en sont suivis un premier rapport d'expertise en 2019, un second rapport en 2020, puis un second prononcé de placement de la Justice de paix du 6 octobre 2020, qui comportait 26 pages.
Le recourant relève que son mémoire de recours du 3 novembre 2020 comprenait des conclusions urgentes prises à titre provisionnel ainsi qu'en restitution de l'effet suspensif et que la rédaction de cet acte a notamment nécessité l'analyse d'un rapport d'expertise de 32 pages de l'Université de Bâle sur la qualité des expertises de pédopsychiatrie légale, un audit de 46 pages des Drs F._ et G._ sur la pratique expertale en pédopsychiatrie, et un rapport de 129 pages de la Commission des Droits de l'homme relatif au système genevois de protection de l'enfance. La prise de connaissance de ces documents était nécessaire pour démontrer que l'expertise du Dr H._ ne répondait pas aux exigences minimales en matière d'expertise pédopsychiatrique. Ainsi, même si ce point n'avait finalement pas été examiné, on ne pouvait pas considérer que ce travail était superflu et le temps de 12,5 heures consacré à la rédaction du mémoire de recours était justifié. S'agissant de sa détermination spontanée du 19 novembre 2020, elle faisait suite aux déterminations de la DGEJ du 5 novembre 2020 qui se référaient aux standards Quality4Children pour le placement de l'enfant, dont il avait dès lors fallu prendre connaissance. Il avait aussi été nécessaire d'analyser le rapport du Conseil fédéral sur le Droit de l'enfant d'être entendu, du 2 septembre 2020, et le rapport du Centre suisse de compétence pour les droits humains de 268 pages, qui étaient tous deux pertinents pour la question du droit d'être entendu, étant relevé qu'en l'occurrence la Justice de paix comme l'autorité intimée étaient selon lui hostiles à l'idée de permettre aux enfants de s'exprimer, de sorte que ces recherches étaient justifiées et que le temps de 4,83 heures consacré à la prise de connaissance de ces documents et à la rédaction de l'écriture concernée était parfaitement justifié.
Le recourant relève que si la cause ne présentait pas de complexité particulière, la Chambre des curatelles aurait d'emblée été capable d'identifier les carences du second rapport d'expertise du Dr H._ et le fait que les enfants auraient dû être entendus, sans qu'un recours au Tribunal fédéral soit nécessaire. En outre, le raisonnement de l'autorité cantonale serait contradictoire, puisqu'appelée à statuer sur l'indemnité accordée au conseil d'office de la partie intimée en instance cantonale, elle avait reconnu que la cause présentait des difficultés et avait dès lors tenu compte des 9 heures et 53 minutes de travail ressortant des listes des opérations produites par cet avocat, qui n'avait pourtant ni eu d'acte de procédure à rédiger, ni dû se déterminer sur le fond du recours, n'ayant été invité qu'à se prononcer sur l'effet suspensif et sur la suite à donner à l'arrêt du Tribunal fédéral. La différence de seulement cinq heures avec l'indemnité qui lui a été allouée ne serait pas justifiée.
En définitive, le retranchement de 7,33 heures opéré serait manifestement insoutenable, dans ses motifs comme dans son résultat, ayant pour conséquence que les 22,58 heures de travail qu'il a en réalité effectuées ne seraient rémunérées qu'à un tarif horaire de 121 fr. 58 (à savoir 2'745 fr. / 22,58), ce qui ne lui permettrait notoirement pas de réaliser un bénéfice.
5.1. En tant que le recourant soutient que si la cause n'était pas complexe, la cour cantonale aurait immédiatement identifié les carences du rapport d'expertise et entendu les enfants sans qu'un recours au Tribunal fédéral soit nécessaire, sa critique est impropre à démontrer le caractère arbitraire de la décision entreprise. On ne saurait qualifier la cause de particulièrement complexe pour le seul motif que le Tribunal fédéral a admis le recours dans la cause 5A_131/2021. Indépendamment de ce qui précède, le recourant ne parvient quoi qu'il en soit pas à démontrer qu'en retenant un total de 10 heures de travail comme étant nécessaire pour la rédaction du mémoire de recours du 3 novembre 2020 et des déterminations spontanées du 19 novembre 2020, la cour cantonale aurait franchi le seuil de l'arbitraire. En particulier, on ne discerne pas en quoi la lecture des documents volumineux dont il soutient avoir dû prendre connaissance, notamment un rapport de 268 pages, était indispensable pour qu'il puisse requérir l'audition des enfants, étant rappelé que les principes en la matière sont en réalité définis par la loi et la jurisprudence fédérale (cf. notamment les arrêts cités dans l'arrêt 5A_131/2021 du 10 septembre 2021 consid. 3.2). En outre, le recourant ne saurait tirer argument d'une comparaison entre l'indemnité qui lui a été allouée et celle qui a été accordée au conseil de la partie intimée en instance cantonale, dont il n'y a pas lieu d'examiner l'adéquation dès lors qu'elle ne fait pas l'objet du présent litige. On relèvera au demeurant que l'autorité cantonale n'a pas expressément retenu, dans le cadre de la fixation de cette autre indemnité, que la cause revêtait une complexité particulière. Elle a simplement indiqué que le nombre d'heures mentionnées par l'avocat en question dans sa liste des opérations du 1er novembre 2021 apparaissait proportionné et pouvait être admis, " vu la nature du litige et les difficultés de la cause ", sans toutefois qu'elle qualifie ces difficultés de particulières.
En définitive, le recourant échoue à démontrer que l'estimation à 15,25 heures du temps utilement consacré à l'exercice de son mandat de conseil d'office en seconde instance cantonale, respectivement le montant global qui lui a été alloué à ce titre, relèveraient de l'arbitraire. Dans ces circonstances, c'est à tort qu'il affirme - par référence aux 22,58 heures de travail qu'il a alléguées - que le tarif horaire appliqué par la Chambre des curatelles serait de 121 fr. 57, celle-ci ayant en réalité rémunéré les 15,25 heures précitées au tarif de 180 fr. par heures, conformément à l'art. 2 al. 1 let. a RAJ et à la jurisprudence. Autant que recevable, le grief doit ainsi être rejeté.
6.
En conclusion, le recours est rejeté dans la mesure de sa recevabilité, aux frais de son auteur (<ref-law>). Il n'y a pas lieu d'allouer des dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté, dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties.
Lausanne, le 25 mars 2022
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
La Greffière : Dolivo