Considérant en fait et en droit :
1.
Le 20 janvier 2021, l'Autorité pour la protection de l'enfant et de l'adulte d'Hérens (ci-après : APEA) a confirmé le retrait du droit de déterminer le lieu de résidence des époux B.A._ et A.A._ sur leurs enfants C.A._, D.A._ et E.A._ et leur placement en foyer.
Par jugement du 28 avril 2021, la Présidente de l'Autorité de recours en matière de protection de l'enfant et de l'adulte du Tribunal cantonal du canton du Valais a admis le recours formé par les époux A._ et par conséquent annulé le chiffre 1 de la décision rendue le 20 janvier 2021 par l'APEA et renvoyé la cause à l'autorité inférieure pour complément d'instruction et nouvelle décision.
En substance, la Présidente de l'autorité cantonale a jugé que le retrait du droit de déterminer le lieu de résidence des parents violait la maxime inquisitoire et les principes de proportionnalité et de subsidiarité, car la décision avait été rendue sans qu'il ait été examiné si des mesures moins incisives auraient permis de remédier à la situation. La Présidente a en revanche considéré que le droit d'être entendu des parents n'avait pas été violé et qu'en dépit du déménagement de la famille sur le canton de Vaud, la compétence de l'APEA demeurait acquise pour cette procédure pendante (art. 442 al. 1 et 5 CC).
2.
Par acte du 31 mai 2021, A.A._ exerce un recours en matière civile au Tribunal fédéral, contestant le refus du transfert de for.
Par lettre du 16 juin 2021, le recourant a sollicité le bénéfice de l'assistance judiciaire pour la procédure fédérale.
3.
Le Tribunal fédéral examine d'office sa compétence (<ref-law>) et contrôle librement les conditions de recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1.1; <ref-ruling> consid. 1; <ref-ruling> consid. 2.1).
Une décision doit être qualifiée de finale (<ref-law>) lorsqu'elle tranche définitivement toutes les questions qui se posent, sans aucun renvoi à l'autorité précédente (<ref-ruling> consid. 1.2; arrêts 5A_261/2016 et 5A_270/2016 du 20 septembre 2016 consid. 2.2; 5A_619/2012 du 20 novembre 2012 consid. 1.2.1). Une décision est au contraire préjudicielle ou incidente lorsque l'autorité de recours statue sur une partie seulement des questions encore litigieuses et renvoie la cause aux juges précédents pour nouvelle décision sur un ou plusieurs autres points. Pour qualifier une décision au regard de l'<ref-law>, il faut la considérer comme un tout, car elle ne peut être finale au sens de cette disposition que si elle met fin à toute la procédure; elle ne peut pas être à la fois en partie finale, au sens de l'<ref-law>, et en partie préjudicielle ou incidente, au sens de l'<ref-law> (arrêt 5A_99/2013 du 17 mai 2013 consid. 1.3.1).
En l'occurrence, la décision entreprise statue sur le for de la procédure pendante, mais renvoie la cause à l'autorité de première instance s'agissant des questions du droit de déterminer le lieu de résidence des enfants et leur placement, de sorte qu'elle ne tranche pas définitivement toutes les questions qui se posent dans la procédure, de sorte qu'elle ne saurait être qualifiée de finale. La décision attaquée constitue par conséquent une décision incidente ou préjudicielle.
Le recours en matière civile est recevable contre les décisions préjudicielles et incidentes qui sont notifiées séparément et qui portent sur la compétence ou sur une demande de récusation (<ref-law>). La loi requiert que la décision soit notifiée séparément, et donc indépendamment du jugement au fond (arrêt 5A_485/2020 du 25 mars 2021 consid. 1.3.1). Aux termes de l'<ref-law>, les autres décisions préjudicielles et incidentes notifiées séparément peuvent faire l'objet d'un recours si elles peuvent causer un préjudice irréparable (let. a) ou si l'admission du recours peut conduire immédiatement à une décision finale qui permet d'éviter une procédure probatoire longue et coûteuse (let. b). Il appartient au recourant d'expliquer en quoi la décision entreprise remplit les conditions de l'<ref-law>, sauf si ce point découle manifestement de la décision attaquée ou de la nature de la cause (<ref-ruling> consid. 1.2; <ref-ruling> consid. 1.2; <ref-ruling> consid. 1.2).
En l'occurrence, le jugement attaqué statue effectivement sur la compétence, mais non dans un jugement séparé du fond, en sorte qu'il ne peut être qualifié de décision incidente au sens de l'<ref-law>. La décision entreprise, qui statue sur la compétence et renvoie la cause à l'APEA sur le fond doit donc être qualifiée de décision incidente ou préjudicielle au sens de l'<ref-law>. Le recourant n'aborde pas la question de la nature de la décision attaquée, de sorte qu'il ne démontre pas que les conditions de recevabilité de son recours au regard de l'art. 93 al. 1 let. a ou b LTF seraient satisfaites. Or, celles-ci n'apparaissent pas non plus manifestement remplies. Certes le renvoi de la cause à l'autorité inférieure est susceptible de causer un dommage au recourant par la prolongation de la procédure qu'il entraîne, mais un tel dommage de pur fait est insuffisant au sens de l'<ref-law> (<ref-ruling> consid. 1.2). Quant à l'hypothèse visée par l'art. 93 al. 1 let. b LFT, elle doit d'emblée être écartée car le Tribunal fédéral n'est pas en mesure de rendre une décision qui mettrait fin à la procédure.
4.
Vu ce qui précède, le recours doit être déclaré irrecevable, selon la procédure simplifiée de l'<ref-law>.
Les conclusions du recourant étaient d'emblée dépourvues de chances de succès, ce qui entraîne le rejet de sa requête d'assistance judiciaire ainsi que sa condamnation aux frais (art. 64 al. 1 et 66 al. 1 LTF).


Par ces motifs, la Juge présidant prononce :
1.
Le recours est irrecevable.
2.
La requête d'assistance judiciaire du recourant est rejetée.
3.
Les frais judiciaires, arrêtés à 750 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué au recourant, à l'Autorité intercommunale de protection de l'enfant et de l'adulte d'Hérens, ainsi qu'au Tribunal cantonal du canton du Valais, Présidente de l'Autorité de recours en matière de protection de l'enfant et de l'adulte.
Lausanne, le 18 juin 2021
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
La Juge présidant : Escher
La Greffière : Gauron-Carlin