Citation: 5A_312/2021 E. B

B.a. Le 3 juin 2019, la mère a déposé devant l'Autorité intercommunale de protection de l'enfant et de l'adulte du district de Saint-Maurice (ci-après: APEA) une requête de mesures provisionnelles visant à la fixation d'un droit de visite en faveur du père. Par décision du 18 juillet 2019, l'APEA a provisoirement attribué la garde des enfants à leur mère et fixé le droit de visite du père au lundi de 17 h 30 à 19 h 30, au jeudi soir à 17 h 30 jusqu'au samedi à 12 h 00, à une semaine de vacances du 7 août 2019 à 17 h 30 jusqu'au 16 août 2019 au retour des vacances et à la moitié des vacances scolaires. L'autorité précitée a en outre ordonné la mise en oeuvre d'une enquête sociale. Le 10 décembre 2019, l'Office cantonal pour la protection de l'enfant (ci-après: OPE) a remis à l'APEA un rapport d'évaluation sociale daté du 6 décembre 2019. B.b. Le 20 novembre 2019, D.X.________, agissant pour les enfants B.X.________ et C.X.________, a déposé, devant le Tribunal des districts de Martigny et Saint-Maurice, une requête de mesures provisionnelles en autorisation de changement de domicile, en fixation d'un droit de visite et en fixation de contributions d'entretien. Elle a notamment conclu à ce qu'elle soit autorisée à prendre les enfants avec elle lors de son déménagement en France voisine et à ce que le père bénéficie d'un droit de visite à exercer un week-end sur deux, du vendredi à 18 h 00 au dimanche à 18 h 00, ainsi que quatre semaines de vacances scolaires par année. Par écriture du 18 décembre 2019, modifiée le 25 mars 2020, le père a notamment conclu au rejet de la requête, à ce qu'il soit fait interdiction à la mère de déplacer le lieu de vie des enfants en France ou dans un lieu ne permettant pas les relations personnelles entre les enfants et lui-même, à ce que, dès le départ de la mère, le droit de garde lui soit attribué et à ce que, tant que la mère habiterait en France ou dans un lieu où l'exercice d'une garde alternée et partagée ne serait pas possible, le droit de visite de celle-ci s'exerce de la manière la plus large possible, d'entente entre les parties et, à défaut d'entente, un week-end sur deux, du vendredi à 18 h 00 au dimanche à 18 h 00, une semaine à Noël et une semaine à Pâques, le jour déterminant étant passé alternativement chez l'un et l'autre des parents, ainsi que deux semaines consécutives durant les vacances d'été, dans ce cas moyennant un préavis de trois mois. Le père a également conclu à l'instauration d'une autorité parentale conjointe et à ce que, en l'absence de départ à l'étranger de la mère, un droit de garde alterné et partagé entre les parents soit ordonné selon les modalités préconisées par l'OPE. A l'occasion d'une audience tenue le 18 décembre 2019 devant le Juge des districts de Martigny et Saint-Maurice (ci-après: juge de district), les parents sont convenus de modifier provisoirement le droit de visite du père exercé le lundi et le jeudi, à savoir qu'il s'exercerait du lundi soir de la sortie des classes/crèche jusqu'à 19 h 30 et du jeudi soir à la sortie des classes/crèche jusqu'au samedi à 12 h 00.