Faits :
A.
D.X._, née en 1973, et A.X._, né en 1966, sont les parents de B.X._, née en 2014, et de C.X._, née en septembre 2016.
Les parents n'ont jamais vécu ensemble et ont eu recours à la procréation médicalement assistée pour concevoir les enfants précitées. Celles-ci ont été reconnues par leur père le 28 février 2014 pour B.X._ et le 12 août 2016 pour C.X._.
Par déclaration commune du 11 août 2016, les parents sont convenus d'une autorité parentale conjointe sur C.X._ et ont notamment confirmé que sa prise en charge serait assumée à parts égales entre eux.
L'entente des parents au sujet de la prise en charge des enfants s'est progressivement dégradée depuis l'année 2017.
B.
B.a. Le 3 juin 2019, la mère a déposé devant l'Autorité intercommunale de protection de l'enfant et de l'adulte du district de Saint-Maurice (ci-après: APEA) une requête de mesures provisionnelles visant à la fixation d'un droit de visite en faveur du père.
Par décision du 18 juillet 2019, l'APEA a provisoirement attribué la garde des enfants à leur mère et fixé le droit de visite du père au lundi de 17 h 30 à 19 h 30, au jeudi soir à 17 h 30 jusqu'au samedi à 12 h 00, à une semaine de vacances du 7 août 2019 à 17 h 30 jusqu'au 16 août 2019 au retour des vacances et à la moitié des vacances scolaires. L'autorité précitée a en outre ordonné la mise en oeuvre d'une enquête sociale.
Le 10 décembre 2019, l'Office cantonal pour la protection de l'enfant (ci-après: OPE) a remis à l'APEA un rapport d'évaluation sociale daté du 6 décembre 2019.
B.b. Le 20 novembre 2019, D.X._, agissant pour les enfants B.X._ et C.X._, a déposé, devant le Tribunal des districts de Martigny et Saint-Maurice, une requête de mesures provisionnelles en autorisation de changement de domicile, en fixation d'un droit de visite et en fixation de contributions d'entretien. Elle a notamment conclu à ce qu'elle soit autorisée à prendre les enfants avec elle lors de son déménagement en France voisine et à ce que le père bénéficie d'un droit de visite à exercer un week-end sur deux, du vendredi à 18 h 00 au dimanche à 18 h 00, ainsi que quatre semaines de vacances scolaires par année. Par écriture du 18 décembre 2019, modifiée le 25 mars 2020, le père a notamment conclu au rejet de la requête, à ce qu'il soit fait interdiction à la mère de déplacer le lieu de vie des enfants en France ou dans un lieu ne permettant pas les relations personnelles entre les enfants et lui-même, à ce que, dès le départ de la mère, le droit de garde lui soit attribué et à ce que, tant que la mère habiterait en France ou dans un lieu où l'exercice d'une garde alternée et partagée ne serait pas possible, le droit de visite de celle-ci s'exerce de la manière la plus large possible, d'entente entre les parties et, à défaut d'entente, un week-end sur deux, du vendredi à 18 h 00 au dimanche à 18 h 00, une semaine à Noël et une semaine à Pâques, le jour déterminant étant passé alternativement chez l'un et l'autre des parents, ainsi que deux semaines consécutives durant les vacances d'été, dans ce cas moyennant un préavis de trois mois. Le père a également conclu à l'instauration d'une autorité parentale conjointe et à ce que, en l'absence de départ à l'étranger de la mère, un droit de garde alterné et partagé entre les parents soit ordonné selon les modalités préconisées par l'OPE.
A l'occasion d'une audience tenue le 18 décembre 2019 devant le Juge des districts de Martigny et Saint-Maurice (ci-après: juge de district), les parents sont convenus de modifier provisoirement le droit de visite du père exercé le lundi et le jeudi, à savoir qu'il s'exercerait du lundi soir de la sortie des classes/crèche jusqu'à 19 h 30 et du jeudi soir à la sortie des classes/crèche jusqu'au samedi à 12 h 00.
B.c. Par décision de mesures provisionnelles du 25 mai 2020, le juge de district a prononcé l'autorité parentale conjointe sur les enfants B.X._ et C.X._, refusé le déménagement des enfants en France tel que demandé par la mère et instauré une garde alternée selon les modalités proposées par l'intervenant de l'OPE dans son rapport du 11 décembre 2019, à savoir du lundi matin à l'entrée des classes au mercredi 11 h 30 à la sortie des classes et de la crèche et du mercredi 11 h 30 au vendredi 16 h 30, la mère pouvant choisir la fraction de la semaine qu'elle préfère afin de lui permettre de s'engager dans une activité professionnelle. Le magistrat précité a également prévu que les week-ends seraient passés alternativement chez l'un et l'autre parent du vendredi à la sortie des classes au lundi matin à l'entrée des classes et que la première moitié des vacances scolaires de Noël, Carnaval, Pâques et d'été serait passée chez la mère les années impaires et chez le père les années paires. L'entretien pécuniaire des enfants a par ailleurs été réglé.
C.
Par acte du 5 juin 2020, les enfants B.X._ et C.X._, par leur mère, ont formé appel contre la décision précitée devant le Juge unique de la Cour Civile II du Tribunal cantonal du canton du Valais (ci-après: juge unique). Par écriture du 22 juin 2020, le père a conclu au rejet de l'appel et, par décision du 3 juillet 2020, le juge unique a suspendu le caractère exécutoire de la décision entreprise s'agissant de l'attribution de l'autorité parentale conjointe et de l'instauration d'une garde alternée.
Par arrêt du 22 mars 2021, le juge unique a partiellement admis l'appel déposé le 5 juin 2020 et réformé la décision du 25 mai 2020 en ce sens que la requête du père tendant à obtenir l'autorité parentale conjointe sur B.X._ était rejetée, que les requêtes de la mère visant le retrait de l'autorité parentale du père sur C.X._ et la modification du lieu de résidence de l'enfant en France étaient rejetées, que la garde des enfants était attribuée à la mère, qu'un droit de visite était accordé au père et qu'il s'exercerait, à défaut d'entente, un week-end sur deux du vendredi à 18 h 00 au dimanche à 18 h 00, une semaine à Pâques et à Noël, le jour de fête déterminant étant passé alternativement chez l'un et l'autre parent, et deux semaines consécutives durant les vacances d'été, moyennant un préavis de deux mois. Le juge unique a en outre réglé l'entretien des enfants et le sort des frais judiciaires.
D.
Par acte du 22 avril 2021, le père interjette un recours en matière civile devant le Tribunal fédéral contre l'arrêt du 22 mars 2021, subsidiairement un recours constitutionnel subsidiaire. Il conclut, sous suite de frais et dépens, à ce que son droit de visite soit rétabli selon la décision de l'APEA du 18 juillet 2019, à savoir du lundi soir de 17 h 30 à 19 h 30 à son domicile, du jeudi soir à 17 h 30 au samedi à 12 h 00 à son domicile, une semaine de vacances du 7 août 2019 à 17 h 30 jusqu'au 16 août 2019 au retour des vacances, à charge pour lui de ramener les enfants auprès de leur mère en rentrant de l'aéroport de Genève ( sic!), ainsi que la moitié des vacances scolaires.
Par requête du 23 avril 2021, le recourant a conclu à ce que son recours soit assorti de l'effet suspensif. Par avis du 30 avril 2021, l'autorité cantonale a indiqué ne pas avoir d'observations à formuler sur la requête et, par pli du 11 mai 2021, les intimées ont conclu au rejet de celle-ci. Par ordonnance du 14 mai 2021, le Président de la Cour de céans a rejeté la requête d'effet suspensif.
Invitées à se déterminer sur le recours, l'autorité cantonale a indiqué le 28 juillet 2021 qu'elle se référait aux considérants de sa décision du 22 mars 2021 et, par écriture du 6 septembre 2021, les intimées ont conclu à l'irrecevabilité du recours, subsidiairement à son rejet. Le 20 septembre 2021, le recourant a déposé des observations.

Considérant en droit :
1.
Déposé en temps utile (<ref-law>) et dans la forme légale (<ref-law>) par une partie qui a qualité pour recourir (art. 76 al. 1 let. a et b LTF), le recours est dirigé contre une décision de mesures provisionnelles rendue sur recours par une autorité supérieure statuant en dernière instance cantonale (art. 75 al. 1 et 2 LTF), dans une affaire civile (<ref-law>) de nature non pécuniaire. En tant que la décision attaquée tranche provisoirement la question du droit aux relations personnelles avec des enfants nées hors mariage, il s'agit d'une décision incidente de nature à causer un préjudice irréparable au sens de l'<ref-law>, dès lors que même une décision finale ultérieure favorable au recourant ne pourrait pas compenser rétroactivement l'exercice des prérogatives parentales dont il a été frustré (cf. arrêts 5A_640/2020 du 25 mars 2021 consid. 1.2; 5A_995/2017 du 13 juillet 2018 consid. 1.1 et la référence). Le recours en matière civile est donc en principe recevable au regard des dispositions qui précèdent, ce qui conduit à l'irrecevabilité du recours constitutionnel subsidiaire (<ref-law>).
2.
2.1. Comme la décision entreprise porte sur des mesures provisionnelles au sens de l'<ref-law>, la partie recourante ne peut dénoncer que la violation de droits constitutionnels. Le Tribunal fédéral n'examine de tels griefs que s'ils ont été invoqués et motivés par le recourant (" principe d'allégation ", <ref-law>), c'est-à-dire s'ils ont été expressément soulevés et exposés de manière claire et détaillée (<ref-ruling> consid. 2.1; <ref-ruling> consid. 2; <ref-ruling> consid. 2.4). Le recourant qui se plaint de la violation d'un droit fondamental ne peut donc se borner à critiquer la décision attaquée comme il le ferait en instance d'appel, où l'autorité de recours jouit d'une libre cognition; il ne peut, en particulier, se contenter d'opposer sa thèse à celle de l'autorité cantonale, mais doit démontrer ses allégations par une argumentation précise (<ref-ruling> consid. 3; <ref-ruling> consid. 3.2). Le Tribunal fédéral n'entre pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 2.1; <ref-ruling> consid. 2.4; <ref-ruling> consid. 2.3).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Dans l'hypothèse d'un recours soumis à l'<ref-law>, le recourant qui soutient que les faits ont été établis d'une manière manifestement inexacte, c'est-à-dire arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 2.2; <ref-ruling> consid. 5.2.2; <ref-ruling> consid. 2.3), doit, sous peine d'irrecevabilité, satisfaire au principe d'allégation susmentionné (<ref-law>; cf. supra consid. 2.1; <ref-ruling> consid. 2.2; <ref-ruling> consid. 1.1; <ref-ruling> consid. 2.3).
3.
3.1. Le recourant se plaint d'arbitraire dans la fixation de son droit de visite (art. 9 Cst.). Il fait également valoir que l'autorité cantonale aurait violé son droit d'être entendu (art. 29 al. 2 Cst.) en lui imposant un " simple droit de visite usuel ", sans fournir la moindre justification ni motivation à cet égard.
Il convient d'examiner en premier lieu le grief relatif à la violation du droit d'être entendu.
3.2. S'agissant de l'historique de la prise en charge de B.X._ et C.X._ par leurs parents, il ressort de l'arrêt cantonal que, depuis leur naissance, elles ont principalement vécu auprès de leur mère. Jusqu'en 2018, elles ont également résidé chez leur père du jeudi soir au samedi en fin de matinée, la mère se rendant tous les vendredis soirs au domicile de celui-ci afin de passer du temps avec les enfants et venant les rechercher le samedi en fin de matinée. Pour sa part, le père se rendait tous les autres soirs de la semaine au domicile de la mère afin de voir les enfants. A la suite de la décision de l'APEA du 18 juillet 2019, la mère a bénéficié d'un droit de garde exclusif, tandis que le père s'est vu attribuer un droit de visite élargi, du lundi en fin d'après-midi jusqu'à 19 h 30, du jeudi en fin d'après-midi au samedi à 12 h 00 et la moitié des vacances scolaires. Par décision du 25 mai 2020, réformée par le juge cantonal, l'autorité de première instance a ensuite prononcé une garde alternée devant s'exercer du lundi matin à l'entrée des classes au mercredi à 11 h 30 et du mercredi à 11 h 30 au vendredi à 16 h 30, un week-end sur deux du vendredi à la sortie des classes au lundi matin à l'entrée des classes et la moitié des vacances scolaires.
Pour ce qui est de l'instauration de la garde alternée prononcée par l'autorité de première instance, le juge cantonal a considéré qu'au stade de mesures provisionnelles, l'institution d'un tel mode de garde sur l'enfant B.X._ apparaissait d'emblée exclue puisque la mère était seule titulaire de l'autorité parentale. Il n'y avait pas non plus d'urgence à l'instituer s'agissant de l'enfant C.X._, étant précisé que la prise en charge des enfants avait été principalement assumée par leur mère depuis la naissance et qu'il convenait d'éviter une situation différenciée au sein de la fratrie. La juridiction précédente a dès lors confié la garde exclusive des enfants à la mère et a modifié les relations personnelles précédemment exercées par le père en fixant ce qu'elle a qualifié de " droit de visite usuel ", à raison d'un week-end sur deux, du vendredi soir au dimanche soir, d'une semaine à Noël et à Pâques, ainsi que de deux semaines consécutives durant les vacances d'été.
3.3.
3.3.1. Le droit d'être entendu déduit de l'art. 29 al. 2 Cst. impose notamment à l'autorité judiciaire de motiver ses décisions, afin que le justiciable puisse les comprendre et exercer son droit de recours à bon escient. Pour satisfaire à cette exigence, il suffit que l'autorité mentionne au moins brièvement les motifs qui l'ont guidée et sur lesquels elle a fondé sa décision. Elle n'a pas l'obligation d'exposer et de discuter tous les faits, moyens de preuve et griefs invoqués par les parties, mais peut au contraire se limiter à ceux qui, sans arbitraire, peuvent être tenus pour pertinents. L'essentiel est que la décision indique clairement les faits qui sont établis et les déductions juridiques qui sont tirées de l'état de fait déterminant (<ref-ruling> consid. 5.2; <ref-ruling> consid. 4.2 et les références). La motivation peut être implicite et résulter des différents considérants de la décision (<ref-ruling> consid. 3.2).
3.3.2. Aux termes de l'<ref-law>, le père ou la mère qui ne détient pas l'autorité parentale ou la garde ainsi que l'enfant mineur ont réciproquement le droit d'entretenir les relations personnelles indiquées par les circonstances.
Dans la pratique des tribunaux, la fixation de droits de visite dits " usuels " n'est pas rare. En Suisse romande, il est ainsi généralement admis qu'à défaut d'entente entre les parents, un droit de visite peut s'exercer un week-end sur deux et la moitié des vacances scolaires, à tout le moins lorsque l'enfant est en âge de scolarité. Le droit de visite peut, le cas échéant, également s'étendre à une alternance des jours fériés (<ref-ruling> consid. 5.2.1; <ref-ruling> consid. 2.3; <ref-ruling> consid. 3a; arrêts 2C_1047/2020 du 5 mai 2021 consid. 6.3; 5A_179/2019 du 25 mars 2019 consid. 5; BÜCHLER/CLAUSEN, Das «gerichtsübliche» Besuchsrecht, in FamPra.ch 3/2020, pp. 535-566, p. 541; MEIER/STETTLER, Droit de la filiation, 6e éd. 2019, n° 987, p. 637 s.; SCHWENZER/COTTIER, in Basler Kommentar, ZGB I: Art. 1-456, 6e éd. 2018, no 15 ad <ref-law>; MICHEL/SCHLATTER, in ZGB: Kurzkommentar, 2e éd. 2018, no 12 ad <ref-law>; ANDREA BÜCHLER, in FamKomm, Scheidung, 3e éd. 2017, n° 23 ad <ref-law>; AUDREY LEUBA, in Commentaire romand, Code civil I: Art. 1-359, 2010, no 16 ad <ref-law>).
Malgré l'existence de certaines pratiques en matière de fixation du droit de visite, la jurisprudence a toujours souligné que, dans la réglementation de celui-ci, les particularités du cas d'espèce revêtent une importance primordiale (<ref-ruling> consid. 2.7; <ref-ruling> consid. 2.5). Ainsi, même si certains modèles peuvent jouer un rôle lors de la fixation des relations personnelles, on ne peut pas, dans un cas concret, se fonder exclusivement sur ceux-ci et une motivation de jugement se limitant à renvoyer de manière générale à des pratiques standardisées est incompatible avec l'obligation d'examiner le bien-être de l'enfant en fonction du cas d'espèce (<ref-ruling> consid. 7.2; <ref-ruling> consid. 2.1; <ref-ruling> consid. 3a et 3b; arrêts 5A_290/2020 du 8 décembre 2020 consid. 2.2; 5A_79/2014 du 5 mars 2015 consid. 4.3).
3.4. Compte tenu de la jurisprudence qui précède, l'autorité cantonale devait expliquer en quoi les circonstances du cas d'espèce justifiaient le prononcé des modalités du droit de visite arrêté en faveur du recourant et la simple référence à un droit de visite " usuel " ne suffisait pas pour respecter le droit d'être entendu de celui-ci. Une motivation circonstanciée s'imposait du reste d'autant plus que la juridiction précédente a non seulement révoqué la garde alternée que le premier juge avait prononcée sur la base des recommandations figurant dans le rapport d'évaluation sociale de l'OPE du 6 décembre 2019, mais qu'elle a également restreint le droit de visite dont le recourant bénéficiait depuis plusieurs années, sans qu'il ressorte toutefois de l'arrêt que l'exercice de ce droit eût été contraire à l'intérêt des enfants. Au demeurant, force est de constater qu'en tant que le juge cantonal a fixé des relations personnelles à raison de quatre semaines de vacances annuelles, il a accordé au recourant un droit de visite inférieur à la moitié des vacances scolaires. Or, dès lors que l'aînée des enfants était déjà en âge de scolarité et que la cadette était sur le point de l'être, un droit de visite portant sur la moitié des vacances scolaires aurait pu, sur le principe, se justifier en application du droit de visite " usuel " dont le juge s'est prévalu dans son arrêt. Il apparaît donc que celui-ci n'a pas uniquement manqué à son obligation de motiver les modalités de visite accordées au recourant, mais que, au sens de la jurisprudence précitée, les relations personnelles dont il a fixé les modalités ne correspondaient même pas au droit de visite " usuel " auquel il s'est pourtant référé.
3.5. Au vu de ce qui précède, la critique du recourant est fondée du fait de l'absence de motivation topique relative aux nouvelles modalités de son droit de visite.
Compte tenu du motif d'admission du grief, l'arrêt doit être annulé en ce qu'il concerne le droit de visite du recourant. Force est à cet égard de constater que ce dernier n'a pas formé de conclusions en annulation dans son recours et qu'il s'est limité à prendre des conclusions en réforme, qui se révèlent en l'espèce vaines. L'absence de conclusions cassatoires ne saurait toutefois lui porter préjudice, dès lors que la conséquence de l'admission de son grief découle directement de la jurisprudence (cf. <ref-ruling> consid. 1.4.1 et les références; arrêt 5A_381/2020 du 1er septembre 2020 consid. 3.1).
4.
En définitive, le recours en matière civile doit être admis pour violation du droit d'être entendu et le recours constitutionnel déclaré irrecevable. L'arrêt attaqué est annulé s'agissant de la question du droit de visite et la cause renvoyée à l'autorité cantonale pour nouvelle décision dans le sens des considérants. Les intimées, qui succombent, supporteront les frais et dépens de la procédure, solidairement entre elles (art. 66 al. 1 et 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours en matière civile est admis. L'arrêt attaqué est annulé en ce qu'il concerne le droit de visite et la cause est renvoyée à l'autorité précédente pour nouvelle décision dans le sens des considérants.
2.
Le recours constitutionnel subsidiaire est irrecevable.
3.
Les frais judiciaires, arrêtés à 1'500 fr., sont mis à la charge des intimées, solidairement entre elles.
4.
Une indemnité de 2'000 fr., à verser au recourant à titre de dépens, est mise à la charge des intimées, solidairement entre elles.
5.
Le présent arrêt est communiqué aux parties et au Juge unique de la Cour Civile II du Tribunal cantonal du canton du Valais.
Lausanne, le 2 novembre 2021
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
La Greffière : Gudit