Faits :
A.
A.a. B.A._, née en 1986 à U._ (République de Macédoine du Nord; ci-après: Macédoine) et A.A._, né en 1985, également originaire de U._, se sont mariés en 2009 à V._ (VS). De leur union est issue une enfant, C._, née en 2014.
Dès la naissance de leur enfant, les époux A._ ont dû faire face à des difficultés conjugales. Ils se sont séparés dans le courant de l'année 2016.
A.b. Le 21 septembre 2016, B.A._ a déposé une requête de mesures protectrices de l'union conjugale auprès du Tribunal du district de Sierre (ci-après: Tribunal de district).
A.c. Par transaction judiciaire du 26 octobre 2016, valant prononcé de mesures protectrices de l'union conjugale, les époux A._ sont convenus des modalités de leur séparation. Ils ont ainsi notamment prévu que la jouissance du logement familial ainsi que la garde de l'enfant seraient attribuées à B.A._ et qu'un droit de visite serait réservé à A.A._.
A.d. A la requête de A.A._, le droit de visite a été modifié par décision du 10 février 2017 de l'Autorité de protection de l'adulte et de l'enfant de Sierre. Il s'exerce désormais, à défaut de meilleure entente, à raison d'un week-end sur deux ainsi que tous les mercredis. Les modalités d'exercice du droit de visite durant les vacances sont en revanche demeurées inchangées, à savoir cinq semaines par année. Une curatelle de surveillance des relations personnelles au sens de l'<ref-law> a par ailleurs été instaurée au profit de l'enfant. L'Office pour la protection de l'enfant (ci-après: OPE) a été désigné curateur et son mandat a été défini.
A.e. Par requête du 23 juin 2017, complétée le 4 septembre 2017, B.A._ a sollicité du Tribunal de district d'être autorisée à déplacer le lieu de résidence de l'enfant en Macédoine et de modifier le droit de visite du père en ce sens qu'il devait désormais être exercé six semaines par année, soit en principe deux semaines à Noël et quatre durant les vacances scolaires d'été. Au surplus, A.A._ contacterait sa fille par téléphone ou via Skype chaque mercredi soir à 20h., ainsi qu'un dimanche soir sur deux à la même heure.
Par réponse du 5 septembre 2017, A.A._ a conclu au rejet de la requête et, notamment, à ce que le lieu de résidence de l'enfant demeure inchangé, et à ce qu'il soit fait interdiction à la mère de déménager en Macédoine sans son accord préalable. Il a également précisé la manière dont il souhaitait que son droit de visite s'exerce.
A.f. Lors de l'audience du 6 septembre 2017, les parties se sont notamment accordées sur l'administration d'une évaluation sociale en relation avec le projet de départ de B.A._. Le 9 novembre 2017, l'OPE a rendu son rapport et conclu, en substance, à ce qu'autorisation soit faite à la mère de déplacer le lieu de résidence de l'enfant en Macédoine, avec un droit aux relations personnelles adapté en faveur du père, à ce que la curatelle au sens de l'<ref-law> soit maintenue et à ce que les parents se soumettent à une thérapie axée sur la coparentalité avant le départ de la mère et de l'enfant.
A.g. Par prononcé du 9 juillet 2018, la juge de district a modifié les mesures protectrices de l'union conjugale en vigueur selon transaction judiciaire du 26 octobre 2016 et décision du 10 février 2017. Elle a notamment autorisé B.A._ à déplacer le lieu de résidence de l'enfant en Macédoine, tout en maintenant l'autorité parentale conjointe, ordonné, sous la menace de la sanction de l'<ref-law>, que les parents se soumettent, avant le départ de la mère et de l'enfant, à une thérapie axée sur la coparentalité sur une période de trois mois afin de leur permettre de discuter et de mettre en place des conditions cadres favorisant la collaboration parentale et les échanges de l'enfant entre la Macédoine et la Suisse, maintenu la curatelle de surveillance des relations personnelles instituée au profit de l'enfant tout en précisant la mission du curateur, et réservé en faveur du père des contacts avec sa fille via des applications les mercredis et dimanches à 20h., ainsi qu'un droit de visite de huit semaines par année, à savoir quatre semaines consécutives en été, deux semaines consécutives à Noël, une semaine en automne et une au printemps, le droit de visite devant s'exercer en Macédoine jusqu'à ce que l'enfant ait atteint l'âge de huit ans révolus. Elle a en outre précisé que, jusqu'au mois d'établissement de B.A._ et sa fille en Macédoine, les mesures protectrices de l'union conjugale telles qu'arrêtées par transaction judiciaire du 26 octobre 2016 et décision du 10 février 2017 demeuraient en vigueur.
B.
B.a. A.A._ a fait appel de ce prononcé le 23 juillet 2018 par-devant la Cour civile II du Tribunal cantonal valaisan (ci-après: Cour civile). Par décision du 4 septembre 2018, le caractère exécutoire de la décision du 9 juillet 2018 a été suspendu en tant qu'elle portait sur l'autorisation faite à la mère de déplacer le lieu de résidence de l'enfant.
B.b. Par décision du 17 avril 2019, la Cour civile a très partiellement admis l'appel sur la seule question de la contribution due à l'entretien de l'enfant, qui n'est plus litigieuse devant la Cour de céans, et a confirmé la décision attaquée pour le surplus.
C.
Par acte du 14 mai 2019, A.A._ forme un recours en matière civile au Tribunal fédéral contre cette décision. Il conclut à son annulation et à sa réforme en ce sens qu'il est fait interdiction à l'intimée de déplacer le lieu de résidence de l'enfant en Macédoine. Il sollicite également l'octroi de l'effet suspensif à son recours.
Des déterminations sur le fond n'ont pas été requises.
D.
Par ordonnance présidentielle du 29 mai 2019, la requête d'effet suspensif a été admise.

Considérant en droit :
1.
Le recours a été déposé dans le délai légal (<ref-law>) contre une décision finale (<ref-law>; <ref-ruling> consid. 2.2; <ref-ruling> consid. 4), rendue en matière civile (<ref-law>) par un tribunal cantonal supérieur statuant sur recours (art. 75 al. 1 et 2 LTF). Le litige porte sur l'autorisation de déplacer le lieu de résidence de l'enfant, de sorte qu'il est de nature non pécuniaire. Le recourant, qui a succombé devant la juridiction cantonale et possède un intérêt digne de protection à la modification de la décision attaquée, a qualité pour recourir (<ref-law>).
2.
2.1. Dès lors que la décision attaquée porte sur des mesures protectrices de l'union conjugale (art. 172 à 179 CC), lesquelles sont considérées comme des mesures provisionnelles au sens de l'<ref-law> (ATF <ref-ruling> consid. 5), seule la violation de droits constitutionnels peut être soulevée à leur encontre. Le Tribunal fédéral n'examine de tels griefs que s'ils ont été invoqués et motivés (" principe d'allégation ", <ref-law>), à savoir expressément soulevés et exposés de manière claire et détaillée (<ref-ruling> consid. 2.2; <ref-ruling> consid. 3.2; <ref-ruling> consid. 6; <ref-ruling> consid. 1.4). Le recourant qui se plaint de la violation d'un droit fondamental ne peut donc se borner à critiquer la décision attaquée comme il le ferait en instance d'appel, où l'autorité de recours jouit d'une libre cognition; il ne peut, en particulier, se contenter d'opposer sa thèse à celle de l'autorité cantonale, mais doit démontrer ses allégations par une argumentation précise (<ref-ruling> consid. 3; <ref-ruling> consid. 3.2). Le Tribunal fédéral n'entre pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 2.3; <ref-ruling> consid. 10.1 et les arrêts cités).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Le recourant qui entend invoquer que les faits ont été établis de manière manifestement inexacte ne peut obtenir la rectification ou le complètement des constatations de fait de l'arrêt cantonal que s'il démontre la violation de droits constitutionnels, conformément au principe d'allégation susmentionné (cf. supra consid. 2.1). Une critique des faits qui ne satisfait pas à cette exigence est irrecevable (<ref-law>; <ref-ruling> consid. 1.3.1; <ref-ruling> consid. 2.3 et les références). Le Tribunal fédéral ne corrige les constatations de fait que si elles sont arbitraires (art. 9 Cst.) et ont une influence sur le résultat de la décision (arrêts 5A_24/2018 du 21 septembre 2018 consid. 2.2; 5A_64/2018 du 14 août 2018 consid. 2.2).
2.3. En vertu des principes de la bonne foi et de l'épuisement des griefs (<ref-law>), le recours n'est ouvert qu'à l'encontre des décisions rendues par une autorité cantonale de dernière instance, ce qui suppose que les voies de droit cantonales aient été non seulement utilisées sur le plan formel, mais aussi épuisées sur le plan matériel. Lorsque l'autorité de dernière instance cantonale peut se limiter à examiner les griefs régulièrement soulevés, le principe de l'épuisement matériel des instances cantonales veut que les griefs soumis au Tribunal fédéral aient déjà été invoqués devant l'instance précédente (<ref-ruling> consid. 1.1 et les références; arrêts 5A_605/2018 du 7 décembre 2018 consid. 5.2; 4A_32/2018 du 11 juillet 2018 consid. 5.2.1-5.2.2).
3.
En l'espèce, le recourant a manifestement méconnu la nature de la décision entreprise. En effet, bien qu'il se plaigne de la manière dont certains faits ont été établis par la Cour civile et soulève un grief de violation de l'<ref-law>, ses écritures de recours ne comportent aucun grief d'arbitraire (art. 9 Cst.) dans l'application de cette dernière norme ni dans l'appréciation des faits, alors même que la cour cantonale a expressément fait état du caractère provisionnel de la procédure (cf. décision attaquée, consid. 1.1.1 p. 11). Le seul grief de nature constitutionnelle soulevé par le recourant est celui tiré de la violation de son droit d'être entendu (art. 29 al. 2 Cst.), qui sera examiné ci-après (cf. infra consid. 4). Quant aux autres griefs, ils sont irrecevables faute de répondre aux conditions des art. 98 et 106 al. 2 LTF (cf. supra consid. 2.1).
4.
Le recourant se plaint de la violation de son droit d'être entendu au motif qu'aucune expertise psycho-judiciaire et de coparentalité n'a été ordonnée avant qu'il soit statué. Or, le fait qu'une thérapie ait été imposée aux parents avant le départ de la mère illustre selon lui le doute qui a surgi dans l'esprit des magistrats cantonaux quant aux conséquences pour l'enfant du déplacement de son lieu de vie en Macédoine.
A l'examen du dossier cantonal, il n'apparaît toutefois pas que le recourant se serait plaint devant l'autorité précédente de ce que la juge de district n'a pas ordonné une telle expertise. Il est donc forclos à s'en plaindre à ce stade (cf. supra consid. 2.3). Pour le surplus, en tant que le recourant reproche à la cour cantonale de ne pas avoir ordonné d'office l'expertise en question, il aurait dû soulever un grief de violation arbitraire (art. 9 Cst.) de l'<ref-law> - qui s'applique en deuxième instance (arrêt 5A_813/2013 du 12 mai 2014 consid. 3.3) -, ce qu'il n'a pas fait. Sous cet angle là également, le moyen est irrecevable.
5.
En définitive, le recours est entièrement irrecevable. Les frais judiciaires sont par conséquent mis à la charge du recourant (<ref-law>). Il n'y a pas lieu d'allouer une indemnité de dépens à l'intimée qui n'a pas été invitée à se déterminer au fond (art. 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est irrecevable.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et au Juge unique de la Cour civile II du Tribunal cantonal du canton du Valais.
Lausanne, le 15 juillet 2019
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
La Greffière : Hildbrand