Faits :
A.
A.a. B._, née en 1976, et A._, né en 1975, tous deux de nationalité française, sont les parents non mariés de l'enfant C._, né en 2013 à Paris. Ils exercent en commun l'autorité parentale sur leur fils, qu'ils ont reconnu le 15 janvier 2013 à Paris devant l'officier de l'état civil. Le 16 septembre 2014, ils ont signé une convention de pacte civil de solidarité (PACS) de droit français auprès du Tribunal d'instance de Paris.
A.b. Le 1er juin 2014, B._ et A._ se sont installés à U._, ce dernier ayant trouvé un emploi dans la région lausannoise. B._ a alors quitté son travail en France pour suivre son compagnon en Suisse avec leur enfant C._.
A.c. Dès son arrivée en Suisse, B._ a entrepris des démarches pour trouver un emploi. Celles-ci demeurant vaines, elle s'est exclusivement consacrée à l'éducation de son fils, se rendant souvent avec ce dernier à Paris où il est régulièrement suivi depuis sa naissance par un pédiatre et où vit sa famille dont elle est très proche. En juin 2015, confrontée à des difficultés de couple et se sentant isolée en Suisse, B._ s'est inscrite à un concours organisé par la Mairie de W._ en vue de l'obtention d'un poste de secrétaire dans l'administration. Le 4 février 2016, elle a appris de la Direction des ressources humaines de la Mairie de W._ qu'elle avait été admise au concours et qu'elle avait obtenu le poste escompté, avec entrée en fonction le 1er avril 2016.
A.d. Début 2015, A._ a perdu son emploi, mais a caché à sa compagne son licenciement en faisant semblant, durant trois mois, de se rendre sur son lieu de travail. Dès le 29 juillet 2015, il a perçu des indemnités de l'assurance-chômage (son délai-cadre échoit le 28 juillet 2017); en septembre 2015, il a postulé à quatre reprises pour des emplois à Paris.
A.e. Le 6 janvier 2016, B._ et A._ ont résilié le bail à loyer de leur appartement sis à U._. Par lettre du 8 janvier 2016, la bailleresse a accusé réception de la résiliation, mais les a informés que la prochaine échéance légale de leur contrat était le 30 juin 2016.
A.f. Les tensions dans le couple n'ont cessé de croître, nécessitant l'intervention de la force publique. En novembre 2015, A._ a enfermé sa compagne sur le balcon et a fait une tentative de suicide avec une corde d'escalade, alors que l'enfant était présent dans l'appartement. Le 5 février 2016, confrontée à un épisode de violence physique, B._ a fait appel aux forces de l'ordre qui l'a conduite avec son fils au Centre d'accueil V._.
B.
B.a. Le 4 février 2016, A._ a adressé à la Justice de paix du district de l'Ouest lausannois une lettre ayant pour objet " déclaration préliminaire avec pour but d'entamer conciliation ou séparation et assurer les droits de C._, A._ et B._ ".
B.b. Par requête de mesures superprovisionnelles et provisionnelles du 9 février 2016, B._ a conclu à ce que le droit de déterminer le lieu de résidence de l'enfant C._ lui soit confié et à l'autorisation de déplacer le domicile de l'enfant à Paris, sous réserve de l'exercice par A._ d'un droit de visite médiatisé (deux heures à quinzaine, le samedi, par l'intermédiaire de l'Institution D._ à Paris, avec interdiction de sortir des locaux).
B.c. Statuant par voie d'urgence le 10 février 2016, la Juge de paix du district de l'Ouest lausannois (ci-après: Juge de paix) a interdit le changement du lieu de résidence de l'enfant C._ vers la France, dit que B._ était seule détentrice de la garde de l'enfant, que A._ exercerait son droit de visite sur son fils par l'intermédiaire de Point Rencontre deux fois par mois pour une durée maximale de deux heures, à l'intérieur des locaux exclusivement, en fonction du calendrier d'ouverture et conformément au règlement et principes de fonctionnement qui sont obligatoires pour les deux parents, charge à eux de prendre contact avec l'association pour un entretien préalable à la mise en place des visites.
B.d. Par ordonnance de mesures provisionnelles du 10 mars 2016, la Juge de paix a notamment ouvert une enquête en attribution du droit de déterminer le lieu de résidence de l'enfant C._ (I); dit qu'un mandat d'évaluation sera confié au Service de protection de la jeunesse (SPJ) (II); interdit provisoirement le changement du lieu de résidence de l'enfant C._ vers la France (III); dit que B._ est provisoirement détentrice de la garde de l'enfant (IV); dit que A._ exercera provisoirement son droit de visite sur C._ par l'intermédiaire de Point Rencontre deux fois par mois, pour une durée maximale de deux heures, à l'intérieur des locaux exclusivement, en fonction du calendrier d'ouverture et conformément au règlement et aux principes de fonctionnement de Point Rencontre, qui sont obligatoires pour les deux parents (V); dit que Point Rencontre reçoit une copie de la décision, détermine le lieu des visites et en informe les parents par courrier, avec copies aux autorités compétentes (VI); dit que chacun des parents est tenu de prendre contact avec le Point Rencontre désigné pour un entretien préalable à la mise en place des visites (VII); et exhorté B._ et A._ à débuter immédiatement une médiation afin de rétablir la communication et la confiance entre eux et leur permettre de prendre ensemble des décisions conformes au bien-être et au bon développement de leur enfant et ce malgré leur séparation (VIII).
B.e. Par acte du 21 mars 2016, B._ a recouru devant le Tribunal cantonal vaudois contre cette ordonnance. Elle a conclu, principalement, à sa réforme en ce sens que le droit de déterminer le lieu de résidence de l'enfant C._ est confié à sa mère auprès de laquelle il résidera, qu'elle est autorisée à déplacer le domicile de l'enfant à Paris et que A._ pourra exercer ses relations personnelles sur son fils par l'intermédiaire du Point Rencontre D._ à Paris, durant deux heures à quinzaine, le samedi, avec interdiction de sortir des locaux. Subsidiairement, elle a conclu à l'annulation de l'ordonnance et à son renvoi à l'autorité de première instance pour nouvelle décision dans le sens des considérants.
B.f. Par avis recommandé du 24 mars 2016, la Chambre des curatelles du Tribunal cantonal vaudois (ci-après: Chambre des curatelles) a notifié à A._ un exemplaire du recours et lui a imparti un délai non prolongeable de 10 jours pour déposer une réponse.
B.g. Dans sa réponse du 11 avril 2016, A._ a conclu au rejet du recours.
B.h. Par arrêt du 12 avril 2016, la Chambre des curatelles a admis le recours de B._ et a réformé les chiffres III et V du dispositif de l'ordonnance attaquée en ce sens que B._ est autorisée provisoirement à déplacer le lieu de résidence de l'enfant C._ à Paris et que A._ exercera provisoirement son droit de visite sur C._ par l'intermédiaire du Point Rencontre D._ à Paris, deux samedis par mois (les 2èmeet 4ème samedis), pour une durée maximale de deux heures, à l'intérieur des locaux exclusivement, en fonction du calendrier d'ouverture et conformément au règlement et aux principes de fonctionnement de Point Rencontre, qui sont obligatoires pour les deux parents. L'ordonnance querellée a été confirmée pour le surplus.
Les parties ont été informées du dispositif de l'arrêt du 12 avril 2016 par avis recommandé du 13 avril 2016. L'expédition complète de l'arrêt a été notifiée le 20 avril 2016.
C.
Par acte déposé le 27 avril 2016, A._ exerce un recours en matière civile au Tribunal fédéral contre l'arrêt du 12 avril 2016. Il conclut à son annulation et au renvoi de la cause à l'autorité précédente pour nouvelle décision. Il se plaint uniquement de la violation de son droit d'être entendu (art. 29 al. 2 Cst.).
Invitée à se déterminer sur la requête d'effet suspensif assortissant le recours, l'intimée a conclu à son rejet. Sur le fond, la cour cantonale s'est référée aux considérants de son arrêt et l'intimée a conclu principalement à l'irrecevabilité et, subsidiairement, au rejet du recours.
D.
Par ordonnance présidentielle du 9 mai 2016, la requête d'effet suspensif a été admise.
E.
Le 7 juillet 2016, le Tribunal fédéral a tenu une audience de débats, lors de laquelle les conseils des parties ont plaidé, persistant dans leurs conclusions respectives. Dans le cadre de sa plaidoirie, le conseil du recourant a allégué que, nonobstant la décision de première instance et l'effet suspensif octroyé par le Tribunal fédéral, l'intimée avait d'ores et déjà déménagé en France avec l'enfant, ce que le conseil de l'intimée a contesté.
L'affaire a ensuite été délibérée en séance publique.

Considérant en droit :
1.
1.1. Le présent recours a été déposé en temps utile (<ref-law>) ainsi que dans la forme légale (<ref-law>), contre une décision finale (<ref-law>), prise en application de normes de droit public dans une matière connexe au droit civil, à savoir en matière de protection de l'enfant (art. 72 al. 2 let. b ch. 6 LTF; arrêt 5A_678/2015 du 2 décembre 2015 consid. 1), sur recours par une autorité supérieure statuant en dernière instance cantonale (art. 75 al. 1 et 2 LTF). Comme le litige porte sur le droit de déterminer le lieu de résidence de l'enfant, la garde de celui-ci et l'instauration d'un droit de visite médiatisé en milieu fermé, l'affaire est de nature non pécuniaire. Le recourant a en outre pris part à la procédure devant l'autorité précédente (<ref-law>) et a un intérêt à l'annulation ou à la modification de la décision attaquée (<ref-law>). Le recours en matière civile est donc en principe recevable au regard des dispositions qui précèdent.
1.2. Le recours en matière civile des <ref-law> étant une voie de réforme (<ref-law>), le recourant ne doit pas se borner à demander l'annulation de la décision attaquée et le renvoi de la cause à l'instance cantonale; il doit également, sous peine d'irrecevabilité, prendre des conclusions sur le fond du litige.
En l'espèce, le recourant se limite à conclure à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité précédente pour nouvelle décision, ce qui n'est pas admissible. Ce serait toutefois faire preuve de formalisme excessif que de déclarer irrecevable un recours, dépourvu de conclusions réformatoires, dont l'unique moyen tiré de la violation du droit d'être entendu serait par hypothèse fondé, auquel cas la cour de céans ne pourrait que renvoyer la cause aux juges précédents pour nouvelle décision (cf. <ref-ruling> consid. 1.3 p. 383). Or, un tel moyen a été soulevé par le recourant. Il y a donc exceptionnellement lieu d'entrer en matière.
2.
2.1. La décision querellée a été rendue sur la base de l'<ref-law>, qui réserve la compétence de l'autorité de protection d'autoriser un parent exerçant l'autorité parentale conjointe de déplacer le lieu de résidence de l'enfant à l'étranger, ainsi que de l'<ref-law>, qui permet à l'autorité de protection, par renvoi de l'<ref-law>, de prendre toutes les mesures provisionnelles nécessaires pendant la durée de la procédure sans limiter cette compétence à un ou plusieurs domaines particuliers. Dite décision porte par conséquent sur des mesures provisionnelles au sens de l'<ref-law>, de sorte que seule peut être invoquée la violation de droits constitutionnels. Le Tribunal fédéral n'examine de tels griefs que s'ils ont été invoqués et motivés (" principe d'allégation ", <ref-law>), à savoir expressément soulevés et exposés de manière claire et détaillée (<ref-ruling> consid. 2.2 p. 232; <ref-ruling> consid. 3.2 p. 88; <ref-ruling> consid. 5 p. 396 s.; <ref-ruling> consid. 1.4 p. 287). Le recourant qui se plaint de la violation d'un droit fondamental ne peut donc se borner à critiquer la décision attaquée comme il le ferait en instance d'appel, où l'autorité de recours jouit d'une libre cognition; il ne peut, en particulier, se contenter d'opposer sa thèse à celle de l'autorité cantonale, mais doit démontrer ses allégations par une argumentation précise (<ref-ruling> consid. 3 p. 351 s.; <ref-ruling> consid. 3.2 p. 399). Le Tribunal fédéral n'entre pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 10.1 p. 445; <ref-ruling> consid. 2 p. 592).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Dans l'hypothèse d'un recours soumis à l'<ref-law>, une rectification ou un complètement de l'état de fait n'entre en considération que si l'autorité précédente a violé des droits constitutionnels, les art. 95, 97 et 105 al. 2 LTF ne s'appliquant pas directement (ATF <ref-ruling> consid. 7.1 p. 398 et 585 consid. 4.1 p. 588). Le Tribunal fédéral n'examine ce grief que s'il a été invoqué et motivé par le recourant conformément au principe d'allégation susmentionné (<ref-ruling> consid. 2.8 p. 494; <ref-ruling> consid. 2.2 p. 246; <ref-ruling> consid. 2.1 p. 31; <ref-ruling> consid. 1.3 p. 261 s.).
Aucun fait nouveau ne peut être présenté, à moins de résulter de la décision de l'autorité précédente (<ref-law>). Est en particulier exclue la présentation de vrais faits nouveaux (vrais nova), soit de faits qui se sont produits postérieurement à la décision attaquée, dans les procédures de recours au Tribunal fédéral (<ref-ruling> consid. 3.1.2 p. 123; <ref-ruling> consid. 2.1 p. 343; arrêt 5A_745/2015 du 15 juin 2016 consid. 2.2.2).
En l'espèce, les faits que le recourant relate en page 3 de son recours seront ignorés en tant qu'ils s'écartent de ceux contenus dans l'arrêt attaqué et que le recourant n'invoque, ni a fortiori ne démontre, leur établissement arbitraire ou que leur correction influerait sur le sort de la cause. En revanche, dans la mesure où le Tribunal de céans examine d'office sa compétence, il faut tenir compte des faits postérieurs à la décision attaquée qui peuvent influer sur celle-ci (<ref-ruling> consid. 1 p. 24; <ref-ruling> consid. 1.1 p. 3; arrêt 2C_84/2010 du 1er octobre 2010 consid. 1.3 non publié aux <ref-ruling>). Il s'ensuit que le fait nouveau allégué par le conseil du recourant lors des débats, selon lequel l'enfant se trouverait d'ores et déjà en France, doit être pris en considération. Ce fait nouveau est toutefois sans incidence dans le cas d'espèce. En effet, soit l'enfant a effectivement été déplacé en France par l'intimée et ce déplacement est illicite puisque le recours interjeté contre la décision querellée a été muni de l'effet suspensif, de sorte que la compétence des autorités suisses est maintenue en application de l'art. 7 CLaH96, soit l'enfant réside toujours en Suisse et la compétence des autorités suisses est donnée (art. 5 CLaH96).
Par ailleurs, les pièces produites par l'intimée à l'appui de sa réponse du 27 juin 2016, toutes postérieures à la décision attaquée, sont irrecevables.
3.
Le recourant se plaint exclusivement de la violation de son droit d'être entendu (art. 29 al. 2 Cst.).
Il reproche à la cour cantonale de ne pas avoir examiné l'argumentation présentée dans sa réponse du 11 avril 2016, écriture dont elle n'avait tout simplement pas tenu compte. La violation du droit à la réplique de l'intimée en était la preuve. En effet, si la Chambre des curatelles avait tenu compte de l'argumentation qu'il avait présentée dans sa réponse, elle aurait à tout le moins permis à l'intimée de se déterminer sur celle-ci, le cas échéant en lui impartissant un délai de dix jours pour ce faire. Or, l'autorité cantonale avait, le jour même de la réception de la réponse, communiqué cette écriture à l'intimée et rendu son arrêt, sans permettre à celle-ci de décider si elle voulait ou non faire usage de son droit à la réplique.
Cela étant, l'arrêt querellé ne disait mot sur les arguments qu'il avait soulevés dans sa réponse, tenant notamment à la précarité du logement prétendument mis à disposition de l'intimée à Paris, au manque de consistance des solutions de garde dont bénéficiait celle-ci en France, ou encore à la possibilité que l'intimée aurait eu et aurait toujours de trouver un emploi en Suisse si elle avait entrepris ou entreprenait concrètement des recherches d'emploi dans le pays du lieu de résidence de son fils. L'arrêt entrepris était en outre muet sur les importantes conséquences - mises en lumière dans la réponse du 11 avril 2016 - du déplacement du lieu de résidence de l'enfant en France, déplacement qui rendrait sans objet l'enquête en attribution du droit de déterminer le lieu de résidence de l'enfant ouverte en Suisse, le mandat d'évaluation confié au SPJ, ainsi que la médiation que les parties devaient entreprendre, le principe de la perpetuatio fori étant en effet exclu dans le mécanisme de la CLaH96.
Au demeurant, la précipitation avec laquelle l'autorité cantonale avait statué sur le recours de l'intimée, le jour même de la réception de la réponse et sans en tenir compte, ne se justifiait pas par l'urgence de la situation. Sur la base des éléments en sa possession, elle ne pouvait conclure que le départ de l'intimée présentait une urgence telle qu'il se justifiait de ne pas prendre en compte l'argumentation développée dans la réponse, ni de permettre à l'intimée de se déterminer sur cette écriture.
3.1. En tant que le recourant motive son grief en se fondant sur le droit à la réplique de l'intimée, sa critique est irrecevable. Seul peut en effet se prévaloir d'une violation du droit d'être entendu celui qu'elle concerne (arrêt 1C_320/2011 du 30 mai 2012 consid. 4.3.1). Au reste, les conséquences que le recourant entend tirer de cette violation se fondent sur de pures conjectures, auxquelles il n'y a pas lieu de donner suite. Le grief ne sera dès lors examiné que sous l'angle du droit à une décision motivée.
3.2. Le droit d'être entendu tel qu'il est garanti par l'art. 29 al. 2 Cst. implique notamment l'obligation pour le juge de motiver sa décision, afin que ses destinataires et toutes les personnes intéressées puissent la comprendre et l'attaquer utilement en connaissance de cause, et qu'une instance de recours soit en mesure, si elle est saisie, d'exercer pleinement son contrôle. Pour répondre à ces exigences, il suffit que le juge mentionne, au moins brièvement, les motifs qui l'ont guidé et sur lesquels il a fondé sa décision (<ref-ruling> consid. 2.2 p. 183; <ref-ruling> consid. 3.2 p. 270). Il n'a pas l'obligation d'exposer et de discuter tous les faits, moyens de preuve et griefs invoqués par les parties, mais peut au contraire se limiter à ceux qui, sans arbitraire, lui apparaissent pertinents et décisifs pour l'issue du litige; le droit d'être entendu est violé s'il ne satisfait pas à son devoir minimum d'examiner et de traiter les problèmes pertinents. Dès lors que l'on peut discerner les motifs qui ont guidé la décision de l'autorité, le droit à une décision motivée est respecté même si la motivation présentée est erronée. La motivation peut d'ailleurs être implicite et résulter des différents considérants de la décision. En revanche, une autorité se rend coupable d'un déni de justice formel si elle omet de se prononcer sur des griefs qui présentent une certaine pertinence ou de prendre en considération des allégués et arguments importants pour la décision à rendre (<ref-ruling> consid. 2.2 p. 183; <ref-ruling> consid. 2.2 p. 84; <ref-ruling> consid. 4.1 p. 88 et les arrêts cités; <ref-ruling> consid. 5.2 p. 248; <ref-ruling> consid. 4.3 p. 540; <ref-ruling> consid. 3.2 p. 236; <ref-ruling> consid. 2b p. 102 s.; <ref-ruling> consid. 2a p. 441).
Les exigences minimales de motivation découlant de l'art. 29 al. 2 Cst. valent également pour les décisions de mesures provisionnelles, même si celles-ci sont en principe prononcées à l'issue d'un examen sommaire du droit et que, eu égard à leur but, elles doivent être prononcées rapidement (ATF <ref-ruling> consid. 4.1 p. 88).
3.2.1. En l'espèce, s'agissant premièrement du droit de visite du recourant, la cour cantonale a relevé que celui-ci avait fait, en novembre 2015, une tentative de suicide alors que son fils était présent. Au début de sa prise en charge, en janvier 2016, le recourant présentait une tension psychique importante. Les médecins avaient noté une évolution favorable au fur et à mesure du suivi, avec une nette diminution de la symptomatologie, mais la situation demeurait fragile et justifiait donc que des mesures soient prises pour protéger l'enfant de son père. A cet égard, le recours à l'institution d'un droit de visite médiatisé, et limité dans le temps et l'espace, ne souffrait aucune critique et devait être confirmé, d'autant que le père avait demandé au Point Rencontre à réduire d'une heure son droit de visite. Dès lors que les médecins considéraient que la situation du recourant demeurait fragile et recommandaient la poursuite d'un suivi thérapeutique, la limitation des relations personnelles à deux heures à quinzaine à l'intérieur des locaux de Point Rencontre exclusivement respectait le principe de proportionnalité et était conforme à l'intérêt de l'enfant.
En lien deuxièmement avec le lieu de résidence de l'enfant, la cour cantonale a constaté qu'il n'était pas contesté que les parties étaient d'accord pour retourner s'installer à Paris et qu'elles n'avaient vécu que très peu de temps en Suisse. Le recourant avait dans ce but recherché un emploi en France et résilié avec sa compagne le bail du logement familial pour fin juin 2016. L'intimée disposait pour sa part à Paris d'un emploi stable en qualité de fonctionnaire et d'un logement de trois pièces meublé, proche de celui de ses parents, alors qu'elle n'avait en Suisse ni logement ni situation. En outre, elle disposait de solutions adéquates et cohérentes pour faire garder son enfant à Paris lorsqu'elle travaille. Quant à la situation du recourant, les juges cantonaux ont constaté qu'elle n'était pas du tout stable: il était sans emploi depuis des mois et allait devoir traverser une période stressante, l'échéance de son bail et du délai-cadre des indemnités de chômage arrivant à terme. S'agissant de l'enfant, il était âgé de trois ans, de sorte que l'on pouvait raisonnablement considérer qu'il n'avait pas d'attaches particulières en Suisse, d'autant qu'il était né à Paris, qu'il avait la nationalité française, que sa famille vivait à Paris, qu'il s'y était rendu régulièrement avec sa mère et qu'il était suivi depuis sa naissance par un pédiatre parisien. Dans ces circonstances, l'on ne pouvait considérer, comme l'avait fait à tort le premier juge, que l'intérêt de l'enfant à être protégé de tout transfert inapproprié primait celui de l'intimée à s'établir immédiatement à Paris. Dans cette ville, il bénéficierait en effet d'un environnement assuré, entouré par sa mère et la famille de celle-ci, alors que ses perspectives en Suisse, du moins à court et moyen terme, paraissaient extrêmement précaires et chaotiques, puisqu'il se retrouverait sous la garde de l'intimée, sans emploi ni logement. La situation aurait été tout autre si le recourant avait à tout le moins eu une situation stable (logement, emploi, etc.), qui aurait permis à l'enfant de demeurer en Suisse dans un environnement sain. Tel n'était pas le cas actuellement et le recourant n'exposait aucun élément établissant qu'il avait retrouvé, ou qu'il allait rapidement retrouver une situation stable sur les plans de l'emploi, du logement et de la santé, se bornant à critiquer les aménagements mis en place par la recourante à Paris.
3.2.2. Compte tenu de cette motivation, force est d'admettre que l'arrêt attaqué indique de manière suffisamment claire les motifs retenus, en particulier pour autoriser l'intimée à déplacer provisoirement le lieu de résidence de l'enfant, même si l'autorité cantonale n'a pas pris position sur tous les arguments invoqués par le recourant dans sa réponse. Quoi qu'en dise ce dernier, dite écriture a manifestement été prise en considération par les juges précédents, mais a été jugée comme impropre à modifier leur appréciation. La cour cantonale a dès lors rempli son devoir d'examiner les questions pertinentes et la motivation est suffisante pour que l'on puisse saisir quels sont les éléments essentiels qui l'ont conduite à prendre la décision attaquée. En particulier, l'on ne saurait reprocher aux juges précédents de ne pas avoir examiné le grief du recourant selon lequel le déplacement autorisé du lieu de résidence de l'enfant en France aurait pour conséquence de rendre sans objet l'enquête en attribution du droit de déterminer le lieu de résidence de l'enfant ouverte en Suisse ainsi que le mandat d'évaluation confié au SPJ. Il est vrai que l'art. 5 de la Convention de La Haye du 19 octobre 1996 (CLaH96; RS 0.211.231.011), applicable en l'espèce, prévoit que les autorités de l'Etat contractant de la résidence habituelle de l'enfant sont compétentes pour prendre des mesures tendant à la protection de sa personne ou de ses biens et qu'en cas de changement de la résidence habituelle de l'enfant dans un autre Etat contractant, cette compétence revient aux autorités de l'Etat de la nouvelle résidence habituelle, pour autant que le déplacement ait eu lieu de manière licite. Le transfert de compétence n'est toutefois qu'une conséquence du déplacement licite de la résidence habituelle de l'enfant. A moins que le pays dans lequel le parent entend déménager avec son enfant représente en lui-même une mise en danger du bien-être de celui-ci, ce qui n'est manifestement pas le cas de la France, le seul transfert de compétence ne constitue pas un critère déterminant pour l'autorité compétente dans sa prise de décision, laquelle doit exclusivement être guidée par l'intérêt de l'enfant. Il s'ensuit qu'en l'espèce, le transfert de compétence découlant du déplacement licite de la résidence de l'enfant n'était pas une question déterminante pour l'issue du litige, de sorte que la cour cantonale n'a pas violé le droit d'être entendu du recourant en ne motivant pas sa décision sur ce point particulier.
Quoi qu'il en soit, il s'avère que, par ses critiques, le recourant soulève un grief qui se confond avec un moyen concernant le fond du litige, qu'il n'attaque toutefois pas devant le Tribunal fédéral, se contentant de soulever un grief de nature formelle tiré de la violation de l'art. 29al. 2 Cst. Etant manifestement en mesure de le faire par le biais du présent recours, le recourant devait s'en prendre à l'appréciation de la cour cantonale et soulever un grief d'arbitraire (art. 9 Cst.) dans l'application de l'<ref-law> (en lien avec l'<ref-law>) s'il entendait démontrer que le déplacement provisoire de l'enfant en France avait arbitrairement été autorisé, ce qu'il n'a pas fait.
Il suit de là que le moyen tiré de la violation du droit d'être entendu se révèle mal fondé.
4.
En définitive, le recours doit être rejeté. Les frais judiciaires sont mis à la charge du recourant qui succombe (<ref-law>). Ce dernier sera en outre condamné à verser une indemnité de dépens à l'intimée qui s'est déterminée et a obtenu gain de cause au fond (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge du recourant.
3.
Une indemnité de 1'500 fr., à verser à l'intimée à titre de dépens, est mise à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Chambre des curatelles du Tribunal cantonal du canton de Vaud.
Lausanne, le 7 juillet 2016
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : von Werdt
La Greffière: Hildbrand