Faits :
A.
A.a. A._, né en 1982, et B._, née en 1985, tous deux de nationalité italienne, sont les parents non mariés de C._, né en 2015.
Les parties exercent l'autorité parentale conjointe sur leur fils. Elles se sont séparées en mai 2018 et ont cessé de vivre sous le même toit en novembre 2018.
A.b. Par requête de mesures provisionnelles du 5 juillet 2019, A._ a conclu à ce que la garde de fait de l'enfant soit exercée de manière alternée par les parents, d'entente entre eux, le domicile de l'enfant étant rattaché à celui de sa mère (I) et, à défaut d'entente, de telle sorte que l'enfant soit, chaque semaine du lundi soir au mercredi soir auprès de son père, chaque semaine du mercredi soir au vendredi soir auprès de sa mère, une semaine sur deux, en alternance, auprès de chacun des parents du vendredi soir au lundi soir, durant la moitié des vacances scolaires et alternativement à Noël ou Nouvel An, Pâques ou Pentecôte, à l'Ascension ou au Jeûne fédéral (II). Subsidiairement, il a conclu à la fixation du lieu de résidence de l'enfant auprès de lui-même et à l'attribution de la garde de fait en sa faveur (III), un libre et large droit de visite étant réservé à la mère, lequel s'exercerait, à défaut d'entente, à raison d'un week-end sur deux du vendredi à la sortie de la crèche ou de l'école au dimanche soir, durant la moitié des vacances scolaires et alternativement à Noël ou Nouvel An, Pâques ou Pentecôte, à l'Ascension ou au Jeûne fédéral (IV).
A.c. Par acte du même jour, B._ a conclu à être autorisée à quitter la Suisse, dès le 16 août 2019, en direction des Pays-Bas où elle avait trouvé un emploi et à déplacer la résidence habituelle de C._ à V._ (Pays-Bas) (I), à l'attribution de la garde exclusive de l'enfant en sa faveur (II), à ce qu'il soit réservé au père un droit de visite à exercer un week-end par mois et les deux tiers des vacances scolaires (III), à la ratification du calendrier de vacances proposé (IV), au versement par A._ d'une contribution d'entretien en faveur de son fils d'un montant de 800 fr. par mois, allocations familiales non comprises et dues en sus (V), au versement des allocations familiales perçues par A._ depuis le 1 er avril 2019 (VI) et au partage des frais extraordinaires entre les parents (VII).
A.d. Par acte du 12 août 2019, A._ a conclu à ce qu'un mandat d'évaluation soit confié au SPJ afin de réaliser un rapport renseignant sur la manière dont le bien de l'enfant serait garanti en Suisse, en restant aux côtés de son père ou en partant pour les Pays-Bas avec sa mère, respectivement de formuler toute proposition utile en lien avec la fixation des droits parentaux, à la fixation de l'entretien mensuel convenable de l'enfant à un montant de 1'324 fr. 75, allocations familiales par 300 fr. d'ores et déjà déduites, au versement par ses soins d'une contribution d'entretien d'un montant maximum de 715 fr. dans l'hypothèse où B._ resterait en Suisse et où les parties exerceraient une garde alternée et au versement par la mère d'une contribution d'entretien d'au moins 150 fr. pour le cas où elle resterait en Suisse et où la garde serait confiée au père. Subsidiairement, pour le cas où B._ quitterait la Suisse, il a conclu à ce que le lieu de résidence de l'enfant soit fixé à son propre domicile et à ce que la mère puisse avoir son fils auprès d'elle un week-end sur deux du vendredi à 18h00 au dimanche à 18h00 et les deux tiers des vacances scolaires. Encore plus subsidiairement, dans l'hypothèse où le lieu de résidence de l'enfant serait déplacé aux Pays-Bas, il a conclu à l'exercice d'un droit de visite en sa faveur à exercer un week-end sur deux du vendredi à 18h00 au dimanche à 18h00 et les deux tiers des vacances scolaires et au versement par ses soins d'une contribution d'entretien de 200 fr. en faveur de son fils.
A.e. Par ordonnance de mesures provisionnelles du 27 août 2019, la Présidente du Tribunal civil de l'arrondissement de Lausanne (ci-après: présidente) a confié au Service de protection de la jeunesse (ci-après: SPJ) un mandat d'enquête sur les capacités éducatives et les conditions d'accueil et d'organisation de chacun des parents de l'enfant, en vue de lui faire toutes propositions utiles concernant l'attribution de la garde de l'enfant et des modalités d'exercice du droit aux relations personnelles du parent non gardien, étant précisé que la mère avait décidé de déménager aux Pays-Bas (I), a fixé provisoirement le lieu de résidence de l'enfant au domicile de son père, qui en exercerait la garde de fait (II), a dit que le droit de visite de la mère s'exercerait à raison de deux fois par mois, du jeudi soir à la sortie de l'école au dimanche soir à 18h00, à charge pour elle d'aller le chercher là où il se trouvait et de le ramener chez son père, ainsi que les deux tiers des jours fériés et des vacances (III), et a astreint B._ à contribuer à l'entretien de son fils par le régulier versement d'un montant de 345 fr., allocations familiales en sus, dès et y compris le 1 er septembre 2019, en mains de A._ (IV).
B.
B.a. Par acte du 4 septembre 2019, B._ a interjeté appel contre l'ordonnance précitée par-devant la Cour d'appel civile du Tribunal cantonal vaudois, concluant en substance à la réforme de son dispositif en ce sens que la garde de fait de l'enfant soit maintenue auprès d'elle, que la garde exclusive de l'enfant lui soit attribuée, qu'elle soit autorisée à quitter la Suisse, dès que possible, pour les Pays-Bas et à déplacer la résidence habituelle de l'enfant à V._ (Pays-Bas), que l'autorité parentale conjointe soit maintenue, que le mandat d'évaluation soit révoqué, que le père soit autorisé à exercer son droit de visite à raison d'un week-end par mois et des deux tiers des vacances scolaires, que le calendrier des vacances proposé soit ratifié, que A._ soit astreint au versement d'une contribution d'entretien d'un montant de 800 fr. par mois en faveur de son fils, allocations familiales non comprises et dues en sus dès le 1 er avril 2019, et que les frais extraordinaires de l'enfant soient partagés par moitié entre les parents. Subsidiairement, en cas de rejet d'une partie de ses conclusions principales, elle a conclu à la restitution de la garde de fait en sa faveur, à l'attribution de la garde exclusive de l'enfant, à la fixation d'un droit de visite du père à raison d'un week-end sur deux, une nuit par semaine et un repas par semaine à convenir entre les parents, ainsi que des deux tiers des vacances scolaires, au versement d'une contribution d'entretien d'un montant de 1'000 fr. en faveur de l'enfant, allocations familiales non comprises et dues en sus dès le 1 er avril 2019, au partage des frais extraordinaires par moitié entre les parents, à la fixation d'un délai maximal au 30 novembre 2019 au SPJ pour rendre son rapport d'évaluation, à ce qu'il soit ordonné à ce dernier d'entendre également son fiancé ainsi que la psychologue de l'enfant et à ce qu'il soit ordonné au SPJ de prendre contact dans les plus brefs délais avec son homologue aux Pays-Bas. Encore plus subsidiairement, elle a conclu à l'attribution de la garde partagée aux parents et au versement par le père d'une contribution d'entretien d'un montant de 500 fr. en faveur de son fils. Enfin, elle a requis l'octroi de l'effet suspensif à son appel. A._ a conclu au rejet de cette requête d'effet suspensif.
B.b. Par ordonnance du 13 septembre 2019, le Juge délégué de la Cour d'appel civile (ci-après: le Juge délégué) a admis la requête d'effet suspensif assortissant l'appel (I), a fait interdiction à B._ de quitter le territoire suisse avec l'enfant et ce, jusqu'à droit connu sur l'appel, sous menace de la peine prévue par l'<ref-law> (II), et a dit que le lieu de résidence de l'enfant était par conséquent maintenu auprès de sa mère et que sa prise en charge continuerait à s'exercer de telle sorte que l'enfant soit auprès de son père un week-end sur deux du vendredi soir à la sortie de la crèche au lundi matin à la reprise de la crèche, un lundi soir sur deux de la sortie de la crèche à 20h30 et une semaine sur deux du mardi soir à la sortie de la crèche au mercredi matin à la reprise de la crèche, étant précisé que le reste du temps l'enfant serait auprès de sa mère (III).
B.c. Par arrêt du 6 novembre 2019, le Juge délégué a partiellement admis l'appel et a réformé l'ordonnance du 27 août 2019 en ce sens que le chiffre I de son dispositif a été supprimé, que la garde exclusive de l'enfant a été confiée à sa mère et que cette dernière a été autorisée à déplacer le lieu de résidence de l'enfant aux Pays-Bas. Il a également dit que le droit de visite du père s'exercerait d'entente entre les parents et, à défaut d'entente, un week-end sur deux du vendredi à 18h00 au dimanche à 18h00, ainsi que deux tiers des vacances scolaires, à charge pour lui d'aller chercher l'enfant là où il se trouve et de le ramener auprès de sa mère. Le père a également été condamné à contribuer à l'entretien de son fils par le régulier versement d'une pension de 1'790 fr. du 1 er septembre au 31 décembre 2019 puis de 1'090 fr. dès le 1 er janvier 2020, allocations familiales non comprises et dues en sus, payables d'avance le premier de chaque mois en mains de la mère de l'enfant.
C.
Par acte du 13 décembre 2019, A._ exerce un recours en matière civile au Tribunal fédéral contre cet arrêt. Il conclut principalement à son annulation et à sa réforme en ce sens que le lieu de résidence de l'enfant est fixé à son domicile, que la garde de fait lui est confiée et que le droit de visite de la mère sur l'enfant s'exercera d'entente entre les parties et, à défaut d'entente, un week-end sur deux du vendredi à 18h00 au dimanche à 18h00, ainsi que deux tiers des vacances scolaires, à charge pour elle d'aller chercher l'enfant là où il se trouve et de le ramener auprès de son père. Il sollicite également la mise en place d'un mandat d'enquête sur les capacités éducatives et les conditions d'accueil et d'organisation de chacun des parents, lequel doit être confié au SPJ en vue de faire toutes propositions utiles concernant la garde de l'enfant et les modalités d'exercice du droit aux relations personnelles du parent non gardien. Il requiert que la mère de l'enfant soit condamnée à contribuer à l'entretien de son fils par le régulier versement d'une pension de 345 fr., allocations familiales non comprises, payable d'avance le premier jour de chaque mois en ses mains. Subsidiairement, pour le cas où la mère de l'enfant serait autorisée à déplacer le lieu de résidence de l'enfant aux Pays-Bas, il requiert l'annulation et la réforme de l'arrêt attaqué en ce sens qu'il est condamné à contribuer à l'entretien de son fils par le régulier versement d'une pension de 907 fr. du 1 er septembre au 31 décembre 2019 puis de 500 fr. dès le 1 er janvier 2020, allocations familiales non comprises et dues en sus, payable d'avance le premier jour de chaque mois en mains de la mère. Le recourant avait préalablement requis, à titre superprovisionnel et provisionnel, que son recours soit assorti de l'effet suspensif.
Invités à se déterminer, le Juge délégué s'est référé aux considérants de son arrêt et l'intimée a conclu au rejet du recours. Le 28 février 2020, l'intimée a spontanément fait parvenir au Tribunal de céans ses " observations finales ". Les 2 et 4 mars 2020, le recourant s'est déterminé sur la réponse ainsi que sur les " observations finales " de l'intimée.
D.
L'effet suspensif a été accordé à titre superprovisoire le 14 novembre 2019, puis par ordonnance présidentielle du 23 décembre 2019.

Considérant en droit :
1.
Déposé en temps utile (art. 100 al. 1 et 46 al. 2 LTF) et dans la forme légale (<ref-law>), le recours est dirigé contre une décision qui statue par voie de mesures provisionnelles sur l'autorisation de déplacer le lieu de résidence de l'enfant et l'attribution des droits parentaux (<ref-law>), à savoir une décision finale (<ref-law>) rendue sur recours par une autorité supérieure statuant en dernière instance cantonale (art. 75 al. 1 et 2 LTF), dans une cause soumise au recours en matière civile (<ref-law>), de nature non pécuniaire. Le recourant a succombé dans ses conclusions devant l'autorité précédente et a un intérêt digne de protection à l'annulation ou à la modification de l'arrêt déféré (<ref-law>). Le recours en matière civile est ainsi en principe recevable.
2.
2.1. Comme la décision entreprise porte sur des mesures provisionnelles au sens de l'<ref-law>, la partie recourante ne peut dénoncer que la violation de droits constitutionnels. Le Tribunal fédéral n'examine de tels griefs que s'ils ont été invoqués et motivés par le recourant (" principe d'allégation "; <ref-law>), c'est-à-dire s'ils ont été expressément soulevés et exposés de manière claire et détaillée (<ref-ruling> consid. 2.1; <ref-ruling> consid. 1.3 et les références). En particulier, une décision ne peut être qualifiée d'arbitraire (art. 9 Cst.) que si elle est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et indiscuté, ou heurte de manière choquante le sentiment de la justice et de l'équité; il ne suffit pas qu'une autre solution paraisse concevable, voire préférable; pour que cette décision soit annulée, encore faut-il qu'elle se révèle arbitraire non seulement dans ses motifs, mais aussi dans son résultat (<ref-ruling> consid. 4.1 et les références). Partant, le recourant ne peut se borner à critiquer la décision attaquée comme il le ferait en procédure d'appel, où l'autorité de recours jouit d'une libre cognition, notamment en se contentant d'opposer sa thèse à celle de l'autorité précédente; les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 2.3; <ref-ruling> consid. 10.1 et les arrêts cités).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Le recourant qui entend invoquer que les faits ont été établis de manière manifestement inexacte ne peut obtenir la rectification ou le complètement des constatations de fait de l'arrêt cantonal que s'il démontre la violation de droits constitutionnels, conformément au principe d'allégation susmentionné (cf. supra consid. 2.1). Le Tribunal fédéral ne corrige les constatations de fait que si elles sont arbitraires (art. 9 Cst.) et ont une influence sur le résultat de la décision (<ref-ruling> consid. 1.2.2). En matière d'appréciation des preuves et d'établissement des faits, il n'y a arbitraire que lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (<ref-ruling> consid. 2.3 et les références). Le recourant ne peut pas se borner à contredire les constatations litigieuses par ses propres allégations ou par l'exposé de sa propre appréciation des preuves; il doit indiquer de façon précise en quoi ces constatations sont contraires au droit ou entachées d'une erreur indiscutable, c'est-à-dire arbitraires au sens de l'art. 9 Cst. (<ref-ruling> consid. 1.2.2). Une critique des faits qui ne satisfait pas à cette exigence est irrecevable (<ref-law>; <ref-ruling> consid. 1.4.3).
2.3. Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (<ref-law>). Cette exception, dont il appartient au recourant de démontrer que les conditions sont remplies, vise les faits qui sont rendus pertinents pour la première fois par la décision attaquée (<ref-ruling> consid. 1.2 et la référence; arrêt 5A_904/2015 du 29 septembre 2016 consid. 2.3 non publié in <ref-ruling>), par exemple des faits et moyens de preuve qui se rapportent à la régularité de la procédure devant la juridiction précédente ou qui sont déterminants pour la recevabilité du recours au Tribunal fédéral, ou encore qui sont propres à contrer une argumentation de l'autorité précédente objectivement imprévisible pour les parties avant la réception de la décision (arrêts 5A_260/2019 du 5 novembre 2019 consid. 2.3; 5A_343/2019 du 4 octobre 2019 consid. 2.3). En dehors de ces cas, les nova ne sont pas admissibles, qu'il s'agisse de faits ou moyens de preuve survenus postérieurement à la décision attaquée (<ref-ruling> consid. 5.2.4; <ref-ruling> consid. 1.2 et les références) ou d'éléments que les parties ont négligé de présenter aux autorités cantonales (<ref-ruling> consid. 1.2; <ref-ruling> consid. 4.4.3).
Contrairement à ce que soutient l'intimée, les pièces nouvelles qu'elle produit à l'appui de sa réponse ne satisfont pas aux conditions de l'<ref-law> et sont en conséquence irrecevables. Il en va de même des allégations de fait y relatives. Le même sort doit être réservé aux " observations finales " spontanées de l'intimée dans la mesure où celles-ci contiennent des allégations nouvelles et qu'elles ont été produites en-dehors de l'éventuel exercice du droit à la réplique.
3.
L'<ref-law> prévoit que l'autorité parentale inclut le droit de déterminer le lieu de résidence de l'enfant. Il en résulte qu'un parent exerçant conjointement l'autorité parentale ne peut modifier le lieu de résidence de l'enfant qu'avec l'accord de l'autre parent ou sur décision du juge ou de l'autorité de protection de l'enfant, lorsque le nouveau lieu de résidence se trouve à l'étranger ou quand le déménagement a des conséquences importantes pour l'exercice de l'autorité parentale par l'autre parent et pour les relations personnelles (art. 301a al. 2 let. a et b CC).
3.1. L'exigence d'une autorisation ne concerne que le changement de lieu de résidence de l'enfant (cf. <ref-law>), non celui des parents. L'autorité parentale conjointe ne doit pas priver de facto les parents de leur liberté d'établissement (art. 24 Cst.) en les empêchant de déménager (arrêt 5A_641/2015 du 3 mars 2016 consid. 4.1). Par conséquent, le juge, respectivement l'autorité de protection de l'enfant, ne doit pas répondre à la question de savoir s'il est dans l'intérêt de l'enfant que ses deux parents demeurent au domicile actuel. Il doit plutôt se demander si le bien-être de l'enfant sera mieux préservé dans l'hypothèse où il suivrait le parent qui envisage de déménager, ou dans celle où il demeurerait auprès du parent restant sur place, tout en tenant compte du fait que la garde, les relations personnelles et la contribution d'entretien pourront toujours être adaptées en conséquence en application de l'<ref-law> (<ref-ruling> consid. 2.5; <ref-ruling> consid. 2.6; arrêts 5A_397/2018 du 16 août 2018 consid. 4.2; 5A_444/2017 du 30 août 2017 consid. 5.3.1).
3.2. S'agissant de l'autorisation de déplacer le lieu de résidence d'un enfant, le modèle de prise en charge préexistant constitue, sous réserve d'une modification de la situation, le point de départ de l'analyse. Ainsi, dans l'hypothèse où l'enfant était pris en charge à parts plus ou moins égales par chacun des parents, et où ceux-ci sont disposés à continuer à le prendre en charge à l'avenir, la situation de départ est neutre; il faut alors recourir aux critères pertinents pour l'attribution de la garde afin de déterminer quelle solution correspond le plus à l'intérêt de l'enfant. On examinera ainsi en premier lieu les capacités parentales, la possibilité effective de s'occuper de l'enfant, la stabilité des relations, la langue parlée par l'enfant, son degré de scolarisation et l'appartenance à un cercle social et, en fonction de son âge, les désirs qu'il a formulés quant à son lieu de résidence. En revanche, si le parent qui souhaite déménager était titulaire de la garde exclusive sur l'enfant ou était le parent de référence, à savoir celui qui prenait jusqu'ici l'enfant en charge de manière prépondérante (<ref-ruling> consid. 4.1; <ref-ruling> consid. 2.5; <ref-ruling> consid. 4.3.2), il sera en principe dans l'intérêt de l'enfant de déménager avec lui, pour autant qu'il puisse lui garantir une prise en charge similaire dans son futur lieu de vie et que le déménagement n'entraîne pas une mise en danger du bien de l'enfant (ATF <ref-ruling> consid. 2.7 et les références; <ref-ruling> consid. 2.5). Une telle mise en danger sera par exemple admise lorsque l'enfant souffre d'une pathologie qui ne pourra pas être soignée correctement dans son futur lieu de vie ou lorsque le déménagement est envisagé peu de temps avant la fin d'un cycle scolaire. En revanche, les difficultés usuelles inhérentes à l'intégration dans un nouveau lieu de vie et à l'apprentissage d'une nouvelle langue ne constituent pas dans la règle une mise en danger du bien de l'enfant (<ref-ruling> consid. 3.3; SCHWENZER/COTTIER, in Basler Kommentar, Zivilgesetzbuch I, 6 e éd. 2018, n os 14b et 15 ad <ref-law>; pour d'autres exemples de mise en danger du bien de l'enfant: CHRISTENER-TRECHSEL/HERZIG, Herausforderung Mobilität bei gemeinsamer elterlicher Sorge: der sogenannte Zügelartikel - Versuch einer Auslegeordnung: Arbeitskreis 10, in FamPra.ch 2018, p. 229 ss, 253). Même lorsque ces conditions sont remplies, il faut encore tenir compte des circonstances concrètes du cas d'espèce et notamment de l'âge de l'enfant et des souhaits exprimés par ce dernier, dès lors que plus un enfant grandit moins il sera dépendant et attaché à son parent de référence alors que son environnement, les activités auxquelles il prend part et son cercle social gagneront en importance (<ref-ruling> consid. 4.1; <ref-ruling> consid. 4.3; <ref-ruling> consid. 2.7).
3.3. De manière générale, le prononcé de mesures provisionnelles suppose qu'il y ait urgence à statuer et qu'une mesure soit nécessaire pour sauvegarder des intérêts menacés (arrêts 5A_293/2019 du 29 août 2019 consid. 5.2.1 et les arrêts cités; 5A_531/2017 du 16 octobre 2017 consid. 5.2; 5A_339/2017 du 8 août 2017 consid. 4.4.1).
Une retenue particulière doit être exercée s'agissant de l'autorisation provisoire de déplacer le lieu de résidence de l'enfant à l'étranger. Eu égard à la perte de compétence qu'un tel déménagement entraîne pour les juridictions suisses lorsque le pays de destination est partie à la Convention du 19 octobre 1996 concernant la compétence, la loi applicable, la reconnaissance, l'exécution et la coopération en matière de responsabilité parentale et de mesures de protection des enfants (ci-après: CLaH96; RS 0.211.231.011), une telle autorisation ne doit être délivrée que lorsque l'urgence est caractérisée (<ref-ruling> consid. 4.2.2 et les références [décision refusant d'attribuer l'effet suspensif au recours formé contre une décision autorisant le déplacement du lieu de résidence d'un enfant à l'étranger]; cf. ég. <ref-ruling> consid. 2 et 4).
3.4. L'autorité judiciaire qui se prononce sur des mesures provisionnelles peut se limiter à la vraisemblance des faits et à l'examen sommaire du droit (examen prima facie), en se fondant sur les moyens de preuve immédiatement disponibles, tout en ayant l'obligation de peser les intérêts respectifs des parties (<ref-ruling> consid. 4.2; <ref-ruling> consid. 2.3). Elle dispose à cet égard d'un large pouvoir d'appréciation et peut tenir compte de l'issue prévisible de la procédure au fond, pour autant que celle-ci soit claire (<ref-ruling> consid. 2.2; <ref-ruling> consid. 3). Le Tribunal fédéral n'examine qu'avec retenue l'appréciation à laquelle a procédé l'instance précédente. Il n'intervient que si le juge a manifestement abusé du pouvoir d'appréciation qui lui est accordé, ou s'il l'a excédé; tel est le cas lorsque la décision repose sur une appréciation insoutenable des circonstances, qu'elle est inconciliable avec les règles du droit et de l'équité, qu'elle omet de tenir compte de tous les éléments de fait propres à fonder la décision ou encore, lorsqu'elle prend au contraire en considération des circonstances qui ne sont pas pertinentes (<ref-ruling> consid. 3; <ref-ruling> consid. 4a; arrêt 5A_401/2014 du 18 août 2014 consid. 3.2.2 et la jurisprudence citée).
4.
Le recourant se plaint d'arbitraire dans l'établissement des faits et dans l'application de l'<ref-law>. Il fait en substance grief au Juge délégué d'avoir arbitrairement retenu que l'intimée était le parent de référence de l'enfant.
Le recourant soutient qu'une décision autorisant le déplacement du lieu de résidence de l'enfant à l'étranger ne devrait en principe pas être rendue, comme en l'espèce, sur mesures provisionnelles, mais directement au fond, ce notamment pour permettre une instruction complète. Il relève que la prise en charge de l'enfant est assurée de manière équivalente par les deux parents, de sorte que l'intimée aurait arbitrairement été considérée comme le parent de référence. Il rappelle que, depuis la séparation, son fils a passé sept journées sur quatorze auprès de lui et dormi cinq nuits sur quatorze chez lui, voire sept nuits sur quatorze depuis l'entrée en vigueur de l'ordonnance de première instance. Le Juge délégué avait relevé que, d'un point de vue purement quantitatif, l'enfant avait passé plus de temps avec sa mère qu'avec son père depuis la séparation des parties et jusqu'à l'entrée en vigueur de la décision du premier juge. Selon le recourant, qui se plaint d'arbitraire dans l'établissement des faits sur ce point, le Juge délégué avait cependant omis de tenir compte du fait que l'enfant était chez lui depuis la séparation non seulement un week-end sur deux du vendredi soir au lundi matin et toutes les semaines du mardi soir au mercredi matin, mais également tous les lundis soir jusqu'à 20h30, alors que cela ressortait des déclarations concordantes des parties. Le Juge délégué avait également omis de tenir compte de ses déclarations selon lesquelles son fils avait dormi chez lui les lundis soir au cours des quatre dernières semaines précédent l'audience d'appel du 4 octobre 2019. Le recourant conteste également le constat selon lequel l'intimée s'occupait de prendre rendez-vous chez le pédiatre et prenait soin de l'enfant lorsqu'il était malade. Il rappelle avoir déclaré lors de son audition qu'il avait toujours accompagné l'intimée autant aux urgences que lors des rendez-vous de contrôle de l'enfant, sauf à deux reprises, une fois parce qu'il se trouvait à l'étranger et une autre parce que le rendez-vous avait été déplacé et qu'il avait envoyé sa mère à sa place. Or, le Juge délégué n'avait arbitrairement pas tenu compte de ses déclarations. Certes, compte tenu de la période de chômage qu'avait traversée l'intimée, elle avait passé plus d'heures avec l'enfant que lui. Cette unique différence dans la prise en charge ne pouvait toutefois justifier à elle seule l'autorisation de déplacer l'enfant à l'étranger à plus de 800 kilomètres de son lieu de vie actuel. Le Juge délégué avait fait grand cas de la prétendue stabilité du cadre de vie offert à l'enfant aux Pays-Bas. Or, la relation de l'intimée avec son compagnon actuel résidant dans ce pays n'avait débuté que durant l'été 2018 et le Tribunal de céans avait relevé dans un <ref-ruling> consid. 4.5 qu'une telle relation ne pouvait être qualifiée de stable. A cet égard, le Juge délégué avait retenu arbitrairement que l'intimée venait d'épouser son compagnon, sans preuve et sur la base des seules allégations de cette dernière. Il avait également retenu arbitrairement que la future école de l'enfant se situait à proximité de son futur domicile et du lieu de travail de sa mère, de sorte que la grande liberté que son nouvel employeur offrait à cette dernière quant à l'organisation de son travail lui permettrait d'amener son fils à l'école le matin et d'assurer personnellement sa prise en charge le reste du temps alors que le recourant devrait recourir tous les jours à l'assistance de l'accueil parascolaire jusqu'à 17h00 environ. Le recourant rappelle en effet que le contrat de travail produit par l'intimée prévoit un plein temps, qu'elle exercera son activité à U._ et qu'elle habitera à V._, villes distantes de 51,8 kilomètres. Partant, la prise en charge de l'enfant ne sera de toute évidence pas plus facile là-bas qu'elle ne l'est en Suisse depuis la naissance de l'enfant. En définitive, alors qu'il avait constaté un lien affectif, une prise en charge et une éducation en tous points équivalents s'agissant des deux parents, le Juge délégué avait décidé arbitrairement d'autoriser le déplacement de l'enfant et d'attribuer en conséquence la garde exclusive à l'intimée sur la seule constatation erronée d'une différence, uniquement quantitative, de prise en charge de l'enfant. Le résultat consacré par l'arrêt entrepris était arbitraire puisqu'il revenait, en procédure de mesures provisionnelles, à entériner définitivement le déplacement d'un fils loin de son père qui s'en occupait à parts égales avec la mère.
5.
5.1. Il convient liminairement de relever que la décision du Juge délégué d'autoriser, sur mesures provisionnelles, le déplacement du lieu de résidence de l'enfant à l'étranger ne peut, au regard des principes susrappelés (cf. supra consid. 3.2 et 3.3), être rendue que pour autant que la situation présente un caractère d'urgence, que le parent qui envisage de déménager soit le parent de référence de l'enfant, qu'il soit en mesure de continuer à prendre ce dernier en charge dans une mesure équivalente et que le déménagement n'entraîne pas une mise en danger du bien de l'enfant. En l'occurrence, l'urgence du déplacement du lieu de résidence de l'enfant aux Pays-Bas n'a pas été examinée par le Juge délégué. A cet égard, il n'est pas contesté que l'intimée a connu une période de chômage en Suisse ensuite de l'obtention de son doctorat, ponctuée de recherches d'emploi demeurées infructueuses. Elle a ensuite trouvé un emploi de Professeur assistante et chargée de cours à l'Université de U._ (Pays-Bas) pour la rentrée 2019/2020. Au vu de sa situation, son employeur a accepté de reporter ses heures de cours et son activité sur place au 31 décembre 2019 et qu'elle remplisse partiellement ses obligations professionnelles à distance. Compte tenu de la chronologie des événements et en particulier du fait que l'employeur de l'intimée a déjà accepté de repousser sa prise de fonctions sur place, les perspectives professionnelles de l'intimée seront vraisemblablement compromises si elle n'honore pas ses engagements. Dans ces circonstances, la condition de l'urgence apparaît donnée, étant précisé que le recourant ne prétend nullement que cette condition ne serait pas remplie.
5.2. Quant à savoir qui est le parent de référence de l'enfant, il ressort de l'arrêt querellé que les deux parents présentent des capacités parentales adéquates pour la prise en charge de leur fils, qu'ils ont tous deux été très présents depuis sa naissance, ont développé de forts rapports affectifs avec l'enfant et lui ont apporté soins et éducation dans une mesure équivalente. Cela étant, quand bien même le recourant a toujours été très impliqué dans la prise en charge de son fils puisque ce dernier a passé cinq voire six nuits sur quatorze chez lui depuis la séparation - les parties s'opposant sur la question en définitive sans pertinence de savoir chez qui l'enfant se trouvait le lundi soir - ainsi que la moitié de son temps depuis la rentrée scolaire 2019, il n'en demeure pas moins que la situation professionnelle de l'intimée lui a permis de passer beaucoup de temps avec l'enfant depuis sa naissance et d'aménager son emploi du temps en fonction de ce dernier. Contrairement à ce que soutient le recourant, que cette situation soit inhérente au fait qu'il travaillait à plein temps alors que l'intimée avait connu une période de chômage est sans pertinence. Il ressort de l'arrêt querellé que, même depuis la rentrée scolaire, l'intimée a disposé d'une plus grande disponibilité qui lui a permis d'alléger au maximum la prise en charge de l'enfant par des tiers durant les jours où l'enfant était auprès d'elle. Cela étant, le temps consacré par chaque parent à l'enfant n'est pas le seul facteur qui tend à désigner l'intimée comme le parent de référence de l'enfant dans le cas d'espèce. En effet, il faut garder à l'esprit que l'enfant est tout juste âgé de cinq ans. Il n'a donc fréquenté l'école que durant quelques mois, de sorte que les liens sociaux qu'il a pu y créer ne revêtent pas la même importance que pour un enfant plus âgé ou un adolescent qui pratique souvent diverses activités sportives ou récréatives avec son cercle d'amis et est dès lors très lié à son environnement social. Partant, eu égard à son âge, le parent avec lequel il a passé l'essentiel de son temps durant ses premières années de vie constitue pour lui une figure centrale et rassurante, de sorte que le principe de stabilité, qui revêt une importance particulière chez un enfant de cet âge, tend au maintien de ce dernier auprès de ce parent. En outre, bien que le recourant conteste, sous l'angle d'une appréciation arbitraire des faits, avoir été absent à la plupart des rendez-vous médicaux de l'enfant, il ne nie pas que l'intimée s'occupait de prendre les rendez-vous, y était systématiquement présente et s'occupait également de l'enfant lorsqu'il était malade. Compte tenu de l'ensemble des circonstances qui précèdent et nonobstant l'investissement du recourant, il n'était pas arbitraire de considérer que l'intimée constituait le parent de référence de l'enfant, ce indépendamment du fait que les parties se sont entendues sur un partage des bonifications pour tâches éducatives AVS.
L'intimée apparaît également en mesure de continuer à se consacrer à son fils aux Pays-Bas dans une mesure équivalente à celle qui prévalait en Suisse. Sur ce point, le Juge délégué a constaté que l'intimée bénéficiait d'une grande liberté dans l'organisation de son temps de travail, ce qui lui permettait d'amener son fils à l'école le matin et d'assurer personnellement sa prise en charge dès sa sortie de l'école. Le recourant met à juste titre en évidence la distance relativement importante qui sépare la ville du futur domicile de l'intimée de l'université qui l'emploie, de sorte que c'est effectivement de manière erronée que le Juge délégué a considéré que la future école de l'enfant serait proche de ces deux lieux. Cela étant, les trajets conséquents entre son domicile et le lieu où elle travaille seront assumés par l'intimée et rien n'indique qu'ils seront imposés également à l'enfant. Par ailleurs, la flexibilité alléguée par l'intimée quant à l'organisation de son temps de travail semble compatible avec sa fonction académique nonobstant le fait qu'elle ait été engagée à 100%, de sorte qu'il apparaît vraisemblable qu'elle puisse s'occuper de son fils dès sa sortie de l'école.
Enfin, la mise en danger du bien de l'enfant que le recourant semble alléguer en tant qu'il évoque les difficultés d'intégration auxquelles l'enfant sera confronté en raison de son absence de maîtrise du néerlandais et le fait qu'il risque d'être déplacé encore dans d'autres pays compte tenu des professions respectives de sa mère et de son nouveau compagnon n'est pas réalisée. En effet, s'agissant de la déstabilisation que peut entraîner l'apprentissage d'une langue étrangère, le Tribunal de céans a déjà considéré que celle-ci n'était pas constitutive d'une mise en danger du bien de l'enfant (cf. supra consid. 3.2). Au demeurant, il ressort de l'arrêt entrepris que l'intimée a obtenu aux Pays-Bas une place pour son fils dans une école privée francophone, ce qui lui permettra une intégration progressive nonobstant sa méconnaissance de la langue nationale. Quant au risque évoqué de déménagements successifs, ceux-ci relèvent de la spéculation, étant précisé que le recourant demeure libre de saisir les autorités locales compétentes si un tel projet devait se concrétiser. En définitive, compte tenu de ce qui précède, il apparaît que le Juge délégué n'a pas excédé son pouvoir d'appréciation en considérant que les conditions pour autoriser l'intimée à déplacer le lieu de résidence de l'enfant à l'étranger au stade des mesures provisionnelles étaient remplies.
Au surplus, les autres griefs du recourant dirigés contre l'appréciation des critères d'attribution de la garde à l'un ou l'autre des parents n'ont pas à être examinés. Certes, la question de l'adaptation des droits parentaux au sens de l'<ref-law> est indissociable de celle du déménagement et doit être examinée d'office par les autorités cantonales même en l'absence de conclusions en ce sens (ATF <ref-ruling> consid. 2.8; MEIER/STETTLER, Droit de la filiation, 6 e éd. 2019, n os 1128 et 1134 p. 749 et 753). Or, en l'occurrence le Juge délégué a bien procédé à une telle adaptation en fixant différemment le droit de visite du recourant sur son fils. Ce dernier n'a toutefois soulevé aucun grief d'application arbitraire de l'<ref-law> formulé conformément aux réquisits de l'<ref-law> et n'a pris aucune conclusion relative aux modalités d'exercice du droit de visite dans ses conclusions subsidiaires prises dans l'hypothèse d'un déménagement.
6.
Se référant à l'<ref-law>, le recourant se plaint de ce que la contribution d'entretien en faveur de l'enfant aurait été fixée arbitrairement. Il se plaint également d'arbitraire s'agissant de l'établissement des faits qui sous-tendent la fixation de la contribution d'entretien.
6.1. Le recourant conteste la manière dont le salaire de l'intimée a été arrêté par le Juge délégué. Il lui reproche en particulier de ne pas avoir tenu compte de l'allocation de fin d'année de 8,3% que l'intimée percevra et qui ressortirait des pièces produites par celle-ci devant le premier juge. Il lui fait également grief de ne pas avoir tenu compte du fait que, selon le site https://thetax.nl qu'il a utilisé pour déterminer le revenu de l'intimée, cette dernière pouvait bénéficier d'une exonération d'impôt à hauteur de 30% de ses revenus en cochant la case " 30% ruling ". C'est ainsi un revenu mensuel net de 3'348 euros et non de 2'617 euros qu'il convenait de prendre en compte pour l'intimée, à savoir 3'746 fr. au taux de change de 1.1189. Pour la période du 1 er septembre au 31 décembre 2019, le budget de l'intimée présentait un déficit de 63 fr. (3'746 fr. [salaire corrigé de l'intimée] - 3'809 fr. [charges de l'intimée en Suisse]), de sorte que la contribution à l'entretien de l'enfant devait être arrêtée à 974 fr. pour cette période (907 fr. [coûts directs de l'enfant] + 67 fr. [déficit de l'intimée]). Pour la période postérieure au 31 décembre 2019 et dans l'hypothèse contestée où l'intimée devait être autorisée à déplacer le lieu de résidence de l'enfant, son disponible s'élèverait à 1'572 fr. 90 (3'746 fr. [salaire corrigé de l'intimée] - 2'173 fr. 10 [charges vraisemblables de l'intimée aux Pays-Bas]). Ainsi, le disponible du recourant correspondant à 57% du disponible total des parties et celui de l'intimée à 43%, les considérations du Juge délégué selon lesquelles il ne se justifiait pas de procéder à une répartition des frais d'entretien de l'enfant eu égard au modeste disponible de l'intimée ne tenaient plus. Il convenait donc de répartir les coûts de l'enfant en fonction des disponibles respectifs des parents, de sorte que la contribution due par le recourant à l'entretien de son fils pour cette période devait s'élever à 621 fr. (57% de 1'090 fr. [entretien convenable de l'enfant]).
6.2. S'il est vrai que le Juge délégué a fait usage pour la première fois dans la procédure du site https://thetax.nl, il apparaît toutefois que l'intimée avait été rendue attentive déjà dans ses échanges d'e-mails avec son futur employeur produits en première instance de la possibilité de demander une exonération fiscale à hauteur de 30% de ses revenus. Partant, dans la mesure où il n'apparaît pas que le premier juge a tenu compte de cet élément, il appartenait au recourant de s'en plaindre devant le Juge délégué, ce qu'il n'a pas fait. Faute d'avoir satisfait au principe de l'épuisement des griefs sur ce point (cf. sur cette notion: <ref-ruling> consid. 1.1 et les références; arrêts 5A_605/2018 du 7 décembre 2018 consid. 5.2; 4A_32/2018 du 11 juillet 2018 consid. 5.2.1-5.2.2), le recourant ne peut s'en prévaloir devant le Tribunal de céans. Cela étant, il apparaît que le premier juge avait tenu compte, s'agissant de l'établissement du revenu de l'intimée, à la fois d'une indemnité de fin d'année de 8.3% et d'une indemnité pour vacances de 8% résultant du même échanges d'e-mails, puisqu'il a majoré le salaire de 3'637 euros de l'intimée de 16.3%. Or, si le Juge délégué a effectivement majoré le salaire de l'intimée de 8% correspondant à son indemnité de vacances puisque c'est bien un salaire annuel brut de 47'135 euros ( (3'637 euros [salaire mensuel brut] + 290.96 euros [8% de 3637]) x 12) qu'il a introduit dans le calculateur en ligne https://thetax.nl tout en cochant la case " Holiday allowance included " pour établir le salaire mensuel net de l'intimée, rien n'indique pour quel motif il a renoncé à ajouter également l'indemnité de fin d'année de 8.3%. L'intimée n'apporte pas davantage d'explication à cette omission, se contentant d'alléguer, sur la base de pièces nouvelles irrecevables, que son revenu serait en réalité encore inférieur à celui retenu par le Juge délégué.
En augmentant le revenu annuel brut de l'intimée de 8.3% et en l'intégrant dans le calculateur en ligne dont le recourant ne critique pas l'utilisation, on obtient au final un revenu mensuel net de 2'771 euros, à savoir 3'100 fr. 50 au taux de 1.1189. Pour la période du 1 er septembre au 31 décembre 2019, le budget de l'intimée demeure déficitaire nonobstant la correction de son revenu (3'100 fr. 50 - 3'809 fr. [charges de l'intimée en Suisse]). Le recourant ayant été condamné à couvrir à la fois les coûts directs de l'enfant (907 fr.) et le déficit de l'intimée, l'admission de son grief aurait toutefois pour seul effet de réduire la contribution mensuelle due à l'entretien de son fils durant ces quatre mois de 172 fr. 35 par mois. Une telle différence ne saurait conduire à une décision arbitraire dans son résultat eu égard au disponible mensuel de 2'650 fr. 45 dont le recourant bénéficie durant cette même période. Pour ce qui est de la période postérieure au 1 er janvier 2020, le budget de l'intimée présentera un disponible de 927 fr. 40 (3'100 fr. 50 - 2'173 fr. 10 [charges de l'intimée aux Pays-Bas]) contre 2'150 fr. 45 pour le recourant. Compte tenu de la différence des disponibles des parties, il n'y avait rien d'arbitraire, pour cette période également, à mettre l'intégralité de l'entretien convenable de l'enfant s'élevant à 1'090 fr. dès le 1 er janvier 2020 à charge du recourant.
7.
Dans ses conclusions, le recourant sollicite la mise en oeuvre d'un mandat d'enquête sur les capacités éducatives et les conditions d'accueil et d'organisation de chacun des parents comme l'avait prévu la présidente au chiffre I du dispositif de son ordonnance, annulée sur ce point par l'arrêt ici querellé. Ses écritures de recours ne comportent toutefois aucune motivation relative à cette conclusion, de sorte que cette critique est irrecevable faute de répondre aux conditions de l'<ref-law>.
8.
En définitive, le recours est rejeté dans la mesure de sa recevabilité. Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant qui succombe (<ref-law>). Ce dernier versera en outre une indemnité de dépens à l'intimée (art. 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3.
Le recourant versera à l'intimée une indemnité de 3'500 fr. à titre de dépens.
4.
Le présent arrêt est communiqué aux parties et au Juge délégué de la Cour d'appel civile du Tribunal cantonal du canton de Vaud.
Lausanne, le 12 mars 2020
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
La Greffière : Hildbrand