Faits :
A.
A.a. Les mineurs C._ et D._, nés respectivement en 2012 et 2013, sont issus de la relation hors mariage entre A._ et B._. Ce dernier a reconnu ses enfants par actes d'état civil des 1 er février 2012 et 15 novembre 2013. Par déclarations communes du 18 septembre 2014, approuvées par le Juge de paix du district d'Aigle, les parents ont instauré l'autorité parentale conjointe sur les enfants.
B.
B.a. Statuant à la requête de A._, le Tribunal de protection de l'adulte et de l'enfant du canton de Genève (ci-après: le Tribunal de protection) a, par ordonnance de mesures superprovisionnelles du 7 novembre 2017 confirmée par ordonnance de mesures provisionnelles du 2 mars 2018, interdit à la mère d'emmener ou de faire emmener les enfants hors de Suisse, lui a retiré en conséquence le droit de déterminer leur lieu de résidence, a ordonné le dépôt de leurs documents d'identité auprès du Service de protection des mineurs (SPMi) ainsi que l'inscription des enfants et de leur mère dans le système de recherches informatisées de police (RIPOL/SIS), a dit que les enfants devraient rester scolarisés à Genève à tout le moins jusqu'à l'issue de la procédure, a exhorté les parties à entreprendre une médiation, et a invité le SPMi à lui faire parvenir un rapport d'évaluation sociale.
Reconnaissant aux parents des capacités parentales équivalentes, le Tribunal de protection a considéré que la mère avait conçu précipitamment le projet de déménager avec les enfants à U._ (France), soit à 150 km du domicile de leur père sis à V._, sans tenir compte de l'opposition de celui-ci, dans un contexte conflictuel marqué notamment par une procédure pénale en matière d'entretien.
B.b. Dans son rapport d'évaluation sociale du 12 juillet 2018, le Service d'évaluation et d'accompagnement de la séparation parentale (SEASP) a considéré qu'il était conforme à l'intérêt des enfants d'attribuer la garde de fait de ceux-ci à leur père et de fixer un droit de visite en faveur de la mère à raison de deux week-ends sur trois et de dix semaines de vacances par année scolaire. Ledit service a relevé que les parents, qui avaient tenté une médiation, n'avaient pas trouvé d'accord, la mère persistant dans son projet de rentrer en France, pays dont elle est originaire et dans lequel elle avait noué une nouvelle relation. Si les deux parents avaient des capacités éducatives identiques et que les enfants évoluaient positivement dans leur scolarité et leurs activités respectives, la communication parentale s'était détériorée et était tendue. En fin de compte, la mère avait accepté le transfert de la garde des enfants au père sous réserve de la fixation d'un large droit de visite en sa faveur.
B.c. Dans ses déterminations du 24 juillet 2018, le père a indiqué rejoindre les termes du préavis du SEASP. La mère, quant à elle, s'y est opposée le 7 août 2018, concluant, principalement, à ce que la garde lui soit attribuée et, subsidiairement, à ce qu'un droit de visite de trois week-ends sur quatre lui soit réservé.
B.d. Le Tribunal de protection a entendu les parties lors de son audience du 14 septembre 2018. B._ a réitéré sa volonté de déménager en France dans la maison qu'elle avait achetée avec son compagnon, dont elle attendait un deuxième enfant.
B.e. Par ordonnance du 14 septembre 2018, le Tribunal de protection a confié à A._ la garde des enfants C._ et D._ (ch. 1 du dispositif), fixé le droit aux relations personnelles entre B._ et les enfants, sauf accord contraire des parties, à raison de deux week-ends sur trois et dix semaines de vacances par année scolaire (ch. 2), exhorté les parties à entreprendre une médiation (ch. 3), levé l'interdiction d'emmener ou de faire emmener les enfants hors de Suisse, l'inscription de dite interdiction au système de recherches informatisées de police (RIPOL/SIS) étant radiée et les documents d'identité des enfants restitués à A._ (ch. 4), débouté les parties de toutes autres conclusions et mis les frais de 600 fr. à la charge des parties par moitié chacune (ch. 5 et 6).
B.f. Statuant par décision du 25 mars 2019, expédiée le 27 suivant, sur le recours interjeté le 23 octobre 2018 par B._ contre cette ordonnance, la Chambre de surveillance de la Cour de justice du canton de Genève (ci-après: Chambre de surveillance) l'a admis, a annulé la décision attaquée et a retourné la procédure au Tribunal de protection pour fixer les modalités des relations personnelles entre le père et les enfants.
C.
C.a. Par acte posté le 8 mai 2019, A._ a interjeté un recours en matière civile au Tribunal fédéral contre la décision du 25 mars 2019. Il conclut principalement à son annulation et à sa réforme en ce sens que le recours interjeté le 23 octobre 2018 par B._ contre l'ordonnance du 14 septembre 2018 est intégralement rejeté et cette dernière entièrement confirmée. Subsidiairement, il sollicite le renvoi de la cause à la Chambre de surveillance pour nouvelle décision dans le sens des considérants. Il requiert également que son recours soit assorti de l'effet suspensif (cause 5A_382/2019).
C.b. Le 10 mai 2019, A._ a précisé les conclusions de son recours en matière civile en reprenant in extenso le dispositif de l'ordonnance du 14 septembre 2018 et en requérant une réforme de la décision attaquée dans le sens de celui-ci.
C.c. Parallèlement, le 10 avril 2019, A._ a formé devant la Chambre de surveillance une requête en rectification de la décision du 25 mars 2019.
C.d. Par ordonnance du 4 juin 2019, la requête d'effet suspensif assortissant le recours a été admise et l'instruction de la cause 5A_382/2019 a été suspendue jusqu'à droit connu sur la demande de rectification déposée le 10 avril 2019.
C.e. Le 6 juin 2019, ensuite de la demande de rectification du 10 avril 2019, la Chambre de surveillance a communiqué aux parties une version rectifiée de sa décision du 25 mars 2019 dont elle a précisé le dispositif. Elle a ainsi remplacé la phrase " Annule la décision attaquée " par " Annule les chiffres 1 et 2 du dispositif de l'ordonnance attaquée ", la décision demeurant pour le reste inchangée.
C.f. Par acte posté le 19 juin 2019, A._ a formé un recours en matière civile au Tribunal fédéral contre la décision rectifiée, reprenant les conclusions prises dans son recours du 8 mai 2019 précisé le 10 mai suivant (cause 5A_502/2019). Il a assorti son recours d'une demande d'effet suspensif, qui a été admise par ordonnance du 24 juillet 2019.
C.g. Les parties ont été informées de la reprise de l'instruction par ordonnance du 4 octobre 2019.
C.h. Invitées à se déterminer, la Chambre de surveillance s'est référée aux considérants de son arrêt et l'intimée a conclu au rejet du recours.
Le recourant a répliqué le 30 octobre 2019 persistant dans ses conclusions.

Considérant en droit :
1.
1.1. Vu la connexité évidente des recours, il se justifie de joindre les causes 5A_382/2019 et 5A_502/2019 et de statuer à leur sujet par un seul arrêt (<ref-law>, applicable par renvoi de l'<ref-law>).
1.2. Le recourant a interjeté un nouveau recours contre la décision rectificative, en reformulant pour l'essentiel l'intégralité des griefs soulevés dans son premier recours.
Selon la jurisprudence, l'arrêt rectificatif fait courir un nouveau délai de recours, mais uniquement pour les points concernés par la rectification, à l'exclusion des moyens que les parties auraient pu et dû invoquer à l'encontre du premier arrêt (<ref-ruling> consid. 6.3; <ref-ruling> consid. 1.2; <ref-ruling> consid. 1.2.3; arrêt 4A_107/2015 du 13 août 2015 consid. 1 et les références). Par ailleurs, il convient de rappeler le principe selon lequel l'arrêt rectificatif rétroagit de sorte que l'arrêt rectifié est d'emblée valable (arrêts 5A_636/2019 du 11 octobre 2019 consid. 1; 4A_731/2012 du 21 mai 2013 consid. 1; 4A_474/2012 du 8 février 2013 consid. 2).
En l'espèce, la rectification concerne uniquement la formulation du dispositif de la décision d'origine, soit un point qui ne revêt aucune incidence sur le premier recours interjeté le 8 mai 2019. Dans ces circonstances, il n'était pas nécessaire de " valider " ce recours par un second dirigé contre la décision rectificative (cf. arrêt 4A_474/2012 précité). Il faut donc en conclure que le second recours au contenu semblable au premier est sans objet (cf. arrêt 4A_732/2012 précité).
1.3. L'autorité précédente a annulé les ch. 1 et 2 du dispositif de l'ordonnance de première instance et renvoyé la cause au Tribunal de protection pour qu'il fixe les modalités d'exercice des relations personnelles entre le père et ses enfants. Il s'ensuit que sa décision - qui ne porte, par ailleurs, ni sur la compétence ni sur une demande de récusation (<ref-law>) - ne met pas fin à la procédure (cf. <ref-law>) et constitue ainsi une " autre décision incidente " au sens de l'<ref-law>. Il convient dès lors d'examiner la recevabilité du présent recours au regard de l'exigence d'un préjudice irréparable (<ref-law>), la possibilité de rendre immédiatement une décision finale de nature à éviter une procédure probatoire longue et coûteuse (<ref-law>) n'étant manifestement pas donnée. Or, la décision attaquée, qui concerne le sort de l'enfant, est susceptible de causer un préjudice irréparable au sens de l'<ref-law>, dès lors que même une décision finale ultérieure favorable au recourant ne pourrait pas compenser rétroactivement l'exercice des prérogatives parentales dont il a été frustré (cf. arrêt 5A_995/2017 du 13 juillet 2018 consid. 1.1 et la référence).
1.4. Le recours a pour le surplus été interjeté en temps utile (art. 100 al. 1 et 46 al. 1 let. a LTF) et en la forme prévue par la loi (<ref-law>) et est dirigé contre une décision prise par un tribunal cantonal supérieur statuant en dernière instance cantonale (art. 75 al. 1 et 2 LTF), dans une affaire de nature non pécuniaire sujette au recours en matière civile (<ref-law>). Le recourant, qui a succombé devant la juridiction précédente, a par ailleurs qualité pour recourir (<ref-law>). Le recours est ainsi en principe recevable. Il en va de même de l'écriture complémentaire du 10 mai 2019, déposée alors que le délai de recours n'était pas encore échu (cf. arrêt 5A_382/2017 du 2 novembre 2017 consid. 1.2 et la référence).
2.
2.1. Le recours en matière civile peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 s. LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>). Toutefois, compte tenu de l'obligation de motiver qui incombe au recourant en vertu de l'art. 42 al. 1 et 2 LTF, il n'examine pas toutes les questions juridiques qui peuvent se poser, mais seulement celles qui sont soulevées devant lui (<ref-ruling> consid. 2.4 et les références). L'<ref-law> exige par ailleurs que le recourant discute les motifs de la décision entreprise et indique précisément en quoi il estime que l'autorité précédente a méconnu le droit (<ref-ruling> consid. 1.7.1; <ref-ruling> consid. 2.4 et la référence). En outre, le Tribunal fédéral ne connaît de la violation des droits fondamentaux que si de tels griefs ont été invoqués et motivés par le recourant (" principe d'allégation ", <ref-law>), c'est-à-dire s'ils ont été expressément soulevés et exposés de façon claire et détaillée (<ref-ruling> consid. 2.1; <ref-ruling> consid. 2.4).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>); il tient compte des faits figurant dans le jugement de première instance dans la mesure où ils ont été repris au moins implicitement par l'arrêt attaqué (arrêts 5A_421/2018 du 13 novembre 2018 consid. 2.2 et l'arrêt cité; 4A_138/2018 du 10 septembre 2018 consid. 1.2 et l'arrêt cité; sous l'OJ, <ref-ruling> consid. 1). Cela étant, le Tribunal fédéral ne peut s'écarter des faits résultant de la décision cantonale que si ceux-ci ont été constatés de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>), et si la correction du vice est susceptible d'influencer le sort de la cause (<ref-law>). Le recourant qui entend invoquer que les faits ont été établis de manière manifestement inexacte, à savoir arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 2.2 et la référence), doit démontrer, de manière claire et détaillée, en quoi consiste cette violation (<ref-law>; cf. supra consid. 2.1). Une critique des faits qui ne satisfait pas à cette exigence est irrecevable (<ref-ruling> consid. 1.3.1; <ref-ruling> consid. 2.3 et les références).
2.3. L'<ref-law> prohibe la production de preuves nouvelles, sauf si elles sont rendues pertinentes pour la première fois par la décision attaquée (<ref-ruling> consid. 3.1.2). Autant le recourant que l'intimée ont joint de nombreuses pièces à l'appui de leurs écritures. La plupart de ces pièces figurent déjà au dossier cantonal. Pour le surplus, elles sont irrecevables faute de répondre aux conditions de l'<ref-law>.
3.
La Chambre de surveillance a tout d'abord constaté que le préavis du SEASP du 12 juillet 2018 avait été rendu notamment du fait que la mère avait initialement déclaré accepter que la garde soit attribuée au père. Or, elle avait changé d'avis relativement peu de temps après la délivrance du préavis, le Tribunal de protection retenant notamment que son projet de déménagement en France était spontané et unilatéral. Cela étant, il ressortait de la procédure que si le père avait toujours eu des relations proches, suivies et fréquentes avec ses enfants, ceux-ci avaient eu leur domicile chez leur mère depuis la séparation des parties. Il ressortait par ailleurs tant du dossier que du rapport du SEASP que la mère était adéquate dans le cadre éducatif qu'elle proposait aux enfants. Le seul motif retenu par le Tribunal de protection pour modifier l'attribution de la garde était le déménagement prévu par la mère à l'étranger et un hypothétique et potentiel nouveau changement du lieu de résidence à moyen terme. Or, si le déménagement envisagé par l'intimée constituait certes une circonstance nouvelle impliquant cas échéant de nouvelles modalités d'exercice du droit de visite sur les enfants, cette circonstance en tant que telle ne justifiait pas le transfert de la garde de l'un des parents à l'autre, respectivement le retrait de la garde des enfants à la mère pour l'attribuer au père. Cela était d'autant moins le cas qu'au vu de l'âge des enfants, qui étaient très jeunes et dès lors très adaptables, un changement d'environnement n'était pas susceptible de les déstabiliser. Enfin, un changement de domicile de Suisse en France n'était pas susceptible de créer un danger ou une menace sérieuse pour le bien des enfants. Une nouvelle réglementation de la garde ne s'imposait dès lors pas impérativement. Il convenait ainsi d'annuler l'ordonnance du Tribunal de protection et de lui renvoyer la cause pour qu'il statue sur le droit aux relations personnelles du père.
4.
Le recourant se plaint d'un établissement manifestement inexact des faits et d'une violation de l'<ref-law>. Il fait en substance grief à la Chambre de surveillance d'avoir omis de constater des faits essentiels pour juger de l'attribution de la garde et d'avoir méconnu les critères jurisprudentiels applicables en la matière, outrepassant ce faisant son pouvoir d'appréciation. Il cite en outre la teneur des art. 296 et 301a al. 2 let. a CC, sans développer de motivation particulière à cet égard.
4.1. Le recourant reproche à la Chambre de surveillance d'avoir omis de constater la date de la séparation des parties, intervenue selon lui en juillet 2014, ainsi que les modalités de prise en charge des enfants mises en place depuis cette date. Alors que les parties avaient toujours appliqué d'entente entre elles un système de garde alternée et qu'aucune décision judiciaire portant sur la garde n'avait été rendue avant l'ordonnance du Tribunal de protection du 14 septembre 2018, la Cour de justice était partie du principe que l'intimée était au bénéfice de la garde exclusive et que la procédure portait sur la modification de celle-ci. Or, il résultait du dossier que, de juillet 2014 à septembre 2016, les enfants passaient, dans les faits, la moitié de leur temps avec chacun de leurs parents. Depuis septembre 2016, les enfants continuaient de voir leur père du mardi soir au mercredi soir, deux week-ends sur trois, du vendredi soir au dimanche soir, ainsi que durant l'entier des vacances scolaires communes entre les cantons de Genève et Vaud. Au vu des critères d'attribution de la garde, ces faits étaient indéniablement susceptibles d'influer sur le sort de la cause. Il en allait de même d'autres éléments de fait, arbitrairement ignorés par la cour cantonale alors qu'ils étaient également essentiels pour décider de l'attribution de la garde, à savoir notamment sa disponibilité pour ses enfants, ainsi que le déménagement en 2015 de l'intimée à X._ qui l'avait contraint de déménager lui-même de W._ à V._ pour se rapprocher des enfants.
Le recourant fait par ailleurs grief aux juges cantonaux de s'être écartés du préavis du SEASP, qui avait constaté que les enfants connaîtraient auprès de lui un meilleur développement qu'aux côtés de leur mère et préconisait en conséquence l'attribution de la garde en sa faveur. Elle n'avait pas non plus pris en considération l'instabilité néfaste pour les enfants causé par le comportement imprévisible de la mère, qui imposait pour la deuxième fois un éloignement notable des domiciles des parents et démontrait ainsi une absence de volonté de favoriser les relations entre père et enfants. Après avoir quitté le canton de Vaud pour X._, le contraignant à déménager de W._ à V._, elle avait décidé de partir vivre en France avec son nouveau compagnon. Elle entendait ainsi mener ses projets selon ses propres envies en reléguant au second plan ses enfants et leur père et il existait un risque important de la voir à nouveau déménager avant la majorité des enfants. Confier la garde de ceux-ci à leur mère reviendrait dès lors à les contraindre à s'adapter à un nouveau pays ainsi qu'à un système scolaire totalement différent. Or les enfants, âgés de 7 et 5 ans, vivaient en Suisse depuis leur naissance et y étaient déjà scolarisés depuis plusieurs années. Un déménagement en France engendrerait donc un profond déracinement, assurément impropre à garantir leur meilleur développement. Le recourant fait aussi grief à la Chambre de surveillance de s'être basée sur le domicile " fiscal " (recte: administratif) des enfants auprès de leur mère au lieu d'évaluer la question de la garde en fonction de l'étroitesse des liens des enfants avec chacun des parents et la régularité de leurs rapports. Or, il ressortait clairement du dossier que les enfants avaient passé au moins autant de temps avec leur père qu'avec leur mère depuis la séparation. Ils avaient dès lors tissé une relation très étroite avec leur père et l'attribution de la garde en sa faveur ne les chamboulerait nullement, ce d'autant que ses capacités éducatives étaient au moins équivalentes à celles de l'intimée et qu'en tant qu'enseignant, il disposait d'un emploi stable lui laissant toute la disponibilité nécessaire pour s'occuper personnellement d'eux. Le recourant considère qu'il satisfait ainsi aisément à l'ensemble des critères édictés par la jurisprudence, tandis que l'intimée, par son déménagement en France et son attitude imprévisible, était " hautement défaillante " au regard notamment du critère de la stabilité. Dans ces conditions, le bien des enfants commandait " impérativement " de lui confier la garde exclusive des enfants et, partant, de confirmer l'ordonnance du Tribunal de protection.
4.2.
4.2.1. La garde (de fait) sur l'enfant peut être attribuée à un seul des parents, même lorsque l'autorité parentale demeure conjointe. Un parent ne peut en effet déduire du principe de l'autorité parentale conjointe le droit de pouvoir effectivement s'occuper de l'enfant (arrêt 5A_714/2015 du 28 avril 2016 consid. 4.2.1.2. et les références citées. publié in FamPra.ch 2016 p. 766 et in SJ 2016 I 373).
La règle fondamentale pour attribuer la garde est le bien de l'enfant, les intérêts des parents devant être relégués au second plan (<ref-ruling> consid. 3.2.3). Au nombre des critères essentiels, entrent en ligne de compte les relations personnelles entre parents et enfant, les capacités éducatives respectives des parents, leur aptitude à prendre soin de l'enfant personnellement, à s'en occuper, ainsi qu'à favoriser les contacts avec l'autre parent, l'âge de l'enfant et son appartenance à une fratrie ou à un cercle social ainsi que le souhait exprimé par ce dernier s'agissant de sa propre prise en charge; il faut choisir la solution qui, au regard des données de l'espèce, est la mieux à même d'assurer à l'enfant la stabilité des relations nécessaires à un développement harmonieux des points de vue affectif, psychique, moral et intellectuel. Lorsque le père et la mère offrent des conditions équivalentes, la préférence doit être donnée, dans l'attribution d'un enfant en âge de scolarité ou qui est sur le point de l'être, à celui des parents qui s'avère le plus disponible pour l'avoir durablement sous sa propre garde, s'occuper de lui et l'élever personnellement alors qu'il faudra davantage tenir compte de l'appartenance à un cercle social déterminé s'agissant d'un adolescent (<ref-ruling> consid. 3.2.3-3.2.4; <ref-ruling> consid. 5.3; <ref-ruling> consid. 4a; arrêt 5A_714/2015 précité consid. 4.2.1.3).
4.2.2. Pour trancher la question du sort des enfants, le juge peut notamment avoir recours aux services de protection de l'enfance ou de la jeunesse pour demander un rapport sur la situation familiale, une enquête sociale pouvant avoir son utilité en cas de situation conflictuelle et de doute sur la solution adéquate pour les enfants (<ref-ruling> consid. 3.2.3; arrêt 5A_512/2017 du 22 décembre 2017 consid. 3.4.1 et les références). Le juge peut toutefois s'écarter des conclusions d'un rapport établi par un tel service à des conditions moins strictes que celles applicables lorsqu'il s'agit d'une expertise judiciaire (arrêts 5A_373/2018 du 8 avril 2019 consid. 3.2.6; 5A_794/2017 du 7 février 2018 consid. 4.1; 5A_512/2017 précité consid. 3.4.3 in fine).
4.3. En l'espèce, la Chambre de surveillance est partie du principe que l'intimée était au bénéfice de la garde exclusive sur les enfants et a examiné si le Tribunal de protection avait retenu à juste titre que son projet de déménagement en France constituait un motif suffisant pour modifier l'attribution de la garde et la transférer au recourant, ce qu'elle a en définitive nié. Or, comme le relève à juste titre le recourant, il apparaît, au vu des faits constatés dans la décision attaquée, que la question de l'attribution de la garde a été réglée judiciairement pour la première fois par l'ordonnance du Tribunal de protection du 14 septembre 2018. Il appartenait dès lors à la Chambre de surveillance de contrôler, sur la base des critères susrappelés, si ledit tribunal avait à bon droit attribué la garde au recourant. Pour ce faire, elle devait constater, en fait, l'état des relations personnelles entre les enfants et chacun de leurs parents, les capacités éducatives respectives des parents, leur aptitude à prendre soin des enfants personnellement, à s'en occuper, ainsi qu'à favoriser les contacts avec l'autre parent, leur propre souhait quant à leur prise en charge et l'importance que revêt pour eux l'appartenance à un cercle social sur leur lieu de vie actuel. Or, force est de constater que ces éléments font défaut, la Chambre de surveillance ayant uniquement examiné si un déménagement en France mettait en péril le bien des enfants. En particulier, les modalités de prise en charge des enfants antérieures à ce prononcé ne résultent pas de la décision querellée. Il en ressort uniquement que la mère a allégué exercer la garde exclusive des enfants depuis 2015 et que, s'il résulte de la procédure que le père a toujours eu des relations proches, suivies et fréquentes avec ses enfants, ceux-ci avaient eu leur domicile chez leur mère depuis la séparation des parties. Dans la mesure où la décision entreprise ne contient aucune indication quant à la fréquence à laquelle le recourant accueille et s'occupe effectivement de ses enfants, il n'est en l'état pas possible de vérifier les allégations de ce dernier sur ce point. Partant, il apparaît que la mère n'est non seulement pas juridiquement titulaire exclusive de la garde sur ses enfants mais, de surcroît, que rien dans la décision attaquée ne permet de tenir pour établi qu'elle exercerait de fait une garde plus étendue que le recourant. L'intimée admet d'ailleurs implicitement le premier point en tant qu'elle soutient qu'aucune décision judiciaire n'était nécessaire puisque les parties s'étaient selon elle entendues pour que le lieu de garde se trouve à son domicile.
Dans ces circonstances, le recours doit être admis, la décision attaquée annulée et la cause renvoyée à la Chambre de surveillance afin qu'elle établisse les faits nécessaires pour déterminer auprès de quel parent le bien des enfants sera le mieux préservé et qu'elle attribue la garde en conséquence. Dans la mesure où les premiers juges avaient, au chiffre 4 du dispositif de leur décision, levé l'interdiction faite à l'intimée d'emmener ou de faire emmener les enfants hors de Suisse et que la Chambre de surveillance a laissé ce point du dispositif inchangé, il lui appartiendra d'examiner également si les conditions de l'<ref-law> sont réunies dans l'hypothèse où elle envisagerait d'attribuer la garde des enfants à l'intimée à l'issue de sa nouvelle instruction.
5.
En définitive, le recours déposé contre la décision rectificative est sans objet. Le recours formé contre la décision d'origine est quant à lui admis, dite décision étant annulée et la cause renvoyée à l'autorité précédente pour nouvelle décision au sens des considérants. Les frais judiciaires, arrêtés à 3'000 fr., sont mis pour 2'500 fr. à la charge de l'intimée et pour 500 fr. à la charge du recourant qui, en formant un second recours contre la décision rectificative, a pris le risque que celui-ci soit sans objet (<ref-law>; arrêt 5A_780/2018 du 3 décembre 2018 consid. 3.1 et les références). L'intimée versera de ce fait des dépens réduits au recourant (art. 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Les causes 5A_382/2019 et 5A_502/2019 sont jointes.
2.
Le recours déposé contre la décision rectificative communiquée le 6 juin 2019 est sans objet.
3.
Le recours formé contre la décision du 25 mars 2019 est admis, la décision attaquée est annulée et la cause est renvoyée à l'autorité cantonale pour nouvelle décision au sens des considérants.
4.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis pour 2'500 fr. à la charge de l'intimée et pour 500 fr. à la charge du recourant.
5.
L'intimée versera au recourant une indemnité de 1'500 fr. à titre de dépens réduits.
6.
Le présent arrêt est communiqué aux parties et à la Chambre de surveillance de la Cour de justice du canton de Genève.
Lausanne, le 9 décembre 2019
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
La Greffière : Hildbrand