Faits : A. A._, ressortissant australien, et B._, ressortissante suisse et australienne, sont les parents non mariés des enfants C._, née en 2011, et D._, né en 2013, qui disposent tous deux des nationalités suisse et australienne. Les parties ont cohabité avec leurs enfants, jusqu'à une date inconnue, en Australie. A.a. Selon une convention non signée intitulée " Minute of consent orders (parenting) " établie en 2017, les parents sont convenus qu'ils détenaient l'autorité parentale conjointe sur les enfants et qu'ils exerceraient une garde alternée. La même année, toujours à une date inconnue, les parents ont signé, en présence de leurs conseils australiens, un accord " Limited child support agreement " en vertu duquel les enfants vivraient avec leur mère et qu'ils passeraient du temps avec leur père selon arrangement entre les parents. Cette convention prévoyait également le versement d'une contribution d'entretien par le père en faveur des enfants. A.b. En septembre 2017, B._ a appris que sa mère, qui habitait en Suisse, était atteinte d'une maladie en phase terminale, de sorte que les parties ont décidé de partir à son chevet pour une durée indéterminée. A cette fin, les parties ont entrepris diverses démarches, notamment la résiliation de leur contrat de travail et de bail en Australie et l'inscription de leur fille à l'école en Suisse. Le 8 février 2018, A._ a acheté quatre billets d'avion à destination de la Suisse pour le 2 avril 2018. En mars 2018, le père n'ayant pas reçu de réponse quant à son permis de séjour et de travail en Suisse, les parties sont convenues qu'il resterait momentanément en Australie afin de percevoir un salaire pour verser l'entretien dû en faveur des enfants. Le 28 mars 2018, les parents, en présence de leurs conseils australiens, ont signé une convention intitulée " Parenting plan ", dont la version finale a été élaborée à la suite de plusieurs échanges de courriels et demandes de modifications - intervenus entre le 27 février et le 22 mars 2018 - et dont la traduction en français a notamment la teneur suivante : « PRÉAMBULE e. Les enfants [...] vivent à U._ en Australie-Occidentale, depuis leur naissance. f. Depuis leur séparation, A._ et B._ ont recours, pour les enfants, à des arrangements informels de garde conjointe; à la date de la présente Ordonnance, A._ exerçait ses droits de garde des enfants en Australie où, chaque semaine, ces derniers vivaient avec lui du mercredi, à partir de 18h00 au samedi jusqu'à, 18h00 (les « arrangements de garde conjointe »). g. Mme E._, la grand-mère maternelle ( «E._») vit en Suisse. Les enfants sont très proches de E._ [...]. Il a été diagnostiqué à E._ un cancer [...]en phase terminale. h. B._ souhaite s'installer temporairement en Suisse avec les enfants pour participer aux soins prodigués à sa mère et pour que les enfants puissent passer du temps avec E._ et les membres de leur famille maternelle. A._ souhaite accompagner B._ et les enfants pendant la durée de leur séjour en Suisse. Les parties ont conjointement décidé de s'installer temporairement en Suisse à la fin de l'année 2017. i A._ a déposé, avec l'aide de B._, une demande visant à obtenir le visa approprié lui permettant de vivre et travailler en Suisse pendant la période du séjour des enfants en Suisse. j. Au jour de la présente ordonnance, A._ n'a toujours pas reçu de décision des services suisses d'immigration au sujet de sa demande de visa de séjour/travail. k. Au cas où A._ ne recevrait pas un visa l'habilitant à vivre et travailler en Suisse, il a l'intention de garder son emploi en Australie, mais de se rendre fréquemment en Suisse pour y passer du temps avec les enfants et de veiller à ce que les enfants passent également du temps avec lui en Australie. Les parties acceptent le prononcé, par CONSENTEMENT MUTUEL, des arrangements suivants de garde: 1. A._ et B._ se partagent équitablement la responsabilité parentale conjointe des enfants. 2. La mère peut librement quitter le Commonwealth d'Australie avec les enfants pour s'installer temporairement en Suisse le 2 avril 2018. 3. Les enfants doivent retourner à U._, en Australie-Occidentale, pour s'y installer définitivement d'ici le 14 avril 2020au plus tard, à savoir 2 semaines avant le début du deuxième trimestre scolaire, commençant le 28 avril 2020. 4. Les parties doivent prendre toutes les mesures nécessaires pour faciliter le retour définitif des enfants à U._ d'ici au 14 avril 2020au plus tard et dans une mesure incluant, sans limitation, la validité des passeports dont les enfants sont actuellement titulaires et la signature, avant leur retour, de tous les formulaires nécessaires à leur réinscription scolaire en Australie -Occidentale. 5. Les parties doivent prendre toutes les mesures et signer tous les documents pour s'assurer que les passeports australiens et suisses des enfants leur permettront de voyager, à tout moment, pendant une période d'au moins 12 mois. 6. À partir du moment où les enfants retourneront en Australie-Occidentale pour y vivre, les parties doivent à nouveau respecter les arrangements de garde conjointe qui avaient été convenus avant le moment où ils ont quitté l'Australie. Précision : Les parties reconnaissent que le moment pourrait être venu de réexaminer les arrangements de garde. 7. Au cas où B._ ne retournerait pas à U._ avec les enfants, ils vivront avec A._ jusqu'au jour où elle reviendra à U._. Au cas où la mère resterait en Suisse après le retour des enfants à U._, les enfants séjourneront avec B._ à la fois en Australie et en Suisse, conformément à l'accord entre les parties. 8. Situation où les enfants vivent temporairement en Suisse : (a) au cas où A._ obtiendrait un visa de séjour et de travail en Suisse, les enfants devront être gardés conformément aux arrangements de garde, conjointe; et (b) Dans le cas où A._ ne serait pas en mesure d'obtenir ce visa et ne pourrait séjourner en Suisse que pendant 2 périodes de 3 mois par an: (i) si B._ travaille pendant la première période de 3 mois, A._ assurera, à titre principal, la garde des enfants pendant cette période et les parties conviennent de se répartir le temps du week-end. Si B._ ne travaille pas, les parties auront la garde conjointe des enfants. Pendant toute la période de 3 mois pendant laquelle A._ est en Suisse, les parties auront la garde conjointe des enfants. Précision : B._ accepte de proposer un hébergement à A._ et prendra en charge ses dépenses courantes de base comme le loyer et les repas pendant la première période de trois mois. Pendant les autres périodes de trois mois, A._ devra prendre en charge ses propres dépenses. (ii) Pendant toutes les périodes de vacances scolaires (quand A._ n'est pas en Suisse), les enfants devront se rendre en Australie pour toute la durée des vacances scolaires. Pendant les vols, dont les correspondances auront lieu à Dubaï ou à Doha, les enfants doivent être accompagnés par les parties. (iii) A._ doit remettre à B._, au moins un mois en avance, un plan détaillé présentant le lieu où les enfants résideront et les arrangements de garde pris pour les enfants lorsqu'il sera au travail. (iv.) Sauf accord contraire, les enfants doivent aller à l'école et prendre part aux activités extra-scolaires prévues. (v) Les enfants ne doivent pas séjourner pendant des périodes prolongées des trimestres scolaires dans un hôtel, une pension, un foyer ou un hébergement similaire. 9. Les parties peuvent librement se mettre d'accord pour modifier la présente ordonnance à tout moment, cette modification devant être consignée par écrit et signée par les deux parties en tant qu'avenant à ce plan parental. Précision : Aux fins du présent plan parental et de la Convention de la Haye : (a) toute période pendant laquelle les enfants demeureront en Suisse après le 14 avril 2020constituerait un non-retour illicite des enfants ainsi qu'une atteinte aux droits de garde dont A._ est titulaire en Australie; (b) Indépendamment du fait que les enfants vivent temporairement en Suisse jusqu'au 14 avril 2020au plus tard, les parties acceptent que les enfants résident habituellement à U._, en Australie-Occidentale; et (c) le consentement par lequel A._ accepte que les enfants vivent temporairement en Suisse jusqu'au 14 avril 2020au plus tard ne constitue aucun consentement, acquiescement ou un acquiescement ultérieur de A._ selon lequel les enfants pourront quitter l'Australie- Occidentale ou être gardés en dehors de son territoire pendant une période quelconque après le 14 avril 2020. (d) Les parties acceptent que la compétence permettant de trancher tout litige sur l'interprétation ou l'exécution de la présente Ordonnance soit exclusivement attribuée au Tribunal des Affaires familiales d'Australie-Occidentale, sauf et à moins qu'une procédure ne soit engagée sur la base de la Convention de la Haye. (e) Les deux parties reconnaissent avoir consulté, avant de signer la présente ordonnance, un conseiller juridique indépendant sur les effets que le présent accord produira sur les droits et obligations leur étant conférés par la loi. » B. Le 2 avril 2018, B._ et les enfants ont quitté l'Australie pour la Suisse et emménagé dans un appartement sis sur la commune de V._ (Vaud). Le 15 avril 2018, l'enfant C._ a débuté sa scolarité et l'enfant D._ a intégré le même établissement scolaire à la rentrée 2018-2019. Le père a séjourné en Suisse et exercé son droit de visite du 10 au 30 mai 2018, puis du 7 juillet au 6 août 2018. B.a. Le 14 septembre 2018, la mère a déposé auprès du Tribunal d'arrondissement de La Côte une requête en mesures de protection de l'enfant et en entretien, assortie de mesures provisionnelles. Par ordonnance de mesures superprovisionnelles du 18 septembre 2018, le Président du Tribunal civil de l'arrondissement de La Côte a attribué à la mère la garde exclusive des enfants C._ et D._ et ordonné au père de déposer immédiatement tous les documents d'identité des enfants en sa possession auprès du Service de protection de la jeunesse (ci-après: SPJ). En octobre 2018, la mère de B._ est décédée. A la même période, la mère a débuté un emploi à temps partiel en Suisse. Le 15 octobre 2018, le Secrétariat d'Etat aux migrations (ci-après: SEM) a informé le père qu'il entendait lui refuser son autorisation de séjour en Suisse. B.b. Par acte du 13 novembre 2018, le père a adressé à l'Office fédéral de la justice (ci-après: OFJ) une requête en retour des enfants C._ et D._ en Australie. B.c. Le 4 février 2019, le père a déposé à la Chambre des curatelles du Tribunal cantonal du canton de Vaud (ci-après: la Chambre des curatelles) une requête en retour des enfants C._ et D._ en Australie, comprenant une demande de mesures de protection immédiate, à titre de mesures superprovisionnelles et provisionnelles tendant notamment à l'instauration d'un contact " Skype " bihebdomadaire, au dépôt immédiat au greffe des documents d'identité des enfants, et à l'interdiction de quitter le territoire suisse avec les enfants. Par ordonnance de mesures superprovisionnelles du 5 février 2019, la Juge déléguée de la Chambre des curatelles a rejeté, faute d'extrême urgence, la requête de mesures superprovisionnelles. Par ordonnance du 7 février 2019, la Juge déléguée de la Chambre des curatelles a désigné Me Thierry de Mestal en qualité de curateur des enfants C._ et D._, invité le SPJ à déposer un rapport les concernant, octroyé au père un contact de type " Skype " deux fois par semaine, ordonné à la mère de déposer au greffe de la Chambre des curatelles, sous la menace de la peine d'amende, tous les documents d'identité en sa possession tant à son nom que ceux des enfants C._ et D._, interdit à la mère de faire établir d'autres documents d'identité en son nom ou au nom des enfants, et interdit à la mère de quitter le territoire suisse avec les enfants C._ et D._. Par courrier du 8 février 2019, la Présidente du Tribunal civil de l'arrondissement de La Côte a informé la Chambre des curatelles qu'elle avait suspendu la procédure initiée par la mère en septembre 2018, jusqu'à droit connu sur la requête en retour des enfants en Australie. Le SPJ a rendu un rapport le 26 février 2019, duquel il ressort que les enfants sont bien intégrés en Suisse, que leur niveau scolaire est bon, qu'ils pratiquent des activités extra-scolaires et qu'ils ont émis le souhait de rester vivre en Suisse, notamment par crainte de la nouvelle compagne de leur père. Par écriture du 27 février 2019, la mère a conclu au rejet de la requête en retour. Dans ses déterminations du 27 février 2019, le curateur des enfants a également conclu au rejet de la requête en retour. La Chambre des curatelles a tenu une audience le 11 mars 2019, au cours de laquelle elle a entendu les parties, ainsi que la représentante du SPJ. B.d. Par arrêt du 26 mars 2019, la Chambre des curatelles a prononcé le dispositif suivant : " I. La requête en retour de A._ est rejetée. II. L'indemnité due à Me Sophie Beroud, conseil d'office du requérant A._, est arrêtée à 8'871 fr. 85 (huit mille huit cent septante et un francs et huitante-cinq centimes), débours et TVA compris. III. L'indemnité due à Me Thierry de Mestral, curateur de représentation des enfants C._ et D._, est arrêté à 3'892 fr. 85 (trois mille huit cent nonante-deux francs et huitante-cinq centimes), débours et TVA compris. IV. Le jugement est rendu sans frais judiciaires, ni dépens. V. Dans la mesure de l'art. 123 CPC, le bénéficiaire de l'assistance judiciaire est tenu au remboursement de l'indemnité de son conseil d'office mis à la charge de l'Etat. VI. Les mesures de protection prononcées le 7 février 2019, savoir le dépôt au greffe de la Chambre des curatelles, par B._, de ses documents d'identité et de ceux de C._ et D._ ainsi que l'interdiction de quitter le territoire suisse sous la menace de la peine d'amende de l'art. 292 CP, sont levées dès l'entrée en force du présent jugement. VII. Toutes autres ou plus amples conclusions sont rejetés dans la mesure où elles sont recevables. VIII. Le jugement est exécutoire. " C. Par acte du 8 avril 2019, A._ exerce un recours en matière civile au Tribunal fédéral. Il conclut à la réforme de l'arrêt entrepris en ce sens que le retour en Australie des enfants C._ et D._ est ordonné. Au préalable, le recourant sollicite l'octroi de l'effet suspensif à son recours. Par lettre du 23 avril 2019, le recourant a sollicité d'être mis au bénéfice de l'assistance judiciaire pour la procédure fédérale. Tant le curateur que l'intimée, par déterminations respectivement du 23 avril et du 24 avril 2019, se sont opposés à la restitution de l'effet suspensif au recours. Sur le fond, l'intimée a, dans son mémoire du 24 avril 2019, conclu au rejet du recours, estimant d'une part que le recourant n'était pas titulaire de la garde des enfants et que la période antérieure au 14 avril 2020 convenue avec le recourant avant le départ en Suisse excluait l'hypothèse d'un déplacement ou d'un non-retour illicite. Le recourant a répliqué par observations du 9 mai 2019, produit deux pièces nouvelles et confirmé les conclusions prises au pied de son recours. Par duplique du 20 mai 2019, l'intimée a également maintenu les conclusions présentées dans sa réponse. Le recourant s'est encore exprimé sur l'effet suspensif le 5 juin 2019, en produisant un lot de pièces. Le même jour, l'autorité précédente s'est aussi déterminée sur la requête d'effet suspensif. Par ordonnance du 7 juin 2019, le Président de la IIe Cour de droit civil du Tribunal fédéral a rejeté la requête d'effet suspensif du recourant.