Faits :
A.
A._, ressortissant australien, et B._, ressortissante suisse et australienne, sont les parents non mariés des enfants C._, née en 2011, et D._, né en 2013, qui disposent tous deux des nationalités suisse et australienne. Les parties ont cohabité avec leurs enfants, jusqu'à une date inconnue, en Australie.
A.a. Selon une convention non signée intitulée " Minute of consent orders (parenting) " établie en 2017, les parents sont convenus qu'ils détenaient l'autorité parentale conjointe sur les enfants et qu'ils exerceraient une garde alternée.
La même année, toujours à une date inconnue, les parents ont signé, en présence de leurs conseils australiens, un accord " Limited child support agreement " en vertu duquel les enfants vivraient avec leur mère et qu'ils passeraient du temps avec leur père selon arrangement entre les parents. Cette convention prévoyait également le versement d'une contribution d'entretien par le père en faveur des enfants.
A.b. En septembre 2017, B._ a appris que sa mère, qui habitait en Suisse, était atteinte d'une maladie en phase terminale, de sorte que les parties ont décidé de partir à son chevet pour une durée indéterminée. A cette fin, les parties ont entrepris diverses démarches, notamment la résiliation de leur contrat de travail et de bail en Australie et l'inscription de leur fille à l'école en Suisse.
Le 8 février 2018, A._ a acheté quatre billets d'avion à destination de la Suisse pour le 2 avril 2018.
En mars 2018, le père n'ayant pas reçu de réponse quant à son permis de séjour et de travail en Suisse, les parties sont convenues qu'il resterait momentanément en Australie afin de percevoir un salaire pour verser l'entretien dû en faveur des enfants.
Le 28 mars 2018, les parents, en présence de leurs conseils australiens, ont signé une convention intitulée " Parenting plan ", dont la version finale a été élaborée à la suite de plusieurs échanges de courriels et demandes de modifications - intervenus entre le 27 février et le 22 mars 2018 - et dont la traduction en français a notamment la teneur suivante :
« PRÉAMBULE
e. Les enfants [...] vivent à U._ en Australie-Occidentale, depuis leur naissance.
f. Depuis leur séparation, A._ et B._ ont recours, pour les enfants, à des arrangements informels de garde conjointe; à la date de la présente Ordonnance, A._ exerçait ses droits de garde des enfants en Australie où, chaque semaine, ces derniers vivaient avec lui du mercredi, à partir de 18h00 au samedi jusqu'à, 18h00 (les « arrangements de garde conjointe »).
g. Mme E._, la grand-mère maternelle ( «E._») vit en Suisse. Les enfants sont très proches de E._ [...]. Il a été diagnostiqué à E._ un cancer [...]en phase terminale.
h. B._ souhaite s'installer temporairement en Suisse avec les enfants pour participer aux soins prodigués à sa mère et pour que les enfants puissent passer du temps avec E._ et les membres de leur famille maternelle. A._ souhaite accompagner B._ et les enfants pendant la durée de leur séjour en Suisse. Les parties ont conjointement décidé de s'installer temporairement en Suisse à la fin de l'année 2017.
i A._ a déposé, avec l'aide de B._, une demande visant à obtenir le visa approprié lui permettant de vivre et travailler en Suisse pendant la période du séjour des enfants en Suisse.
j. Au jour de la présente ordonnance, A._ n'a toujours pas reçu de décision des services suisses d'immigration au sujet de sa demande de visa de séjour/travail.
k. Au cas où A._ ne recevrait pas un visa l'habilitant à vivre et travailler en Suisse, il a l'intention de garder son emploi en Australie, mais de se rendre fréquemment en Suisse pour y passer du temps avec les enfants et de veiller à ce que les enfants passent également du temps avec lui en Australie.
Les parties acceptent le prononcé, par CONSENTEMENT MUTUEL, des arrangements suivants de garde:
1. A._ et B._ se partagent équitablement la responsabilité parentale conjointe des enfants.
2. La mère peut librement quitter le Commonwealth d'Australie avec les enfants pour s'installer temporairement en Suisse le 2 avril 2018.
3. Les enfants doivent retourner à U._, en Australie-Occidentale, pour s'y installer définitivement d'ici le 14 avril 2020au plus tard, à savoir 2 semaines avant le début du deuxième trimestre scolaire, commençant le 28 avril 2020.
4. Les parties doivent prendre toutes les mesures nécessaires pour faciliter le retour définitif des enfants à U._ d'ici au 14 avril 2020au plus tard et dans une mesure incluant, sans limitation, la validité des passeports dont les enfants sont actuellement titulaires et la signature, avant leur retour, de tous les formulaires nécessaires à leur réinscription scolaire en Australie -Occidentale.
5. Les parties doivent prendre toutes les mesures et signer tous les documents pour s'assurer que les passeports australiens et suisses des enfants leur permettront de voyager, à tout moment, pendant une période d'au moins 12 mois.
6. À partir du moment où les enfants retourneront en Australie-Occidentale pour y vivre, les parties doivent à nouveau respecter les arrangements de garde conjointe qui avaient été convenus avant le moment où ils ont quitté l'Australie. Précision : Les parties reconnaissent que le moment pourrait être venu de réexaminer les arrangements de garde.
7. Au cas où B._ ne retournerait pas à U._ avec les enfants, ils vivront avec A._ jusqu'au jour où elle reviendra à U._. Au cas où la mère resterait en Suisse après le retour des enfants à U._, les enfants séjourneront avec B._ à la fois en Australie et en Suisse, conformément à l'accord entre les parties.
8. Situation où les enfants vivent temporairement en Suisse :
(a) au cas où A._ obtiendrait un visa de séjour et de travail en Suisse, les enfants devront être gardés conformément aux arrangements de garde, conjointe; et
(b) Dans le cas où A._ ne serait pas en mesure d'obtenir ce visa et ne pourrait séjourner en Suisse que pendant 2 périodes de 3 mois par an:
(i) si B._ travaille pendant la première période de 3 mois, A._ assurera, à titre principal, la garde des enfants pendant cette période et les parties conviennent de se répartir le temps du week-end. Si B._ ne travaille pas, les parties auront la garde conjointe des enfants.
Pendant toute la période de 3 mois pendant laquelle A._ est en Suisse, les parties auront la garde conjointe des enfants.
Précision : B._ accepte de proposer un hébergement à A._ et prendra en charge ses dépenses courantes de base comme le loyer et les repas pendant la première période de trois mois.
Pendant les autres périodes de trois mois, A._ devra prendre en charge ses propres dépenses.
(ii) Pendant toutes les périodes de vacances scolaires (quand A._ n'est pas en Suisse), les enfants devront se rendre en Australie pour toute la durée des vacances scolaires. Pendant les vols, dont les correspondances auront lieu à Dubaï ou à Doha, les enfants doivent être accompagnés par les parties.
(iii) A._ doit remettre à B._, au moins un mois en avance, un plan détaillé présentant le lieu où les enfants résideront et les arrangements de garde pris pour les enfants lorsqu'il sera au travail.
(iv.) Sauf accord contraire, les enfants doivent aller à l'école et prendre part aux activités extra-scolaires prévues.
(v) Les enfants ne doivent pas séjourner pendant des périodes prolongées des trimestres scolaires dans un hôtel, une pension, un foyer ou un hébergement similaire.
9. Les parties peuvent librement se mettre d'accord pour modifier la présente ordonnance à tout moment, cette modification devant être consignée par écrit et signée par les deux parties en tant qu'avenant à ce plan parental.
Précision : Aux fins du présent plan parental et de la Convention de la Haye :
(a) toute période pendant laquelle les enfants demeureront en Suisse après le 14 avril 2020constituerait un non-retour illicite des enfants ainsi qu'une atteinte aux droits de garde dont A._ est titulaire en Australie;
(b) Indépendamment du fait que les enfants vivent temporairement en Suisse jusqu'au 14 avril 2020au plus tard, les parties acceptent que les enfants résident habituellement à U._, en Australie-Occidentale; et
(c) le consentement par lequel A._ accepte que les enfants vivent temporairement en Suisse jusqu'au 14 avril 2020au plus tard ne constitue aucun consentement, acquiescement ou un acquiescement ultérieur de A._ selon lequel les enfants pourront quitter l'Australie- Occidentale ou être gardés en dehors de son territoire pendant une période quelconque après le 14 avril 2020.
(d) Les parties acceptent que la compétence permettant de trancher tout litige sur l'interprétation ou l'exécution de la présente Ordonnance soit exclusivement attribuée au Tribunal des Affaires familiales d'Australie-Occidentale, sauf et à moins qu'une procédure ne soit engagée sur la base de la Convention de la Haye.
(e) Les deux parties reconnaissent avoir consulté, avant de signer la présente ordonnance, un conseiller juridique indépendant sur les effets que le présent accord produira sur les droits et obligations leur étant conférés par la loi. »
B.
Le 2 avril 2018, B._ et les enfants ont quitté l'Australie pour la Suisse et emménagé dans un appartement sis sur la commune de V._ (Vaud).
Le 15 avril 2018, l'enfant C._ a débuté sa scolarité et l'enfant D._ a intégré le même établissement scolaire à la rentrée 2018-2019.
Le père a séjourné en Suisse et exercé son droit de visite du 10 au 30 mai 2018, puis du 7 juillet au 6 août 2018.
B.a. Le 14 septembre 2018, la mère a déposé auprès du Tribunal d'arrondissement de La Côte une requête en mesures de protection de l'enfant et en entretien, assortie de mesures provisionnelles.
Par ordonnance de mesures superprovisionnelles du 18 septembre 2018, le Président du Tribunal civil de l'arrondissement de La Côte a attribué à la mère la garde exclusive des enfants C._ et D._ et ordonné au père de déposer immédiatement tous les documents d'identité des enfants en sa possession auprès du Service de protection de la jeunesse (ci-après: SPJ).
En octobre 2018, la mère de B._ est décédée.
A la même période, la mère a débuté un emploi à temps partiel en Suisse.
Le 15 octobre 2018, le Secrétariat d'Etat aux migrations (ci-après: SEM) a informé le père qu'il entendait lui refuser son autorisation de séjour en Suisse.
B.b. Par acte du 13 novembre 2018, le père a adressé à l'Office fédéral de la justice (ci-après: OFJ) une requête en retour des enfants C._ et D._ en Australie.
B.c. Le 4 février 2019, le père a déposé à la Chambre des curatelles du Tribunal cantonal du canton de Vaud (ci-après: la Chambre des curatelles) une requête en retour des enfants C._ et D._ en Australie, comprenant une demande de mesures de protection immédiate, à titre de mesures superprovisionnelles et provisionnelles tendant notamment à l'instauration d'un contact " Skype " bihebdomadaire, au dépôt immédiat au greffe des documents d'identité des enfants, et à l'interdiction de quitter le territoire suisse avec les enfants.
Par ordonnance de mesures superprovisionnelles du 5 février 2019, la Juge déléguée de la Chambre des curatelles a rejeté, faute d'extrême urgence, la requête de mesures superprovisionnelles.
Par ordonnance du 7 février 2019, la Juge déléguée de la Chambre des curatelles a désigné Me Thierry de Mestal en qualité de curateur des enfants C._ et D._, invité le SPJ à déposer un rapport les concernant, octroyé au père un contact de type " Skype " deux fois par semaine, ordonné à la mère de déposer au greffe de la Chambre des curatelles, sous la menace de la peine d'amende, tous les documents d'identité en sa possession tant à son nom que ceux des enfants C._ et D._, interdit à la mère de faire établir d'autres documents d'identité en son nom ou au nom des enfants, et interdit à la mère de quitter le territoire suisse avec les enfants C._ et D._.
Par courrier du 8 février 2019, la Présidente du Tribunal civil de l'arrondissement de La Côte a informé la Chambre des curatelles qu'elle avait suspendu la procédure initiée par la mère en septembre 2018, jusqu'à droit connu sur la requête en retour des enfants en Australie.
Le SPJ a rendu un rapport le 26 février 2019, duquel il ressort que les enfants sont bien intégrés en Suisse, que leur niveau scolaire est bon, qu'ils pratiquent des activités extra-scolaires et qu'ils ont émis le souhait de rester vivre en Suisse, notamment par crainte de la nouvelle compagne de leur père.
Par écriture du 27 février 2019, la mère a conclu au rejet de la requête en retour.
Dans ses déterminations du 27 février 2019, le curateur des enfants a également conclu au rejet de la requête en retour.
La Chambre des curatelles a tenu une audience le 11 mars 2019, au cours de laquelle elle a entendu les parties, ainsi que la représentante du SPJ.
B.d. Par arrêt du 26 mars 2019, la Chambre des curatelles a prononcé le dispositif suivant :
"
I. La requête en retour de A._ est rejetée.
II. L'indemnité due à Me Sophie Beroud, conseil d'office du requérant A._, est arrêtée à 8'871 fr. 85 (huit mille huit cent septante et un francs et huitante-cinq centimes), débours et TVA compris.
III. L'indemnité due à Me Thierry de Mestral, curateur de représentation des enfants C._ et D._, est arrêté à 3'892 fr. 85 (trois mille huit cent nonante-deux francs et huitante-cinq centimes), débours et TVA compris.
IV. Le jugement est rendu sans frais judiciaires, ni dépens.
V. Dans la mesure de l'<ref-law>, le bénéficiaire de l'assistance judiciaire est tenu au remboursement de l'indemnité de son conseil d'office mis à la charge de l'Etat.
VI. Les mesures de protection prononcées le 7 février 2019, savoir le dépôt au greffe de la Chambre des curatelles, par B._, de ses documents d'identité et de ceux de C._ et D._ ainsi que l'interdiction de quitter le territoire suisse sous la menace de la peine d'amende de l'<ref-law>, sont levées dès l'entrée en force du présent jugement.
VII. Toutes autres ou plus amples conclusions sont rejetés dans la mesure où elles sont recevables.
VIII. Le jugement est exécutoire.
"
C.
Par acte du 8 avril 2019, A._ exerce un recours en matière civile au Tribunal fédéral. Il conclut à la réforme de l'arrêt entrepris en ce sens que le retour en Australie des enfants C._ et D._ est ordonné. Au préalable, le recourant sollicite l'octroi de l'effet suspensif à son recours.
Par lettre du 23 avril 2019, le recourant a sollicité d'être mis au bénéfice de l'assistance judiciaire pour la procédure fédérale.
Tant le curateur que l'intimée, par déterminations respectivement du 23 avril et du 24 avril 2019, se sont opposés à la restitution de l'effet suspensif au recours.
Sur le fond, l'intimée a, dans son mémoire du 24 avril 2019, conclu au rejet du recours, estimant d'une part que le recourant n'était pas titulaire de la garde des enfants et que la période antérieure au 14 avril 2020 convenue avec le recourant avant le départ en Suisse excluait l'hypothèse d'un déplacement ou d'un non-retour illicite.
Le recourant a répliqué par observations du 9 mai 2019, produit deux pièces nouvelles et confirmé les conclusions prises au pied de son recours.
Par duplique du 20 mai 2019, l'intimée a également maintenu les conclusions présentées dans sa réponse.
Le recourant s'est encore exprimé sur l'effet suspensif le 5 juin 2019, en produisant un lot de pièces. Le même jour, l'autorité précédente s'est aussi déterminée sur la requête d'effet suspensif.
Par ordonnance du 7 juin 2019, le Président de la IIe Cour de droit civil du Tribunal fédéral a rejeté la requête d'effet suspensif du recourant.

Considérant en droit :
1.
La décision statuant sur la requête en retour d'enfants à la suite d'un déplacement international est une décision finale (<ref-law>) prise en application de normes de droit public dans une matière connexe au droit civil, singulièrement en matière d'entraide administrative entre les États contractants pour la mise en oeuvre du droit civil étranger (art. 72 al. 2 let. b ch. 1 LTF; <ref-ruling> consid. 1.2; <ref-ruling> consid. 2b; arrêts 5A_305/2017 du 19 mai 2017 consid. 1; 5A_936/2016 du 30 janvier 2017 consid. 1.1). La Chambre des curatelles du Tribunal cantonal du canton de Vaud a statué en instance cantonale unique conformément à l'art. 7 al. 1 de la loi fédérale sur l'enlèvement international d'enfants et les Conventions de La Haye sur la protection des enfants et des adultes du 21 décembre 2007 (LF-EEA, RS 211.222.32); il y a ainsi exception légale au principe du double degré de juridictions cantonales (<ref-law>; arrêt 5A_305/2017 précité consid. 1). Le recours a en outre été interjeté dans la forme (<ref-law>) et le délai de dix jours (art. 100 al. 2 let. c LTF) prévus par la loi, par une partie ayant pris part à la procédure devant l'autorité précédente et, ayant succombé dans sa requête, disposant d'un intérêt digne de protection à la modification ou à l'annulation de la décision attaquée (<ref-law>), de sorte que le recours en matière civile est en principe recevable.
2.
Le recours en matière civile peut être formé pour violation du droit fédéral et du droit international (art. 95 let. a et b LTF). Le Tribunal fédéral applique le droit d'office (<ref-law>; <ref-ruling> consid. 3; <ref-ruling> consid. 1.4); cela étant, eu égard à l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, il n'examine en principe que les griefs soulevés (<ref-ruling> consid. 2; <ref-ruling> consid. 1.3; <ref-ruling> consid. 1.4). Le recourant doit par conséquent discuter les motifs de la décision entreprise et indiquer précisément en quoi il estime que l'autorité précédente a méconnu le droit (<ref-ruling> consid. 2 et les références). De surcroît, le Tribunal fédéral ne connaît de la violation de droits fondamentaux que si un tel grief a été invoqué et motivé à cet égard par le recourant ("principe d'allégation", <ref-law>; <ref-ruling> consid. 2.2; <ref-ruling> consid. 3.3; <ref-ruling> consid. 1.2, 397 consid. 1.4 in fine), c'est-à-dire s'il a été expressément soulevé et exposé de façon claire et détaillée (ATF <ref-ruling> consid. 1.2; <ref-ruling> consid. 1.4.2).
Aucun fait nouveau ni preuve nouvelle ne peut être présenté devant le Tribunal fédéral à moins de résulter de la décision de l'autorité précédente (<ref-law>). Cette exception, dont il appartient au recourant de démontrer que les conditions sont remplies, vise les faits qui sont rendus pertinents pour la première fois par la décision attaquée (<ref-ruling> consid. 4.4.3; arrêt 5A_904/2015 du 29 septembre 2016 consid. 2.3 non publié in <ref-ruling>). En dehors de ces cas, les nova ne sont pas admissibles, qu'il s'agisse de faits ou moyens de preuve survenus postérieurement à la décision attaquée (<ref-ruling> consid. 1.2 et les références), ou d'éléments que les parties ont négligé de présenter aux autorités cantonales (<ref-ruling> consid. 4.4.3). Il en découle que les pièces nouvelles produites par le recourant le 9 mai 2019, sont d'emblée irrecevables puisqu'elles sont postérieures à l'arrêt entrepris du 26 mars 2019. Il en va de même des pièces produites à l'appui des déterminations sur l'effet suspensif, dans la mesure où elles sont postérieures à l'arrêt déféré.
3.
Le recours a pour objet le retour immédiat des enfants C._ et D._ en Australie, sur le fondement de la Convention de La Haye du 25 octobre 1980 sur les aspects civils de l'enlèvement international d'enfants (ci-après: CLaH80; RS 0.211.230.02). Le recourant considère que la violation réitérée de la convention de " Parenting plan " du 28 mars 2018 constitue un déplacement illicite au sens de la CLaH80.
3.1. La CLaH80 a pour but d'assurer le retour immédiat des enfants déplacés ou retenus illicitement dans tout État contractant et de faire respecter de manière effective dans les autres États contractants les droits de garde et de visite existants dans un autre État contractant (art. 1er CLaH80). A teneur de l'art. 4 CLaH80, la Convention s'applique à tout enfant de moins de 16 ans qui avait sa résidence habituelle dans un État contractant immédiatement avant l'atteinte aux droits de garde ou de visite (art. 5 CLaH80).
La Cour de céans constate que tant la Suisse que l'Australie ont ratifié la CLaH80 (art. 1 er CLaH80; resp. le 11 octobre 1983 et le 29 octobre 1986) et que les mineurs concernés se trouvaient en Australie à leur domicile de U._ immédiatement avant le déplacement en Suisse et le non-retour en Australie prétendument illicite. Il s'ensuit que les dispositions de la CLaH80 sont a priori applicables au cas d'espèce.
3.2. En substance, la Chambre des curatelles a constaté que le père avait consenti - en signant le " Parenting plan " du 28 mars 2018 et lors de l'audience du 11 mars 2019 - à ce que la mère quitte le territoire australien avec les enfants jusqu'au 14 avril 2020. Le déplacement en Suisse ne pouvait donc pas être qualifié d'illicite. La Chambre des curatelles s'est donc interrogée sur les événements postérieurs au départ consenti, afin de déterminer si le père était en droit de se rétracter et si le séjour de la mère avec les enfants en Suisse constituait un non-retour illicite au sens de la CLaH80. L'autorité précédente a estimé que l'argumentation du père, consistant à admettre que la mère a manifesté son intention de ne pas respecter le " Parenting plan " en ouvrant action en Suisse en attribution de la garde exclusive des enfants, ne pouvait être suivie. La remise en cause de la convention parentale, totale ou partielle, doit être possible, quand bien même la Chambre des curatelles ne saurait être compétente à ce sujet. En définitive, la cour cantonale a jugé que le déplacement, puis le non-retour des enfants ne violaient pas la CLaH80 au vu du consentement du père valable jusqu'au 14 avril 2020.
4.
Le recourant se plaint de l'établissement manifestement inexact ou incomplet des faits. Il affirme d'abord que l'état de fait retient un résumé erroné et arbitraire (art. 9 Cst.) de ses déclarations telles qu'elles figurent au procès-verbal concernant le droit de visite qui devait s'exercer en Australie en octobre 2018 et qui n'a pas eu lieu. Il soutient avoir déclaré qu'il revenait à l'intimée de décider seule si les enfants pouvaient se rendre en Australie et ne jamais avoir eu de réponse, sous réserve de la saisine du Tribunal d'arrondissement de La Côte visant à restreindre ses droits parentaux, alors que l'arrêt attaqué retiendrait faussement qu'il a accepté l'annulation du voyage des enfants en Australie en octobre 2018. Le recourant se plaint ensuite de plusieurs lacunes dans l'état de fait : (a) l'échange de courriels des parties concernant l'organisation des vacances d'octobre 2018 qui démontrerait que l'intimée s'est comportée de manière contraire à la bonne foi, (b) le contenu de la requête de mesures superprovisionnelles et provisionnelles déposée par l'intimée devant le Tribunal d'arrondissement de La Côte le 14 septembre 2018 qui ferait mention d'une installation définitive de l'intimée et des enfants en Suisse, et (c) l'échange de courriers intervenu à la suite de l'ordonnance de mesures provisionnelles entre le conseil australien du recourant et le conseil suisse de l'intimée, duquel il ressortirait que l'intimée n'a pas fourni de réponse concrète quant à sa volonté de respecter la convention de " Parenting plan ". Il en conclut que la cour cantonale a omis de tenir compte des éléments qui démontrent l'intention de l'intimée de ne pas respecter le " Parenting plan " qu'elle a signé.
4.1. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Le recourant ne peut critiquer les constatations de fait que si celles-ci ont été établies en violation du droit au sens de l'<ref-law> ou de façon manifestement inexacte - c'est-à-dire arbitraire selon l'art. 9 Cst. (<ref-ruling> consid. 2; <ref-ruling> consid. 4.1.2; <ref-ruling> consid. 2.4; <ref-ruling> consid. 1.5) - et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>; ATF <ref-ruling> consid. 4.1.2; <ref-ruling> consid. 4.2). Le Tribunal fédéral se montre réservé en matière d'appréciation des preuves et d'établissement des faits, vu le large pouvoir qu'il reconnaît dans ce domaine aux autorités cantonales (<ref-ruling> consid. 4b; <ref-ruling> consid. 9 et les arrêts cités). Il n'intervient, du chef de l'art. 9 Cst., que si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, a omis sans raisons objectives de tenir compte de preuves pertinentes ou a effectué, sur la base des éléments recueillis, des déductions insoutenables ayant des répercussions dans le résultat (ATF <ref-ruling> consid. 4.1.2; <ref-ruling> consid. 4.2). La partie qui entend attaquer les faits constatés par l'autorité précédente doit donc expliquer clairement et de manière circonstanciée en quoi ces conditions seraient réalisées (<ref-ruling> consid. 1.3.1 et les références). Si elle souhaite obtenir un complètement de l'état de fait, elle doit aussi démontrer, par des renvois précis aux pièces du dossier, qu'elle a présenté aux autorités précédentes, en conformité avec les règles de la procédure, les faits juridiquement pertinents à cet égard et les moyens de preuve adéquats (<ref-ruling> consid. 2). Si la critique ne satisfait pas à ces exigences, les allégations relatives à un état de fait qui s'écarterait de celui de la décision attaquée ne pourront pas être prises en considération (<ref-ruling> consid. 1.3.1).
4.2. S'agissant tant de la correction du résumé arbitraire de ses déclarations que des prétendues lacunes de l'état de fait, même si l'on comprend que le recourant entend par ce moyen introduire dans l'état de fait l'idée que l'intimée aurait violé le " Parenting plan ", celui-ci se limite à déclarer que ces faits sont " susceptibles d'influer sur le sort de la cause ", sans expliciter plus avant son argument. Or, il n'apparaît pas manifestement en quoi la correction et le complètement de l'état de fait concernant son accord ou silence relatif aux vacances d'octobre 2018 et la prétendue intention de l'intimée de violer le " Parenting plan " aurait une quelconque influence sur l'issue de la cause, la sanction d'une éventuelle violation de l'un des aspects du " Parenting plan " n'étant pas prévue dans cet accord, notamment quant à la validité du consentement du recourant au déplacement des enfants en Suisse. C'est donc à juste titre que la Chambre des curatelles n'a pas tenu compte de ces éléments de fait. Le grief est ainsi mal fondé, dans la mesure où il est recevable (<ref-law>).
5.
Dans un deuxième grief, le recourant se plaint de la violation des art. 1, 3, 13 let. a CLaH80, en lien avec le " Parenting plan " conclu entre les parties avant le déplacement en Suisse. Admettant la licéité du déplacement en Suisse en avril 2018, le recourant expose qu'il convient d'examiner la situation qui a suivi la saisine des juridictions suisses par l'intimée tendant à restreindre ses droit parentaux, notamment afin de priver le père de la garde conjointe des enfants. Selon lui, la cour cantonale a appliqué de manière partielle et sélective, partant arbitraire (art. 9 Cst.), le " Parenting plan ", dès lors que la clause de cet accord prévoyant un non-retour illicite des enfants si ceux-ci ne sont pas de retour en Australie après le 14 avril 2020 n'exclut pas l'illicéité du non-retour avant cette date pour d'autres motifs. Cette clause du " Parenting plan " ne pourrait lui être opposée sans tenir compte des autres clauses non respectées par l'intimée, singulièrement des chiffres 8 et 9 let. b et d. Il faudrait retenir que la licéité du déplacement est soumise au respect des engagements pris par l'intimée dans l'ensemble de la convention, sous peine de violer l'art. 13 let. a CLaH80.
5.1. En principe, lorsqu'un enfant a été déplacé ou retenu illicitement, l'autorité saisie ordonne son retour immédiat (art. 1 let. a, 3 et 12 al. 1 CLaH80), à moins que l'une des exceptions prévues à l'art. 13 CLaH80 ne soit réalisée (arrêts 5A_709/2016 du 30 novembre 2016 consid. 5.2; 5A_717/2016 du 17 novembre 2016 consid. 4.3; 5A_558/2016 du 13 septembre 2016 consid. 6.1). Le déplacement ou le non-retour de l'enfant est considéré comme illicite au sens de l'art. 3 CLaH80, lorsqu'il a lieu en violation d'un droit de garde, attribué à une personne, une institution ou tout autre organisme, seul ou conjointement, par le droit de l'État dans lequel l'enfant avait sa résidence habituelle immédiatement avant son déplacement ou son non-retour (let. a), et que ce droit était exercé de façon effective, seul ou conjointement, au moment du déplacement ou du non-retour (let. b). Un déplacement d'enfant ou un non-retour au pays de provenance ne peut être considéré comme illicite au sens de l'art. 3 CLaH80 uniquement si les deux conditions cumulatives de l'art. 3 CLaH80 sont satisfaites (arrêt 5A_717/2016 du 17 novembre 2016 consid. 4.4). En matière internationale, le droit de garde comprend le droit portant sur les soins de la personne de l'enfant, et en particulier celui de décider de son lieu de résidence (art. 5 let. a CLaH80).
5.2. Il ressort de la convention de " Parenting plan " passée entre les parties avec leurs conseils australiens avant le déplacement en Suisse que les parents exercent l'autorité parentale conjointe sur leurs enfants (ch. 1 de la convention), que la garde des enfants était exercée de manière conjointe lorsque les enfants vivaient en Australie et qu'il en serait de même à leur retour (préambule let. f et chiffre 6 de la convention), que la garde des enfants est également exercée de manière conjointe lors du séjour en Suisse si le père obtient un visa de séjour et de travail (chiffre 8a de la convention) et qu'un droit aux relations personnelles est prévu en faveur du père pour l'hypothèse où il ne pourrait venir en Suisse que durant deux périodes de trois mois (chiffre 8b de la convention). Il suit de ce qui précède que les parties sont convenues que la mère exerce la garde exclusive des enfants en Suisse, dans l'hypothèse - qui s'est effectivement réalisée - où le père n'obtiendrait pas son visa de séjour et travail en Suisse. De surcroît, contrairement à ce que soutient le recourant, la convention de " Parenting plan " ne contient aucune clause réglant les droits parentaux, singulièrement la remise en cause de l'octroi de la garde exclusive à la mère lors du séjour temporaire en Suisse hors de la présence du père, dans l'hypothèse de la violation par l'un des parents de l'une des clauses du " Parenting plan ". Le seul motif d'illicéité de la continuation du séjour en Suisse est donc l'échéance fixée conventionnellement au 14 avril 2020 (date mise en exergue en gras dans le " Parenting plan "), date à laquelle le père recouvre sa prérogative de garde conjointe sur les enfants. Par conséquent, ni le déplacement en Suisse le 2 avril 2018, ni la continuation du séjour en Suisse suite à la saisine du Tribunal d'arrondissement en septembre 2018 (ch. 9 de la convention), au décès de la grand-mère des enfants en octobre 2018 ou à la violation du droit de visite du père en octobre 2018 (ch. 8b/ii de la convention), ne peut être considéré comme intervenu en violation d'un droit de garde du père, lequel n'en est - au cours de la période du 2 avril 2018 au 14 avril 2020 - plus titulaire. Le séjour en Suisse postérieur à la saisine du Tribunal d'arrondissement de La Côte et au défaut non consenti de vacances des enfants en Australie en octobre 2018 ne saurait dès lors être qualifié d'illicite au sens de l'art. 3 CLaH80, faute de violation d'un droit de garde du requérant. Au vu de l'absence d'illicéité du déplacement au sens de l'art. 3 CLaH80, la question de l'exception à l'ordre de retour fondée sur le consentement (art. 13 al. 1 let. a CLaH80) est sans objet. Le grief de violation des art. 1, 3 et 13 CLaH80 tiré de la violation du " Parenting plan " par la mère doit donc être rejeté.
6.
Dans un troisième grief, le recourant dénonce une autre violation de l'art. 3 CLaH80, exposant que la procédure pendante devant le Tribunal d'arrondissement relative notamment à l'attribution de la garde à la mère et à la fixation de son droit de visite est indépendante de la procédure en retour qu'il a initiée et que la notion de " résidence habituelle " s'examine par conséquent de manière différente. Aussi, "en renvoyant implicitement la cause au Tribunal d'arrondissement de Nyon, la cour cantonale a méconnu le principe selon lequel l'autorité judiciaire de l'Etat dans lequel l'enfant a été déplacé ou est retenu illicitement n'est pas compétente pour statuer sur le fond, à savoir notamment la garde et le droit aux relations personnelles ". Il fait valoir que le Tribunal d'arrondissement ne sera compétent qu'en cas de rejet de sa requête en retour.
6.1. Dans le contexte de la question du rapatriement d'un enfant déplacé illicitement, aucune décision concernant le droit de garde ne doit être prise par l'État requis d'ordonner le retour de l'enfant et il n'y a pas lieu de procéder à un examen approfondi de la situation complète pour rendre une décision sur le fond de la cause. Il suffit, dans le cadre du mécanisme de la CLaH80, que les juridictions nationales examinent et motivent succinctement les éléments plaidant en faveur du retour de l'enfant dans le pays de provenance, ainsi que les motifs invoqués d'exclusion au rapatriement de l'enfant, à la lumière de l'intérêt supérieur de l'enfant et en tenant compte des circonstances du cas d'espèce (arrêts 5A_1003/2015 du 14 janvier 2016 consid. 5.1.3; 5A_584/2014 du 3 septembre 2014 consid. 6.2.3).
6.2. En l'espèce, le recourant se méprend en considérant que la cour cantonale a opéré un " renvoi implicite " contraire au droit au Tribunal d'arrondissement de La Côte aux fins de régler les aspects de ses droits parentaux. Ainsi que l'expose le recourant, à juste titre, l'autorité judiciaire saisie d'une requête en retour n'a pas la compétence d'examiner de manière approfondie et de statuer sur les questions d'autorité parentale, de garde et de droit de visite. La Chambre des curatelles n'a ainsi ni fait le procès relatif à la garde et aux relations personnelles des enfants avec leurs parents à la suite de la prétendue violation du " Parenting plan " par la mère, ni ordonné un renvoi au Tribunal d'arrondissement. La Chambre des curatelles s'est uniquement prononcée sur la requête en retour des enfants au regard de la CLaH80, en concluant à l'absence de déplacement et de non-retour illicite, laissant précisément aux autorités compétentes de trancher les questions relatives aux enfants, au vu du rejet de la requête en retour fondée sur la CLaH80. La Chambre des curatelles n'ayant pas renvoyé l'affaire aux juridictions civiles nationales mais s'étant limité à retenir son défaut de compétence à cet égard, la critique dénonçant la violation de l'art. 3 CLaH80 ne peut qu'être rejetée.
7.
Le recourant se plaint enfin de la violation des art. 26 CLaH80 et de l'<ref-law> relatif aux frais de la procédure. Il fait valoir que ni l'Australie ni la Suisse n'a émis de réserve, en sorte que l'art. 26 al. 2 et 3 CLa80 s'applique, partant que la cour cantonale a violé cette disposition en prévoyant que le recourant - requérant du retour des enfants - était tenu au remboursement de l'assistance judiciaire pour l'indemnité de son conseil d'office, dès qu'il serait en mesure de le faire, au sens de l'<ref-law>.
7.1. Aux termes de l'art. 26 al. 2 CLaH80, les Etats contractants n'imposeront aucun frais en relation avec les demandes introduites en application de la Convention; notamment ils ne peuvent réclamer du demandeur le paiement des frais et dépens du procès ou, éventuellement, des frais entraînés par la participation d'un avocat.
7.2. Au regard des dispositions claires de la CLaH80 et de l'absence de réserve émise par l'Australie et la Suisse, la Chambre des curatelles ne pouvait pas exiger, au sens de l'<ref-law>, le remboursement de l'assistance judiciaire octroyée au recourant pour le versement des honoraires de son conseil. La rémunération du conseil fait expressément partie des coûts qui doivent être pris en charge par les Etats signataires. A défaut de réserve des pays concernés en l'espèce, la Chambre des curatelles ne pouvait pas déroger à la gratuité prévue par la CLaH80. Elle a, ce faisant, violé l'art. 26 al. 2 CLaH80. Le grief du recourant doit donc être admis et le chiffre V. du dispositif de l'arrêt cantonal doit être annulé. Le montant des honoraires octroyé à l'avocate du recourant n'étant pas remis en cause, il n'est pas nécessaire de renvoyer la cause à l'autorité précédente.
8.
En définitive, le recours doit être partiellement admis, dans la mesure de sa recevabilité. Le chiffre V. du dispositif de l'arrêt cantonal est annulé. L'arrêt entrepris est confirmé pour le surplus.
Conformément aux art. 26 al. 2 CLaH80 et 14 LF-EEA, et dès lors qu'il faut constater que ni l'Australie, ni la Suisse n'ont formulé de réserves à ce sujet, il n'est pas perçu de frais judiciaires devant le Tribunal fédéral. Les conseils des parties et le curateur des enfants seront indemnisés par la Caisse du Tribunal fédéral (arrêts 5A_162/2019 du 24 avril 2019 consid. 7; 5A_880/2013 du 16 janvier 2014 consid. 6; 5A_799/2013 du 2 décembre 2013 consid. 7 et 5A_716/2012 du 3 décembre 2012 consid. 4.2.1). La requête d'assistance judiciaire déposée par le recourant est dès lors sans objet.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est partiellement admis dans la mesure où il est recevable; le chiffre V. du dispositif de l'arrêt cantonal est annulé; l'arrêt cantonal est confirmé pour le surplus.
2.
Il n'est pas perçu de frais judiciaires.
3.
Une indemnité de 2'500 fr., payée par la Caisse du Tribunal fédéral, est allouée à titre d'honoraires à Me Sophie Beroud, avocate du recourant.
4.
Une indemnité de 2'500 fr., payée par la Caisse du Tribunal fédéral, est allouée à titre d'honoraires à Me Jacques Barillon, avocat de l'intimée.
5.
Une indemnité de 500 fr., payée par la Caisse du Tribunal fédéral, est allouée à titre d'honoraires à Me Thierry de Mestral, avocat et curateur des enfants.
6.
Le présent arrêt est communiqué aux parties, au curateur des enfants C._ et D._, à la Chambre des curatelles du Tribunal cantonal du canton de Vaud et à l'Office fédéral de la justice, Autorité centrale en matière d'enlèvement international d'enfants.
Lausanne, le 25 juin 2019
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
La Greffière : Gauron-Carlin