Faits :
A.
A.a. A.A._ (1970) et B.A._ (1977), tous deux de nationalité péruvienne, se sont mariés le 4 mai 2006 à Z._ (Pérou).
Deux enfants sont issus de leur union, à savoir C._ et D._, nés respectivement en 2003 et 2005 à Z._.
A.A._ a un fils majeur au Pérou, E._, issu d'une précédente relation.
L'épouse a résidé avec les enfants pendant quelques années au Pérou, avant de déménager en Equateur, puis à Cuba, afin de rejoindre son mari qui a successivement travaillé dans ces pays. Selon le mari, les enfants auraient quitté le Pérou lorsque l'aîné avait environ deux ans. D'après l'épouse, ils auraient quitté le Pérou en août 2006, soit lorsque l'aîné avait trois ans puis auraient vécu en Equateur d'août 2006 à février 2008, effectuant durant cette période plusieurs voyages au Pérou; ils seraient allés à Cuba de 2009 à 2010, puis seraient retournés au Pérou de juillet 2010 à décembre 2011.
L'épouse et les enfants se sont ensuite installés à Valence, en Espagne, puis sont venus vivre en Suisse en 2013, pour suivre leur mari et père qui y avait trouvé un nouvel emploi.
Le couple est séparé depuis le 7 août 2017, date à laquelle la Police de l'Ouest lausannois est intervenue au domicile des parties à la requête de l'enfant C._, qui aurait entendu et vu son père frapper sa mère.
A.A._ perçoit actuellement le revenu d'insertion. Elle séjourne en Suisse au bénéfice d'un permis B échu le 21 août 2018; sa demande de renouvellement est actuellement en cours.
A.b. Les parties ont signé plusieurs conventions successives dans le cadre de la procédure de mesures protectrices de l'union conjugale initiée lors de leur séparation, toutes ratifiées par la Présidente du Tribunal civil de l'arrondissement de Lausanne (ci-après: la Présidente). Elles ont ainsi notamment convenu de fixer le lieu de résidence des enfants auprès de leur mère qui en aurait la garde, le mari s'engageant à ne pas pénétrer dans le logement conjugal et à ne pas s'approcher à moins de 200 mètres de son épouse et de leurs enfants, sous la menace de la peine d'amende prévue par l'<ref-law> et, en dernier lieu, de mandater le Service de protection de la jeunesse (ci-après: SPJ) afin qu'une mesure de surveillance au sens de l'<ref-law> soit mise en oeuvre en faveur des enfants, de ce qu'une prise en charge aux Boréales soit mise en oeuvre afin de débuter un suivi thérapeutique père-fils, le suivi psychologique des deux enfants précédemment mis en place étant maintenu.
A.c. Par ordonnance de mesures protectrices de l'union conjugale du 31 janvier 2018, la Présidente a en particulier institué une mesure de surveillance éducative à forme de l'<ref-law> en faveur des enfants (ch. I du dispositif), a confié cette mesure au SPJ, Office régional de protection des mineurs (ORPM) du Centre (II), a désigné X._, assistant social pour la protection des mineurs auprès du SPJ, pour l'exercice de ce mandat (III), a chargé le prénommé de veiller à ce qu'une prise en charge aux Boréales soit mise en oeuvre, à ce que le suivi psychologique des enfants soit maintenu, en vue de permettre d'accompagner la mise en oeuvre d'Espace Contact le moment venu (IV), et a invité le prénommé à lui faire tenir un rapport d'activités circonstancié d'ici au 29 juin 2018 (V).
A.d. Par requête du 20 juin 2018, A.A._ a conclu à ce que le transfert du lieu de résidence des enfants au Pérou soit autorisé à partir du 31 juillet 2018.
A.e. Les enfants ont été entendus le 20 juillet 2018 par la Présidente. Ils l'ont également été par le SPJ, qui a rendu son rapport le 21 août 2018.
A.f. Dans ses déterminations du 17 août 2018, B.A._ a conclu au rejet des conclusions prises par son épouse dans sa requête du 20 juin 2018 et s'est fermement opposé au départ des enfants au Pérou.
A.g. Par ordonnance de mesures protectrices de l'union conjugale du 15 novembre 2018, la Présidente a rejeté la requête de mesures protectrices de l'union conjugale déposée le 20 juin 2018 par A.A._ et interdit le changement du lieu de résidence des enfants.
B.
B.a. Par acte du 26 novembre 2018, A.A._ a fait appel de cette ordonnance, en concluant à sa réforme en ce sens que le changement du lieu de résidence des enfants au Pérou soit autorisé.
B.b. Le 17 décembre 2018, B.A._ a déposé une réponse, concluant au rejet de l'appel et à ce que l'ordonnance soit complétée d'office en ce sens que le droit de déterminer le lieu de résidence des enfants soit retiré à A.A._ et confié au SPJ, avec pour mission de placer les enfants au mieux de leurs intérêts.
B.c. En date du 9 janvier 2019, les enfants ont été entendus par le Juge délégué de la Cour d'appel civile du Tribunal cantonal vaudois (ci-après: Juge délégué).
B.d. Par arrêt du 7 mars 2019, communiqué aux parties le 11 suivant, le Juge délégué a rejeté l'appel interjeté par A.A._ et confirmé l'ordonnance attaquée.
C.
Par acte du 11 avril 2019, A.A._ interjette un recours en matière civile au Tribunal fédéral contre cet arrêt. Elle conclut principalement à sa réforme en ce sens que le changement du lieu de résidence des enfants au Pérou est autorisé, que les frais judiciaires de deuxième instance sont laissés à la charge de l'Etat et que l'intimé lui verse de pleins dépens de première et deuxième instances. Subsidiairement, elle conclut à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants. Elle a également requis d'être mise au bénéfice de l'assistance judiciaire pour la procédure fédérale.
L'intimé conclut au rejet du recours et sollicite le bénéfice de l'assistance judiciaire, Me Martin Brechbühl lui étant nommé comme avocat d'office. La cour cantonale s'est référée aux considérants de son arrêt.
La recourante a renoncé à répliquer.

Considérant en droit :
1.
Le recours a été déposé, dans le délai (<ref-law>) et la forme prévus par la loi (<ref-law>), contre une décision finale (<ref-law>; <ref-ruling> consid. 2.2; <ref-ruling> consid. 4), rendue en matière civile (<ref-law>) par un tribunal cantonal supérieur statuant sur recours (art. 75 al. 1 et 2 LTF). Le litige porte sur l'autorisation de déplacer le lieu de résidence des enfants, de sorte qu'il est de nature non pécuniaire. La recourante, qui a succombé devant la juridiction cantonale et possède un intérêt digne de protection à la modification de la décision attaquée, a qualité pour recourir (<ref-law>).
2.
2.1. Dès lors que la décision attaquée porte sur des mesures protectrices de l'union conjugale (art. 172 à 179 CC), lesquelles sont considérées comme des mesures provisionnelles au sens de l'<ref-law> (ATF <ref-ruling> consid. 5), seule la violation de droits constitutionnels peut être soulevée à leur encontre. Le Tribunal fédéral n'examine de tels griefs que s'ils ont été invoqués et motivés (" principe d'allégation ", <ref-law>), à savoir expressément soulevés et exposés de manière claire et détaillée (<ref-ruling> consid. 2.2; <ref-ruling> consid. 3.2; <ref-ruling> consid. 6; <ref-ruling> consid. 1.4). Le recourant qui se plaint de la violation d'un droit fondamental ne peut donc se borner à critiquer la décision attaquée comme il le ferait en instance d'appel, où l'autorité de recours jouit d'une libre cognition; il ne peut, en particulier, se contenter d'opposer sa thèse à celle de l'autorité cantonale, mais doit démontrer ses allégations par une argumentation précise (<ref-ruling> consid. 3; <ref-ruling> consid. 3.2). Le Tribunal fédéral n'entre pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 2.3; <ref-ruling> consid. 10.1 et les arrêts cités).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Le recourant qui entend invoquer que les faits ont été établis de manière manifestement inexacte ne peut se limiter à contredire les constatations litigieuses par ses propres allégations ou par l'exposé de sa propre appréciation des preuves; il doit indiquer de façon précise en quoi ces constatations sont arbitraires au sens de l'art. 9 Cst. et sont susceptibles d'influer sur le sort de la cause. Une critique des faits qui ne satisfait pas à cette exigence est irrecevable (<ref-law>; <ref-ruling> consid. 1.3.1; <ref-ruling> consid. 2.3 et les références).
2.3. A l'appui de sa réponse, le recourant a produit une pièce nouvelle, à savoir un extrait du site internet du Département fédéral des affaires étrangères apportant des conseils aux voyageurs à destination du Pérou. S'agissant de faits notoires (cf. sur cette notion: <ref-ruling> consid.1; <ref-ruling> consid. 4.1; <ref-ruling> consid. 3.4), cette pièce est recevable nonobstant son caractère nouveau au sens de l'<ref-law>.
3.
L'<ref-law> prévoit que l'autorité parentale inclut le droit de déterminer le lieu de résidence de l'enfant. Il en résulte qu'un parent exerçant conjointement l'autorité parentale ne peut modifier le lieu de résidence de l'enfant qu'avec l'accord de l'autre parent ou sur décision du juge ou de l'autorité de protection de l'enfant, lorsque le nouveau lieu de résidence se trouve à l'étranger ou quand le déménagement a des conséquences importantes pour l'exercice de l'autorité parentale par l'autre parent et pour les relations personnelles (art. 301a al. 2 let. a et b CC).
3.1. L'exigence d'une autorisation ne concerne que le changement de lieu de résidence de l'enfant (cf. <ref-law>), non celui des parents. L'autorité parentale conjointe ne doit pas priver de facto les parents de leur liberté d'établissement (art. 24 Cst.) en les empêchant de déménager (FF 2011 8331 ch. 1.5.2; arrêt 5A_641/2015 du 3 mars 2016 consid. 4.1). Par conséquent le juge, respectivement l'autorité de protection de l'enfant, ne doit pas répondre à la question de savoir s'il est dans l'intérêt de l'enfant que ses deux parents demeurent au domicile actuel. Il doit plutôt se demander si le bien-être de l'enfant sera mieux préservé dans l'hypothèse où il suivrait le parent qui envisage de déménager, ou dans celle où il demeurerait auprès du parent restant sur place, tout en tenant compte du fait que la garde, les relations personnelles et la contribution d'entretien pourront toujours être adaptées en conséquence en application de l'<ref-law> (<ref-ruling> consid. 2.5; <ref-ruling> consid. 2.6; arrêts 5A_397/2018 du 16 août 2018 consid. 4.2; 5A_444/2017 du 30 août 2017 consid. 5.3.1).
3.2. S'agissant de l'autorisation de déplacer le lieu de résidence d'un enfant, le modèle de prise en charge préexistant constitue, sous réserve d'une modification de la situation, le point de départ de l'analyse. Ainsi, dans l'hypothèse où l'enfant était pris en charge à parts plus ou moins égales par chacun des parents, et où ceux-ci sont disposés à continuer à le prendre en charge à l'avenir, la situation de départ est neutre; il faut alors recourir à d'autres critères afin de déterminer quelle solution correspond le plus à l'intérêt de l'enfant. En revanche, si le parent qui souhaite déménager était titulaire de la garde exclusive sur l'enfant ou le prenait en charge de manière prépondérante, il sera en principe dans l'intérêt de l'enfant de déménager avec lui. Les circonstances du cas d'espèce sont déterminantes, notamment l'âge de l'enfant (<ref-ruling> consid. 4.1; <ref-ruling> consid. 2.5; pour plus de détails s'agissant des critères à prendre en considération, cf. ATF <ref-ruling> consid. 2.7).
3.3. L'examen de l'adaptation des modalités de la prise en charge, des relations personnelles et de l'entretien ne doit pas être dissocié de la question du déménagement, compte tenu du lien étroit entre ces éléments (<ref-ruling> consid. 2.6). A cet égard, il convient de clarifier le mode de prise en charge de l'enfant appliqué jusqu'alors, d'esquisser les contours du déménagement, ainsi que d'établir quels sont les besoins de l'enfant et la prise en charge, offerte et effectivement possible, par les parents (<ref-ruling> consid. 2.7).
4.
4.1. La recourante reproche au Juge délégué d'avoir retenu de manière insoutenable que l'on ne se trouvait pas en l'espèce dans une situation où un parent entendait quitter la Suisse pour exercer son propre droit à s'établir dans le lieu de son choix mais que le projet de déménagement était motivé uniquement par l'intérêt des enfants. Ce faisant, il avait renoncé arbitrairement à appliquer les principes développés par la jurisprudence en lien avec l'<ref-law>, violant par là sa liberté d'établissement (art. 24 Cst.).
4.2. Le Juge délégué a notamment retenu que la recourante s'était toujours occupée des enfants de manière prépondérante, que ses compétences parentales n'avaient pas été remises en cause et que les enfants avaient manifesté le désir de rester auprès d'elle. Il a toutefois également mis en exergue l'encadrement scolaire et le suivi psychologique dont les enfants bénéficiaient en Suisse, le fait que la recourante n'avait pas rendu vraisemblable qu'elle aurait un projet de départ au Pérou solidement établi, en particulier pour ce qui était de ses futurs emploi et logement, et rappelé que les enfants vivaient en Suisse depuis plus de cinq ans et y participaient à diverses activités et avaient un cercle social. Appréciant ces divers éléments, il en a déduit qu'il était dans l'intérêt des enfants qu'ils demeurent auprès de leur mère tout en restant en Suisse.
Or, il ressort de la jurisprudence développée en lien avec l'<ref-law>, et notamment de l'arrêt 5A_1018/2017 cité par le juge précédent, que l'exigence d'une autorisation ne concerne que le changement du lieu de résidence de l'enfant, non celui des parents. Chaque parent doit ainsi demeurer libre de s'établir où il le souhaite et ne peut être privé de facto de sa liberté d'établissement au motif qu'il est au bénéfice de l'autorité parentale conjointe. L'arrêt querellé a toutefois précisément pour conséquence d'interdire à la recourante de s'établir au Pérou. Certes, cette dernière a essentiellement motivé sa volonté de retourner dans son pays d'origine par la nécessité de préserver le bien des enfants. Cela étant, elle a également fait valoir des arguments qui lui sont propres, à savoir, notamment, sa mauvaise maîtrise du français, ses difficultés à trouver du travail et l'absence d'amis et de famille en Suisse. Au demeurant, s'agissant d'une personne adulte qui souhaite quitter un pays où elle vit depuis six ans pour s'établir sur un autre continent, force est d'admettre que sa volonté propre de mener à bien un tel projet était en l'occurrence à tout le moins implicite. On ne saura it en effet admettre, à l'instar de l'autorité cantonale, que la recourante aurait pris une décision aussi lourde de conséquences uniquement pour répondre aux besoins des enfants sans mettre également ses intérêts personnels, en particulier ses perspectives professionnelles, dans la balance.
Quoi qu'il en soit, la jurisprudence relative à l'<ref-law> impose au juge d'examiner non pas s'il est dans l'intérêt des enfants que ses deux parents demeurent au lieu de résidence actuel mais si leur bien-être sera mieux préservé dans l'hypothèse où ils suivraient le parent qui envisage de déménager, ou dans celle où ils demeureraient auprès du parent restant sur place, voire d'une personne tierce qui se verrait à cette fin attribuer l'autorité parentale et la garde. Contrairement à ce qui est retenu dans l'arrêt entrepris, cette question doit être résolue chaque fois qu'un parent exerçant conjointement l'autorité parentale envisage de déménager et de déplacer, ce faisant, le lieu de résidence des enfants dont il a la garde, soit à l'étranger, soit dans un lieu qui a pour effet d'entraîner des conséquences importantes pour l'exercice de l'autorité parentale et du droit aux relations personnelles de l'autre parent. C'est ainsi à tort que le Juge délégué ne s'est pas posé et n'a pas tranché cette question dans le cas d'espèce, ce qui conduit en l'occurrence à un résultat arbitraire puisqu'il prive de facto la recourante de la possibilité de s'établir au Pérou. Les griefs d'application arbitraire de l'<ref-law> et de violation de l'art. 24 Cst. sont donc fondés.
4.3. Dans ces circonstances, le recours doit être admis sans qu'il soit nécessaire à ce stade d'examiner les autres griefs de la recourante, à savoir notamment son grief d'établissement arbitraire des faits. L'arrêt attaqué doit en conséquence être annulé et la cause renvoyée à l'autorité cantonale afin qu'elle examine, au regard de l'intérêt des enfants, s'il serait préférable pour ceux-ci de déménager avec leur mère au Pérou ou de vivre auprès de leur père ou de toute autre personne qui se verrait attribuer l'autorité parentale et la garde. Dans le cadre de cet examen, il s'agira de veiller à tenir compte de l'ensemble des circonstances du cas d'espèce et des critères fixés par la jurisprudence (cf. supra consid. 3). Partant, c'est à l'occasion de cette appréciation que le Juge délégué devra mettre en balance les différents critères retenus en faveur de l'attribution de la garde à la recourante tout comme ceux qui l'ont conduit à lui refuser le déplacement du lieu de résidence des enfants au Pérou. C'est également dans ce contexte que les arguments développés tant par la recourante pour justifier le déplacement des enfants que ceux avancés par l'intimé dans sa réponse au présent recours, qui tendent pour l'essentiel à démontrer qu'un déménagement des enfants au Pérou desserviraient leurs intérêts, devront être pris en compte. En effet, contrairement à ce que semble penser l'intimé, la mise en danger alléguée du bien-être des enfants peut certes justifier le transfert de la garde à l'autre parent détenteur de l'autorité parentale - ce que l'intimé n'a toutefois jamais requis -, voire l'attribution de l'autorité parentale et de la garde à une personne tierce, mais ne peut en revanche pas faire obstacle au déménagement souhaité par le parent au bénéfice de la garde.
5.
En définitive, le recours est admis, l'arrêt attaqué est annulé et la cause renvoyée à l'autorité cantonale pour nouvelle décision au sens des considérants. Les frais judiciaires sont mis à la charge de l'intimé qui succombe (<ref-law>), et qui versera en outre des dépens à la recourante (art. 68 al. 1 et 2 LTF). Les requêtes d'assistance judiciaire de la recourante et de l'intimé sont admises et leurs avocats respectifs nommés comme défenseurs d'office (<ref-law>). Les frais judiciaires incombant à l'intimé seront donc provisoirement supportés par la Caisse du Tribunal fédéral (<ref-law>). Si l'octroi de l'assistance judiciaire ne dispense pas l'intimé du paiement de dépens, ceux-ci seront toutefois, au vu de sa situation financière et du fait qu'il est d'emblée vraisemblable qu'ils ne pourront être recouvrés, supportés provisoirement par la Caisse du Tribunal fédéral, étant rappelé que l'intimé est tenu de rembourser ultérieurement la Caisse s'il est en mesure de le faire (<ref-law>; arrêts 5A_214/2016 du 26 août 2016 consid. 7; 5A_558/2014 du 7 septembre 2015 consid. 7.2). Il appartiendra à l'autorité cantonale de statuer à nouveau sur les frais et dépens de la procédure cantonale (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis, l'arrêt attaqué est annulé et la cause est renvoyée à l'autorité cantonale pour nouvelle décision au sens des considérants.
2.
La requête d'assistance judiciaire de la recourante est admise et Me Fabien Mingard, avocat à Lausanne, lui est désigné comme conseil d'office pour la procédure fédérale.
3.
La requête d'assistance judiciaire de l'intimé est admise et Me Martin Brechbühl, avocat à Lausanne, lui est désigné comme conseil d'office pour la procédure fédérale.
4.
Les frais judiciaires, arrêtés à 2'000 fr. sont mis à la charge de l'intimé. Ils sont provisoirement supportés par la Caisse du Tribunal fédéral.
5.
L'intimé versera à la recourante une indemnité de 1'800 fr. à titre de dépens, laquelle sera provisoirement supportée par la Caisse du Tribunal fédéral.
6.
Une indemnité de 1'800 fr., supportée par la Caisse du Tribunal fédéral, est allouée à Me Martin Brechbühl à titre d'honoraires d'avocat d'office.
7.
Le présent arrêt est communiqué aux parties et au Juge délégué de la Cour d'appel civile du Tribunal cantonal du canton de Vaud.
Lausanne, le 5 novembre 2019
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
La Greffière : Hildbrand