Faits :
A.
A._ et B._ se sont mariés en 2012. Ils ont deux enfants nés en 2013 et 2015.
B.
Par prononcé de mesures protectrices de l'union conjugale du 4 septembre 2018, le Président du Tribunal civil de l'arrondissement de La Côte (ci-après: le président) a notamment attribué la garde des enfants à leur mère, réglé le droit de visite du père et fixé les contributions d'entretien mensuelles des enfants à hauteur de 900 fr. pour l'aînée et de 1'450 fr. pour le cadet, allocations familiales non comprises; la contribution de l'épouse a été arrêtée à 700 fr. Les contributions étaient dues dès le 1er août 2018.
Statuant sur appel le 3 décembre 2018, la juge déléguée de la cour d'appel civile du Tribunal cantonal du canton de Vaud a réformé le dispositif de cette décision en précisant que A._ assumerait seul les intérêts hypothécaires du logement conjugal et en réduisant la contribution d'entretien de l'épouse à 597 fr. par mois.
C.
A._ a déposé une demande unilatérale de divorce le 5 août 2020, concluant en substance, sur mesures provisionnelles, à être libéré du paiement des contributions d'entretien susmentionnées, seul point actuellement litigieux.
C.a. Par ordonnance de mesures provisionnelles du 3 mai 2021, le président a modifié le montant de la contribution d'entretien de chacun des enfants en l'arrêtant à 840 fr. du 1er août 2020 au 31 décembre 2021 et à 590 fr. dès le 1er janvier 2022, allocations familiales non comprises; il a également modifié le montant de la contribution d'entretien de l'épouse, la supprimant entre le 1er août 2020 et le 31 décembre 2021 et l'arrêtant à 240 fr. dès le 1er janvier 2022.
C.b. Statuant sur l'appel de l'épouse le 2 septembre 2021, le juge délégué de la cour d'appel civile du Tribunal cantonal du canton de Vaud (ci-après: le juge délégué) l'a partiellement admis et arrêté le montant des contributions d'entretien destinées aux enfants à 1'320 fr. du 1er août 2020 au 31 décembre 2021 et à 820 fr. dès le 1er janvier 2022, celui de la contribution d'entretien en faveur de l'épouse étant fixé à 200 fr. du 1er août 2020 au 31 décembre 2021 et à 597 fr. dès le 1er janvier 2022.
D.
Agissant le 5 octobre 2021 par la voie du recours en matière civile au Tribunal fédéral, A._ (ci-après: le recourant) conclut à l'admission de son recours et principalement à la réforme de l'arrêt entrepris en ce sens que l'appel de B._ (ci-après: l'intimée) est rejeté, l'ordonnance de mesures provisionnelles rendue le 3 mai 2021 par l'autorité de première instance déployant ainsi ses effets. Subsidiairement, le recourant sollicite le renvoi de la cause à l'instance cantonale pour nouvelle décision au sens des considérants.
Des déterminations n'ont pas été demandées.
Tant le recourant que l'intimée sollicitent le bénéfice de l'assistance judiciaire.
E.
Par ordonnance présidentielle du 22 octobre 2021, l'effet suspensif a été accordé au recours pour les contributions d'entretien arriérées - à savoir jusqu'à la fin septembre 2021.

Considérant en droit :
1.
Le recours en matière civile est recevable (art. 72 al. 1, 74 al. 1 let. b avec les art. 51 al. 1 let. a et 51 al. 4, 75 al. 1 et 2, 76 al. 1, 90 et 100 al. 1 LTF).
2.
La décision entreprise porte sur des mesures provisionnelles au sens de l'<ref-law>, en sorte que la partie recourante ne peut dénoncer que la violation de droits constitutionnels. Le Tribunal fédéral n'examine de tels griefs que s'ils ont été invoqués et motivés par le recourant (" principe d'allégation ", <ref-law>), c'est-à-dire s'ils ont été expressément soulevés et exposés de manière claire et détaillée (<ref-ruling> consid. 2.1; <ref-ruling> consid. 2; <ref-ruling> consid. 2.4). Le recourant qui se plaint de la violation d'un droit fondamental ne peut se borner à critiquer la décision attaquée comme il le ferait en procédure d'appel, où l'autorité de recours jouit d'une libre cognition, notamment en se contentant d'opposer sa thèse à celle de l'autorité précédente; les critiques de nature appellatoire sont irrecevables (ATF <ref-ruling> consid. 2.4; <ref-ruling> consid. 2.3 et les références). En particulier, une décision ne peut être qualifiée d'arbitraire (art. 9 Cst.) que si elle est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et indiscuté, ou heurte de manière choquante le sentiment de la justice et de l'équité (<ref-ruling> consid. 5.1; <ref-ruling> consid. 7.3; <ref-ruling> consid. 4.1); il ne suffit pas qu'une autre solution paraisse concevable, voire préférable; pour que cette décision soit annulée, encore faut-il qu'elle se révèle arbitraire non seulement dans ses motifs, mais aussi dans son résultat (<ref-ruling> consid. 6.2.1; <ref-ruling> consid. 7.1, 170 consid. 7.3).
3.
Le recours porte exclusivement sur le montant du revenu hypothétique imputé au recourant.
3.1. Dans le contexte de la procédure de mesures protectrices de l'union conjugale, ce revenu a été arrêté à 10'000 fr., montant confirmé par arrêt sur appel du 3 décembre 2018.
Amené à modifier ces dernières mesures, le juge des mesures provisionnelles est entré en matière sur le principe de la modification aux motifs que l'époux avait rendu vraisemblable que son épouse était propriétaire d'un appartement à l'étranger et qu'elle pouvait en obtenir un loyer mensuel, que le fils cadet des parties était désormais à l'école, ce qui permettait d'écarter les frais de crèche de son budget et d'imputer à la mère un revenu hypothétique à un taux d'activité de 50%. Le magistrat s'est en revanche fondé sur le revenu effectif du recourant, à savoir 8'600 fr. nets par mois, pour fixer le montant des contributions d'entretien, considérant que, vu la situation actuelle, il n'était pas démontré que l'intéressé aurait pu obtenir un salaire plus élevé.
Statuant sur l'appel de l'épouse, le juge délégué a conclu que le raisonnement du premier juge procédait d'un renversement du fardeau de la preuve: c'était en effet au recourant qu'il appartenait de rendre vraisemblable le caractère irréalisable du revenu hypothétique fixé par le juge des mesures protectrices et de démontrer avoir entrepris tout ce qui était en son pouvoir pour l'obtenir, en mettant pleinement à profit sa capacité de gain.
3.2. Le recourant se plaint dans un premier grief de la violation de son droit d'être entendu, singulièrement de l'insuffisance de la motivation cantonale s'agissant notamment de ses possibilités effectives d'obtenir le revenu hypothétique qui lui avait été imputé et son exigibilité au regard du marché du travail.
Cette critique perd cependant de vue la portée de la motivation entreprise: l'arrêt attaqué se limite en effet à examiner la question du revenu hypothétique imputé au recourant sous l'angle de la répartition du fardeau de la preuve, sans ainsi s'étendre à sa détermination même et à son caractère raisonnablement exigible, qui ne font pas l'objet de la décision entreprise. Dans cette perspective, le grief soulevé est inefficace.
3.3. Le recourant reproche ensuite à la cour cantonale d'avoir arbitrairement appliqué " les règles relatives au revenu hypothétique " ainsi que la maxime d'office.
3.3.1. Conformément à l'<ref-law>, si la loi ne prévoit pas le contraire, il appartient à celui qui entend déduire des droits d'un fait allégué de prouver celui-ci. Ainsi, la partie qui fait valoir une prétention doit prouver les faits qui fondent son droit, alors que la preuve des faits de nature à supprimer, respectivement détruire ou empêcher le droit invoqué, incombe à la partie qui prétend que la prétention a disparu ou qui en conteste la naissance ou le caractère exécutoire (<ref-ruling> consid. 3.1).
La partie à laquelle un revenu hypothétique a été imputé et qui ne trouve pas de poste de travail correspondant peut obtenir une adaptation de la contribution d'entretien. Elle devra alors rendre vraisemblable avoir sérieusement cherché un emploi et exposer, sur la base des expériences réalisées, les raisons pour lesquelles les expectatives du tribunal ne se sont pas réalisées (arrêts 5A_467/2020 du 7 septembre 2020 consid. 4.2; 5A_928/2016 du 22 juin 2017 consid. 3.3; 5A_129/2015 du 22 juin 2016 consid. 5.4.2 publié in FamPra.ch 2016p. 990). Il appartient à la partie qui réclame la modification de démontrer le changement de circonstances à l'origine de sa demande (arrêt 5A_96/2016 du 18 novembre 2016 consid. 3.1 et la référence).
3.3.2. Contrairement à ce qu'affirme le recourant, l'arrêt entrepris applique ici correctement les règles relatives à la répartition du fardeau de la preuve, telles que rappelées par la jurisprudence sus-citée. L'on ne décèle en effet aucun arbitraire dans le raisonnement cantonal lorsque, se référant à celles-ci, le juge délégué retient que, suite à sa diminution de salaire, le recourant n'avait pas rendu vraisemblables ses tentatives de trouver un emploi mieux rémunéré dans une autre entreprise active dans le même secteur, singulièrement son impossibilité de réaliser, dans son secteur, le revenu qui lui avait été imputé à titre hypothétique, la production d'offres d'emploi, démontrant la modification du marché du travail dans son domaine d'activité, ayant à cet égard été pertinente. Or, la motivation du recourant consiste essentiellement à affirmer qu'aucun revenu hypothétique ne pourrait lui être imputé, sans établir les raisons pour lesquelles les circonstances particulières de sa situation professionnelle - même emploi, même employeur et même taux d'activité qu'auparavant, mais perte de salaire de 15% - sur lesquelles il insiste, lui permettraient de s'affranchir des principes sus-décrits.
Sa référence à la " maxime d'office " est enfin dépourvue de tout fondement: en tant qu'il entendait réduire le montant des contributions d'entretien auxquelles il était astreint sur mesures protectrices, il appartenait au recourant de démontrer que les conditions permettant cette modification étaient remplies, notamment que le salaire qui lui avait été imputé à titre hypothétique était irréalisable. Que la procédure soit soumise à la maxime d'office n'implique pas que le juge se saisisse de la problématique, ni ne permet un renversement du fardeau de la preuve sur ce point.
4.
Le recours est rejeté dans la mesure où il est recevable. La requête d'assistance judiciaire du recourant est rejetée en tant que ses conclusions étaient d'emblée vouées à l'échec (<ref-law>). Les frais judiciaires, arrêtés à 1'500 fr., sont ainsi mis à sa charge (<ref-law>). Il n'y a pas lieu d'allouer de dépens à l'intimée qui n'a pas été invitée à répondre sur le fond et a conclu au rejet de la requête d'effet suspensif, alors que celle-ci a été admise au sens des motifs; les conditions de l'assistance judiciaire ne sont pas remplies (art. 64 al. 1 et 2 LTF; arrêts 5A_129/2021 du 31 mai 2021 consid. 5; 5A_844/2019 du 17 septembre 2020 consid. 6).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La requête d'assistance judiciaire du recourant est rejetée.
3.
Les frais judiciaires, arrêtés à 1'500 fr., sont mis à la charge du recourant.
4.
La requête d'assistance judiciaire de l'intimée est rejetée.
5.
Le présent arrêt est communiqué aux parties et au Juge délégué de la Cour d'appel civile du Tribunal cantonal du canton de Vaud.
Lausanne, le 3 mars 2022
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
La Greffière : de Poret Bortolaso