Faits :
A.
A.a. A.A._ (1980) et B.A._ (1980) se sont mariés le 24 septembre 2011. Deux enfants sont issus de leur union, C._, née en 2012, et D._, né en 2014.
Les époux vivent séparés depuis le 31 janvier 2019.
A.b. Le 25 mars 2019, les parties sont notamment convenues, en mesures protectrices de l'union conjugale, de l'instauration d'une garde alternée sur les enfants.
A.c. Le 8 novembre 2019, l'épouse a déposé une demande unilatérale de divorce. Par requête de mesures provisionnelles du 26 février 2020, elle a requis que son mari soit astreint à contribuer à l'entretien des enfants et à son propre entretien, dès le 1er juillet 2019.
B.
B.a. Par ordonnance de mesures provisionnelles du 20 janvier 2021, la Présidente du Tribunal civil de l'arrondissement de La Côte a, entre autres, condamné le père à verser, en mains de la mère, des contributions d'entretien mensuelles de 325 fr. pour C._ et de 275 fr. pour D._ dès le 1er mars 2021 et dit que les allocations familiales perçues pour les enfants seraient partagées par moitié entre les époux. Elle a rejeté la conclusion de l'épouse tendant au versement d'une contribution d'entretien en sa faveur. Les parties ont interjeté un appel contre cette ordonnance.
B.b. Par arrêt du 28 mai 2021, expédié pour notification aux parties par plis du 4 juin 2021, la Juge déléguée de la Cour d'appel civile du canton de Vaud a partiellement admis l'appel de la mère. Elle a réformé l'ordonnance précitée en condamnant le père à verser mensuellement, pour l'entretien de C._, 350 fr. du 1er mars 2020 au 30 novembre 2020, 690 fr. du 1er décembre 2020 au 30 avril 2021, puis 420 fr. à compter du 1er mai 2021 et, pour l'entretien de D._, 380 fr. du 1er mars 2020 au 30 novembre 2020, 720 fr. du 1er décembre 2020 au 30 avril 2021, puis 450 fr. à compter du 1er mai 2021. Elle a également complété dite ordonnance en astreignant le mari à contribuer à l'entretien de son épouse par le versement mensuel de 190 fr du 1er mars au 30 novembre 2020, puis de 380 fr. à compter du 1er décembre 2020.
C.
Par acte du 7 juillet 2021, A.A._ exerce un recours en matière civile. Il conclut principalement à ce que l'arrêt cantonal soit réformé en ce sens qu'il contribuera à l'entretien de sa fille C._ par le versement de contributions mensuelles de 69 fr. 45 du 1er octobre au 30 novembre 2020, puis de 222 fr. 85 du 1er décembre 2020 au 30 avril 2021, rien n'étant dû après cette date, à l'entretien de son fils D._ par le versement de contributions mensuelles de 94 fr. 75 du 1er octobre au 30 novembre 2020, puis de 252 fr. 35 du 1er décembre 2020 au 30 avril 2021, rien n'étant dû après cette date, et à l'entretien de son épouse par le versement de contributions mensuelles de 171 fr. à compter du 1er décembre 2020. À titre subsidiaire, il requiert l'annulation de l'arrêt attaqué et le renvoi de la cause pour nouvelle décision au sens des " considérants de l'arrêt à intervenir ".
Invitées à se déterminer, la cour cantonale se réfère aux considérants de son arrêt et l'intimée demande le rejet des conclusions du recours. Le recourant a déposé une réplique spontanée.

Considérant en droit :
1.
Le recours a été déposé en temps utile (art. 100 al. 1 LTF) et dans la forme légale (art. 42 al. 1 LTF), contre une décision finale (art. 90 LTF; <ref-ruling> consid. 2.2) rendue sur recours par une autorité supérieure statuant en dernière instance cantonale (art. 75 LTF), dans une affaire matrimoniale (art. 72 al. 1 LTF) de nature pécuniaire, dont la valeur litigieuse dépasse 30'000 fr. (art. 51 al. 1 let. a et al. 4 et 74 al. 1 let. b LTF), par une partie qui a participé à la procédure devant l'autorité précédente et a un intérêt digne de protection à la modification ou l'annulation de la décision entreprise (art. 76 al. 1 let. a et b LTF). Le recours est donc en principe recevable au regard des dispositions qui précèdent.
2.
2.1. Lorsque, comme en l'espèce, la décision attaquée porte sur des mesures provisionnelles au sens de l'art. 98 LTF (<ref-ruling> consid. 5.1), le recourant ne peut se plaindre que de la violation de ses droits constitutionnels. Le Tribunal fédéral n'examine de tels griefs que s'ils ont été invoqués et motivés (principe d'allégation; art. 106 al. 2 LTF), c'est-à-dire expressément soulevés et exposés de manière claire et détaillée (<ref-ruling> consid. 2.1; <ref-ruling> consid. 2.4). Le recourant doit ainsi indiquer quelle disposition constitutionnelle aurait été violée et démontrer, par une argumentation précise, en quoi consiste la violation (<ref-ruling> consid. 3). Les critiques de nature appellatoire sont irrecevables (ATF <ref-ruling> consid. 2.4 et la référence). En particulier, une décision ne peut être qualifiée d'arbitraire (art. 9 Cst.) que si elle est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et indiscuté, ou heurte de manière choquante le sentiment de la justice et de l'équité; il ne suffit pas qu'une autre solution paraisse concevable, voire préférable; pour que cette décision soit annulée, encore faut-il qu'elle se révèle arbitraire non seulement dans ses motifs, mais aussi dans son résultat (<ref-ruling> consid. 7.1 et la référence; <ref-ruling> consid. 4.1 et les références).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Le recourant qui entend invoquer que les faits ont été établis de manière manifestement inexacte ne peut obtenir la rectification ou le complètement des constatations de fait de l'arrêt cantonal que s'il démontre la violation de droits constitutionnels, conformément au principe d'allégation susmentionné (cf. supra consid. 2.1). Le recourant ne peut se limiter à contredire les constatations litigieuses par ses propres allégations ou par l'exposé de sa propre appréciation des preuves; il doit indiquer de façon précise en quoi ces constatations sont arbitraires au sens de l'art. 9 Cst. (<ref-ruling> consid. 1.4.3). Une critique des faits qui ne satisfait pas à cette exigence est irrecevable (art. 106 al. 2 LTF; <ref-ruling> consid. 1.3.1; <ref-ruling> consid. 2.3 et les références).
En l'espèce, les faits exposés par l'intimée seront ignorés en tant qu'ils s'écartent de ceux contenus dans l'arrêt attaqué et ne font pas l'objet d'un grief d'arbitraire dans l'établissement des faits valablement soulevé. Tel est le cas en particulier lorsqu'elle expose dans sa réponse que le treizième salaire de son mari n'est pas simplement fixé en doublant son salaire du mois de décembre (p. 5), qu'elle prend en charge les frais de loisirs des enfants (p. 3), qu'elle règle une partie de l'amortissement de la dette hypothécaire de la maison de U._ (p. 8) ou qu'elle paie des primes d'assurance-vie de 272 fr. par mois (p. 9).
2.3. En vertu du principe de l'épuisement des griefs, le recours n'est ouvert qu'à l'encontre des décisions rendues par une autorité cantonale de dernière instance (art. 75 al. 1 LTF), ce qui signifie que les voies de droit cantonales doivent avoir été non seulement utilisées sur le plan formel, mais aussi épuisées sur le plan matériel (<ref-ruling> consid. 3.3.4; <ref-ruling> consid. 2.2.2; <ref-ruling> consid. 1.1 et les références). Lorsque l'autorité de dernière instance cantonale peut se limiter à examiner les griefs régulièrement soulevés, le principe de l'épuisement matériel veut que les griefs soumis au Tribunal fédéral aient déjà été invoqués devant l'instance précédente (arrêt 4A_40/2021 du 10 juin 2021 consid. 3.2 et les arrêts cités, publié in SJ 2021 I p. 451).
3.
Le recourant soulève des griefs d'arbitraire (art. 9 Cst.) ainsi que de violation de son droit d'être entendu (art. 29 Cst.) et de l'art. 8 CC, au motif que la cour cantonale aurait dû prendre en compte dans l'établissement de sa situation financière le service des dettes hypothécaires qu'il a assuré en lien avec les appartements de V._ et de W._.
3.1. La cour cantonale a considéré que le sort des intérêts hypothécaires relatifs à l'appartement de V._ devait être réglé dans le cadre de la liquidation du régime matrimonial des parties. Il en allait de même des pertes invoquées par le mari en lien avec les appartements de W._. À cet égard, la cour cantonale a relevé que le mari n'avait pas établi qu'il s'agissait là de dettes ayant été décidées durant la vie commune. Il apparaissait d'ailleurs que celui-ci était seul propriétaire de l'un de ces appartements. De surcroît, quand bien même la situation financière des parties était relativement confortable, elle ne l'était pas au point qu'il se justifiait d'inclure dans leurs charges déterminantes des coûts liés à des résidences secondaires, d'autant plus que les montants invoqués étaient importants. Par conséquent, il n'y avait pas lieu de comptabiliser dans les charges du mari les intérêts hypothécaires relatifs à l'appartement de V._ et les pertes en lien avec les deux appartements de W._.
3.2. Le recourant soutient en substance que la cour cantonale a retenu de manière arbitraire qu'il n'avait pas établi que les dettes en lien avec ces appartements étaient des dettes décidées durant la vie commune. Il avait notamment été démontré au moyen de plusieurs pièces figurant au dossier, en particulier des extraits du registre foncier, que ces immeubles avaient été acquis en copropriété avec son épouse pendant le mariage et que les dettes y relatives avaient été souscrites par chacun d'eux. En ignorant les pièces produites démontrant le caractère commun de ces dettes, sans donner aucune explication, la cour cantonale avait par ailleurs violé son droit d'être entendu, ainsi que l'art. 8 CC. L'appréciation de celle-ci selon laquelle ces dettes ne devaient pas être prises en considération dans la situation financière des parties, car il s'agissait de " résidences secondaires ", était également erronée. Le Tribunal fédéral n'avait en effet jamais indiqué qu'il ne fallait pas tenir compte des dettes relatives à des résidences secondaires lorsque la situation des époux le permettait. De plus, ces biens étaient loués de longue date, de sorte qu'il était arbitraire de les qualifier de la sorte. Le renvoi du règlement de cette question à la liquidation du régime matrimonial n'était en outre absolument pas conforme à la jurisprudence, qui prévoit qu'en cas de situation financière favorable, comme cela était le cas en l'espèce, il doit être tenu compte de ces dettes avant même la répartition d'un éventuel disponible. Selon le recourant, l'absence de prise en considération du service de ces dettes serait ouvertement et grossièrement contraire au droit fédéral, en violation de l'art. 9 Cst. Elle mènerait par ailleurs à un résultat choquant car elle le conduirait à affecter son disponible à la couverture de dettes communes, tout en l'obligeant à affecter les mêmes montants à un complément de contributions d'entretien au profit de son épouse et de ses enfants, dont les besoins de base étaient pourtant entièrement couverts.
3.3. Le grief de violation de l'art. 8 CC soulevé par le recourant est irrecevable, faute d'être de nature constitutionnelle (cf. supra consid. 2.1). La cour cantonale présente une double motivation dont chaque pan est indépendant et suffit à sceller l'issue de la procédure cantonale sur ce point, ce qui impose au recourant de discuter chaque pan de la motivation (ATF <ref-ruling> consid. 2.4). En l'occurrence, le recourant se borne à affirmer que la situation favorable des parties permettrait de prendre en compte le service des dettes hypothécaires des biens précités, sans en expliquer les raisons. Ce faisant, il ne démontre pas en quoi l'appréciation de la cour cantonale de ne pas inclure ces dettes dans le minimum vital du droit de la famille des parties serait insoutenable. Ses considérations sur la qualification de ces logements ne sont d'aucune pertinence à cet égard. Il s'ensuit que la critique du recourant sur le deuxième pan de la motivation cantonale ne respecte pas les exigences de l'art. 106 al. 2 LTF (cf. supra consid. 2.1). Elle est donc irrecevable dans son intégralité, sans qu'il y ait lieu d'analyser le bien-fondé du grief d'arbitraire et celui de violation du droit d'être entendu en lien avec l'établissement du caractère commun de ces dettes, qui concernent le premier pan de la motivation.
4.
Soulevant un grief d'arbitraire (art. 9 Cst.) dans l'application du droit, le recourant fait valoir que la cour cantonale n'a pas tenu compte des allocations familiales dans le calcul des contributions d'entretien.
4.1. Il ressort de l'arrêt querellé que les coûts directs mensuels de C._ et de D._, hors allocations familiales, s'élevaient à respectivement 1'285 fr. 55 et 1'337 fr. 70, conformément au jugement de première instance. Compte tenu de la garde partagée, il y avait lieu de répartir les coûts directs des enfants entre les parents en fonction de leur part au disponible total. Du 1er mars au 30 novembre 2020, la part du disponible de la mère représentait 45,1% du disponible du couple et celle du père 54,9%. Partant, durant cette période, la mère devait supporter les coûts directs de C._ à hauteur de 579 fr. 80 par mois (1'285 fr. 55 x 45,1%) et ceux de D._ à hauteur de 603 fr. 30 par mois (1'337 fr. 70 x 45,1%). Les coûts directs de C._ à charge du père étaient de 705 fr. 75 par mois (1'285 fr. 55 x 54,9%) et ceux de D._ à 734 fr. 40 par mois (1'337 fr. 70 x 54,9%). À compter du 1er décembre 2020, la part du disponible de la mère représentait 37,9% du disponible du couple et celle du père 62,1%. Dès cette date, la mère devait donc supporter les coûts directs de C._ à hauteur de 487 fr. 20 par mois (1'285 fr. 55 x 37,9%) et ceux de D._ à hauteur de 507 fr. par mois (1'337 fr. 70 x 37,9%). Le père devait quant à lui assumer les coûts directs de C._ à hauteur de 798 fr. 35 par mois (1'285 fr. 55 x 62,1%) et ceux de D._ à hauteur de 830 fr. 70 par mois (1'337 fr. 70 x 62,1%). Conformément à la solution retenue par le premier juge, la cour cantonale a rappelé que les époux devaient bénéficier de la moitié des allocations familiales, correspondant à un montant de 150 fr. par enfant. Par ailleurs, chacun d'eux devait prendre à sa charge sa propre part au loyer (à savoir 132 fr. 75 pour la mère et 252 fr. pour le père, par enfant et par mois) et la moitié du minimum vital des enfants (à savoir 200 fr., par enfant et par mois), lorsque ceux-ci étaient sous leur garde.
La cour cantonale a ajouté que, jusqu'au 30 avril 2021, la mère avait concrètement dû supporter les coûts directs de C._ à hauteur de 833 fr. 55 par mois et ceux de D._ à hauteur de 885 fr. 70 par mois. Dès le 1er mai 2021, elle assumait ces coûts mensuels à hauteur de 564 fr. 75 pour C._ et de 616 fr. 90 pour D._, dès lors que le père prenait en charge depuis cette date les frais de l'unité d'accueil pour écoliers (UAPE) des enfants. Sur cette base, la cour cantonale a considéré que le père devait être astreint à verser à la mère, à titre de participation aux coûts directs de C._ des montants mensuels arrondis de 253 fr. (705 fr. 75 [part des coûts directs totaux à la charge du père jusqu'au 30 novembre 2020] - 200 fr. [moitié de la base mensuelle] - 252 fr. [participation aux frais de logement du père]) pour la période du 1er mars 2020 au 30 novembre 2020, de 496 fr. (798 fr. 35 [part des coûts directs totaux à la charge du père dès le 1er décembre 2020] + 150 fr. [moitié des allocations familiales] - 200 fr. - 252 fr.) du 1er décembre 2020 au 30 avril 2021, puis de 227 fr. (798 fr. 35 + 150 fr. - 200 fr. - 252 fr. - 268 fr. 80 [frais d'UAPE]) à compter du 1er mai 2021. Le père devait en outre être astreint à verser à la mère, à titre de participation aux coûts directs de D._, des montants mensuels arrondis de 282 fr. (734 fr. 40 [part des coûts directs totaux à la charge du père jusqu'au 30 novembre 2020] - 200 fr. [moitié de la base mensuelle] - 252 fr. [participation aux frais de logement du père]) du 1er mars 2020 au 30 novembre 2020, de 529 fr. (830 fr. 70 [part des coûts directs totaux à la charge du père dès le 1er décembre 2020] + 150 fr. [moitié des allocations familiales] - 200 fr. - 252 fr.) pour la période du 1er décembre 2020 au 30 avril 2021, puis de 260 fr. (830 fr. 70 + 150 fr. - 200 fr. - 252 fr. - 268 fr. 80 [frais d'UAPE]) à compter du 1er mai 2021. La cour cantonale a précisé au surplus que, pour la période du 1er mars au 30 novembre 2020, il n'avait pas été tenu compte de la moitié des allocations familiales revenant à la mère dans le calcul des montants dus par le père à titre de participation aux coûts directs des enfants, dès lors que la mère avait perçu l'intégralité de ces allocations durant cette période.
4.2. Le recourant fait valoir que la cour cantonale a opéré ses calculs sans tenir compte des allocations familiales, partagées à 50% entre les parents selon la décision de l'autorité de première instance. Il relève que, hors allocations, la cour cantonale avait retenu que les coûts directs de C._ étaient de 1'285 fr. 55 par mois et ceux de D._ de 1'337 fr. 70 par mois. Si l'on tenait compte des allocations familiales de 300 fr. chacun, les coûts mensuels de C._ étaient de 985 fr. 55 jusqu'en novembre 2020, puis de 798 fr. 35, et ceux de D._ de 734 fr. 40, puis de 830 fr. 70. Il expose ensuite que le cumul de la moitié des allocations familiales dont bénéficie la mère, de la participation aux coûts de chaque enfant à charge de celle-ci calculée proportionnellement au disponible et de la part dont il a été condamné à verser en mains de la mère pour couvrir les coûts directs de chaque enfant conduisait la mère à bénéficier d'un montant supérieur aux frais effectifs des enfants que celle-ci devait payer. Selon le recourant, cette différence s'expliquait par le fait que la cour cantonale avait oublié que les allocations familiales perçues par la mère devaient être affectées à l'entretien des enfants.
Il relève également que cette distorsion était encore aggravée puisqu'après avoir relevé qu'il se justifiait de prévoir que chaque parent devait bénéficier de la moitié des allocations familiales, l'arrêt attaqué le condamnait sans explication à verser à la mère sa part des allocations familiales de 150 fr. dès le 1er décembre 2020. Le résultat auquel arrivait la cour cantonale était choquant parce qu'il conduisait à attribuer les allocations familiales non pas aux enfants, auxquelles elles sont destinées en vertu de la loi, mais à la mère. Cela était contraire à la jurisprudence constante du Tribunal fédéral qui prévoit que les allocations ne sont pas destinées à autre chose qu'à l'entretien des enfants et qu'elles doivent être imputées sur les coûts directs de ceux-ci. Se fondant sur les chiffres retenus par la cour cantonale, en particulier s'agissant des coûts directs des enfants que la mère doit prendre à sa charge en fonction de son disponible et les dépenses effectives relatives aux enfants que celle-ci supporte, le recourant présente ensuite un nouveau calcul des contributions en appliquant une autre méthode qu'il estime correcte. Puis, sur la base des montants qu'il obtient, il soutient que ceux de la cour cantonale sont ouvertement erronés puisqu'ils ne prenaient pas en considération les allocations familiales.
4.3. Lorsque le recourant fait grief à la cour cantonale d'avoir attribué dans le calcul des contribution d'entretien sa part des allocations familiales de 150 fr. par enfant à la mère sans explication, il oublie que le premier juge avait déjà pris en compte cette part pour calculer sa participation aux coûts directs des enfants à verser à la mère, au moment de tenir compte des coûts que chaque parent paye effectivement pour les enfants. L'arrêt querellé ne fait en outre que reprendre la méthode de calcul appliquée dans la décision de première instance pour arrêter cette participation. Etant donné qu'il n'apparaît pas que le recourant ait contesté le calcul opéré par le premier juge en appel, en particulier dans son mémoire du 1er février 2021, sa critique ne respecte pas le principe d'épuisement des griefs (cf. supra consid. 2.3). Partant, elle est irrecevable sur ce point.
Au surplus, l'exposé du recourant ne permet pas de démontrer que la conclusion à laquelle il arrive, à savoir que les moyens dont bénéficie la mère pour couvrir les charges des enfants sont plus importants que les factures qu'elle doit effectivement payer pour eux et qu'ainsi les allocations profitent à la mère, est causée par l'absence de prise en compte des allocations familiales comme le postule le recourant. Celui-ci n'explique en effet pas quelle étape du calcul des contributions ou du raisonnement aurait conduit la cour cantonale à ne pas tenir compte des allocations familiales, étant relevé que l'arrêt querellé attribue la moitié des allocations familiales à chaque parent, à l'instar de la décision de première instance, et que le recourant ne remet pas en cause les chiffres retenus par la cour cantonale en lien avec la part des coûts directs des enfants à charge de chaque partie et la part des dépenses effectives des enfants supportés par les époux puisqu'il les reprend pour procéder à son propre calcul des contributions. Il n'est donc pas possible, sur la base de son argumentation, de vérifier si son postulat, et ainsi son grief d'arbitraire, est correct. Il s'ensuit qu'autant que recevable, sa critique doit être rejetée pour le surplus, faute de motivation suffisante.
5.
Toujours en soulevant un grief d'arbitraire, le recourant reproche à la cour cantonale d'avoir réparti de manière erronée entre les parties la part de l'excédent revenant aux enfants.
5.1. La cour cantonale a retenu qu'après couverture des coûts directs des enfants et du minimum vital du droit de la famille des parties, celles-ci bénéficiaient encore d'un excédent arrondi de 5'790 fr. du 1er mars 2020 au 30 novembre 2020 et de 4'820 fr. dès le 1er décembre 2020. Compte tenu de l'arrêt 5A_311/2019, chaque enfant participait à raison de 1/6 de l'excédent, soit à hauteur d'un montant mensuel de 965 fr. chacun (1/6 de 5'790 fr.) pour la première période précitée et de 803 fr. chacun (1/6 de 4'820 fr.) pour la seconde. La part de ces montants à charge du père pour chaque enfant s'élevait ainsi à respectivement 529 fr. 80 (54.9% de 965 fr.) et 498 fr. 70 par mois (62,1% de 803 fr.) et celle de la mère à 435 fr. 20 (45,1% de 965 fr.) et 304 fr. 30 par mois (37,9% de 803 fr.). Après compensation, le père devait dès lors verser à la mère, à titre de participation à l'excédent de chacun des enfants, 94 fr. 60 par mois (529 fr. 80 - 435 fr. 20) du 1er mars au 30 novembre 2020 et 194 fr. 40 par mois (498 fr. 70 - 304 fr. 30) dès le 1er décembre 2020, ces montants s'ajoutant à ceux dus par le père à titre de participation aux coûts directs déterminés précédemment (cf. supra consid. 4.1).
5.2. Le recourant expose en substance que la cour cantonale avait commis une erreur de raisonnement, respectivement de calcul, en retenant que sa part de l'excédent comprise dans les contributions d'entretien était de 94 fr. 60, par mois et par enfant, pour la première période et de 194 fr. 40 pour la seconde. Il soutient que cette part aurait dû être de 47 fr. 30, respectivement de 97 fr. 20, dans la mesure où la cour cantonale avait par inadvertance mis l'entier de la différence à sa charge, au lieu de la diviser par deux entre les époux comme cela devait pourtant être le cas lorsque les parents prenaient en charge les enfants de manière égale comme en l'espèce.
5.3. En réponse à cet argument, l'intimée relève dans sa réponse que le disponible sert principalement à la couverture des loisirs des enfants. Vu que les loisirs n'avaient pas été pris en compte dans leurs coûts directs, la répartition de l'excédent opérée par la cour cantonale était équitable étant donné qu'elle permettait de tenir compte du fait que, depuis la séparation, elle réglait majoritairement les frais de loisirs des enfants. L'intimée ajoute que la cour cantonale avait en revanche fait preuve d'arbitraire étant donné que, pour établir le disponible des parties, elle avait dressé leurs budget respectifs.
5.4. Il apparaît en effet que la cour cantonale a manifestement oublié de diviser en deux l'excédent du couple après avoir compensé le solde disponible de chacun des époux, de sorte que le grief du recourant doit être admis sur ce point. Les considérations de l'intimée ne sont pas de nature à remettre en cause cette admission. En effet, la constatation selon laquelle elle prendrait majoritairement en charge les frais de loisirs des enfants ne ressort pas de l'arrêt querellé, sans qu'un grief d'arbitraire en lien avec l'établissement de ce fait soit valablement soulevé (cf. supra consid. 2.2) et l'intimée n'expose pas, de manière claire et détaillée, en quoi le fait de tenir compte du budget des parties pour établir leur disponible serait arbitraire (art. 106 al. 2 LTF; cf. supra consid. 2.1).
Compte tenu de l'admission du grief du recourant, il y a lieu de procéder à un nouveau calcul des contributions d'entretien en faveur des enfants en partageant par moitié la part de l'excédent à sa charge revenant aux enfants. Sur la base des chiffres retenus par la cour cantonale (art. 105 al. 1 LTF), le recourant doit ainsi verser des contributions d'entretien mensuelles d'un montant arrondi en faveur de C._ de 300 fr. (253 fr. + 94 fr. 60 / 2) du 1er mars au 30 novembre 2020, de 593 fr. (496 fr. + 194 fr. 40 / 2) du 1er décembre 2020 au 30 avril 2021, puis de 324 fr. (227 fr + 194 fr. 40 / 2) dès le 1er mai 2021, et en faveur de D._ de 330 fr. (282 fr. + 94 fr. 60 / 2) du 1er mars au 30 novembre 2020, de 626 fr. (529 + 194 fr. 40 / 2) du 1er décembre 2020 au 30 avril 2021, puis de 357 fr. (260 fr. + 194 fr. 40 / 2) dès le 1er mai 2021.
6.
Selon ce qu'il vient d'être exposé, un des griefs soulevés par le recourant a été admis. L'intimée formule dans sa réponse plusieurs critiques contre l'arrêt querellé, qui ne sont pas directement en lien avec les griefs soulevés par le recourant. Ces critiques sont valables, une partie intimée ayant la faculté de présenter des griefs contre la décision attaquée pour le cas où les arguments de la partie adverse seraient suivis (<ref-ruling> consid. 6.2). Elles doivent donc être examinées.
6.1. L'intimée reproche à la cour cantonale d'avoir procédé à une constatation inexacte des faits en considérant que, pour le mois de novembre 2020, un montant de 138 fr. 25 devait être inclus dans ses revenus, au motif qu'il s'agissait d'indemnités journalières. Se référant aux " pièces produites ", elle indique que ce montant était en réalité des allocations enfants, de sorte qu'il ne devait pas être comptabilisé à titre de revenu.
Faute pour l'intimée de préciser les pièces d'où elle tire cette information, son grief d'arbitraire ne respecte pas les exigences requises (cf. art. 106 al. 2 LTF; cf. supra consid. 2.1), le Tribunal fédéral ne pouvant être tenu d'aller compulser lui-même dans le dossier les pièces permettant d'appuyer les allégations d'une partie.
6.2. L'intimée soutient également que les revenus du recourant auraient été arrêtés de manière arbitraire.
6.2.1. La cour cantonale a relevé que les contributions d'entretien devaient être allouées à compter du 1er mars 2020, de sorte que la question des revenus réalisés par le mari entre 2016 et 2019 n'était pas déterminante et pouvait être laissée ouverte. Il apparaissait d'autant moins justifié de tenir compte des revenus obtenus par le mari durant cette période que l'activité professionnelle et l'ampleur de des revenus de celui-ci avaient été fortement impactées par la diminution de trafic aérien en raison de la pandémie de Covid-19 qui avait débuté en mars 2020, l'intéressé ayant notamment vu ses primes de vol diminuer.
Par surabondance, la cour cantonale a relevé que l'on ne pouvait pas déterminer les revenus réalisés par le mari entre 2016 et 2019 comme le préconisait l'épouse. Premièrement, il n'était pas possible de déterminer lesdits revenus en additionnant simplement les montants ayant été crédités sur le compte xxx xxxxxx du mari, dès lors que l'on ignorait la nature de certains de ces montants, respectivement s'il s'agissait de revenus ou d'autres éléments d'actifs. L'épouse n'avait au demeurant pas établi que le mari avait bénéficié de revenus accessoires durant les années en question, pas plus d'ailleurs qu'en 2020. A cet égard, elle se bornait à affirmer que son mari aurait perçu certains montants en lien avec la vente d'actions, sans fournir d'explications quant à la manière dont elle avait déterminé ceux-ci. On ignorait notamment si l'épouse faisait référence au produit brut de la vente de titres, sans déduction préalable de leur valeur d'achat, ou au produit net qui peut seul constituer un revenu. Les extraits de compte de l'époux ne permettaient pas d'élucider ce point, ni d'ailleurs de corroborer les montants invoqués par l'épouse. Celle-ci n'établissait pas non plus que le mari avait bénéficié de revenus en lien avec une quelconque activité au sein de sociétés basées en France. Ses assertions à cet égard n'étaient fondées sur aucun élément de preuve, de sorte qu'elles ne pouvaient être retenues. En conséquence, il convenait de se baser sur les fiches de salaire versées au dossier pour arrêter les revenus de l'époux, soit celles relatives aux mois d'avril à novembre 2020. Il y avait toutefois lieu, comme le requérait l'épouse, de tenir compte également d'un montant versé au mari à titre de salaire afférant au mois de décembre 2020 et du treizième salaire, le mari ayant confirmé lors de l'audience d'appel avoir bénéficié d'un treizième salaire. Une somme de EUR 15'466,46 - correspondant à deux fois le salaire moyen de EUR 7'733,23 réalisé par le mari entre avril et novembre 2020 - serait retenue à ce titre. Il convenait en outre de tenir compte des indemnités journalières accident perçues par celui-ci entre le 9 octobre et le 26 novembre 2020, à hauteur de EUR 2'231,95. L'épouse n'établissait en revanche pas que son mari avait aussi bénéficié d'indemnités d'assurance vol, en sus des indemnités journalières précitées. Son affirmation en ce sens ne reposant sur aucun élément de preuve, il n'y avait pas lieu d'en tenir compte. La capacité financière du mari devait ainsi être arrêtée à 9'370 fr. 85 par mois.
6.2.2. L'intimée reproche à la cour cantonale de n'avoir pas tenu compte des revenus perçus par son mari de janvier à mars 2020, contrairement à ce qui avait été retenu pour elle. La cour cantonale avait également fait preuve d'arbitraire en effectuant une moyenne des salaires de son mari perçus entre avril et novembre 2020 dans la mesure où le treizième salaire de celui-ci n'était pas simplement fixé en doublant son salaire. Il convenait ainsi de se baser sur ses revenus perçus entre 2016 et 2019 pour la même période vu qu'il n'avait pas produit sa fiche de salaire de décembre 2020 pourtant requise. En outre, chaque année durant le même mois, celui-ci épargnait une partie de son revenu mensuel brut, déduit sous le poste " cumul retraite sup ", qui devait être pris en compte dans son salaire. L'intimée conteste en outre l'appréciation de la cour cantonale selon laquelle elle n'avait pas rendu vraisemblable que son mari percevait des revenus supplémentaires. Elle avait requis la production de nombreuses pièces et avait pu rendre vraisemblable le versement de montants supplémentaires à son salaire de pilote sur le compte xxx xxxxxx. La cour cantonale avait dès lors violé le droit fédéral et la jurisprudence en se contentant de dire que l'on ignorait la provenance de cet argent, sans instruire d'avantage. Il avait en outre été rendu vraisemblable que son mari avait contracté des assurances vol et avait donc la possibilité de percevoir des indemnités, sans toutefois que l'autorité cantonale requiert la production des pièces correspondantes. Selon l'intimée, il était choquant de retenir en faveur de son mari un revenu annuel net de 106'085 fr., alors que pour les années antérieures il avait perçu un revenu de 200'193 fr. Son mari n'avait pas rendu vraisemblable que ses revenus auraient durablement diminué en raison de la crise sanitaire et, si sa situation financière avait pu être affectée, ce n'était que de manière momentanée. Il en résulte que son revenu mensuel net devait être fixé à au moins 13'500 fr.
6.2.3. Les considérations de l'intimée concernant les primes d'assurance vol ou le treizième salaire 2020 du mari doivent être écartées, dès lors qu'elles sont contredites par l'arrêt querellé et qu'elles ne prennent appui sur aucun élément du dossier. Il en va de même de la critique en lien avec les déductions du salaire de l'époux opérées à titre de " cumul retraite sup ", dès lors que l'intimée ne fait qu'affirmer, sans explication, que ces montants déduits devraient être pris en considération pour établir la situation financière de l'époux. Quant à l'absence de prise en compte des versements supplémentaires perçus sur le compte xxx xxxxxx, l'intimée ne s'en prend pas aux motifs de l'arrêt querellé concernant son manque de motivation; elle n'expose pas non plus en quoi les pièces dont elle avait requis la production - sans que l'on sache à la lecture du mémoire à quelles pièces elle fait référence, l'intimée se limitant à affirmer avoir requis la production de " nombreuses pièces " - auraient permis d'établir qu'il s'agissait de revenus supplémentaires. Au surplus, l'intimée se borne à affirmer que la situation financière de son mari n'aurait pas été affectée durablement par la situation sanitaire, sans démontrer en quoi l'appréciation de la cour cantonale de prendre en considération uniquement les revenus de l'époux à partir de mars 2020, serait insoutenable. Appellatoires, les critiques de l'intimée sur l'établissement des revenus de l'époux sont ainsi irrecevables, faute de motivation suffisante (art. 106 al. 2 LTF).
6.3.
6.3.1. L'intimée fait en outre grief à la cour cantonale d'avoir raisonné de manière erronée en considérant qu'il fallait inclure les frais d'amortissement de la dette hypothécaire et une assurance-vie dans les charges du recourant, contrairement à ce qu'avait retenu le juge de première instance et sans motiver sa décision. Elle relève qu'une prime d'assurance-vie constitue une épargne et participe à la constitution du patrimoine de sorte que le juge avait fait preuve d'arbitraire en tenant compte d'une telle prime dans les charges de l'époux.
6.3.2. Il n'apparaît pas que l'intimée soulève de grief d'ordre constitutionnel en lien avec sa critique sur l'amortissement de la dette. Partant, cette critique est irrecevable (cf. supra consid. 2.1), étant relevé qu'au demeurant la cour cantonale a motivé sa décision en indiquant que, conformément à la jurisprudence, la situation financière favorable des parties permettait de tenir compte de l'amortissement hypothécaire relatif à la demeure conjugale dans les charges de l'époux, de sorte que sa critique est de toute manière infondée sur ce point. Concernant les primes d'assurance-vie, l'intimée se limite à soutenir, par une considération purement théorique, que leur paiement n'entre pas dans le minimum vital élargi du droit de la famille, sans expliquer en quoi cette règle trouverait concrètement application. Ce faisant, elle échoue à démontrer en quoi le raisonnement de la cour cantonale serait arbitraire en l'espèce, étant relevé que le Tribunal fédéral a déjà admis que, dans certaines circonstances, il n'était pas arbitraire de tenir compte de telles primes dans les charges d'un époux, notamment lorsque le paiement de celles-ci est indispensable au maintien du revenu du débirentier (voir notamment arrêt 5A_703/2011 du 7 mars 2012 consid. 4.3). Autant que recevable, cette critique doit donc être rejetée.
Il résulte de ce qui précède que l'ensemble des critiques de l'intimée doit être écarté et qu'ainsi les contributions d'entretien en faveur des enfants doivent être réformées dans le sens indiqué précédemment (cf. supra consid. 5.4).
7.
En conclusion, le recours doit être partiellement admis, dans la mesure où il est recevable. L'arrêt attaqué est annulé sur la question des contributions dues par le recourant pour l'entretien des enfants et réformé au sens des considérants (cf. supra consid. 5.4). Le recours est rejeté pour le surplus. Vu l'issue du litige, il se justifie de mettre les frais judiciaires pour 2/3 à la charge du recourant et pour 1/3 à la charge de l'intimée, celle-ci ayant conclu au rejet de l'entier du recours (art. 66 al. 1 LTF). Le recourant versera en outre une indemnité de dépens réduite à l'intimée (art. 68 al. 1 et 2 LTF). La cause est renvoyée à l'autorité cantonale pour qu'elle statue à nouveau sur les frais et dépens de la procédure cantonale.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est partiellement admis, dans la mesure où il est recevable. L'arrêt attaqué est annulé sur la question des contributions d'entretien en faveur des enfants et réformé en ce sens que A.A._ versera, d'avance le premier de chaque mois en mains de son épouse B.A._, des contributions d'entretien mensuelles en faveur de sa fille C._ de 300 fr. du 1er mars au 30 novembre 2020, de 593 fr. du 1er décembre 2020 au 30 avril 2021, puis de 324 fr. dès le 1er mai 2021, et en faveur de son fils D._ de 330 fr. du 1er mars au 30 novembre 2020, de 626 fr. du 1er décembre 2020 au 30 avril 2021, puis de 357 fr. dès le 1er mai 2021. Le recours est rejeté pour le surplus.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis pour 2'000 fr. à la charge du recourant et pour 1'000 fr. à la charge de l'intimée.
3.
Le recourant versera à l'intimée une indemnité de 1'000 fr. à titre de dépens réduits.
4.
La cause est renvoyée à l'autorité cantonale pour nouvelle décision sur les frais et dépens de la procédure cantonale.
5.
Le présent arrêt est communiqué aux parties et à la Juge déléguée de la Cour d'appel civile du Tribunal cantonal du canton de Vaud.
Lausanne, le 21 février 2022
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
Le Greffier : Piccinin