Faits :
A.
A._, né en 1985, et B._, née en 1983, se sont mariés le 22 mai 2014. Deux enfants jumeaux sont issus de cette union, C._ et D._, nés en 2017.
B.
Par ordonnance de mesures protectrices de l'union conjugale du 14 mai 2021, la Présidente du Tribunal civil de l'arrondissement de l'Est vaudois a notamment condamné l'époux à contribuer à l'entretien de ses enfants par le versement mensuel d'un montant de 285 fr. chacun, allocations familiales en sus, dès et y compris le 1er juillet 2020.
Par arrêt du 17 août 2021, la Juge déléguée de la Cour d'appel civile du Tribunal cantonal du canton de Vaud a partiellement admis l'appel interjeté par la mère. Elle a réformé l'ordonnance précitée en ce sens que le montant des contributions d'entretien dues par l'époux en faveur de chaque enfant est fixé à 850 fr. par mois et que l'époux est condamné à verser une contribution d'entretien de 80 fr. par mois en faveur de son épouse.
C.
Par acte du 21 septembre 2021, A._ exerce un recours en matière civile au Tribunal fédéral. Il conclut, à titre principal, à l'annulation de l'arrêt cantonal en ce sens que l'ordonnance de mesures protectrices de l'union conjugale du 14 mai 2021 est confirmée. Subsidiairement, il demande le renvoi de la cause à la cour d'appel pour nouvelle instruction et nouveau jugement conformément aux considérants de l'arrêt rendu. À titre préalable, il requiert l'octroi de l'effet suspensif au recours.
Des déterminations sur le fond de la cause n'ont pas été requises.
D.
Invitées à se déterminer sur la requête d'effet suspensif, la Cour d'appel civile s'en est remise à justice et l'intimée a conclu à son rejet.
Par ordonnance du 12 octobre 2021, le Président de la Cour de céans a accordé l'effet suspensif pour les arriérés de contributions dues jusqu'à la fin du mois précédant le dépôt de la requête d'effet suspensif, mais l'a refusé pour l'avenir.

Considérant en droit :
1.
Déposé en temps utile (art. 45 al. 1 et 2 et art. 100 al. 1 LTF) et dans la forme légale (art. 42 al. 1 LTF), le recours est dirigé contre une décision finale (art. 90 LTF; <ref-ruling> consid. 4) rendue par une autorité supérieure statuant en dernière instance cantonale et sur recours (art. 75 LTF), dans une affaire civile (art. 72 al. 1 LTF; <ref-ruling> consid. 2) de nature pécuniaire dont la valeur litigieuse atteint le seuil de 30'000 fr. (art. 51 al. 1 let. a, 51 al. 4 et 74 al. 1 let. b LTF). Le recourant a participé à la procédure devant l'autorité précédente et a un intérêt digne de protection à la modification ou l'annulation de la décision entreprise (art. 76 al. 1 let. a et b LTF). Le recours est donc en principe recevable.
2.
2.1. Dès lors que la décision attaquée porte sur des mesures provisionnelles au sens de l'art. 98 LTF (<ref-ruling> consid. 1.1; <ref-ruling> consid. 5, 585 consid. 3.3), le recourant ne peut dénoncer que la violation de ses droits constitutionnels. Le Tribunal fédéral n'examine de tels griefs que s'ils ont été invoqués et motivés par le recourant (" principe d'allégation "; art. 106 al. 2 LTF), c'est-à-dire s'ils ont été expressément soulevés et exposés de manière claire et détaillée (<ref-ruling> consid. 2.1; <ref-ruling> consid. 5.1). Le recourant ne peut se borner à critiquer la décision attaquée comme il le ferait en procédure d'appel, où l'autorité de recours jouit d'une libre cognition, notamment en se contentant d'opposer sa thèse à celle de l'autorité précédente; les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 2.4; <ref-ruling> consid. 2.3 et les références). En particulier, une décision ne peut être qualifiée d'arbitraire (art. 9 Cst.) que si elle est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et indiscuté, ou heurte de manière choquante le sentiment de la justice et de l'équité (<ref-ruling> consid. 5.1; <ref-ruling> consid. 7.3; <ref-ruling> consid. 4.1); il ne suffit pas qu'une autre solution paraisse concevable, voire préférable; pour que cette décision soit annulée, encore faut-il qu'elle se révèle arbitraire non seulement dans ses motifs, mais aussi dans son résultat (<ref-ruling> consid. 6.2.1; <ref-ruling> consid. 7.1, 170 consid. 7.3).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut s'en écarter que si ceux-ci ont été constatés de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF), et si la correction du vice est susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF). Le recourant qui soutient que les faits ont été établis d'une manière manifestement inexacte, c'est-à-dire arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 6.7; <ref-ruling> consid. 2.2 et la référence), doit satisfaire au principe d'allégation susmentionné (art. 106 al. 2 LTF; cf. supra consid. 2.1). Une critique des faits qui ne satisfait pas à cette exigence est irrecevable (<ref-ruling> consid. 1.1).
En l'occurrence, la partie intitulée " Faits " de l'acte de recours sera ignorée en tant que les éléments qui y sont exposés ne sont pas expressément visés par un grief d'arbitraire dans l'établissement des faits, qu'ils s'écartent de ceux contenus dans la décision attaquée et que le recourant n'invoque par ailleurs pas, ni a fortiori ne démontre, qu'ils auraient été constatés de manière insoutenable ou que leur correction influerait sur le sort de la cause.
2.3. Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (art. 99 al. 1 LTF). Cette exception, dont il appartient au recourant de démontrer que les conditions sont remplies, vise les faits qui sont rendus pertinents pour la première fois par la décision attaquée (<ref-ruling> consid. 1.2 et la référence; arrêt 5A_904/2015 du 29 septembre 2016 consid. 2.3 non publié in <ref-ruling>). Il peut s'agir de faits et moyens de preuve qui se rapportent à la régularité de la procédure devant la juridiction précédente ou qui sont déterminants pour la recevabilité du recours au Tribunal fédéral ou encore qui sont propres à contrer une argumentation de l'autorité précédente objectivement imprévisible pour les parties avant la réception de la décision (arrêts 5A_1015/2020 du 30 août 2021 consid. 2.3; 5A_534/2019 du 31 janvier 2020 consid. 2.3; 5A_904/2015 précité consid. 2.3). En dehors de ces cas, les nova ne sont pas admissibles, qu'il s'agisse de faits ou moyens de preuve survenus postérieurement à la décision attaquée (<ref-ruling> consid. 5.2.4; <ref-ruling> consid. 1.2 et les références) ou d'éléments que les parties ont négligé de présenter aux autorités cantonales (<ref-ruling> consid. 1.2; <ref-ruling> consid. 4.4.3).
En l'espèce, le recourant joint à son écriture les déclarations d'impôt 2018 et 2019 (pièces 3 et 4) ainsi que la décision de taxation et calcul de l'impôt 2018 (pièce 5) de sa société. Il ne ressort pas de l'arrêt querellé que ces pièces auraient été produites devant les juridictions précédentes. Le recourant ne le prétend d'ailleurs pas. Il ne démontre pas non plus que la production de ces pièces nouvelles satisfasse aux conditions de l'art. 99 al. 1 LTF. Partant, ces pièces, de même que les allégués du recourant qui se fondent sur celles-ci, sont irrecevables. Ils peuvent d'emblée être écartés.
3.
Mentionnant au début de sa motivation l'art. 97 LTF, le recourant reproche d'abord à la cour cantonale d'avoir imputé un revenu supplémentaire à son salaire.
3.1. Après avoir rappelé que, conformément à la jurisprudence, la détermination du revenu d'un indépendant pouvait se faire en référence aux prélèvements privés sur les comptes de sa société, la cour cantonale a relevé qu'en l'occurrence, durant les années 2016 à 2019, les comptes de la société, dont le mari était salarié et associé-gérant unique, faisaient mention de dettes ou de versements à l'égard du mari et que celui-ci n'avait pas toujours indiqué ces versements dans ses déclarations d'impôt privées. En 2017, le bilan de la société ne faisait état d'aucun actif concernant le mari. Il indiquait toutefois un passif " Autres dettes à court terme - C/c actionnaire " de 7'322 fr. 71, ce qui signifiait que la société lui devait cette somme. Etant donné que le mari avait déclaré un montant de 7'323 fr. aux impôts en 2017 dans sa déclaration fiscale privée en lien avec sa société, ce montant ne pouvait s'agir d'un prélèvement, mais il s'apparentait à un prêt. En 2018, le bilan de la société faisait mention, toujours sous les mêmes rubriques, d'un actif de 18'321 fr. 37 fr. en faveur du mari et n'indiquait rien au passif. Il ressortait de la décision de taxation privée 2018 de celui-ci qu'il n'avait pas déclaré le montant précité à l'administration fiscale. Il y avait lieu d'admettre qu'il ne se considérait pas débiteur de ce montant envers sa société et qu'il ne s'agissait pas d'un emprunt, mais d'un prélèvement. Entre 2017 et 2018, ce poste du bilan était passé d'un passif de 7'322 fr. 71 à un actif de 18'321 fr. 37, de sorte que le prêt effectué en 2017 avait, selon toute vraisemblance, été remboursé durant l'année en question. Il apparaissait donc que, cette année-là, le mari avait effectué des prélèvements sur les comptes de sa société de l'ordre de 25'644 fr. 08, avec pour conséquence que ce montant devait être ajouté à ses revenus. En 2019, le bilan de la société faisait cette fois état d'un actif de 30'167 fr. 92. Cette année-là également, rien ne figurait au passif du bilan et rien n'apparaissait à cet égard dans la déclaration d'impôt 2018 du mari. Il y avait par conséquent lieu d'en déduire que l'intéressé ne se considérait pas débiteur de sa société et qu'il avait dès lors vraisemblablement effectué des prélèvements sur les comptes de celle-ci de 11'846 fr. 55 (30'167 fr. 92 - 18'321 fr. 37) durant l'année 2019. Ce montant devait donc également être ajouté à ses revenus. Au regard de ce qui précédait, la cour cantonale a ainsi considéré qu'il apparaissait qu'entre 2017 et 2019, le mari avait prélevé en moyenne un montant de 1041 fr. 40 (0 fr. + 25'644 fr. 08 + 11'846 fr. 55 / 36 mois) par mois sur les compte de sa société et que ce montant devait être ajouté au salaire mensuel net moyen de 5'373 fr. 70 retenu dans l'ordonnance de mesures protectrices. Ainsi, son revenu mensuel net total s'élevait à une somme arrondie de 6'415 fr.
3.2. Le recourant prétend que la cour cantonale a commis une première erreur, car les comptes de la société retenaient des montants de 7'322 fr. 71 en 2017, de 10'998 fr. 66 en 2018 et de 11'846 fr. 55 en 2019, totalisant ainsi un montant arrondi de 30'168 fr. Il soutient que l'arrêt querellé prendrait à deux reprises en compte le montant de 7'322 fr. 71, étant donné que les comptes de la société font le cumul des prêts 2017 et 2018 pour arriver à la somme de 18'321 fr. 37. Cette manière de faire serait erronée dans la mesure où il n'y avait qu'un seul prêt et non pas deux. Le recourant fait également valoir que la cour cantonale ne pouvait pas considérer lui et sa société comme une seule et unique entité économique, sans examiner également la situation fiscale de la société. Il avait fourni toutes pièces requises et ordonnées démontrant ses revenus et charges. La cour cantonale ne pouvait ainsi pas se fonder sur sa seule déclaration d'impôt, dans laquelle il avait certes omis d'y insérer ses dettes, pour en tirer la conclusion que les prêts de la société étaient des revenus. Si la cour cantonale désirait tirer de telles conclusions depuis sa déclaration d'impôt, elle aurait dû requérir la production des déclarations d'impôt de sa société et aurait constaté que la somme totale de 30'168 fr. était bel et bien déclarée sous la rubrique " Total des créances / prêts envers des actionnaires, des proches et / ou des sociétés du groupe ". En omettant de le faire, la cour cantonale avait procédé à une appréciation arbitraire des moyens de preuve au sens de l'art. 97 LTF et en violation de l'art. 9 Cst.
En tant qu'il se réfère aux déclarations d'impôt de sa société, le recourant fonde sa critique sur des pièces nouvelles, partant irrecevables (cf. supra consid. 2.3). Ses explications selon lesquelles les comptes de sa société feraient le cumul des prêts de 2017 et 2018 ou qu'il n'y aurait qu'un seul prêt ne sont pas intelligibles. Elles ne permettent pas de comprendre pourquoi la cour cantonale aurait pris en compte à deux reprises le montant de 7'322 fr. 71 en retenant que le recourant avait prélevé le montant de 25'644 fr. 08 entre 2017 et 2018, compte tenu du fait que le poste " Autres dettes à court terme - C/c actionnaire " du bilan était passé d'un passif de 7'322 fr. 71 en 2017 à un actif de 18'321 fr. 37 en 2018. Par ailleurs, l'opinion du recourant selon laquelle la cour cantonale aurait dû requérir d'office les déclarations de sa société est erronée. On ne saurait en effet reprocher à la cour cantonale d'avoir mal instruit la cause dont elle était saisie, en renonçant à ordonner l'édition de pièces que le recourant aurait raisonnablement pu produire lui-même. Il n'en va pas différemment lorsque, comme en l'espèce s'agissant de la question des contributions d'entretien en faveur des enfants, la procédure est soumise à la maxime inquisitoire, cette maxime trouvant ses limites dans l'obligation des parties de collaborer à l'administration des preuves (parmi d'autres, arrêt 5A_695/2020 du 26 avril 2021 consid. 3.3). Le grief doit ainsi être rejeté, dans la mesure de sa recevabilité (cf. supra consid. 2.1).
4.
En lien avec ses charges, le recourant conteste que la cour cantonale n'ait pas retenu dans ses charges le leasing de sa voiture et ses frais de repas.
5. La cour cantonale a considéré que, quand bien même l'on pouvait admettre que le mari avait besoin d'un véhicule pour exercer son droit aux relations personnelles et, dans certains cas, pour exercer son activité professionnelle, la situation financière des parties, bien qu'elle n'était pas entièrement défavorable, ne permettait toutefois pas de prendre en considération un leasing aussi onéreux que celui dont il s'acquittait, l'entretien de sa famille devant occuper une place prépondérante. Le mari pouvait aller chercher ses enfants et se rendre à son travail au moyen d'un véhicule d'une valeur plus faible. Il y avait donc lieu de retenir des frais de leasing du même montant que ceux de l'épouse, à savoir de 335 fr. par mois, en lieu et place des 646 fr. 80 retenus par le premier juge. Concernant les frais de repas, la cour cantonale a notamment relevé que la comptabilité de la société du mari indiquait des postes intitulés " frais de voyage et de représentation " pour plus de 5'000 fr. pour les années 2017 à 2019, ce qui représentait une somme de plus de 400 fr. par mois. Il fallait admettre que les frais de repas étaient comptabilisés dans les comptes de la société et qu'ils ne pouvaient concerner que le mari puisqu'il était l'associé gérant unique de sa société. En outre, si cette somme ne comprenait vraisemblablement pas uniquement les frais de repas, elle devait tout de même les inclure. Il apparaissait ainsi que c'était la société du mari qui supportait les frais de repas et non lui personnellement. Il n'y avait dès lors pas lieu de tenir compte une nouvelle fois de ces frais dans ses charges.
5.1. Le recourant soutient que la cour cantonale était tombée dans l'arbitraire en estimant qu'une dépense effectuée durant l'union pour l'acquisition d'un véhicule, dont les frais de leasing s'élevaient à 646 fr. 80 par mois, étaient onéreux. Il précise avoir besoin de son véhicule pour chercher et ramener ses enfants ainsi que pour travailler. Il ne lui était par ailleurs pas possible de se séparer de son véhicule afin d'en acquérir un nouveau moins cher, sans dépenser des sommes importantes que ses moyens ne permettaient pas. Exiger de lui qu'il se sépare de son véhicule était contraire au " principe de proportionnalité ". Il en résultait que la cour cantonale avait fait une interprétation erronée de la jurisprudence citée dans son arrêt. De même, elle avait confondu les frais de représentation et de voyage avec les frais de repas, de sorte qu'elle avait eu tort de ne pas avoir tenu compte de ses frais de repas dans son minimum vital.
Lorsque le recourant expose que son véhicule aurait été acquis pendant l'union conjugale et qu'il n'aurait pas les moyens de le changer, il se prévaut de faits qui ne ressortent pas de l'arrêt querellé, partant irrecevables (cf. supra consid. 2.2). Dès lors qu'au surplus le recourant se borne à rappeler qu'il a besoin de son véhicule - ce qui a été admis par la cour cantonale - et à affirmer que la cour cantonale aurait fait une interprétation erronée de la jurisprudence citée sans même la mentionner ni s'y référer, sa motivation n'est manifestement pas conforme aux exigences de l'art. 106 al. 2 LTF (cf. supra consid. 2.1). Il s'ensuit que son grief d'arbitraire est irrecevable, étant rappelé que le principe de proportionnalité - que le recourant énonce sans que l'on comprenne le sens et la portée qu'il veut lui donner - n'est pas un droit ayant une portée propre (<ref-ruling> consid. 3.1). Sa critique sur les frais de repas est également irrecevable puisque le recourant ne soulève pas de grief d'ordre constitutionnel en lien avec celle-ci (cf. supra consid. 2.1).
6.
Vu ce qui précède, le recours doit être rejeté, dans la faible mesure de sa recevabilité. Le recourant, qui succombe, supportera les frais judiciaires (art. 66 al. 1 LTF). Il n'y a pas lieu d'allouer de dépens à l'intimée qui n'a pas été invitée à se déterminer sur le fond et n'a que partiellement obtenu gain de cause s'agissant de l'octroi de l'effet suspensif au recours (art. 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté, dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 1'200 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Juge déléguée de la Cour d'appel civile du Tribunal cantonal du canton de Vaud.
Lausanne, le 11 février 2022
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
Le Greffier : Piccinin