Faits :
A.
A.A._ et B.A._, tous deux nés en 1984, se sont mariés en 2011.
Les enfants C.A._, née en 2016, et D.A._, né en 2017, sont issus de leur union.
Les époux vivent séparés depuis le 19 novembre 2019.
B.
B.a. Le 22 janvier 2020, l'épouse a déposé une requête de mesures protectrices de l'union conjugale devant la Présidente du Tribunal civil de la Sarine (ci-après: Présidente). Les parties ont été entendues à l'occasion d'une audience tenue le 19 février 2020.
Par décision de mesures protectrices de l'union conjugale du 13 mai 2020, la Présidente a notamment confié la garde des enfants à la mère et octroyé un droit de visite au père à exercer, à défaut d'entente, un week-end sur deux, du vendredi à 18 h 00 au dimanche à 18 h 00, du mercredi dès 12 h 00 au lendemain matin et la moitié des vacances scolaires. Elle a également astreint l'époux à verser, dès le 1er décembre 2019, une contribution d'entretien mensuelle de 1'100 fr. pour C.A._ et de 1'250 fr. pour D.A._, jusqu'à l'âge de 10 ans, puis de 950 fr. pour C.A._ et de 1'100 fr. pour D.A._, allocations en sus, ainsi qu'à prendre en charge l'entier des frais extraordinaires des enfants, et a octroyé à l'épouse une contribution d'entretien de 250 fr. par mois dès le 1er février 2020.
B.b. Par arrêt du 13 août 2020, la I e Cour d'appel civil du Tribunal cantonal de l'Etat de Fribourg a partiellement admis les appels interjetés par les époux contre la décision de mesures protectrices de l'union conjugale du 13 mai 2020 et a notamment réformé cette décision en ce sens que le droit de visite du père s'exercerait d'entente entre les parties ou, à défaut d'entente, un week-end sur deux du vendredi soir à 18 h 00 au dimanche soir à 18 h 00, chaque mercredi dès 12 h 00 jusqu'au lendemain matin, le père se chargeant d'amener les enfants à la crèche, à l'école, à l'accueil extra-scolaire ou encore à tout tiers chargé de la garde des enfants, ainsi que durant la moitié des vacances scolaires, les fêtes de Noël et Nouvel An étant passées alternativement chez l'un et l'autre des parents. La décision entreprise a également été réformée en ce sens que le père contribuerait à l'entretien des enfants par le versement mensuel, en mains de la mère, d'une pension en faveur de C.A._ de 1'000 fr. jusqu'à l'âge de 10 ans révolus, puis de 800 fr., et en faveur de D.A._ de 1'680 fr. jusqu'aux 10 ans de sa soeur, de 1'880 fr. jusqu'à l'âge de 10 ans révolus, puis de 1'750 fr., allocations familiales et/ou employeur dues en sus. La cour cantonale a constaté qu'il manquait, pour assurer l'entretien convenable de D.A._, un montant mensuel de 268 fr. 90 du 1er décembre 2019 au 31 mars 2026, puis de 68 fr. 90 du 1er avril 2026 au 31 août 2027, à la charge de l'époux, et a précisé que les pensions seraient payables d'avance, le premier de chaque mois, la première fois le 1er décembre 2019, sous déduction des montants déjà versés, qu'elles porteraient intérêt à 5 % l'an dès chaque échéance en cas de retard, qu'elles seraient sujettes à indexation et qu'elles seraient dues jusqu'à la majorité des enfants et, au-delà, jusqu'à la fin de leurs études ou de leur formation professionnelle, pour autant qu'elles se terminent dans un délai raisonnable (<ref-law>). La décision de première instance a en outre été réformée en ce sens qu'aucune contribution d'entretien n'était due entre les époux et a été confirmée pour le surplus.
C.
C.a. Par acte du 10 septembre 2020, l'époux interjette un recours en matière civile devant le Tribunal fédéral contre l'arrêt du 13 août 2020. Il conclut principalement à son annulation et au renvoi de la cause à l'autorité cantonale pour complément d'instruction et nouvelle décision et, subsidiairement, à sa réforme en ce sens qu'il contribue à l'entretien des enfants par le versement mensuel, en mains de la mère, d'une pension en faveur de chacun de 600 fr. jusqu'à l'âge de 10 ans, puis de 400 fr., allocations familiales et/ou employeur dues en sus, et que les frais et dépens d'appel soient mis à la charge de l'épouse. L'époux conclut également à ce que les frais et dépens devant le Tribunal fédéral soient mis à la charge de l'épouse et à ce que, subsidiairement, il ne soit pas perçu de frais judiciaires et qu'une indemnité d'office de 3'000 fr. soit accordée à son conseil.
L'époux sollicite le bénéfice de l'assistance judiciaire pour la procédure fédérale.
C.b. Par avis du 13 août 2021, la cour cantonale a indiqué ne pas avoir d'observations à formuler sur le fond du recours.
Dans sa réponse du 26 août 2021, l'intimée a conclu au rejet du recours.

Considérant en droit :
1.
1.1. Déposé en temps utile (<ref-law>) par une partie qui a qualité pour recourir (art. 76 al. 1 let. a et b LTF), le recours est dirigé contre une décision de mesures protectrices de l'union conjugale, à savoir une décision finale (<ref-law>; <ref-ruling> consid. 4), rendue sur recours par une autorité supérieure statuant en dernière instance cantonale (art. 75 al. 1 et 2 LTF), dans une affaire civile (<ref-law>; <ref-ruling> consid. 2) de nature non pécuniaire dans son ensemble. Le recours est donc en principe recevable au regard des dispositions qui précèdent.
1.2. Le mémoire de recours doit contenir des conclusions, c'est-à-dire indiquer quels sont les points du dispositif de l'arrêt attaqué qui sont contestés et quelles sont les modifications qui sont demandées (<ref-law>; arrêt 5A_159/2020 du 4 mai 2020 consid. 2.3 et les références). L'application du principe de la confiance impose d'interpréter les conclusions à la lumière de la motivation; l'interdiction du formalisme excessif commande, pour sa part, de ne pas se montrer trop strict dans la formulation des conclusions si, à la lecture du mémoire, on comprend clairement ce que veut le recourant (arrêts 5A_648/2020 du 12 juillet 2021 consid. 2.3 et les références; 5A_127/2020 du 22 avril 2021 consid. 1.2 et les références).
En l'espèce, les motifs du recours concernent le montant des contributions d'entretien dues aux enfants, que le recourant souhaite voir réduites, ainsi que la mise en oeuvre d'une thérapie conjugale. Or l'époux ne prend de conclusions que sur la première question et non sur la seconde. Cette omission peut toutefois demeurer sans conséquence, dès lors que l'écriture du recourant permet de déterminer qu'il requiert le prononcé d'une thérapie conjugale. Le recours est donc également recevable à cet égard.
2.
2.1. Comme la décision entreprise porte sur des mesures provisionnelles au sens de l'<ref-law> (<ref-ruling> consid. 5.2), la partie recourante ne peut dénoncer que la violation de droits constitutionnels. Le principe de l'application du droit d'office étant limité dans la procédure devant le Tribunal fédéral, ce dernier n'examine de tels griefs que s'ils ont été invoqués et motivés par le recourant (" principe d'allégation ", <ref-law>), c'est-à-dire s'ils ont été expressément soulevés et exposés de manière claire et détaillée (<ref-ruling> consid. 2.1; <ref-ruling> consid. 2; <ref-ruling> consid. 2.4). Il ne traite donc pas les questions qui ne sont plus discutées par les parties (ATF <ref-ruling> consid. 2.4; <ref-ruling> consid. 2 et les références).
Pour satisfaire à son obligation de motiver, le recourant qui se plaint de la violation d'un droit fondamental ne peut se borner à critiquer la décision attaquée comme il le ferait en instance d'appel, où l'autorité de recours jouit d'une libre cognition; il ne peut, en particulier, se contenter d'opposer sa thèse à celle de l'autorité cantonale, mais doit démontrer ses allégations par une argumentation précise (<ref-ruling> consid. 3; <ref-ruling> consid. 3.2). Le Tribunal fédéral n'entre pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 2.1; <ref-ruling> consid. 2.4; <ref-ruling> consid. 2.3).
D'après la jurisprudence, une décision est arbitraire (art. 9 Cst.) lorsqu'elle est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et indiscuté, ou heurte de manière choquante le sentiment de la justice et de l'équité; il ne suffit pas qu'une autre solution paraisse concevable, voire préférable; pour que cette décision soit annulée, encore faut-il qu'elle se révèle arbitraire, non seulement dans ses motifs, mais aussi dans son résultat (<ref-ruling> consid. 1.3.1; <ref-ruling> consid. 1.1; <ref-ruling> consid. 2).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si ces faits ont été constatés de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>), et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>; <ref-ruling> consid. 1.3.1). Le recourant qui soutient que les faits ont été établis d'une manière manifestement inexacte, c'est-à-dire arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 2.2; <ref-ruling> consid. 5.2.2; <ref-ruling> consid. 2.3), doit, sous peine d'irrecevabilité, satisfaire au principe d'allégation susmentionné (<ref-law>; cf. supra consid. 2.1; <ref-ruling> consid. 2.2; <ref-ruling> consid. 1.3.1).
En matière d'appréciation des preuves et d'établissement des faits, il y a arbitraire lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (<ref-ruling> consid. 4.2; <ref-ruling> consid. 1.1; <ref-ruling> consid. 2.3).
3.
Le recourant fait grief à la cour cantonale d'avoir arbitrairement arrêté le revenu de l'intimée (art. 9 Cst.) et de ne pas avoir exigé de la part de celle-ci l'exercice d'un taux d'activité de 80 %.
3.1. Selon la jurisprudence, on est en droit d'attendre du parent se consacrant à la prise en charge des enfants qu'il (re) commence à travailler ou qu'il étende son activité existante, en principe, à 50 % dès l'entrée du plus jeune enfant à l'école obligatoire, à 80 % à partir du moment où celui-ci débute le degré secondaire, et à 100 % dès la fin de sa seizième année (<ref-ruling> consid. 5.2; <ref-ruling> consid. 4.7.6; arrêts 5A_85/2021 du 26 mars 2021 consid. 7.3.2).
Celui des parents qui assume la garde et qui s'était jusqu'alors consacré entièrement ou essentiellement à la prise en charge des enfants ne peut pas être obligé, en règle générale, de (re) commencer ou d'accroître immédiatement une activité lucrative (ATF <ref-ruling> précité consid. 4.6). Cela étant, le parent qui, malgré la prise en charge des enfants, exerçait déjà une activité professionnelle pendant la vie commune ne peut se prévaloir, après la séparation, des lignes directrices adoptées par la jurisprudence au sujet du taux d'activité raisonnablement exigible (consid. 4.5 et les références citées). Par ailleurs, le parent gardien peut également être déchargé de son obligation de prise en charge autrement que par l'entrée à l'école obligatoire de l'enfant et ainsi être disponible pour exercer une activité lucrative. Pour la période antérieure à la scolarité obligatoire, il peut par exemple s'agir d'une prise en charge dans une crèche ou par une maman de jour ou, dès le moment de la scolarité obligatoire, d'une offre complémentaire de la part du jardin d'enfants ou de l'école (consid. 4.7.7).
Les lignes directrices établies par la jurisprudence ne sont toutefois pas des règles strictes et leur application dépend du cas concret; le juge du fait en tient compte dans l'exercice de son large pouvoir d'appréciation (<ref-law>; ATF <ref-ruling> consid. 4.7.9).
3.2. Au stade de la fixation des contributions d'entretien, il ressort de l'arrêt entrepris que l'autorité de première instance avait retenu que l'épouse exerçait une activité d'architecte d'intérieur à 80 % au sein de la société E._ Sàrl, dont elle était l'unique associée-gérante, pour un revenu mensuel total de 3'170 fr. La cour cantonale a indiqué qu'il n'était toutefois pas contesté qu'entre 2016 et 2019, soit principalement du temps de la vie commune, la société gérée par l'épouse lui avait versé un salaire moyen de 1'686 fr. 80 par mois. Dans la mesure où l'étendue de cette activité avait déjà été pratiquée depuis plusieurs années avant la séparation, apparemment avec l'accord du mari, il n'y avait pas matière à la revoir au stade des mesures protectrices de l'union conjugale, ni à imposer à l'épouse un changement de statut. L'autorité cantonale a par ailleurs considéré qu'il importait peu de déterminer le taux d'activité exact qu'exerçait actuellement l'intimée, celle-ci travaillant déjà, au vu de l'âge de son fils cadet, à un taux plus étendu que ce qui pourrait être exigé d'elle. Le raisonnement de la juridiction de première instance, qui avait refusé d'imputer un revenu hypothétique supérieur, ne prêtait donc pas le flanc à la critique. Cela étant, il était vrai qu'au vu du salaire réalisé, un taux de 80 % semblait trop élevé; il était plus réaliste d'estimer que l'épouse travaillait à environ 40 ou 50 %. Finalement, la cour cantonale a tenu compte d'un revenu mensuel net de l'intimée de 2'291 fr. 10, à savoir 1'686 fr. 80 de salaire, 442 fr. 30 de bénéfice non perçu et 162 fr. de revenus accessoires.
3.3. Le recourant soutient que la jurisprudence précitée relative au taux d'activité exigible de la part du parent gardien en fonction de paliers scolaires (cf. supra consid. 3.1) ne s'appliquerait pas au cas d'espèce, dès lors qu'elle ne concernerait que la (re) prise d'une activité et non l'augmentation d'une activité déjà exercée par le parent gardien. Ce faisant, l'intéressé contredit toutefois les principes jurisprudentiels clairs susexposés, de sorte que sa critique apparaît d'emblée infondée, a fortiori dans le cadre d'un examen limité à l'arbitraire.
Le recourant fait par ailleurs valoir que le taux d'activité de l'intimée avant la séparation aurait été inférieur au taux de 40 % à 50 % retenu par l'autorité cantonale. Sur ce point, il se limite toutefois à des considérations appellatoires et ne démontre pas un établissement arbitraire du fait concerné, de sorte que son grief est irrecevable, faute de motivation suffisante (cf. supra consid. 2.2).
3.4.
3.4.1. Le recourant requiert l'imputation à l'intimée d'un revenu hypothétique de 6'250 fr. par mois, correspondant selon lui à un taux d'activité de 80 %. Il reproche notamment à l'autorité cantonale d'avoir arbitrairement considéré les seuils posés par la jurisprudence relative au système des paliers scolaires (cf. supra consid. 3.1) comme des règles absolues ne souffrant aucune exception et de ne pas avoir tenu compte des particularités du cas d'espèce. Il soutient à cet égard que, durant la vie commune, les époux s'étaient organisés de manière à ce que chacun d'eux puisse continuer à travailler à 100 % pour l'époux et à 80 % pour l'épouse, de sorte qu'un tel taux d'activité devrait être immédiatement exigé de la part de cette dernière.
3.4.2. Le recourant appuie cette dernière allégation sur le fait que les enfants étaient placés à la crèche quatre jours par semaine même avant la séparation des parties. A cet égard, il se réfère à une facture produite en première instance et censée attester de la fréquentation de seize journées de crèche pour chacun des deux enfants durant le mois de janvier 2020. Cela étant, cette facture ne concerne pas la situation des enfants avant la séparation et, sur ce point, l'arrêt attaqué se limite à retenir que, du temps de la vie commune, " les enfants fréquentaient déjà majoritairement la crèche ". Dès lors que le recourant fonde son argumentation sur un fait non retenu et dont il ne démontre pas qu'il aurait été omis de manière arbitraire (cf. supra consid. 2.2), son grief est irrecevable.
Quoi qu'il en soit, quand bien même une prise en charge des enfants par des tiers à un taux de 80 % durant la vie commune serait établie, on ne saurait toutefois, sous l'angle de l'arbitraire, retenir que les époux étaient nécessairement convenus que, sur le principe, l'épouse était tenue d'exercer un taux d'activité identique. La différence entre le taux d'activité exercé par l'intimée et le nombre de jours durant lesquels les enfants étaient placés pouvait ainsi parfaitement reposer sur un accord relevant de convenances personnelles des parties.
3.4.3. Par ailleurs, le recourant fait valoir qu'en 2018, l'épouse aurait dépensé plus de 50'000 fr. pour son propre entretien en puisant dans l'héritage de sa mère, ce qui serait également censé prouver que les époux étaient convenus que, sur le principe, l'intimée devait travailler à un taux supérieur à celui exercé dans les faits. L'argument soulevé ne permet toutefois pas non plus de considérer comme arbitraire l'absence du fait litigieux dans l'arrêt cantonal dès lors que, si les déclarations de l'intimée en première instance permettent certes d'établir qu'en 2018, elle aurait effectivement utilisé une partie de l'héritage de sa mère pour participer aux charges du ménage, on ne saurait en déduire que cette participation aurait constitué une condition sine qua non à l'exercice d'une activité durant un nombre de jours inférieur à celui durant lesquels les enfants étaient placés, ce d'autant moins que les déclarations de l'épouse ne portent que sur l'année 2018 et qu'elles ne concernent pas les autres années de vie commune, également prises en compte pour déterminer la situation des parties avant la séparation.
4.
Le recourant se plaint que l'autorité cantonale aurait violé son droit à un procès équitable (art. 29 al. 1 Cst.), son droit d'être entendu (art. 29 al. 2 Cst.) ainsi que la maxime inquisitoire illimitée (<ref-law>) en refusant d'ordonner, d'une part, la production des comptes de la société de l'intimée pour les années 2013 à 2018 et, d'autre part, le détail de toutes les écritures des comptes 2018. Le recourant soulève en outre un grief de violation de la sphère privée (art. 13 Cst.).
On relèvera d'emblée qu'en tant que le recourant ne motive pas en quoi ses droits à un procès équitable (art. 29 al. 1 Cst.) et à la protection de sa sphère privée (art. 13 Cst.) auraient été violés, ses griefs y relatifs sont irrecevables, de même que sa critique relative à la violation de l'<ref-law>, qui n'est ni motivée ni même invoquée à l'aune de la violation d'un droit constitutionnel (cf. supra consid. 2.1).
4.1. Selon la jurisprudence, le droit d'être entendu découlant de l'art. 29 al. 2 Cst. comprend également pour le justiciable le droit d'obtenir l'administration des preuves pertinentes et valablement offertes, de participer à l'administration des preuves essentielles et de se déterminer sur son résultat lorsque cela est de nature à influencer la décision (<ref-ruling> consid. 4.1; <ref-ruling> consid. 2.3; <ref-ruling> consid. 6.3.1 et les références). Cette garantie constitutionnelle n'empêche pas le juge de mettre un terme à l'instruction lorsque les preuves administrées lui ont permis de se forger une conviction et que, procédant de manière non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, il a la certitude qu'elles ne pourraient l'amener à modifier son opinion. Le refus d'une mesure probatoire ne viole ainsi le droit d'être entendu des parties que si l'appréciation anticipée de la pertinence du moyen de preuve offert, à laquelle le juge a procédé, est entachée d'arbitraire (<ref-ruling> consid. 3.1.3; <ref-ruling> consid. 3.3; <ref-ruling> consid. 5.3; arrêt 5A_381/2020 du 1er septembre 2020 consid. 3.1).
4.2.
4.2.1. D'après le recourant, la production des comptes de la société gérée par l'intimée pour les années 2013 à 2018, requise en première et deuxième instances, avait pour but de démontrer, sur la base d'un comparatif avec les années précédentes, que, si l'intimée avait travaillé à un taux de 80 % durant les années 2018 et 2019, elle aurait pu gagner bien davantage que le revenu réalisé. Autrement dit, il n'était pas suffisant de se fonder uniquement sur la moyenne des quatre dernières années puisque l'intimée ne travaillait alors pas à 80 %, mais à un taux inférieur.
4.2.2. Dans l'arrêt querellé, l'autorité cantonale a retenu qu'en se fondant sur la moyenne des salaires de l'intimée pour les exercices 2016 à 2019, l'autorité de première instance était allée au-delà de ce qui était exigé par la jurisprudence, de sorte qu'il était superflu de faire produire les comptes des années 2013 à 2015, ce d'autant que ces comptes concernaient des années antérieures à la naissance des enfants et reposaient donc sur une disponibilité de la mère qui n'était plus actuelle.
4.2.3. En l'espèce, le recourant ne se plaint pas d'arbitraire dans l'appréciation anticipée de la preuve dont la production était requise, de sorte que son grief est irrecevable à l'aune de l'art. 29 al. 2 Cst. (cf. supra consid. 4.1).
4.3.
4.3.1. S'agissant de la production du détail de toutes les écritures des comptes 2018 de la société de l'intimée, le recourant se plaint d'arbitraire (art. 9 Cst.) et fait valoir que sa réquisition de preuves viserait à prouver que l'intéressée financerait de nombreuses dépenses privées par sa société. Il invoque une inégalité de traitement en ce sens que des dépenses privées de l'épouse seraient déduites du revenu de celle-ci, alors que lui-même ne pourrait déduire de son revenu que ses frais de déplacement professionnels. Le refus des juges cantonaux de tenir compte, dans les revenus de l'intimée, de la part privée de ses frais de véhicule et d'éventuelles autres dépenses privées prises en charge par sa société serait, au demeurant, en contradiction manifeste avec leur raisonnement consistant à réduire " un peu " le minimum vital de l'épouse " afin de tenir compte de la prise en charge des frais de téléphonie mobile par sa société ". Le recourant relève encore que, lors de son audition du 19 février 2020, l'intimée avait indiqué ignorer à combien se montaient les frais de représentation 2018 de sa société. Ce serait également de manière insoutenable que l'autorité cantonale a retenu qu'il n'était pas rendu vraisemblable que les frais d'habits seraient payés par la société de l'épouse et que l'éventuelle prise en charge de produits cosmétiques aurait une contre-valeur négligeable, alors même que ce n'aurait été que par le biais de la production des comptes détaillés de l'intimée que les faits en question auraient pu être démontrés.
Sous l'angle de l'arbitraire dans le résultat, le recourant soutient que la cause aurait été instruite de manière superficielle par l'autorité cantonale, ce qui serait profondément choquant en présence d'époux dont la situation financière serait serrée et ce qui le contraindrait à vivre durant sept ans (en tout cas) sans aucun montant dépassant son minimum vital et sans même pouvoir payer ses impôts. A cet égard, le recourant fait en outre grief à l'autorité précédente de ne pas avoir tenu compte de sa charge fiscale au motif que les moyens financiers des époux ne le permettaient pas, ce qui serait selon lui d'autant plus choquant que l'entretien des enfants aurait été fixé selon la méthode du minimum vital élargi, à savoir en augmentant leur montant de base de 20 %.
4.3.2. Dans la décision querellée, l'autorité précédente a retenu que la production du détail des écritures 2018 n'était pas nécessaire dès lors que, entendue en audience le 19 février 2020, l'intimée avait admis que les frais de sa voiture étaient pris en charge par sa société, de même que les frais de repas et le coût de son téléphone portable. L'autorité cantonale ne voyait dès lors pas quelles autres dépenses privées l'époux voulait démontrer qu'elles étaient prises en charge par la société de son épouse. En particulier, il n'était pas rendu vraisemblable que des frais d'habits seraient payés par ce biais et, en outre, que l'éventuelle prise en charge de produits cosmétiques aurait une contre-valeur négligeable. De plus, dans la mesure où seuls les frais de déplacement professionnels - écartés pour l'intimée - faisaient partie du minimum vital, il était sans pertinence que la part privée du véhicule de l'intimée soit aussi assumée par sa société: il ne s'agissait pas d'un revenu, mais de l'absence d'une charge qui ne serait de toute façon pas prise en compte. La cour cantonale a encore relevé que, même si l'autorité de première instance avait déjà écarté les frais de véhicule et de repas de l'intimée afin de tenir compte des dépenses privées prises en charge par la société, il convenait toutefois encore de réduire un peu le minimum vital de base pour prendre en considération les frais de téléphone, qui faisaient partie de ce poste de charges et qui étaient aussi payés par la société.
4.3.3. Dans le cadre de mesures protectrices de l'union conjugale, le juge établit les faits d'office en vertu de la maxime inquisitoire (<ref-law>) et statue en application de la procédure sommaire (<ref-law>). Il se prononce ainsi sur la base de la simple vraisemblance après une administration limitée des preuves (<ref-ruling> consid. 2b/bb), en se fondant sur les moyens de preuve immédiatement disponibles (<ref-ruling> consid. 2.3 in limine), ce qui exclut les mesures d'instruction plus étendues. Il suffit donc que les faits soient rendus plausibles. Le point de savoir si le degré de vraisemblance requis par le droit fédéral est atteint dans le cas particulier ressortit à l'appréciation des preuves (<ref-ruling> consid. 5). Dans ce domaine, le Tribunal fédéral se montre réservé, vu le large pouvoir qu'il reconnaît en la matière à l'autorité cantonale (<ref-ruling> consid. 4b; <ref-ruling> consid. 1b et les références; arrêt 5A_855/2017 du 11 avril 2018 consid. 4.3.2 et les références).
4.3.4. En l'espèce, l'intimée a déclaré en première instance que sa société s'acquittait du leasing, des assurances, des impôts ainsi que de l'essence privée et professionnelle de son véhicule, enregistré au nom de la société. Or, contrairement à ce qu'ont retenu les juges cantonaux, le fait que la part privée au véhicule de l'intimée soit aussi assumée par sa société n'est pas sans conséquence sur son revenu d'indépendante, celui-ci devant en principe être fixé en fonction de son bénéfice net, déterminé en tenant compte de la différence entre les produits et les charges de la société (cf. <ref-ruling> consid. 5.1; arrêt 5A_20/2020 du 28 août 2020 consid. 3.3 et les références). La prise en compte de frais purement privés dans la comptabilité de l'intimée a ainsi eu pour conséquence de diminuer indûment le bénéfice net de la société et, partant, le revenu de l'intimée. C'est donc de manière arbitraire que l'autorité cantonale a retenu que la part privée aux frais de véhicule de l'intimée était sans pertinence pour ses revenus et, dès lors qu'elle disposait des déclarations de celle-ci concernant le paiement de frais privés par sa société, elle ne pouvait refuser la requête de production de l'époux censée élucider ce fait.
Au demeurant, la décision est également arbitraire sous l'angle du résultat, dans la mesure où l'autorité cantonale a arrêté les contributions d'entretien sur la base de la situation financière des parties, y compris sur la base du revenu de l'intimée, susceptible d'être augmenté selon le résultat de l'examen du détail de ses comptes 2018.
Au vu de ce qui précède, il faut admettre que le droit d'être entendu du recourant a été violé au sens de la jurisprudence susexposée (cf. supra consid. 4.1). La décision attaquée sera donc annulée en ce qu'elle concerne les contributions d'entretien pour les enfants et la cause sera renvoyée à la juridiction précédente afin qu'elle détermine le revenu de l'intimée, sans tenir compte des frais privés indûment déduits des produits de la société au titre de charges de celle-ci. Il conviendra ensuite, en fonction du résultat, d'examiner la nouvelle situation financière des parties et de tenir compte de leur charge fiscale si la situation le permet (sur cette dernière question, cf. arrêt 5A_311/2019 du 11 novembre 2020 consid. 7.2; cf. ég. infra consid. 5.3 pour le réexamen de la cause).
5.
Dans un autre grief, le recourant reproche à la cour cantonale d'avoir abusivement et arbitrairement reporté le déficit de la mère dans les coûts d'entretien de l'enfant cadet D.A._, au titre de frais de prise en charge au sens l'<ref-law>, tout en ajoutant, dans les frais d'entretien de ce même enfant, des frais de garde correspondant à un placement en crèche quatre jours par semaine.
5.1. Selon l'<ref-law>, la contribution d'entretien sert aussi à garantir la prise en charge de l'enfant par les parents et les tiers.
La prise en charge de l'enfant ne donne droit à une contribution que si elle a lieu à un moment où le parent pourrait sinon exercer une activité rémunérée. En cas de prise en charge par l'un des parents (ou les deux), ce qui l'empêchera de travailler - du moins à plein temps -, la contribution de prise en charge doit permettre de garantir sa présence aux côtés de l'enfant (<ref-ruling> consid. 7.1.3). La contribution de prise en charge est limitée au minimum vital du droit de la famille dès lors qu'elle vise uniquement à assurer la prise en charge personnelle de l'enfant (arrêts 5A_519/2020 du 29 mars 2021 consid. 4.2.3; 5A_311/2019 du 11 novembre 2020 consid. 7.2).
5.2. Dans la décision querellée, la cour cantonale a relevé que l'autorité de première instance avait calculé le coût des enfants selon la méthode du minimum vital élargi, à savoir le montant de base LP augmenté de 20 %, la part au logement, la prime de caisse-maladie, les frais de garde et, s'agissant de D.A._, le déficit de la mère, le tout sous déduction des allocations familiales. Elle a fait savoir que l'époux reprochait à la première juge d'avoir permis à son épouse de cumuler, dans les coûts d'entretien des enfants, des frais de crèche pour quatre jours par semaine avec une contribution de prise en charge. Pour la juridiction cantonale, l'époux oubliait cependant que, du temps de la vie commune, l'intimée réalisait déjà un revenu du même ordre que celui dont elle disposait actuellement, ce alors que les enfants fréquentaient déjà majoritairement la crèche. Il n'était toutefois pas de mise de revoir totalement, au stade des mesures protectrices de l'union conjugale, l'organisation des tâches décidée et pratiquée en commun par les époux avant la séparation. Pour arrêter la contribution d'entretien en faveur de l'enfant D.A._, la juridiction précédente a dès lors arrêté son entretien convenable à 1'948 fr. 90 jusqu'à ses 10 ans, puis à 1'753 fr. 70, en y incluant l'intégralité du déficit mensuel de l'intimée avant impôts, à savoir 958 fr. 90.
5.3. S'agissant de la prise en charge des enfants par des tiers, l'autorité cantonale s'est limitée à retenir que " les enfants fréquentaient déjà majoritairement la crèche " du temps de la vie commune, sans toutefois se prononcer sur leur taux de prise en charge par des tiers depuis la séparation. Elle a en revanche tenu compte dans leurs coûts directs d'un montant de 435 fr. 20 - déjà retenu en première instance - qui, selon la facture de crèche dont se prévaut le recourant (cf. supra consid. 3.4.2), apparaît correspondre à seize jours de prise en charge mensuelle par enfant, soit environ quatre jours par semaine. Le taux d'activité de l'intimée ayant été admis par la cour cantonale à hauteur de 40 à 50 %, on peut donc retenir que les enfants sont gardés par des tiers à un taux supérieur, de sorte que l'intimée ne consacre pas l'intégralité de son temps disponible à s'en occuper. De telles circonstances suffisent en l'espèce déjà pour retenir, tant sur le principe que sur le résultat, que l'autorité cantonale est tombée dans l'arbitraire en tenant compte de l'intégralité du déficit de l'épouse à titre de contribution de prise en charge de l'enfant D.A._, sans circonscrire celle-ci à un empêchement de travailler résultant de la prise en charge personnelle des enfants.
Il suit de là que le grief du recourant doit être admis. La cause sera renvoyée à l'autorité cantonale afin qu'elle arrête à nouveau les contributions d'entretien en faveur des enfants sur la base de la situation financière des époux (cf. supra consid. 4.3.4) et en tenant compte d'une contribution de prise en charge pour l'enfant D.A._ en fonction du taux d'activité de l'intimée ainsi que du taux de prise en charge des enfants par des tiers (cf. supra consid. 5.1). Par ailleurs, dès lors que la cause doit être renvoyée à l'autorité inférieure, celle-ci devra, conformément à la jurisprudence, statuer une seconde fois en appliquant la méthode de calcul des contributions d'entretien telle que précisée à l'<ref-ruling>, notamment en ce qui concerne la possibilité de tenir compte d'un minimum vital élargi dans les coûts directs des enfants (consid. 7.2; arrêt 5A_44/2020 du 8 juin 2021 consid. 5.1.1 et 5.3; cf. ég. arrêt 5A_93/2019 du 13 septembre 2021 consid. 3.1).
6.
Dans un pénultième grief, le recourant s'en prend au refus de la cour cantonale d'ordonner une thérapie conjugale et lui reproche une application arbitraire de l'<ref-law>.
6.1. Dans la décision entreprise, la juridiction précédente a relevé que la communication entre les époux semblait difficile dès lors que seuls des messages écrits étant échangés entre eux. Un désaccord était en outre survenu au sujet de l'organisation du droit de visite du père durant les vacances d'été, mais avait toutefois pu être réglé. Cela étant, il n'apparaissait pas que le bon déroulement des relations personnelles serait mis en péril, les parents semblant être en mesure de faire la part des choses entre le conflit conjugal et les contacts que les enfants avaient le droit d'entretenir avec leurs père et mère. Il fallait ainsi espérer qu'une collaboration minimale pourrait continuer à avoir lieu à l'avenir afin de permettre aux enfants de profiter pleinement des moments passés auprès de chacun de leurs parents. En l'état, il n'apparaissait donc pas nécessaire d'imposer à ces derniers une thérapie conjugale ou une médiation, de telles mesures pouvant au besoin être sollicitées ultérieurement auprès de la justice de paix si les relations entre les époux devaient se détériorer et porter atteinte au bon déroulement du droit de visite.
6.2. Selon l'<ref-law>, l'autorité de protection de l'enfant peut donner des instructions aux parents relatives au soin, à l'éducation et à la formation de l'enfant. La mise en place d'une thérapie dans le but d'améliorer la communication entre les parents et de remédier ainsi à l'éloignement de l'enfant du parent n'assurant pas la garde est l'une des mesures qui peut être prise par l'autorité de protection de l'enfant en application de l'<ref-law> (<ref-ruling> consid. 3.7; arrêts 5A_415/2020 du 18 mars 2021 consid. 6.1; 5A_887/2017 du 16 février 2018 consid. 5.1; 5A_522/2017 du 22 novembre 2017 consid. 4.7.3.2). Pour qu'une telle mesure puisse être ordonnée, il faut que le développement de l'enfant soit menacé, que les parents n'y remédient pas d'eux-mêmes ou soient hors d'état de le faire et que cette menace ne puisse être écartée par des mesures plus limitées (arrêt 5A_65/2017 du 24 mai 2017 consid. 3.2). La mesure ordonnée doit en outre respecter le principe de proportionnalité, qui est la pierre angulaire du système de protection civile de l'enfant (arrêts 5A_723/2019 du 4 mai 2020 consid. 6.3.2; 5A_887/2017 précité consid. 5.1).
L'autorité qui ordonne une mesure de protection de l'enfant dispose à cet égard d'un large pouvoir d'appréciation (<ref-law>; arrêt 5A_656/2010 du 13 janvier 2011 consid. 3). Le choix de la mesure nécessite en effet une part importante d'anticipation et de pronostic quant à l'évolution des circonstances déterminantes (<ref-ruling> consid. 4d); il dépendra de toutes les données concrètes du cas, non seulement sous l'angle juridique, mais aussi en fonction des aspects sociaux, médicaux et éducatifs de la situation et de la constellation familiale (arrêt 5A_615/2011 du 5 décembre 2011 consid. 4.1). Le Tribunal fédéral s'impose dès lors une certaine retenue en la matière: il n'intervient que si l'autorité cantonale a pris en considération des éléments qui ne jouent aucun rôle au sens de la loi ou a omis de tenir compte de facteurs essentiels (<ref-ruling> consid. 5.1; <ref-ruling> consid. 4.3; <ref-ruling> consid. 3a; arrêts 5A_723/2019 du 4 mai 2020 consid. 6.3.2; 5A_887/2017 du 16 février 2018 consid. 5.1).
6.3. En l'espèce, le recourant semble perdre de vue la condition première au prononcé de la mesure dont il requiert la mise en oeuvre, à savoir l'existence d'une menace pour le développement des enfants. C'est ainsi en vain qu'il s'emploie vigoureusement à démontrer l'existence d'une communication défaillante entre les parties puisque la seule existence de ce fait ne permet pas d'inférer la réalisation de la condition jurisprudentielle précitée et que, au demeurant, l'autorité cantonale a déjà tenu compte d'une communication déficiente dans l'appréciation de la situation. Par ailleurs, en tant qu'il affirme que l'intimée ferait tout ce qu'elle pourrait pour l'éloigner de ses enfants, le recourant se réfère principalement à des désaccords relatifs au droit de visite qui n'ont au final pas eu pour conséquence d'empêcher le bon déroulement de celui-ci et dont on ne saurait retenir qu'ils auraient compromis le bon développement des enfants.
Il s'ensuit que, dans la mesure où le recourant ne démontre pas l'omission arbitraire d'une menace pour le développement des enfants, son grief doit être rejeté.
7.
Finalement, le recourant se plaint d'une application arbitraire de l'<ref-law> en tant que la répartition des frais d'appel n'aurait pas été effectuée en équité. Cela étant, compte tenu de l'admission partielle du recours et du renvoi de la cause à l'autorité cantonale, il appartiendra à celle-ci de statuer à nouveau sur les frais et dépens de la procédure cantonale (cf. infra consid. 8), de sorte que le grief n'a pas à être examiné plus avant.
8.
En définitive, le recours est partiellement admis dans la mesure où il est recevable. L'arrêt attaqué est annulé en tant qu'il porte sur les contributions d'entretien en faveur des enfants et la cause renvoyée à l'autorité précédente pour nouvelle décision dans le sens des considérants. Le recours est rejeté pour le surplus.
La requête d'assistance judiciaire du recourant est admise (<ref-law>). Compte tenu de l'issue du litige, les frais judiciaires, arrêtés à 2'500 fr., seront répartis par moitié entre les parties (<ref-law>), la part des frais du recourant étant toutefois provisoirement supportée par la Caisse du Tribunal fédéral (art. 64 al. 1 et 66 al. 1 LTF). Les dépens sont compensés (art. 68 al. 1 et 2 LTF). Il appartiendra à l'autorité cantonale de statuer à nouveau sur les frais et dépens de la procédure cantonale (art. 67 et 68 al. 5 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est partiellement admis dans la mesure où il est recevable. L'arrêt attaqué est annulé en tant qu'il porte sur les contributions d'entretien en faveur des enfants et la cause est renvoyée à l'autorité cantonale pour nouvelle décision dans le sens des considérants. Le recours est rejeté pour le surplus.
2.
La requête d'assistance judiciaire du recourant est admise et Me Alain Ribordy, avocat à Fribourg, lui est désigné comme conseil d'office.
3.
Les frais judiciaires, arrêtés à 2'500 fr., sont mis par 1'250 fr. à la charge de chaque partie, la part à la charge du recourant étant provisoirement supportée par la Caisse du Tribunal fédéral.
4.
Les dépens sont compensés.
5.
Une indemnité de 2'000 fr., provisoirement supportée par la Caisse du Tribunal fédéral, est allouée au conseil du recourant à titre d'honoraires d'avocat d'office.
6.
La cause est renvoyée à l'autorité précédente pour nouvelle décision sur les frais et dépens de la procédure cantonale.
7.
Le présent arrêt est communiqué aux parties et à la I e Cour d'appel civil du Tribunal cantonal de l'Etat de Fribourg.
Lausanne, le 18 novembre 2021
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
La Greffière : Gudit