Faits :
A.
B._, né en avril 2011, et C._, née en juin 2014, sont les enfants de D._ (1981) et de A._ (1985).
B.
B.a. Le 22 mars 2019, B._ et C._ ont déposé une action alimentaire à l'encontre de leur père. En réponse à cette demande, celui-ci a notamment conclu à l'instauration d'une garde alternée et, en cas d'attribution de la garde à la mère, à l'admission partielle de la demande, en proposant de verser mensuellement à chaque enfant une somme moins importante que ce qui était requis par ceux-ci.
B.b. Par décision du 21 avril 2020, la Présidente du Tribunal civil de la Sarine a notamment confié la garde des enfants à la mère, a réglé le droit aux relations personnelles du père, a mis les frais extraordinaires relatifs aux enfants à la charge des deux parents à parts égales et a condamné le père à contribuer à l'entretien des enfants par le versement de contributions mensuelles pour l'enfant C._ de 1'200 fr. du 1er octobre 2018 au 31 octobre 2024, de 1'300 fr. du 1er juin 2024 au 31 août 2026, de 650 fr. du 1er septembre 2026 au 31 mai 2030 et de 550 fr. dès le 1er juin 2030, et pour l'enfant B._ de 550 fr. du 1er octobre 2018 au 30 avril 2021 et de 650 fr. dès le 1er mai 2021.
B.c. Statuant par arrêt du 17 septembre 2020, la Cour d'appel civil du Tribunal cantonal de l'Etat de Fribourg a partiellement admis l'appel du père, en ce sens qu'elle a modifié les modalités de prise en charge des frais extraordinaires relatifs aux enfants. Pour le surplus, elle a confirmé la décision de première instance.
C.
Par mémoire du 19 octobre 2020, A._ exerce un recours en matière civile. Il conclut à la réforme de l'arrêt cantonal en ce sens qu'il contribuera, en sus des éventuelles allocations familiales et/ou patronales, à l'entretien de l'enfant C._ par le versement mensuel de 550 fr. du 1er octobre 2018 au 30 septembre 2019, de 400 fr. du 1er octobre 2019 au 28 février 2020, aucune pension pour les mois de mars à mai 2020, de 400 fr. du 1er juin 2020 au 30 septembre 2020, de 1'200 fr. du 1er octobre 2020 au 21 mai 2024, de 1'300 fr. du 1er juin 2024 au 31 août 2026, de 650 fr. du 1er septembre 2026 au 31 mai 2030 et de 550 fr. dès le 1er juin 2030 et à l'entretien de l'enfant B._ par le versement mensuel de 550 fr. du 1er octobre 2018 au 30 septembre 2019, de 400 fr. du 1er octobre 2019 au 28 février 2020, aucune pension pour les mois de mars à mai 2020, de 400 fr. par mois du 1er juin 2020 au 30 septembre 2020 et de 550 fr. dès le 1er octobre 2020, que les frais extraordinaires de chaque enfant, tels que frais d'orthodontie et d'ophtalmologie, sont répartis par moitié entre lui et la mère, après présentation par celle-ci des devis et factures idoines, à ce que pour le surplus la décision de la Présidente du Tribunal civil de la Sarine du 21 avril 2020 est confirmée et que la cause est renvoyée à la cour cantonale pour nouvelle décision sur les frais et les dépens de la procédure cantonale, les frais et les dépens étant mis à la charge de la partie adverse solidairement entre eux. Le recourant sollicite également le bénéfice de l'assistance judiciaire pour la procédure fédérale.

Considérant en droit :
1.
Déposé en temps utile (art. 45 al. 1 et 100 al. 1 LTF) et dans la forme légale (art. 42 al. 1 LTF), par une partie qui a la qualité pour recourir (art. 76 al. 1 LTF), contre une décision finale (art. 90 LTF) rendue sur recours par une autorité cantonale de dernière instance (art. 75 al. 1 et 2 LTF), dans une affaire civile (art. 72 al. 1 LTF) de nature pécuniaire (arrêt 5A_522/2020 du 26 janvier 2021 consid. 1 et l'arrêt cité) dont la valeur litigieuse requise est atteinte (art. 51 al. 1 let. a et al. 4, 74 al. 1 let. b LTF), le recours est en principe recevable.
2.
Le recours en matière civile peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 s. LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Toutefois, compte tenu de l'obligation de motiver qui incombe au recourant en vertu de l'art. 42 al. 1 et 2 LTF, il n'examine pas toutes les questions juridiques qui peuvent se poser, mais seulement celles qui sont soulevées devant lui (<ref-ruling> consid. 2.4 et les références). L'art. 42 al. 2 LTF exige par ailleurs que le recourant discute les motifs de la décision entreprise et indique précisément en quoi il estime que l'autorité précédente a méconnu le droit (<ref-ruling> consid. 1.7.1; <ref-ruling> consid. 2.4 et la référence). En outre, le Tribunal fédéral ne connaît de la violation des droits fondamentaux que si de tels griefs ont été invoqués et motivés par le recourant (" principe d'allégation "; art. 106 al. 2 LTF), c'est-à-dire s'ils ont été expressément soulevés et exposés de façon claire et détaillée (<ref-ruling> consid. 2.1; <ref-ruling> consid. 5.1; <ref-ruling> consid. 2.1).
3.
En tant que le recourant reprend l'entier de ses conclusions déjà formulées en appel, alors que la cour cantonale a admis son appel sur la question de la prise en charge des frais extraordinaires des intimés en ce sens que ces frais sont répartis par moitié entre les parents après présentation des devis et factures idoines, il n'y a pas lieu de revenir sur cette question, au sujet de laquelle le recourant ne formule au demeurant aucun grief.
4.
Le recourant reproche à la cour cantonale d'avoir fixé les contributions d'entretien en faveur des intimés en violation de l'art. 285 al. 1 CC. Il critique en particulier la manière dont sa capacité financière a été calculée, dès lors que celle-ci a été établie sans tenir compte du fait qu'il faisait l'objet de deux saisies de salaire et qu'il vivait encore seul en octobre 2018. Il soutient également que la cour cantonale a établi de manière arbitraire ses charges, et ainsi les contributions d'entretien en faveur des intimés pour les mois de mars à mai 2020, car elle a omis de prendre en considération qu'une garde partagée avait été exercée durant ces mois en raison de la fermeture des écoles dues à la crise sanitaire.
4.1. S'agissant de l'avis aux débiteurs de 800 fr. prélevés mensuellement sur son salaire en faveur de son fils aîné, la cour cantonale a relevé qu'il appartiendrait au père, dans l'hypothèse où la contribution d'entretien en faveur de cet enfant serait fixée à un montant inférieur, de faire valoir cette modification pour l'avis aux débiteurs afin que le montant de celui-ci soit également réduit. Il n'y avait donc pas lieu de tenir compte de cette saisie au moment de fixer sa capacité contributive. En ce qui concerne la saisie de salaire de 700 fr. par mois, plus l'intégralité du treizième salaire, en faveur d'autres créanciers, les juges cantonaux ont considéré qu'elle cédait le pas aux obligations du droit de la famille, le père pouvant solliciter la modification du montant de la saisie en fonction de la contribution d'entretien qui serait fixée. À cet égard, ils ont relevé qu'en effet l'art. 93 LP prévoyait que le salaire du débiteur ne pouvait être saisi au profit d'un créancier ordinaire que déduction faite de ce qui est indispensable à son entretien et à celui de sa famille. Quand bien même les autorités de poursuite n'étaient pas liées par la décision du juge civil quant au montant de cette contribution d'entretien, ils ne pouvaient s'en écarter que s'il y avait des motifs précis de croire que le créancier d'aliments n'avait nullement besoin de l'entier de cette contribution pour couvrir son propre minimum vital, hypothèse qui n'était manifestement pas réalisée en l'espèce. Il appartiendrait donc au père, une fois les contributions d'entretien fixées, de s'adresser à l'Office des poursuites pour obtenir une révision de saisie, ce qu'il avait par ailleurs déjà fait lorsqu'il s'était marié et était devenu père une nouvelle fois. En lien avec la critique du père d'avoir fixé son minimum d'existence à 850 fr. pour toute la période en cause, alors qu'il était de 1'200 fr. en octobre 2018 avant qu'il ne se mette en ménage avec son épouse actuelle, le même grief ayant été soulevé en lien avec son loyer de 1'528 fr. qu'il convenait de compter en intégralité pour octobre 2018 dès lors qu'il vivait encore seul, la cour cantonale a relevé que même si ce grief était fondé dans son principe, il n'y avait pas lieu de s'y attarder dans la mesure où un seul mois sur une période de plusieurs années était concerné.
Sur la base de ces éléments et après avoir admis qu'il se justifiait de prendre en compte dans les charges du père le montant de 80 fr. par mois pour ses frais de repas et de 50 fr. par mois et par enfant au titre des frais d'exercice de son droit de visite, la cour cantonale a notamment retenu que les charges du père s'élevaient au total à 1'792 fr. par mois, de sorte que son disponible était de 4'042 fr. pour la période du 1er octobre 2018 au 31 août 2026, la mère présentant quant à elle un déficit de 646 fr. par mois. Compte tenu des situations respectives des parents, il se justifiait de mettre l'intégralité des coûts des enfants à la charge du père pour cette période et de maintenir les contributions d'entretien fixées dans la décision de première instance, en relevant qu'après leur versement le père disposerait encore de 2'292 fr. (4'042 fr. - 550 fr. - 1'200 fr.) de disponible du 1er octobre 2018 au 30 avril 2021 pour assumer ses autres obligations d'entretien, notamment celle envers son nouvel enfant né en octobre 2019 dont le coût s'élevait à 375 fr. jusqu'à l'âge de ses 10 ans, et pour rembourser ses dettes.
4.2. Le recourant critique d'abord l'absence de prise en compte des deux saisies de salaire dont il fait l'objet pour déterminer sa capacité contributive, en contestant le raisonnement des juges cantonaux selon lequel il lui appartiendrait de modifier les saisies de salaire à son encontre une fois les contributions d'entretien en faveur de ses enfants fixées. Il soutient qu'il lui serait impossible de modifier ses diverses saisies de salaire avec effet rétroactif, ce quand bien même ses dettes céderaient le pas aux obligations du droit de la famille. Selon lui, ce raisonnement ne pouvait être admis que pour l'avenir, mais non pour la période révolue puisqu'il ne pouvait pas s'opposer avec succès aux saisies qui ont été déduites de son salaire, relevant avoir déjà tenté d'empêcher l'avis aux débiteurs et d'obtenir la révision des saisies de salaire, en vain. Le recourant considère dès lors que sa situation serait, en quelque sorte, analogue à celle du débiteur imposé à la source pour lequel on tient compte de l'impôt directement déduit de son salaire. Il convenait donc d'appliquer la même solution par analogie, faute de quoi son minimum vital ne serait pas préservé. Le recourant indique par ailleurs qu'il serait particulièrement choquant de retenir un revenu dont le débirentier ne dispose effectivement pas pour calculer les contributions d'entretien, ce d'autant plus au vu de sa situation financière manifestement précaire. Partant, il fallait considérer que son salaire mensuel s'élevait à 4'555 fr. 60 du 1er septembre 2018 jusqu'au mois d'octobre 2019, puis à 3'729 fr. 65 à partir du mois de novembre 2019, et qu'il se monterait à environ 5'250 fr. dès le 1er octobre 2020, dans la mesure où il pouvait faire modifier les saisies de salaire suite à l'arrêt cantonal attaqué. Toutes les contributions d'entretien entre le 1er octobre 2018 et le 30 septembre 2020 devaient ainsi être revues.
Le recourant soutient également qu'il y a lieu de corriger ses charges pour le mois d'octobre 2018, qui ont été établies de manière manifestement inexacte par l'autorité cantonale, celle-ci ayant admis ses griefs selon lesquels son minimum vital et son loyer auraient dû être arrêtés respectivement à 1'200 fr. et 1'528 fr. pour le mois d'octobre 2018, car son concubinage avait débuté en novembre 2018, mais a renoncé à modifier la décision de première instance dans la mesure où cela ne concernait qu'un seul mois. Selon lui, il ne serait pas acceptable de ne pas tenir compte du fait que ces charges étaient plus élevées au mois d'octobre 2018 car cela est contraire au droit, plus particulièrement à la règle qui veut que le minimum vital du débiteur soit préservé dans tous les cas. Or, ces montants litigieux représentaient une somme totale de 1'114 fr., soit environ le quart de son revenu, ce qui n'était pas dérisoire. Ainsi, si l'on tenait compte de son revenu de 4'555 fr. 60 pour le mois en question et de ses charges réelles de 3'238 fr. 35, sa situation financière présentait un solde de 1'317 fr. 25, ce qui ne lui permettait pas de verser les contributions fixées pour ses enfants à hauteur de 1'750 fr. Le recourant fait en outre valoir que la cour cantonale a établi de manière arbitraire ses charges, et ainsi les contributions d'entretien pour les mois de mars à fin mai 2020, car elle aurait omis de tenir compte du fait qu'une garde partagée avait été exercée durant ces trois mois, respectivement du fait qu'il a dû directement assumer des frais relatifs aux intimés puisque que ceux-ci avaient séjourné chez lui une semaine sur deux pendant cette période comme cela était établi dans l'arrêt cantonal. Compte tenu de sa modeste situation financière, il y avait lieu de supprimer toute contribution d'entretien pour les mois de mars à fin mai 2020, faute de quoi son minimum vital ne serait à l'évidence pas préservé.
4.3. Selon l'art. 285 al. 1 CC, la contribution d'entretien doit correspondre aux besoins de l'enfant ainsi qu'à la situation et aux ressources des père et mère, l'obligation d'entretien trouvant sa limite dans la capacité contributive du débirentier, en ce sens que le minimum vital de celui-ci doit être préservé (<ref-ruling> consid. 4.1; <ref-ruling> consid. 4.3 et les références). Pour déterminer la contribution d'entretien due en vertu de l'art. 285 al. 1 CC par chacun des parents séparés, il sied de répartir les besoins non couverts des enfants entre les père et mère en fonction de leur capacité contributive respective. Le fait qu'un parent apporte déjà une part de l'entretien en nature doit être pris en considération. La fourniture de prestations en nature reste un critère essentiel dans la détermination de l'entretien de l'enfant, en particulier lorsqu'il s'agit de savoir qui doit supporter son entretien en espèces. Ce nonobstant, il est admis que si la capacité financière de l'un des parents est sensiblement plus importante que celle de l'autre, il n'est pas critiquable de laisser à celui qui est économiquement mieux placé la charge d'entretenir les enfants par des prestations pécuniaires, en sus des soins et de l'éducation (arrêts 5A_311/2019 du 11 novembre 2020 consid. 5.5, destiné à la publication; 5A_583/2018 du 18 janvier 2019 consid. 5.1; 5A_584/2018 du 10 octobre 2018 consid. 4.3 et les références).
4.4. En tant que le recourant critique le raisonnement de la cour cantonale au motif qu'il lui serait impossible de modifier ses diverses saisies de salaire avec effet rétroactif avec pour conséquence que son minimum vital ne serait pas préservé pour la période révolue du 1er septembre 2018 au 1er octobre 2020, il omet que l'arrêt querellé a constaté - sans que le recourant ne soulève un grief d'arbitraire en lien avec cette constatation - qu'il jouissait d'un disponible de 2'292 fr. par mois pour cette période après versement des contributions d'entretien en faveur des intimés. Dans la mesure où ce disponible suffit à couvrir l'entretien de son enfant né en 2019 dont le coût est fixé à 375 fr. et à payer ses créanciers saisissants sans porter atteinte à son minimum vital, on ne voit pas en quoi la cour cantonale aurait violé l'art. 285 al. 1 CC. En effet, il n'est pas contesté que le montant des contributions d'entretien correspond aux besoins des intimés. Celui-ci est également en adéquation avec les ressources des père et mère, vu que le minimum vital du recourant est préservé et que la situation financière de la mère des intimés pour cette période présente un déficit mensuel. Faute pour le recourant de démontrer pour quelles raisons la prise en compte des saisies de salaire dans le calcul de ses charges ou ses revenus serait de nature à modifier le montant des contributions d'entretien en faveur des intimés, cette critique doit être rejetée, indépendamment de la question de savoir si la cour cantonale aurait dû déduire les montants saisis de son revenu pour déterminer sa capacité contributive comme il le soutient.
En ce qui concerne le refus de la cour cantonale de modifier la contribution d'entretien d'octobre 2018 alors que celle-ci a admis dans son principe qu'il aurait fallu tenir compte dans ses charges du fait que le recourant vivait encore seul durant ce mois, il convient de relever que le solde disponible du recourant pour ce mois se montait à 1'380 fr. 70 à supposer qu'il faille tenir compte de la saisie de salaire de 700 fr. par mois - ce qu'il n'est pas nécessaire ici de déterminer - (soit 4'668 fr. 70 de revenus selon la fiche de salaire du mois d'octobre 2018 à quoi il faut soustraire 1'200 fr. de minimum vital de base, 1'528 fr. de loyer, 380 fr. d'assurance maladie, 80 fr. de fais de repas et 100 fr. de frais de droit de visite). Après le paiement des contributions de 1'200 fr. et de 550 fr. en faveur des intimés, son déficit du seul mois d'octobre 2018 était ainsi de 369 fr. 30. Dans la mesure où la contribution d'entretien d'octobre 2018 est due de manière rétroactive et que le déficit de ce seul mois est déjà couvert par le disponible du mois suivant, il n'apparaît pas critiquable de considérer qu'au vu des circonstances du cas d'espèce, l'intérêt des enfants à bénéficier de contributions d'entretien conformes à leurs besoins l'emporte sur celui du père à voir son minimum vital calculé sur un seul mois garanti. S'agissant en outre des conséquences sur le montant des contributions d'entretien de la prise en charge par le recourant des intimés, une semaine sur deux, durant les mois de mars à mai 2020 lors de la fermeture des écoles due à la pandémie de Covid-19, point au demeurant non soulevé par le recourant dans sa critique relative aux contributions d'entretien, il n'apparaît pas que la cour cantonale a violé le droit fédéral en s'abstenant de prendre en compte dans la détermination des contributions d'entretien d'une garde alternée qui n'a jamais été ordonnée judiciairement. La critique du recourant doit ainsi être rejetée.
5.
En conclusion, le recours est rejeté dans la mesure de sa recevabilité. Les conclusions du recourant étaient d'emblée vouées à l'échec, ce qui entraîne le rejet de sa requête d'assistance judiciaire (art. 64 al. 1 LTF) et sa condamnation aux frais de la procédure fédérale (art. 66 al. 1 LTF). Il n'est pas alloué de dépens aux intimés, qui n'ont pas été invités à se déterminer (art. 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La requête d'assistance judiciaire du recourant est rejetée.
3.
Les frais judiciaires, arrêtés à 1'500 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel civil du Tribunal cantonal de l'Etat de Fribourg.
Lausanne, le 7 mai 2021
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
Le Greffier : Piccinin