Faits :
A.
A._ (1983) et B._ (1990) se sont mariés le 27 avril 2012. Deux enfants sont issus de leur union: C._ (2012) et D._ (2014).
Les époux se sont séparés au mois de janvier 2017.
B.
B.a. Par convention de mesures protectrices de l'union conjugale du 17 janvier 2017, ratifiée le même jour et confirmée par décision du 23 mars 2018, les époux ont provisoirement réglé les modalités de leur séparation. Ils ont notamment attribué la garde sur les enfants à la mère, accordé un droit de visite usuel au père et convenu que ce dernier s'acquitterait, dès le 1er février 2017, d'une contribution d'entretien en faveur de chacun des deux enfants de 550 fr. par mois, allocations familiales en sus.
B.b. Par requête du 8 février 2018, l'épouse a conclu à ce que les contributions d'entretien en faveur des enfants soient augmentées à 1'000 fr. chacun, dès le mois de février 2018.
Le 19 février 2019, elle a ouvert action en divorce devant le Tribunal régional des Montagnes et du Val-de-Ruz (ci-après: le Tribunal).
Par décision du 14 août 2019, le Tribunal a porté à 1'000 fr. la contribution due par le père pour chacun de ses enfants, allocations familiales en sus.
C.
Par arrêt du 15 mai 2020, expédié le 19 mai 2020, la Cour d'appel civile du Tribunal cantonal neuchâtelois a rejeté, dans la mesure de sa recevabilité, l'appel formé par l'époux contre la décision du 14 août 2019.
D.
D.a. Par acte du 24 juin 2020, l'époux interjette un recours en matière civile et un recours constitutionnel subsidiaire devant le Tribunal fédéral. Il conclut principalement, sous suite de frais et dépens, à la réforme de l'arrêt du 15 mai 2020 en ce sens que la contribution mensuelle pour enfants soit réduite, du 8 février 2018 au 30 avril 2019, à 550 fr. par enfant et, dès le 1er mai 2019, à 270 fr. pour C._ et à 230 fr. pour D._, subsidiairement à 370 fr. et 320 fr., allocations familiales en sus. Très subsidiairement, il conclut à l'annulation de l'arrêt entrepris et au renvoi de la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants. Il sollicite également le bénéfice de l'assistance judiciaire et l'octroi de l'effet suspensif au recours.
Par ordonnance présidentielle du 20 juillet 2020, l'effet suspensif a été accordé pour les contributions d'entretien dues jusqu'au mois de mai 2020.
D.b. Invitées à se déterminer, la cour cantonale s'est référée à son arrêt et l'épouse a conclu, avec suite de frais et dépens, au rejet du recours dans la mesure de sa recevabilité et à la confirmation de l'arrêt querellé. Elle a en outre requis le bénéfice de l'assistance judiciaire.

Considérant en droit :
1.
1.1. L'arrêt entrepris, qui porte sur une décision de mesures provisionnelles en modification de mesures protectrices de l'union conjugale, est une décision finale (art. 90 LTF; <ref-ruling> consid. 4; arrêt 5A_426/2016 du 2 novembre 2016 consid. 1), rendue par une juridiction cantonale de dernière instance ayant statué sur recours (art. 75 LTF). Le litige porte sur la contribution d'entretien, à savoir une affaire pécuniaire, dont la valeur litigieuse requise est atteinte (art. 51 al. 1 ch. 4, 51 al. 4 et 74 al. 1 let. b LTF). Le recourant a en outre qualité pour recourir (art. 76 al. 1 LTF) et a agi dans le délai légal (art. 100 al. 1 LTF). Le recours en matière civile est ainsi en principe recevable au regard des dispositions qui précèdent.
1.2. Le recours en matière civile étant ouvert, il en découle l'irrecevabilité du recours constitutionnel subsidiaire (art. 113 LTF).
2.
2.1. Comme la décision entreprise porte sur des mesures provisionnelles au sens de l'art. 98 LTF, la partie recourante ne peut dénoncer que la violation de droits constitutionnels. Le Tribunal fédéral n'examine de tels griefs que s'ils ont été invoqués et motivés par le recourant (" principe d'allégation ", art. 106 al. 2 LTF), c'est-à-dire s'ils ont été expressément soulevés et exposés de manière claire et détaillée (<ref-ruling> consid. 2.1; <ref-ruling> consid. 2.4). Le recourant qui se plaint de la violation d'un droit fondamental ne peut donc se borner à critiquer la décision attaquée comme il le ferait en instance d'appel, où l'autorité de recours jouit d'une libre cognition; il ne peut, en particulier, se contenter d'opposer sa thèse à celle de l'autorité cantonale, mais doit démontrer ses allégations par une argumentation précise (<ref-ruling> consid. 3; <ref-ruling> consid. 3.2). Le Tribunal fédéral n'entre pas en matière sur les critiques de nature appellatoire (ATF <ref-ruling> consid. 2.4; <ref-ruling> consid. 2.3; <ref-ruling> consid. 10.1 et les arrêts cités).
D'après la jurisprudence, une décision est arbitraire (art. 9 Cst.) lorsqu'elle est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et indiscuté, ou heurte de manière choquante le sentiment de la justice et de l'équité (<ref-ruling> consid. 7.3; <ref-ruling> consid. 4.1); il ne suffit pas qu'une autre solution paraisse concevable, voire préférable; pour que cette décision soit annulée, encore faut-il qu'elle se révèle arbitraire, non seulement dans ses motifs, mais aussi dans son résultat (<ref-ruling> consid. 7.1, 170 consid. 7.3; <ref-ruling> consid. 4.3).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Dans l'hypothèse d'un recours soumis à l'art. 98 LTF, le recourant qui entend invoquer que les faits ont été établis de manière manifestement inexacte ne peut obtenir la rectification ou le complètement des constatations de fait de l'arrêt cantonal que s'il démontre la violation de droits constitutionnels, conformément au principe d'allégation susmentionné (cf. supra consid. 2.1). Le Tribunal fédéral ne corrige les constatations de fait que si elles sont arbitraires (art. 9 Cst.) et ont une influence sur le résultat de la décision. En matière d'appréciation des preuves et d'établissement des faits, il n'y a arbitraire que lorsque l'autorité ne prend pas en compte, sans raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (<ref-ruling> consid. 1.1; <ref-ruling> consid. 2.3 et les références). Le recourant ne peut pas se borner à contredire les constatations litigieuses par ses propres allégations ou par l'exposé de sa propre appréciation des preuves; il doit indiquer de façon précise en quoi ces constatations sont arbitraires au sens de l'art. 9 Cst. (<ref-ruling> consid. 1.4.3). Une critique des faits qui ne satisfait pas à cette exigence est irrecevable (art. 106 al. 2 LTF; <ref-ruling> consid. 1.1; <ref-ruling> consid. 1.3.1; <ref-ruling> consid. 2.3 et les références).
En l'espèce, les faits exposés par le recourant aux pages 5 et 6 du recours seront ignorés en tant qu'ils s'écartent de ceux contenus dans l'arrêt attaqué et ne font pas l'objet d'un grief motivé d'arbitraire dans l'établissement des faits.
3.
Le recourant se plaint en premier lieu d'arbitraire (art. 9 Cst.) dans l'application de l'art. 276 al. 2 CC.
Il reproche à l'autorité cantonale de ne pas avoir tenu compte de 660 fr. de charges incompressibles qu'il aurait à assumer et de ne pas avoir respecté son droit à la préservation de son minimum vital.
Il ressort de l'argumentation du recourant qu'en réalité, ce sont essentiellement des questions de fait qu'il conteste. On peut toutefois se dispenser d'examiner d'emblée si les griefs soulevés l'ont été à suffisance de droit, dès lors qu'ils sont de toute manière irrecevables pour les motifs qui vont suivre.
3.1.
3.1.1. Le recourant fait tout d'abord grief à la juridiction précédente d'avoir retenu un loyer de 1'250 fr. - à savoir le loyer dont il s'acquittait pour son précédent appartement jusqu'au mois d'octobre 2018 (1'100 fr. pour l'appartement + 150 fr. pour la place de parc) - et d'avoir refusé de prendre en compte le loyer de 1'510 fr. dont il s'acquitterait actuellement (1'340 fr. pour l'appartement + 170 fr. pour la place de parc).
3.1.2. Dans l'arrêt querellé, la cour cantonale a indiqué que le premier juge avait déjà retenu un loyer de 1'250 fr. et qu'il avait justifié sa décision en se fondant sur la statistique cantonale des loyers pour La Chaux-de-Fonds, dont il ressortait que le loyer d'un appartement, charges comprises, se montait à 1'100 fr. pour un 3 pièces et à 1'410 fr. pour un 4 pièces. Compte tenu des obligations d'entretien du droit de la famille qui pesaient sur l'époux, on pouvait exiger de lui qu'il conserve un loyer identique à 1'100 fr.
L'autorité cantonale a également considéré que le déménagement du recourant au 1er octobre 2018 dans un nouvel appartement de 3.5 pièces n'était pas raisonnable, compte tenu de l'augmentation de loyer de 260 fr. qu'il entraînait et alors même que l'entretien convenable des enfants n'était pas couvert.
3.1.3. En l'espèce, le recourant fait entre autres valoir que son appartement se trouverait dans la fourchette moyenne des loyers mentionnés par l'autorité de première instance, que son ancien appartement ne lui permettait pas d'accueillir convenablement ses enfants, qu'il serait en droit d'occuper un appartement de 4 pièces afin que ceux-ci puissent chacun avoir leur propre chambre et qu'il aurait déménagé afin de pouvoir rester dans le même quartier qu'eux. Il ne s'en prend toutefois pas à la motivation cantonale susexposée et se borne à présenter une argumentation appellatoire, qui ne repose essentiellement sur aucun fait établi. Partant, son grief est d'emblée irrecevable, faute de motivation suffisante (cf. supra consid. 2.1).
3.2.
3.2.1. Le recourant reproche ensuite à l'autorité cantonale de ne pas avoir tenu compte de frais médicaux mensuels de 100 fr. qu'il avait fait valoir à compter du mois de mai 2019.
3.2.2. Dans l'arrêt entrepris, la juridiction cantonale a retenu que l'époux s'était trouvé en incapacité de travail dès le 4 avril 2019 et qu'il avait retrouvé une pleine capacité dès le mois de janvier 2020. Elle a considéré que, compte tenu du caractère temporaire de l'incapacité, le caractère régulier et durable des frais médicaux concernés n'avait pas été établi et qu'ils ne pouvaient dès lors pas être admis dans les charges de l'époux.
3.2.3. En l'espèce, le recourant soutient que les frais litigieux seraient relatifs au suivi médical dont il continuerait actuellement de bénéficier à la suite d'un burn-out. Il se limite toutefois à un argumentaire succinct présentant sa version des faits dans une approche purement appellatoire, ce qui rend son grief irrecevable (cf. supra consid. 2.1).
3.3.
3.3.1. Le recourant fait grief aux juges cantonaux de ne pas avoir admis dans ses charges sa prime d'assurance de 3e pilier ainsi que des frais d'exercice du droit de visite.
3.3.2. En appel, ces mêmes critiques avaient été soulevées et déclarée irrecevable pour l'une, respectivement rejetée pour l'autre. L'autorité cantonale a considéré que, s'agissant de la prime d'assurance, l'époux n'avait pas expliqué en quoi la motivation du premier juge - selon laquelle la prime n'avait pas été invoquée dans la procédure initiale et ne pouvait pas l'être à l'occasion d'une procédure en modification - serait erronée. Quant aux frais d'exercice du droit de visite, il ne les avait pas non plus faits valoir avant la procédure d'appel.
Dès lors qu'en l'espèce, le recourant ne s'emploie pas à critiquer les motifs retenus par la juridiction précédente et que ceux-ci permettaient de sceller le sort des questions litigieuses, ses deux griefs sont irrecevables (cf. <ref-ruling> consid. 3.4; <ref-ruling> consid. 4.1.4).
3.4. Le recourant s'en prend à la charge fiscale arrêtée pour chaque partie. Dès lors toutefois que ce poste de frais se détermine notamment en fonction des contributions d'entretien et que celles-ci devront être recalculées par l'autorité cantonale (cf. infra consid. 4.3), il n'y a en l'état pas lieu de traiter le grief soulevé.
4.
Le recourant se plaint d'une application arbitraire de l'art. 285 CC et fait valoir que la juridiction précédente n'aurait pas dû retenir une contribution de prise en charge dans l'entretien convenable de chaque enfant.
4.1. S'agissant de la situation financière des parties, la cour cantonale a retenu pour l'époux un salaire moyen de 5'425 fr. et des charges de 3'576 fr. entre les mois de février 2018 à décembre 2019, soit un disponible de 1'849 fr. Dès 2020, elle a retenu un revenu de 5'613 fr. et des charges de 3'649 fr., soit un disponible de 1'964 fr. Pour l'épouse, elle a retenu un salaire de 4'395 fr. et des charges de 3'546 fr. de février 2018 à septembre 2019, soit un disponible de 849 fr., puis des revenus de 4'561 fr. et des charges de 3'586 fr. à compter du mois d'octobre 2019, soit un disponible de 975 fr.
Pour les enfants, elle a pris en compte des coûts directs de 663 fr. pour C._ et de 573 fr. pour D._. Sur la question d'une contribution de prise en charge, les juges cantonaux ont relevé que, par le produit de son travail, la mère parvenait certes à couvrir ses propres charges et qu'elle n'avait donc pas, dans cette stricte mesure, de droit à voir figurer dans l'entretien convenable des enfants un montant qui viserait à combler ce qui lui manquait pour couvrir ses propres frais de subsistance. Il n'en demeurait toutefois pas moins qu'il était insoutenable d'affirmer, dans le même temps, qu'il ne se justifiait ni de tenir compte d'un montant pour la prise en charge ni de comptabiliser des frais de garde par des tiers en considérant que les enfants n'auraient qu'à être gardés gratuitement par leurs grands-parents maternels lorsque leur mère travaillait. Elle a ainsi retenu une contribution de prise en charge de 879 fr. par enfant avant le mois d'octobre 2019 et de 912 fr. dès le mois d'octobre 2019, montants représentant la moitié de la différence entre le salaire effectivement obtenu par l'épouse à 90 % et celui qui serait le sien si elle travaillait à 50 %, à savoir le taux d'activité maximal que l'on pourrait exiger de sa part compte tenu de l'âge des enfants.
4.2.
4.2.1. Selon l'art. 276 CC, l'entretien de l'enfant est assuré par les soins, l'éducation et des prestations pécuniaires (al. 1). Les père et mère contribuent ensemble, chacun selon ses facultés, à l'entretien convenable de l'enfant (al. 2 in initio).
4.2.2. Aux termes de l'art. 285 al. 1 CC, la contribution d'entretien doit correspondre aux besoins de l'enfant ainsi qu'à la situation et aux ressources de ses père et mère; il est tenu compte de la fortune et des revenus de l'enfant.
Selon la jurisprudence, il y a notamment lieu de tenir compte d'éventuels frais de garde par des tiers dans les coûts directs de l'enfant (arrêt 5A_311/2019 du 11 novembre 2020 consid. 7.2, destiné à la publication).
Dans les ressources des parents, tous les revenus doivent être pris en compte et une individualisation fondée sur des situations particulières, comme par exemple une " déduction pour travail surobligatoire", en particulier le traitement spécial de revenus tirés d'une part de travail allant au-delà du taux d'activité que permettrait d'exiger le système des paliers scolaires (sur cette notion, cf. <ref-ruling> consid. 4.7.6), doit être écartée. Les spécificités du cas d'espèce ne doivent pas déjà être appréciées au stade de la détermination des ressources mais seulement au moment de la répartition de l'excédent (arrêt 5A_311/2019 précité consid. 7.1 et 7.3).
4.2.3. Selon l'art. 285 al. 2 CC, la contribution d'entretien sert aussi à garantir la prise en charge de l'enfant par les parents et les tiers.
La prise en charge de l'enfant ne donne droit à une contribution que si elle a lieu à un moment où le parent pourrait sinon exercer une activité rémunérée. En cas de prise en charge par l'un des parents (ou les deux), ce qui l'empêchera de travailler - du moins à plein temps -, la contribution de prise en charge doit permettre de garantir sa présence aux côtés de l'enfant (<ref-ruling> consid. 7.1.3). La contribution de prise en charge est limitée au minimum vital du droit de la famille dès lors qu'elle vise uniquement à assurer la prise en charge personnelle de l'enfant (arrêt 5A_311/2019 précité consid. 7.2).
4.3. Selon l'état de fait cantonal, l'intimée ne présente pas de déficit budgétaire après couverture de ses besoins. Compte tenu de la jurisprudence susmentionnée, aucune contribution de prise en charge n'est donc due, quand bien même, en application du système des paliers scolaires, l'intéressée exercerait une activité à un taux supérieur à celui que l'on pourrait exiger de sa part.
Il s'ensuit que la cour cantonale a versé dans l'arbitraire en admettant l'existence d'une contribution de prise en charge et il convient dès lors d'admettre le grief du recourant. La cause sera renvoyée à la juridiction cantonale afin qu'elle procède à un nouveau calcul des contributions d'entretien dues en faveur de chaque enfant, étant précisé que d'éventuels frais de garde par des tiers devront être pris en compte dans les coûts directs des enfants (cf. supra consid. 4.2.2) et que, le cas échéant, l'autorité cantonale devra tenir compte de la part de travail surobligatoire de l'intimée dans le cadre d'une éventuelle répartition de l'excédent (cf. supra consid. 4.2.3).
5.
En définitive, le recours en matière civile est partiellement admis dans la mesure où il est recevable et le recours constitutionnel subsidiaire est irrecevable. L'arrêt attaqué est annulé et la cause est renvoyée à l'autorité précédente pour nouvelle décision dans le sens des considérants. Le recours est rejeté pour le surplus. La requête d'assistance judiciaire de chaque partie est admise (art. 64 al. 1 LTF). Vu l'issue du litige, les frais judiciaires sont mis par moitié à la charge de chaque partie (art. 66 al. 1 LTF) et sont provisoirement supportés par la Caisse du Tribunal fédéral (art. 64 al. 1 et 66 al. 1 LTF). Les dépens sont compensés (art. 68 al. 1 et 2 LTF). Une indemnité de 2'000 fr., provisoirement supportée par la Caisse du Tribunal fédéral, est allouée au conseil de chaque partie à titre d'honoraires d'avocat d'office (art. 64 al. 2 LTF). Les parties sont rendues attentives au fait qu'elles sont tenues de rembourser ultérieurement la Caisse du Tribunal fédéral si elles sont en mesure de le faire (art. 64 al. 4 LTF). Il appartiendra à l'autorité cantonale de statuer à nouveau sur les frais et dépens de la procédure cantonale (art. 67 et 68 al. 5 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours en matière civile est partiellement admis dans la mesure où il est recevable. L'arrêt attaqué est annulé et la cause est renvoyée à l'autorité précédente pour nouvelle décision dans le sens des considérants. Le recours est rejeté pour le surplus.
2.
Le recours constitutionnel subsidiaire est irrecevable.
3.
La requête d'assistance judiciaire du recourant est admise et Me Philippe Kitsos, avocat à La Chaux-de-Fonds, lui est désigné comme conseil d'office.
4.
La requête d'assistance judiciaire de l'intimée est admise et Me Dominique Erard, avocate à La Chaux-de-Fonds, lui est désignée comme conseil d'office.
5.
Les frais judiciaires, arrêtés à 2'500 fr., sont mis par 1'250 fr. à la charge de chaque partie et sont provisoirement supportés par la Caisse du Tribunal fédéral.
6.
Les dépens sont compensés.
7.
Une indemnité de 2'000 fr., provisoirement supportée par la Caisse du Tribunal fédéral, est allouée au conseil du recourant à titre d'honoraires d'avocat d'office.
8.
Une indemnité de 2'000 fr., provisoirement supportée par la Caisse du Tribunal fédéral, est allouée au conseil de l'intimée à titre d'honoraires d'avocat d'office.
9.
La cause est renvoyée à l'autorité précédente pour nouvelle décision sur les frais et dépens de la procédure cantonale.
10.
Le présent arrêt est communiqué aux parties et à la Cour d'appel civile du Tribunal cantonal du canton de Neuchâtel.
Lausanne, le 29 mars 2021
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
La Greffière : Gudit