Faits :
A.
A._, né en 1970, et B._, née en 1978, se sont mariés en 2015.
De leur union est issue C._, née en 2015.
B._ est également la mère d'une enfant majeure, née en 2001 d'une précédente union et qui vit auprès d'elle.
Les époux vivent séparément depuis le 1er mars 2017. Leur séparation a fait l'objet de diverses décisions, tant sur le plan civil que pénal, et de plusieurs conventions de mesures protectrices de l'union conjugale ou de mesures provisionnelles, traitant principalement du sort de l'enfant C._.
B.
B.a. Par prononcé de mesures protectrices de l'union conjugale du 11 mai 2017, le Président du Tribunal civil de l'arrondissement de l'Est vaudois (ci-après: Président ou premier juge) a notamment confié la garde sur l'enfant à la mère, fixé un droit de visite en faveur du père, astreint ce dernier à contribuer à l'entretien de l'enfant et dit que, en l'état, il n'était pas en mesure de contribuer à l'entretien de son épouse depuis le mois d'avril 2017.
B.b. Par prononcé de mesures protectrices de l'union conjugale du 28 août 2017, le Président a notamment dit que le droit de visite du père sur l'enfant s'exercerait, à partir du 1er décembre 2017, une fois par semaine, alternativement le samedi ou le dimanche, de 10 h 00 à 18 h 00.
B.c. Par ordonnance de mesures protectrices de l'union conjugale du 23 janvier 2019, confirmée par arrêt sur appel du 1er avril 2019 du Juge délégué de la Cour d'appel civile du Tribunal cantonal vaudois (ci-après: Juge délégué), le Président a notamment astreint l'époux à contribuer à l'entretien de l'enfant par le versement d'une pension de 975 fr. par mois, dès et y compris le 1er novembre 2018, et a arrêté le montant assurant l'entretien convenable de celle-ci à 1'860 fr., allocations familiales déduites.
B.d. Le 26 mars 2019, l'époux a ouvert action en divorce sur demande unilatérale.
B.e. Par requête de mesures provisionnelles du 12 août 2019, il a notamment conclu à ce que la garde sur l'enfant soit exercée de manière partagée entre ses parents, à ce que, à défaut de meilleure entente, chaque parent ait l'enfant auprès de lui selon une répartition à fixer en cours d'instance, à ce que chacun d'eux ait l'enfant auprès de lui durant la moitié des vacances scolaires ainsi qu'alternativement durant la moitié des jours fériés légaux, à ce que le montant assurant l'entretien convenable de l'enfant soit précisé en cours d'instance, à ce que chaque parent assume les coûts de l'enfant lorsqu'elle serait auprès de lui et à ce que, pour le surplus, les allocations familiales soient partagées par moitié entre eux.
Par procédé écrit du 26 septembre 2019, l'épouse a conclu au rejet de la requête.
Lors d'une audience tenue le 10 octobre 2019, l'époux a précisé ses conclusions en ce sens notamment que le montant assurant l'entretien convenable de l'enfant soit arrêté à 1'913 fr. 15.
Par ordonnance de mesures provisionnelles du 29 novembre 2019, confirmée en appel par arrêt du 23 janvier 2020, le Président a notamment dit que l'époux bénéficierait d'un libre et large droit de visite sur l'enfant à exercer d'entente avec la mère et, qu'à défaut d'entente, il pourrait l'avoir auprès de lui, à charge pour lui d'aller la chercher là où elle se trouve et de l'y ramener, une semaine sur deux du jeudi soir à 18 h 00 au lundi soir à 18 h 00, durant la moitié des périodes correspondant aux vacances scolaires et ce, de préférence, hors des périodes de vacances de garderie au cours desquelles l'enfant serait de préférence avec sa mère, ainsi que durant la moitié des jours fériés, alternativement à Noël/Nouvel-An, Pâques/Pentecôte et l'Ascension/Jeûne Fédéral.
B.f. Le 13 novembre 2019, le Président a tenu une nouvelle audience portant sur l'instruction des points relatifs aux contributions d'entretien, en présence des parties, assistées de leurs conseils respectifs. Le Bureau de recouvrement et d'avances de pensions alimentaires (ci-après: BRAPA) a été dispensé de comparution personnelle.
A cette occasion, l'épouse a reconventionnellement conclu à ce que l'entretien convenable de l'enfant soit arrêté à 2'580 fr. 30, allocations familiales déduites, à ce que le père contribue à l'entretien de celle-ci par le régulier versement d'une pension mensuelle de 2'580 fr. 30 dès le 1er janvier 2018 et à ce qu'il contribue à son entretien par le régulier versement d'une pension mensuelle de 1'035 fr. 75, dès la même date.
L'époux a conclu au rejet des conclusions reconventionnelles et a maintenu les conclusions de sa requête du 12 août 2019, telles que modifiées à l'audience du 10 octobre 2019.
Par ordonnance de mesures provisionnelles du 18 février 2020, le Président a rejeté la requête de mesures provisionnelles déposée le 12 août 2019 par l'époux, a partiellement admis les conclusions reconventionnelles prises par l'épouse le 26 septembre 2019 et complétées le 13 novembre 2019, a arrêté le montant mensuel assurant l'entretien convenable de l'enfant, allocations familiales déduites, à 2'500 fr. dès le 1er février 2019, à 2'300 fr. dès le 1er décembre 2019 et à 2'315 fr. dès le 1er janvier 2020, a dit que le père contribuerait à l'entretien de l'enfant par le régulier versement d'une pension mensuelle, allocations familiales en sus, de 1'465 fr. dès le 1er février 2019, de 1'190 fr. dès le 1er juillet 2019, de 1'140 fr. dès le 1er décembre 2019 et de 970 fr. dès le 1er janvier 2020, a rejeté toutes autres ou plus amples conclusions et a dit que les frais et dépens de la procédure provisionnelle suivraient le sort de la cause au fond.
B.g. Par arrêt du 30 septembre 2020, le Juge délégué, statuant sur appel de l'époux, a partiellement admis l'appel et réformé l'ordonnance de première instance en ce sens que le montant mensuel assurant l'entretien convenable de l'enfant était de 2'026 fr. dès le 1er février 2019, de 1'836 fr. dès le 1er décembre 2019 et de 1'846 fr. 40 dès le 1er janvier 2020, allocations familiales déduites, que l'époux contribuerait à l'entretien de l'enfant par le régulier versement d'une pension mensuelle, payable d'avance le 1er de chaque mois en mains de l'épouse, de 1'350 fr. dès le 1er février 2019, de 1'140 fr. dès le 1er juillet 2019, de 1'090 fr. dès le 1er décembre 2019 et de 890 fr. dès le 1er janvier 2020, allocations familiales en sus, et que toutes autres ou plus amples conclusions relatives à l'entretien de l'enfant étaient rejetées. Le Juge délégué a en outre réglé la question de l'assistance judiciaire ainsi que les frais judiciaires et dépens de deuxième instance.
C.
C.a. Par acte du 18 novembre 2020, l'époux interjette un recours en matière civile devant le Tribunal fédéral contre l'arrêt du 30 septembre 2020. Il conclut, sous suite de frais et dépens, principalement à ce que cette décision soit réformée en ce sens que le montant mensuel assurant l'entretien convenable de l'enfant soit arrêté à 1'898 fr. 15 du 12 août au 30 novembre 2019, à 1'708 fr. 15 du 1er au 31 décembre 2019 et à 1'714 fr. 05 à partir du 1er janvier 2020, allocations familiales déduites, à ce qu'il contribue à l'entretien de celle-ci par le régulier versement d'une pension mensuelle de 950 fr. du 12 août au 31 décembre 2019 et de 800 fr. dès le 1er janvier 2020, éventuelles allocations familiales non comprises et dues en sus, que les frais de la procédure de deuxième instance par 600 fr. soient provisoirement laissés à la charge de l'État pour l'épouse et que celle-ci lui doive le paiement d'une indemnité de 3'850 fr. à titre de dépens de deuxième instance. Subsidiairement, l'époux conclut à ce que l'arrêt entrepris soit annulé et à ce que la cause soit renvoyée à l'autorité précédente pour nouvelle décision dans le sens des considérants. Il sollicite également l'octroi de l'effet suspensif au recours et le bénéfice de l'assistance judiciaire.
C.b. Par déterminations du 3 décembre 2020, l'épouse a conclu au rejet de la requête d'effet suspensif et, par ordonnance présidentielle du 8 décembre 2020, la requête a été admise s'agissant des arriérés de contributions d'entretien.
C.c. Par courrier du 7 mai 2021, l'autorité cantonale a déclaré se référer aux considérants de son arrêt.
Par pli du 25 mai 2021, le BRAPA a indiqué se référer à l'arrêt querellé sur la question du dies a quo et s'en remettre à justice pour le surplus.
Par réponse du 26 mai 2021, l'épouse a conclu au rejet du recours et a sollicité le bénéfice de l'assistance judiciaire.
Le 11 juin 2021, le recourant a indiqué renoncer à déposer des observations complémentaires.

Considérant en droit :
1.
Déposé en temps utile (<ref-law>) et dans la forme légale (<ref-law>) par une partie qui a qualité pour recourir (art. 76 al. 1 let. a et b LTF), le recours est dirigé contre une décision de mesures provisionnelles rendue pendant la procédure de divorce, à savoir une décision finale (<ref-law>; <ref-ruling> consid. 2.2), rendue sur recours par une autorité supérieure statuant en dernière instance cantonale (art. 75 al. 1 et 2 LTF), dans une affaire civile (<ref-law>) de nature pécuniaire, dont la valeur litigieuse requise est atteinte (art. 51 al. 1 let. a, 51 al. 4 et 74 al. 1 let. b LTF). Le recours est donc en principe recevable au regard des dispositions qui précèdent.
2.
2.1. Comme la décision entreprise porte sur des mesures provisionnelles au sens de l'<ref-law>, la partie recourante ne peut dénoncer que la violation de droits constitutionnels. Le Tribunal fédéral n'examine de tels griefs que s'ils ont été invoqués et motivés par le recourant (" principe d'allégation ", <ref-law>), c'est-à-dire s'ils ont été expressément soulevés et exposés de manière claire et détaillée (<ref-ruling> consid. 2.1; <ref-ruling> consid. 2; <ref-ruling> consid. 2.4). Le recourant qui se plaint de la violation d'un droit fondamental ne peut donc se borner à critiquer la décision attaquée comme il le ferait en instance d'appel, où l'autorité de recours jouit d'une libre cognition; il ne peut, en particulier, se contenter d'opposer sa thèse à celle de l'autorité cantonale, mais doit démontrer ses allégations par une argumentation précise (<ref-ruling> consid. 3; <ref-ruling> consid. 3.2). Le Tribunal fédéral n'entre pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 2.1; <ref-ruling> consid. 2.4; <ref-ruling> consid. 2.3). Par ailleurs, lorsqu'une décision attaquée se fonde sur plusieurs motivations indépendantes, alternatives ou subsidiaires, toutes suffisantes pour sceller le sort de la cause, la partie recourante doit, sous peine d'irrecevabilité, démontrer que chacune d'entre elles est contraire au droit en se conformant aux exigences de motivation requises (ATF <ref-ruling> consid. 2.4; <ref-ruling> consid. 3.4; <ref-ruling> consid. 2).
D'après la jurisprudence, une décision est arbitraire (art. 9 Cst.) lorsqu'elle est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et indiscuté, ou heurte de manière choquante le sentiment de la justice et de l'équité; il ne suffit pas qu'une autre solution paraisse concevable, voire préférable; pour que cette décision soit annulée, encore faut-il qu'elle se révèle arbitraire, non seulement dans ses motifs, mais aussi dans son résultat (<ref-ruling> consid. 1.3.1; <ref-ruling> consid. 1.1; <ref-ruling> consid. 2).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Dans l'hypothèse d'un recours soumis à l'<ref-law>, le recourant qui soutient que les faits ont été établis d'une manière manifestement inexacte, c'est-à-dire arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 2.2; <ref-ruling> consid. 5.2.2; <ref-ruling> consid. 2.3), doit, sous peine d'irrecevabilité, satisfaire au principe d'allégation susmentionné (<ref-law>; cf. supra consid. 2.1; <ref-ruling> consid. 2.2; <ref-ruling> consid. 1.1; <ref-ruling> consid. 2.3).
En matière d'appréciation des preuves et d'établissement des faits, il y a arbitraire lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (<ref-ruling> consid. 4.2; <ref-ruling> consid. 1.1; <ref-ruling> consid. 2.3).
3.
Le recourant reproche tout d'abord à l'autorité cantonale d'avoir violé son droit d'être entendu (art. 29 al. 2 Cst.), sous l'angle d'une motivation lacunaire, s'agissant de la fixation du dies a quo de la modification de la contribution d'entretien en faveur de l'enfant C._.
3.1. Dans l'arrêt querellé, l'autorité cantonale a relevé que, pour déterminer s'il fallait entrer en matière sur la requête de modification de la contribution d'entretien, le premier juge avait comparé la situation de l'époux au jour de la fixation de la contribution d'entretien dans le prononcé de mesures protectrices de l'union conjugale du 23 janvier 2019 avec sa situation au 12 août 2019, jour du dépôt de la requête de modification. A cet égard, le premier juge avait retenu que l'époux avait perdu son emploi le 31 janvier 2019 et qu'aucun élément au dossier ne laissait penser qu'il reprendrait un travail à relativement court terme, de sorte qu'il fallait admettre le caractère durable de la modification. S'agissant du point de départ de celle-ci, l'autorité cantonale a considéré que le premier juge était en droit d'augmenter la pension de l'enfant avec effet rétroactif au 1er février 2019, dès lors que l'<ref-law>, qui prévoit que l'enfant peut réclamer le versement d'une contribution d'entretien pour l'année qui précède l'ouverture de l'action, était applicable par analogie à la procédure de modification de la pension. Le juge cantonal a en outre relevé que la problématique de la révision que soulevait l'époux n'avait en réalité aucun lien avec la question litigieuse, c'est-à-dire celle de savoir si le premier juge pouvait ou non modifier la contribution d'entretien pour une période précédant le dépôt de la requête, compte tenu des conclusions reconventionnelles de l'intimée.
3.2. La jurisprudence a déduit du droit d'être entendu garanti par l'art. 29 al. 2 Cst. l'obligation pour l'autorité de motiver sa décision, afin que l'intéressé puisse se rendre compte de la portée de celle-ci et exercer son droit de recours à bon escient (<ref-ruling> consid. 3.4.1; <ref-ruling> consid. 3.4.3; <ref-ruling> consid. 2.1). Pour satisfaire à ces exigences, il suffit que le juge mentionne, au moins brièvement, les motifs qui l'ont guidé et sur lesquels il a fondé sa décision; il ne doit pas se prononcer sur tous les moyens des parties, mais peut au contraire se limiter à ceux qui apparaissent pertinents (<ref-ruling> consid. 5.2; <ref-ruling> consid. 4.2 et les références). La motivation peut d'ailleurs être implicite et résulter des différents considérants de la décision (<ref-ruling> consid. 3.2.1; arrêt 5A_415/2020 du 18 mars 2021 consid. 3.1).
3.3. En se référant à la date de la perte d'emploi de l'époux, l'autorité cantonale a en l'espèce mentionné - même brièvement - le motif qui l'a guidée et sur lequel elle a fondé l'effet rétroactif de la décision. Dès lors qu'elle n'a pas contrevenu aux exigences jurisprudentielles de motivation susmentionnées, le moyen tiré de la violation du droit d'être entendu doit être rejeté.
4.
S'agissant toujours de la question de l'effet rétroactif octroyé à la modification de la contribution d'entretien en faveur de l'enfant, le recourant se plaint d'arbitraire (art. 9 Cst.) et fait valoir que, dès lors que sa perte d'emploi était antérieure au prononcé de l'arrêt sur appel du 1er avril 2019 - rendu à la suite d'une précédente ordonnance de mesures protectrices de l'union conjugale du 23 janvier 2019, par laquelle il avait été astreint au versement d'une pension mensuelle de 975 fr. dès le 1er novembre 2018 -, la situation ne pouvait être revue pour la période antérieure au 1er avril 2019 que par le biais d'une révision.
4.1. Sur ce point, l'autorité cantonale a relevé que, selon la jurisprudence, la possibilité de modifier le régime des mesures provisionnelles n'empêchait pas de demander une révision lorsque l'on s'appuyait sur des faux nova, ce qui serait le cas si le prononcé était fondé sur des faits qui se révélaient par la suite inexacts, ou si des faits importants antérieurs à la décision dont la modification était demandée n'avaient pas été pris en considération. Outre que la jurisprudence n'excluait pas, même en un tel cas, la possibilité de modifier des mesures provisionnelles, il n'y avait rien de tel en l'espèce. L'époux avait en effet sollicité la modification du régime des mesures provisionnelles en se fondant sur la perte de son emploi, dont il n'avait pas été tenu compte dans la précédente décision du fait qu'au moment où il avait été statué sur les mesures provisionnelles, le changement n'était pas (encore) durable. Il y avait là un vrai fait nouveau et, à partir du moment où cela était admis, il était loisible à l'épouse de prendre ses propres conclusions, puisque le juge saisi devait actualiser tous les paramètres.
4.2. Dans son grief, le recourant ne s'en prend pas à l'argumentation cantonale selon laquelle une révision n'entrerait pas en ligne de compte faute de caractère durable de sa perte d'emploi au moment de la précédente procédure de mesures provisoires. Or, cette argumentation suffit à elle seule à sceller le sort du grief, de sorte que, faute de motivation suffisante, le moyen est irrecevable (cf. supra consid. 2.1).
5.
Le recourant reproche à l'autorité cantonale d'avoir arbitrairement violé les art. 179 et 279 al. 1 CC en modifiant, avec effet rétroactif au 1er février 2019, la contribution d'entretien fixée en faveur de l'enfant par décision de mesures protectrices de l'union conjugale. Il conclut à ce que la modification de cette décision prenne effet au jour du dépôt de la requête, à savoir le 12 août 2019.
5.1. Le recourant soutient que l'<ref-law> ne trouverait pas application dans le cas d'espèce, au contraire de l'<ref-law>, la jurisprudence relative à cette disposition prévoyant selon lui que le dies a quo ne pourrait que très exceptionnellement être fixé à une date antérieure à celle du dépôt de la requête. Or, pour le recourant, son licenciement ne constituerait à l'évidence pas une circonstance exceptionnelle ou particulière permettant de faire remonter l'effet de la décision à une date antérieure à celle du dépôt de la requête de mesures provisionnelles, à savoir le 12 août 2019.
5.2.
5.2.1. Selon la jurisprudence, la modification d'une décision de mesures protectrices de l'union conjugale est soumise aux conditions de l'<ref-law> (<ref-ruling> consid. 5.1; <ref-ruling> consid. 2b/aa; <ref-ruling> consid. 1c). Cette disposition est applicable par renvoi de l'<ref-law> s'agissant des mesures provisoires dans la procédure de divorce (arrêts 5A_154/2019 du 1er octobre 2019 consid. 4.1; 5A_64/2018 du 14 août 2018 consid. 3.1 et les références).
5.2.2. Dans sa teneur entre le 1er janvier 2000 et le 30 juin 2014 (RO 1999 1118 et 2014 357), l'art. 179 al. 1 aCC prévoyait que le juge ordonnait les modifications commandées par les faits nouveaux et rapportait les mesures prises lorsque les causes qui les avaient déterminées n'existaient plus; en ce qui concernait les relations personnelles avec l'enfant et les mesures de protection de l'enfant, la compétence des autorités de tutelle était réservée. Depuis la modification au 1er juillet 2014 des dispositions du Code civil suisse relatives à l'autorité parentale (RO 2014 357), l'<ref-law> prévoit que, à la requête d'un époux, le juge ordonne les modifications commandées par les faits nouveaux et lève les mesures prises lorsque les causes qui les ont déterminées n'existent plus, les dispositions relatives à la modification des droits et devoirs parentaux en cas de divorce étant applicables par analogie.
Selon la jurisprudence, l'art. 179 al. 1, 2e phrase, CC renvoie notamment à l'<ref-law> (modification des autres droits et devoirs des père et mère en cas de divorce), en relation avec les <ref-law> (obligation d'entretien des père et mère) et plus précisément l'<ref-law> s'agissant de la modification de la contribution d'entretien de l'enfant (<ref-ruling> consid. 2.7.2; arrêt 5A_800/2019 du 9 février 2021 consid. 3.1, non publié aux <ref-ruling>).
5.2.3.
5.2.3.1. En matière de contribution due pour l'entretien d'un enfant, l'<ref-law> prévoit que si la situation change notablement, le juge modifie ou supprime la contribution d'entretien à la demande du père, de la mère ou de l'enfant.
Cette modification ou suppression suppose que des faits nouveaux importants et durables surviennent, qui commandent une réglementation différente. La procédure de modification n'a pas pour but de corriger le premier jugement, mais de l'adapter aux circonstances nouvelles (<ref-ruling> consid. 4.1.1 et les références; arrêts 5A_190/2020 du 30 avril 2021 consid. 3; 5A_230/2019 du 31 janvier 2020 consid. 6.1; 5A_400/2018 du 28 août 2018 consid. 3; 5A_788/2017 du 2 juillet 2018 consid. 5.1, non publié aux <ref-ruling>).
5.2.3.2. Aux termes de l'<ref-law>, l'enfant peut agir contre son père et sa mère, ou contre les deux ensemble, afin de leur réclamer l'entretien pour l'avenir et pour l'année qui précède l'ouverture de l'action.
Selon le Message du Conseil fédéral, la possibilité d'une rétroactivité d'une année vise à laisser le temps à l'enfant de trouver une solution amiable avec le parent débirentier et lui éviter de pâtir du fait qu'il n'agit pas immédiatement à l'encontre de son parent (Message du 5 juin 1974 concernant la modification du Code civil suisse [Filiation], FF 1974 II 1, p. 60; <ref-ruling> consid. 3b/aa).
La jurisprudence rendue dans le cadre de l'action en modification de jugement de divorce prévoit que l'<ref-law> peut s'appliquer par analogie en cas de modification demandée par l'enfant crédirentier (<ref-ruling> consid. 6a; <ref-ruling> consid. 3b/aa; arrêts 5A_694/2019 du 24 février 2020 consid. 1.2.2; 5A_506/2011 du 4 janvier 2012 consid. 3.1 et 5.1; 5A_84/2007 du 18 septembre 2007 consid. 3 et 4.2). La doctrine admet également l'application de l'<ref-law> à la modification de la contribution d'entretien de l'enfant mineur, sans limiter cette application à la modification intervenant dans le cadre d'une action en modification de jugement de divorce. A l'instar de l'autorité cantonale dans le cas d'espèce, la doctrine n'appuie cependant ses considérations que sur la jurisprudence relative à la modification de la contribution d'entretien fixée dans un jugement de divorce (LEUBA/MEIER/PAPAUX VAN DELDEN, Droit du divorce, 2021, n° 1178 p. 457; PATRICK STOUDMANN, Le divorce en pratique, 2021, p. 391; FOUNTOULAKIS/BREITSCHMID, in Basler Kommentar, ZGB I, 6e éd. 2018, no 7b ad <ref-law>; MICHEL/LUDWIG, in ZGB: Kurzkommentar, 2e éd. 2018, no 5 ad <ref-law>; SABINE AESCHLIMANN, in FamKomm, Scheidung, 3e éd. 2017, n° 17 ad <ref-law>; BRUNO ROELLI, in Handkommentar zum Schweizer Privatrecht, Art. 1-456 ZGB, 3e éd. 2016, n° 3 ad <ref-law>; DENIS PIOTET, in Commentaire romand, Code civil I: Art. 1-359, 2010, n° 9 ad <ref-law>).
5.3. Il ressort de ce qui précède que l'application analogique de l'<ref-law> à la modification d'une contribution d'entretien pour enfant fixée dans le cadre de mesures protectrices de l'union conjugale ou de mesures provisionnelles avant divorce n'est pas expressément prévue par la jurisprudence. Cela étant, compte tenu du renvoi de l'<ref-law> à l'<ref-law> - auquel l'<ref-law> s'applique par analogie -, du but de cette dernière disposition et du fait que la doctrine prévoit, de manière générale, son application à la modification de la contribution d'entretien de l'enfant, il n'apparaît pas arbitraire de considérer qu'elle peut également s'appliquer par analogie en faveur de l'enfant dans le cadre d'une action en modification d'une contribution d'entretien fixée par mesures protectrices de l'union conjugale ou par mesures provisionnelles dans le cadre d'une procédure de divorce.
5.4. Si l'arbitraire peut être exclu quant au principe de l'application de l'<ref-law> à la modification litigieuse, reste toutefois à déterminer si, in concreto, l'effet rétroactif octroyé par l'autorité cantonale sur la base de cette disposition légale demeure exempt d'arbitraire.
5.4.1. Le recourant fait à cet égard valoir qu'au 1er février 2019, sa perte d'emploi ne pouvait justifier une modification de la contribution d'entretien dans la mesure où il ne s'agissait pas encore d'un fait nouveau et durable au sens de l'<ref-law>, ce d'autant moins qu'il ressortait de la décision querellée qu'il avait continué à percevoir son salaire jusqu'au 30 juin 2019.
5.4.2. La contribution d'entretien en faveur de l'enfant peut être modifiée avec un effet rétroactif d'un an, mais au plus tôt à partir de la survenance du changement de circonstances invoqué (arrêt 5A_506/2011 du 4 janvier 2012 consid. 5.1; FOUNTOULAKIS/BREITSCHMID, op. cit., no 7b ad <ref-law>; SABINE AESCHLIMANN, op. cit., n° 17 ad <ref-law>; CYRIL HEGNAUER, in Berner Kommentar, Art. 276-295 ZGB, 1997, no 93 ad <ref-law>). Aussi, contrairement à ce qui prévaut pour l'entrée en matière sur la demande de modification (cf. supra consid. 5.2.3.1), la fixation du point de départ de la modification ne s'attache pas au caractère durable des faits nouveaux mais à la simple survenance de ceux-ci. Partant, le grief du recourant ne porte pas.
S'agissant de la critique selon laquelle le recourant aurait continué à percevoir son salaire jusqu'au 30 juin 2019, il ressort de l'arrêt querellé que, selon la situation des parties prévalant au jour du prononcé de mesures protectrices de l'union conjugale du 23 janvier 2019, le recourant réalisait, du temps de son activité pour le compte de son ancien employeur, un salaire mensuel net de 4'875 fr. 50, part au treizième salaire comprise. Il ressort également de la décision entreprise qu'après son licenciement avec effet au 31 janvier 2019, le recourant a continué à percevoir un salaire, arrêté à 4'931 fr. 80, part au treizième salaire comprise. Le recourant ne peut dès lors pas valablement se prévaloir d'une absence de modification de sa situation financière au 1er février 2019 et son grief doit par conséquent être rejeté.
6.
Le recourant s'en prend aux frais de transport retenus en faveur de l'intimée. Il invoque à cet égard une violation de son droit d'être entendu ainsi qu'une violation de l'interdiction de l'arbitraire.
6.1. Dans l'arrêt querellé, l'autorité cantonale a repris les frais de transport retenus pour l'intimée en première instance, à savoir, pour les années 2019 et 2020, 477 fr. par mois (277 fr. 20 [déplacements au travail] + 154 fr. [déplacements aux cours] + 45 fr. 80 [taxe SAN]). Elle a relevé que le premier juge avait exposé en détail les charges prétendues au titre des frais de transport et avait indiqué les motifs pour lesquels il s'en écartait. Il retenait notamment que le coût des assurances était compris dans le forfait de 70 centimes par kilomètre, mais qu'il fallait tenir compte de la taxe véhicule. La juridiction précédente a ajouté que l'époux avait soutenu ignorer quels trajets avaient été pris en compte alors qu'il avait allégué en première instance que ces mêmes trajets étaient pris en charge par l'employeur, de sorte que son moyen confinait à la témérité. Elle a estimé qu'en définitive, on pouvait confirmer le raisonnement du premier juge, qui expliquait appliquer un forfait de 70 centimes par kilomètre en vertu de la jurisprudence et considérait qu'un véhicule était indispensable à l'intimée puisqu'elle avait un enfant à charge et pour ses propres déplacements, l'époux n'ayant au demeurant pas démontré que les frais de transport pour se rendre aux cours à Lausanne seraient pris en charge par l'employeur de l'épouse.
6.2. Sous l'angle de la violation du droit d'être entendu, le recourant reproche à l'autorité cantonale de ne pas avoir indiqué sur quel kilométrage elle s'était fondée pour retenir que les frais de transport de l'intimée étaient justifiés et d'avoir à cet égard arbitrairement renvoyé à la décision de première instance, alors même qu'il avait fait valoir une violation de son droit d'être entendu en appel.
Sous l'angle de l'arbitraire, il fait valoir qu'en examinant les pièces produites par l'intimée, on constatait que celle-ci effectuait 13 kilomètres pour arriver sur son lieu de travail - où elle se rendait trois jours par semaine - et 15 kilomètres pour se rendre sur son lieu de formation, où elle suivait des cours deux fois par semaine. Ainsi, avec un montant de 70 centimes par kilomètre, l'intimée assumait des frais de 258 fr. 50 pour ses déplacements sur son lieu de travail et de 167 fr. 10 pour ses déplacements à ses cours, à savoir 384 fr. 30 au total, et non pas 477 fr., comme l'aurait retenu de manière insoutenable l'autorité cantonale.
6.3. En l'espèce, il faut suivre l'autorité cantonale lorsqu'elle retient que le recourant ne saurait se plaindre des frais litigieux au vu de ses déterminations de première instance, motivation que le recourant ne conteste du reste pas. En effet, comme le relève l'intimée dans sa réponse, celle-ci avait allégué en première instance les frais de transport admis par le premier juge, à savoir des frais de déplacement au travail de 277 fr. 20, que le recourant a admis dans ses déterminations du 10 octobre 2019, ainsi que des frais de déplacement aux cours de 154 fr., que l'intéressé n'a contestés que sous l'angle de la personne du débiteur des frais, mais non de la quotité de ceux-ci. Le recourant ne pouvait donc s'en prendre aux frais de transport admis par l'autorité de première instance que sous l'angle des aspects litigieux, à savoir de la prise en compte de la taxe SAN et du débiteur des frais de déplacement aux cours, ce qu'il n'a toutefois pas fait.
Il s'ensuit que son grief doit être rejeté.
7.
Le recourant taxe d'arbitraire la prise en compte du déficit de l'intimée au titre de contribution de prise en charge, dès lors que ce déficit ne serait pas lié à la prise en charge de l'enfant.
7.1. Dans l'arrêt querellé, l'autorité précédente a tenu compte pour l'épouse d'un salaire de 3'063 fr. 70 ainsi que de charges de 3'179 fr. 70 pour 2019 et de 3'185 fr. 10 pour 2020, soit un déficit de 116 fr. pour 2019 et de 121 fr. 40 pour 2020.
S'agissant de la question d'une contribution de prise en charge, elle a relevé que l'enfant était confiée à la garderie trois jours entiers et deux demi-journées par semaine et que l'époux l'avait auprès de lui une semaine sur deux, dans un premier temps du vendredi à 14 h 30 au dimanche soir à 20 h 30, puis, à compter du 1er décembre 2019, du jeudi soir à 18 h 00 au lundi soir à 18 h 00. Aussi, le manco de l'intimée n'était pas intégralement causé par la prise en charge de l'enfant. Toutefois, l'intimée travaillait à un taux supérieur à celui qui pouvait être exigé d'elle compte tenu de l'âge de l'enfant et de son besoin d'assistance personnelle, de sorte qu'il était juste de ne pas ignorer le poids que constituait l'accomplissement d'une activité rémunérée " surobligatoire ", en parallèle à la prise en charge effective de l'enfant. En présence de bas revenus, il fallait en particulier tenir compte du fait que, lorsque le parent gardien s'occupait de l'enfant, il subissait une limitation dans les choix de prise d'emploi. En outre, si l'on écartait la contribution de prise en charge dans le cas d'espèce, cela aboutirait à un résultat absurde et contraire à l'esprit de la loi en ce sens que l'intimée, si elle travaillait à temps partiel, souffrirait d'un déficit supérieur qui serait intégralement pris en compte au titre de contribution de prise en charge, alors que, puisqu'elle avait choisi de travailler à un taux supérieur, son déficit résiduel ne le serait pas.
7.2.
7.2.1. Selon l'<ref-law>, l'entretien de l'enfant est assuré par les soins, l'éducation et des prestations pécuniaires (al. 1). Les père et mère contribuent ensemble, chacun selon ses facultés, à l'entretien convenable de l'enfant (al. 2 in initio).
7.2.2. Selon la jurisprudence, on est en droit d'attendre du parent se consacrant à la prise en charge des enfants qu'il (re) commence à travailler ou qu'il étende son activité existante, en principe, à 50 % dès l'entrée du plus jeune enfant à l'école obligatoire, à 80 % à partir du moment où celui-ci débute le degré secondaire, et à 100 % dès la fin de sa seizième année (<ref-ruling> consid. 5.2; <ref-ruling> consid. 4.7.6; arrêt 5A_85/2021 du 26 mars 2021 consid. 7.3.2). Celui des parents qui assume la garde et qui s'était jusqu'alors consacré entièrement ou essentiellement à la prise en charge des enfants ne peut pas être obligé, en règle générale, de commencer ou d'accroître immédiatement une activité lucrative (ATF <ref-ruling> précité consid. 4.6).
7.2.3. Aux termes de l'<ref-law>, la contribution d'entretien doit correspondre aux besoins de l'enfant ainsi qu'à la situation et aux ressources de ses père et mère; il est tenu compte de la fortune et des revenus de l'enfant.
Selon la jurisprudence, tous les revenus doivent être pris en compte dans les ressources des parents et une individualisation fondée sur des situations particulières, comme par exemple une " déduction pour travail surobligatoire ", en particulier le traitement spécial de revenus tirés d'une part de travail allant au-delà du taux d'activité que permettrait d'exiger le système des paliers scolaires (cf. supra consid. 7.2.2), doit être écartée. Les spécificités du cas d'espèce ne doivent pas déjà être appréciées au stade de la détermination des ressources mais seulement au moment de la répartition de l'excédent (<ref-ruling> consid. 7.1 et 7.3; arrêt 5A_519/2020 du 29 mars 2021 consid. 4.2.2).
7.2.4. Selon l'<ref-law>, la contribution d'entretien sert aussi à garantir la prise en charge de l'enfant par les parents et les tiers.
La prise en charge de l'enfant ne donne droit à une contribution que si elle a lieu à un moment où le parent pourrait sinon exercer une activité rémunérée. En cas de prise en charge par l'un des parents (ou les deux), ce qui l'empêchera de travailler - du moins à plein temps -, la contribution de prise en charge doit permettre de garantir sa présence aux côtés de l'enfant (<ref-ruling> consid. 7.1.3). Si les moyens financiers sont limités, une éventuelle contribution de prise en charge doit être déterminée sur la base du minimum vital du droit des poursuites du parent gardien. Le minimum vital du droit de la famille constitue la limite supérieure de la contribution de prise en charge dès lors que celle-ci vise uniquement à assurer la prise en charge personnelle de l'enfant (<ref-ruling> consid. 7.2; <ref-ruling> consid. 7.1.4; arrêt 5A_519/2020 précité consid. 4.2.3).
7.3. En l'espèce, il n'est pas contesté qu'en application du système des paliers scolaires, l'intéressée exerce une activité à un taux supérieur à celui que l'on pourrait exiger de sa part. Cela étant, compte tenu de la jurisprudence qui précède, une contribution de prise en charge ne lui est due qu'en ce qu'elle concerne le moment durant lequel elle garde l'enfant alors que, dans le même temps, elle pourrait exercer une activité rémunérée. En retenant le contraire, l'autorité cantonale a, sur le principe, versé dans l'arbitraire.
Sous l'angle de l'arbitraire dans le résultat, il n'est pas exclu qu'en fonction du taux d'activité (partiel) exercé par l'épouse, un déficit de 116 fr. pour 2019 et de 121 fr. 40 pour 2020 doive tout de même être couvert par une contribution de prise en charge. Encore faudrait-il pouvoir connaître ce taux d'activité afin de déterminer dans quelle mesure il existe une restriction de l'activité causée par la garde de l'enfant. Or, si l'on connaît la mesure de la prise en charge hebdomadaire de l'enfant par la crèche (trois jours et deux demi journées) ainsi que le droit de visite exercé par son père, le taux d'activité de l'épouse ne ressort pas de l'arrêt querellé.
Sur le vu de ce qui précède, il convient d'admettre le grief, de renvoyer la cause à l'autorité cantonale pour qu'elle détermine le taux d'activité de l'intimée et qu'elle réexamine, sur cette base ainsi qu'en tenant compte des modalités de garde de l'enfant, dans quelle mesure la prise en compte d'une contribution de prise en charge se justifie. Le cas échéant, la juridiction précédente fixera à nouveau la contribution d'entretien en faveur de l'enfant.
8.
Le recourant reproche à l'autorité cantonale d'avoir versé dans l'arbitraire en retenant dans ses charges des frais médicaux de 102 fr., à savoir une moyenne entre les frais assumés en 2018 et 2019.
8.1. Dans l'arrêt querellé, la juridiction précédente a relevé que l'époux contestait sa charge de frais médicaux non couverts en se fondant sur une pièce produite en appel, recevable compte tenu de l'application de la maxime inquisitoire illimitée. En 2018, les frais médicaux non couverts par l'assurance-maladie de l'époux s'étaient ainsi élevés à 1'014 fr. et il ressortait du décompte de déclaration fiscale produit en appel que ces frais s'étaient élevés, pour 2019, à 1'438 fr. 55. En conséquence, il convenait de tenir compte de la moyenne mensualisée de ces deux montants, soit un montant mensuel arrondi de 102 fr. ([1'014 fr. + 1'438 fr. 55] / 2 / 12).
8.2. En l'espèce, l'autorité cantonale a tenu compte des frais médicaux non couverts du recourant pour les années 2019 et 2020. Pour cette dernière année, les frais ne pouvaient pas encore être établis, de sorte que le juge cantonal a retenu une moyenne des frais relatifs aux deux années précédentes, à savoir 2018 et 2019. En revanche, malgré le fait que les frais pour 2019 étaient connus et établis, il a également établi une moyenne avec les frais concernant l'année 2018, qui sont inférieurs à ceux de 2019. Cela étant, dans la mesure où l'autorité cantonale a également tenu compte de frais pour l'année 2020 alors qu'aucun décompte n'avait pu être établi pour l'année en question, il n'apparaît pas arbitraire, sous l'angle du résultat, d'avoir tenu compte d'une moyenne sur deux années pour 2019 et 2020.
Il suit de là que le grief doit être rejeté.
9.
Le recourant s'en prend aux frais de transport le concernant et soutient que, compte tenu de la disponibilité dont il ferait preuve avec l'enfant C._, des frais de véhicule mensuels de 250 fr. devraient être admis en lieu et place des frais de transports publics de 152 fr. 40.
9.1. Il ressort de l'arrêt entrepris que l'époux reprochait au premier juge d'avoir retenu des frais de transport par 152 fr. 40 en se fondant sur les coûts d'un abonnement aux transports publics. Il soutenait que l'utilisation d'une voiture lui était indispensable pour l'exercice de son droit de visite et qu'elle serait justifiée par la grande disponibilité dont il ferait preuve envers l'intimée, qui solliciterait souvent son aide pour elle-même et pour l'enfant. Toujours selon la décision querellée, le premier juge avait relevé que l'époux était sans emploi et que la garderie de l'enfant se trouvait à 15 minutes de son domicile en transports publics, de sorte que la nécessité de disposer d'un véhicule n'avait pas été rendue vraisemblable. Il avait dès lors tenu compte du prix d'un abonnement Mobilis 4 zones tarifaires ainsi que de l'abonnement demi-tarif des CFF.
L'autorité cantonale a confirmé le raisonnement du premier juge en rappelant que, selon la jurisprudence de la Cour d'appel civile du Tribunal cantonal vaudois, l'exercice du droit de visite, même élargi, n'était pas incompatible avec l'utilisation des transports publics. En l'espèce, le montant retenu par le premier juge permettait largement à l'époux de faire les trajets entre son domicile et celui de l'intimée, lesquels étaient séparés par 3 zones tarifaires, et l'intéressé ne contestait pas que la garderie se situait à 15 minutes de son domicile en transports publics. Enfin, les abonnements dont le coût avait été pris en compte par le premier juge permettaient de couvrir les déplacements nécessaires à l'époux pour ses recherches d'emploi éventuelles, dont il ne se prévalait d'ailleurs pas. Les arguments de l'intéressé selon lesquels il aiderait énormément l'intimée et se rendrait extrêmement disponible pour elle et leur fille étaient par ailleurs contestés par l'intimée et n'étaient pas établis.
9.2. Selon la jurisprudence, si - comme en l'espèce - la situation financière des parties est serrée et que l'on s'en tient au minimum vital LP, les frais de véhicule ne peuvent être pris en considération que si le véhicule est indispensable au débiteur personnellement (cf. le cas d'un invalide: <ref-ruling> consid. 3) ou nécessaire à l'exercice de sa profession, l'utilisation des transports publics ne pouvant être raisonnablement exigée (<ref-ruling> consid. 2d; arrêts 5A_144/2021 du 28 mai 2021 consid. 6.2; 5A_845/2012 du 2 octobre 2013 consid. 3.3; 5A_100/2012 du 30 août 2012 consid. 5.1; 5A_703/2011 du 7 mars 2012 consid. 4.2).
9.3. In casu, le recourant appuie son argumentation sur une prétendue grande disponibilité pour l'enfant et sur le fait que l'utilisation de son véhicule lui permettrait de faire figure de soutien. Cela étant, quand bien même ces faits seraient avérés, ils ne sauraient valablement s'opposer aux autres éléments retenus par l'autorité cantonale qui permettent de justifier la prise en compte des abonnements retenus, à savoir notamment que la garderie se situe à 15 minutes de son domicile avec l'utilisation des transports publics et que l'exercice du droit de visite, même élargi, n'est pas incompatible avec l'utilisation de tels transports.
Le grief est, partant, infondé.
10.
Finalement, le recourant fait valoir qu'il conviendrait de réformer la décision entreprise s'agissant de la répartition des frais et dépens, qui devraient être mis à la charge de l'intimée. Cela étant, compte tenu de l'admission partielle du recours, il appartiendra à l'autorité cantonale de statuer à nouveau sur les frais et dépens de la procédure cantonale (art. 67 et 68 al. 5 LTF), de sorte que le grief n'a pas à être examiné plus avant.
11.
En définitive, le recours est partiellement admis dans la mesure où il est recevable. L'arrêt attaqué est annulé en tant qu'il porte sur les contributions d'entretien dues à l'enfant C._, la cause est renvoyée à l'autorité cantonale pour nouvelle décision dans le sens des considérants et le recours est rejeté pour le surplus.
Les requêtes d'assistance judiciaire des parties sont admises (<ref-law>). Vu l'issue du litige, les frais judiciaires, arrêtés à 2'500 fr., sont mis à la charge des parties par 2'000 fr. pour le recourant (4/5) et par 500 fr. pour l'intimée (1/5; <ref-law>). Ils seront provisoirement supportés par la Caisse du Tribunal fédéral (art. 64 al. 1 et 66 al. 1 LTF). Chaque partie a en outre droit à des dépens réduits dans la même proportion (pleins dépens de 3'000 fr. pour le recourant, réduits de 4/5 à 600 fr., et pleins dépens de 1'500 fr. pour l'intimée, réduits de 1/5 à 1'200 fr.) et compensés à concurrence du montant le plus faible (art. 68 al. 1 et 2 LTF), ce qui amène à des dépens réduits de 600 fr. en faveur de l'intimée. Des indemnités, provisoirement supportées par la Caisse du Tribunal fédéral, sont allouées aux conseils des parties à titre d'honoraires d'avocat d'office, à hauteur de 2'000 fr. pour le conseil du recourant et de 1'000 fr. pour le conseil de l'intimée (<ref-law>). Chaque partie est rendue attentive au fait qu'elle est tenue de rembourser ultérieurement la Caisse du Tribunal fédéral si elle est en mesure de le faire (<ref-law>). Il appartiendra à l'autorité cantonale de statuer à nouveau sur les frais et dépens de la procédure cantonale (art. 67 et 68 al. 5 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est partiellement admis dans la mesure où il est recevable, l'arrêt attaqué annulé en ce qu'il concerne les contributions d'entretien en faveur de l'enfant C._ et la cause renvoyée à l'autorité cantonale pour nouvelle décision dans le sens des considérants. Le recours est rejeté pour le surplus.
2.
La requête d'assistance judiciaire du recourant est admise et Me Matthieu Genillod, avocat à Lausanne, lui est désigné comme conseil d'office.
3.
La requête d'assistance judiciaire de l'intimée est admise et Me Silvia Gutierrez, avocate à Lausanne, lui est désignée comme conseil d'office.
4.
Les frais judiciaires, arrêtés à 2'500 fr., sont mis à la charge des parties par 2'000 fr. pour le recourant et par 500 fr. pour l'intimée, et sont provisoirement supportés par la Caisse du Tribunal fédéral.
5.
Une indemnité de 600 fr., à verser à l'intimée à titre de dépens réduits, est mise à la charge du recourant.
6.
Une indemnité de 2'000 fr., provisoirement supportée par la Caisse du Tribunal fédéral, est allouée au conseil du recourant à titre d'honoraires d'avocat d'office.
7.
Une indemnité de 1'000 fr., provisoirement supportée par la Caisse du Tribunal fédéral, est allouée au conseil de l'intimée à titre d'honoraires d'avocat d'office.
8.
La cause est renvoyée à l'autorité précédente pour nouvelle décision sur les frais et dépens de la procédure cantonale.
9.
Le présent arrêt est communiqué aux parties, à l'Etat de Vaud, et au Juge délégué de la Cour d'appel civile du Tribunal cantonal du canton de Vaud.
Lausanne, le 19 novembre 2021
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
La Greffière : Gudit