Faits :
A.
A._ (1964) et B._ (1965) se sont mariés en 1987. De leur union sont issus quatre enfants, dont seule la cadette C._ (2006) est encore mineure.
Par arrêt du 23 avril 2018, la Cour d'appel civil du Tribunal cantonal de l'Etat de Fribourg (ci-après: la Cour d'appel civil) a partiellement modifié le règlement des effets accessoires du jugement de divorce du 6 novembre 2017 entre les parties. Elle a condamné le père à contribuer à l'entretien de l'enfant mineur à raison de 2'800 fr. par mois jusqu'à sa majorité ou jusqu'à l'achèvement d'une formation appropriée et, à compter de ce moment, à contribuer à l'entretien de son épouse à raison de 1'900 fr. par mois jusqu'à ce qu'il atteigne l'âge de la retraite.
B.
Le 6 mars 2019, l'ex-mari a déposé une demande en modification du jugement de divorce tendant à ce que la contribution d'entretien mensuelle versée à sa fille soit réduite à 700 fr., puis à 560 fr. dès l'arrivée en Suisse de sa compagne actuelle et des deux enfants qu'il a eues avec celle-ci et à ce qu'aucune contribution ne soit due à son ex-épouse.
Par arrêt du 28 mai 2020, la Cour d'appel civil a partiellement admis l'appel formé par l'ex-mari contre la décision du 18 novembre 2019 du Tribunal civil de la Sarine rejetant sa demande de modification du jugement de divorce. Elle a fixé le montant de la contribution d'entretien en faveur de l'enfant mineur à 860 fr. par mois, réduite à 720 fr. par mois dès le 1er septembre 2022 et jusqu'à la majorité ou à l'achèvement d'une formation appropriée au sens de l'<ref-law>. Elle a également réduit à 1'300 fr. la contribution d'entretien mensuelle en faveur de l'ex-épouse qui serait due dès que l'enfant mineur aura atteint la majorité ou aura acquis une formation appropriée, ce jusqu'à l'âge de la retraite de l'ex-mari. Le dies a quo de ces modifications a été fixé au 1er juillet 2020.
C.
A._ exerce un recours en matière civile. Il conclut principalement à la réforme de l'arrêt cantonal, en ce sens que le point de départ de la modification du jugement de divorce est fixé au 1er août 2019 et, à titre subsidiaire, à l'annulation de l'arrêt cantonal et au renvoi de la cause à l'autorité précédente. Il sollicite l'assistance judiciaire.
Invitée à se déterminer, l'intimée conclut principalement à l'irrecevabilité du recours, subsidiairement à son rejet. Elle requiert également d'être mise au bénéfice de l'assistance judiciaire. Le recourant a répliqué spontanément.

Considérant en droit :
1.
Déposé en temps utile (art. 46 al. 1 let. b et 100 al. 1 LTF) et dans la forme légale (<ref-law>), le recours est dirigé contre une décision finale (<ref-law>) rendue sur recours par une autorité supérieure statuant en dernière instance cantonale (<ref-law>), dans une affaire civile (<ref-law>), de nature pécuniaire. La valeur litigieuse atteint le seuil minimal requis de 30'000 fr. (art. 51 al. 1 let. a, 51 al. 4 et 74 al. 1 let. b LTF). Le recourant, qui a participé à la procédure devant l'autorité précédente et a un intérêt digne de protection à la modification ou l'annulation de la décision attaquée, a qualité pour recourir (<ref-law>). Le recours en matière civile est donc en principe recevable.
2.
2.1. Le recours en matière civile peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 s. LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>). Cela étant, eu égard à l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, il n'examine en principe que les griefs soulevés (<ref-ruling> consid. 2.4 et les références). Le recourant doit par conséquent discuter les motifs de la décision entreprise et indiquer précisément en quoi il estime que l'autorité précédente a méconnu le droit (<ref-ruling> consid. 1.7.1; <ref-ruling> consid. 2.4 et la référence). Le Tribunal fédéral ne connaît par ailleurs de la violation de droits fondamentaux que si un tel grief a été expressément invoqué et motivé de façon claire et détaillée par le recourant (" principe d'allégation ", <ref-law>; <ref-ruling> consid. 2.1; <ref-ruling> consid. 2.4).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Le recourant qui entend invoquer que les faits ont été établis de manière manifestement inexacte ne peut obtenir la rectification ou le complètement des constatations de fait de l'arrêt cantonal que s'il démontre la violation de droits constitutionnels, conformément au principe d'allégation susmentionné (cf. supra consid. 2.1). Le Tribunal fédéral ne corrige les constatations de fait que si elles sont arbitraires (art. 9 Cst.) et ont une influence sur le résultat de la décision (<ref-ruling> consid. 1.2.2).
2.3. En vertu de l'<ref-law>, aucun fait nouveau ni preuve nouvelle ne peut être présenté, à moins de résulter de la décision de l'autorité précédente. Cette exception, dont il appartient au recourant de démontrer que les conditions sont remplies (<ref-ruling> consid. 1.1), vise les faits qui sont rendus pertinents pour la première fois par la décision attaquée, par exemple concernant le déroulement de la procédure devant l'instance précédente afin d'en contester la régularité, ou encore des faits postérieurs à l'arrêt attaqué permettant d'établir la recevabilité du recours (<ref-ruling> consid. 4.4.3). En dehors du cas prévu par l'<ref-law>, les nova ne sont pas admissibles, qu'il s'agisse de faits ou moyens de preuve survenus postérieurement à la décision attaquée (<ref-ruling> consid. 5.2.4) ou d'éléments que les parties ont négligé de présenter à l'autorité précédente (<ref-ruling> consid. 1.2; <ref-ruling> consid. 4.4.3).
En l'espèce, le recourant allègue pour la première fois dans son recours au Tribunal fédéral, en s'appuyant sur de nouveaux moyens de preuve, ne plus avoir versé la totalité de la contribution d'entretien en faveur de l'enfant depuis le 1er août 2019, faute de moyens. Il expose que ces faits sont recevables, dès lors qu'ils découlent directement de la décision attaquée et n'étaient pas pertinents devant la cour cantonale. Contrairement à ce qu'affirme le recourant, l'on ne peut à l'évidence pas soutenir que ces allégués et moyens de preuve nouveaux résulteraient de l'arrêt entrepris. Dès lors que la présente procédure a pour objet une modification du jugement de divorce dans laquelle celui-ci requiert notamment que la contribution d'entretien allouée à sa fille soit réduite à partir d'une date déterminée, il lui incombait d'alléguer et de prouver en instance cantonale tous les faits pertinents pour fixer le point de départ de la nouvelle contribution. Faute pour le recourant de démontrer en quoi il aurait été confronté à des développements imprévisibles de la part des juges cantonaux, ses nouveaux allégués et nouveaux moyens de preuve sont irrecevables.
3.
Le recourant ne conteste pas le calcul des nouvelles contributions d'entretien, mais reproche uniquement à la cour cantonale d'avoir considéré que leur modification devait prendre effet le 1er juillet 2020, soit le premier du mois suivant la notification de l'arrêt contesté aux parties.
3.1. Le juge de l'action en modification d'un jugement de divorce peut fixer le moment à partir duquel son jugement prend effet selon son appréciation (<ref-law>) et en tenant compte des circonstances du cas concret (<ref-ruling> consid. 4c; arrêts 5A_964/2018 du 26 juin 2019 consid. 4.1, 5A_651/2014 du 27 janvier 2015 consid. 4.1.2, 5A_760/2012 du 27 février 2013 consid. 6). Le Tribunal fédéral n'intervient que si la juridiction cantonale s'est écartée sans raison des règles établies par la jurisprudence et la doctrine ou si elle s'est appuyée sur des faits qui, dans le cas particulier, ne devaient jouer aucun rôle ou si, au contraire, elle n'a pas tenu compte d'éléments qui auraient absolument dû être pris en considération (<ref-ruling> consid. 5.4; <ref-ruling> consid. 5.1; <ref-ruling> consid. 4.3 et les arrêts cités). En principe, la jurisprudence retient la date du dépôt de la demande (<ref-ruling> consid. 4c/aa; <ref-ruling> consid. 3b; arrêts 5A_964/2018 précité consid. 4.1, 5A_651/2014 précité consid. 4.1.2, 5A_760/2012 précité consid. 6). Lorsque le motif pour lequel la modification est demandée se trouve déjà réalisé lors du dépôt de la demande, il ne se justifie normalement pas, du point de vue de l'équité, de faire remonter l'effet de la modification à une date postérieure. Le crédirentier doit tenir compte du risque de réduction ou de suppression de la rente dès l'ouverture d'action. Le Tribunal fédéral a cependant admis qu'il était possible de retenir une date ultérieure, par exemple le jour du jugement, notamment lorsque la restitution des contributions versées et utilisées pendant la durée du procès ne peut équitablement être exigée (<ref-ruling> consid. 4c; arrêts 5A_230/2019 du 31 janvier 2020 consid. 6.1, 5A_964/2018 précité consid. 4.1, 5A_651/2014 précité consid. 4.1.2, 5A_760/2012 précité consid. 6). Cette dernière situation suppose que le crédirentier, sur la base d'indices objectivement sérieux, ait pu compter pendant la durée de la procédure avec le maintien du jugement d'origine; il s'agit ainsi d'un régime d'exception (arrêts 5A_964/2018 précité consid. 4.1, 5A_461/2011 du 14 octobre 2011 consid. 5.1, publié in SJ 2012 I p. 148 et les arrêts cités).
3.2. La cour cantonale a considéré qu'il se justifiait en l'espèce de prévoir que la modification du jugement de divorce prendrait effet le 1er juillet 2020 seulement, compte tenu de la situation déficitaire de l'ex-épouse et de sa fille et du fait qu'en première instance l'ex-épouse avait obtenu gain de cause et pouvait donc espérer que les contributions d'entretien fixées par jugement de divorce du 6 novembre 2017 et arrêt du 23 avril 2018 perdureraient.
3.3. Dans un premier grief, le recourant soutient en substance que la fixation du dies a quo de la modification du jugement de divorce à une date ultérieure à celle où sa compagne et ses enfants sont arrivés en Suisse reposerait sur un établissement manifestement inexact des faits. Il expose que la demande qu'il avait déposée le 6 mars 2020 [recte: 2019] apportait des éléments sérieux et concrets justifiant une modification, de sorte que son ex-épouse ne pouvait pas ignorer les risques que les contributions d'entretien allaient être réduites de manière importante, au minimum depuis le mois d'août 2019. Le fait qu'elle avait obtenu gain de cause en première instance ne permettait pas de remettre en cause cette appréciation puisque le recourant avait déposé un appel et introduit une deuxième demande pour le cas où l'appel serait rejeté. Par conséquent, la cour cantonale avait retenu de manière arbitraire que son ex-épouse disposait d'indices objectivement sérieux lui permettant de compter sur le maintien du jugement d'origine. Par surabondance de motifs, le recourant précise qu'au vu du paiement partiel de la contribution d'entretien, la décision de fixer les modifications au 1er août 2019 était sans réelle incidence pour son ex-épouse qui n'avait rien à lui rembourser, de sorte que les motifs de l'arrêt contesté tombaient à faux. Il ajoute que le résultat auquel la cour cantonale arrive est choquant et arbitraire au vu des " pensions " concernées, qui le laisse avec une énorme dette. Dans un deuxième grief, le recourant fait valoir une violation de l'<ref-law> dans la mesure où, selon lui, il n'existerait pas en l'espèce de motifs objectifs permettant de s'écarter de la règle générale posée par cette disposition selon laquelle le point de départ d'une modification est fixé au dépôt de la demande.
3.4. En tant que le recourant expose que la cour cantonale a procédé a un établissement arbitraire des faits au motif que son ex-épouse n'aurait rien à lui rembourser vu le paiement partiel de la contribution, il fonde son argument sur des faits nouveaux irrecevables (cf. supra consid. 2.3). Il résulte de l'arrêt querellé que la cour cantonale a d'abord rappelé la règle selon laquelle il était possible, en équité, de retenir une date ultérieure à celle de l'introduction de la demande pour déterminer le dies a quo d'une modification du jugement de divorce, en particulier lorsqu'une restitution de contributions allouées par ce jugement et utilisées pendant la durée de la procédure ne peut pas être exigée. Sur cette base, elle a ensuite jugé qu'en l'espèce la situation déficitaire de l'ex-épouse et de sa fille, d'une part, - dont il appert que les contributions d'entretien allouées ont manifestement dû être utilisées pour couvrir leurs besoins - et le fait que l'ex-épouse pouvait escompter que la cour cantonale confirmerait ces contributions (vitales) dès lors qu'un premier juge lui avait déjà donné raison, d'autre part, permettaient d'arrêter équitablement la date de la modification à une date ultérieure. Ce faisant, elle a donc tenu compte, conformément à la jurisprudence, des circonstances du cas concret, principalement du fait que la situation déficitaire de l'intimée et de sa fille justifiait de protéger leur expectative de pouvoir compter avec les contributions d'entretien allouées dans la procédure de divorce et qui n'avaient pas été revues en première instance. Compte tenu du pouvoir d'appréciation dont jouit le juge de l'action en modification d'un jugement de divorce pour arrêter le moment à partir duquel son jugement prend effet (cf. supra consid. 3.1), il n'apparaît pas que les juges cantonaux ont abusé de ce pouvoir et ont violé le droit fédéral en arrêtant le dies a quo de la modification de la contribution d'entretien. Il suit de là que mal fondée, la critique du recourant doit être rejetée.
4.
Au vu de ce qui précède, le recours est rejeté dans la mesure de sa recevabilité, aux frais du recourant (<ref-law>), qui versera en outre une indemnité de dépens à l'intimée (art. 68 al. 1 et 2 LTF).
Les deux parties sollicitent le bénéfice de l'assistance judiciaire. Les conditions prévues à l'art. 64 al. 1 et 2 LTF sont remplies en l'espèce. Puisque l'intimée ne supporte pas les frais judiciaires, sa demande d'assistance judiciaire est sans objet (<ref-ruling> consid. 5; arrêts 5A_403/2019 du 12 mars 2020 consid. 5.2, 5A_154/2019 du 1er octobre 2019 consid. 6.2 et la référence) en tant qu'elle porte sur ce point. Tel n'est en revanche pas le cas en tant qu'elle concerne la désignation d'un avocat d'office et l'indemnisation de celui-ci. En effet, bien que le recourant ait été condamné à verser des dépens à l'intimée, il y a lieu de considérer que celle-ci ne sera pas en mesure de les recouvrer, compte tenu de la situation financière du recourant. L'avocate de l'intimée sera dès lors directement indemnisée par la Caisse du Tribunal fédéral (arrêts 5A_403/2019 et 5A_154/2019 précités; cf. ég. <ref-ruling> consid. 3d). Les parties sont rendues attentives au fait qu'elles sont tenues de rembourser ultérieurement la Caisse du Tribunal fédéral si elles sont en mesure de le faire (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté, dans la mesure où il est recevable.
2.
La requête d'assistance judiciaire du recourant est admise et Me Sébastien Bossel lui est désigné comme avocat d'office.
3.
Autant qu'elle n'est pas sans objet, la requête d'assistance judiciaire de l'intimée est admise et Me Marie-Eve Guillod lui est désignée comme avocate d'office.
4.
Les frais judiciaires, arrêtés à 1'500 fr., sont mis à la charge du recourant. Ils sont provisoirement supportés par la Caisse du Tribunal fédéral.
5.
Une indemnité de 2'000 fr., à verser à l'intimée à titre dépens, est mise à la charge du recourant. La Caisse du Tribunal fédéral indemnise provisoirement le conseil de l'intimée; une indemnité de 1'500 fr. lui est allouée à titre d'honoraires d'avocate d'office.
6.
Une indemnité de 1'500 fr., supportée par la Caisse du Tribunal fédéral, est allouée au conseil du recourant à titre d'honoraires d'avocat d'office.
7.
Le présent arrêt est communiqué aux parties et à la Cour d'appel civil du Tribunal cantonal de l'Etat de Fribourg.
Lausanne, le 19 mai 2021
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
Le Greffier : Piccinin