Faits :
A.
A.A._ (1964) et B.A._ (1962) se sont mariés le 2 janvier 1996. Ils ont eu deux enfants, aujourd'hui majeurs: C._, né en 1997, et D._, né en 2002. Le couple vit séparé depuis le mois de mars 2016.
A.a. Par prononcé de mesures protectrices de l'union conjugale du 16 mars 2017, l'époux a été astreint à contribuer à l'entretien de D._ par le versement de 2'480 fr. par mois, allocations familiales en sus, dès le 1er septembre 2016. L'appel formé par l'époux contre cette décision a été rejeté le 30 novembre 2017 par la Juge déléguée de la Cour d'appel civile du Tribunal cantonal du canton de Vaud (ci-après: la Juge déléguée). A cette époque, un revenu mensuel net de 7'785 fr. par mois avait été imputé à l'époux. Par prononcé du 10 avril 2018, l'époux a été condamné à contribuer à l'entretien de son épouse à raison de 1'870 fr. par mois dès le 1er mai 2017.
Le Bureau de recouvrement des pension alimentaires (BRAPA) est intervenu en faveur de l'épouse et de D._. Du 1er mars 2017 au 30 novembre 2020, il a versé 20'264 fr. 33 à titre d'avances. Le Centre social régional (CSR) leur a également fourni des prestations; en particulier, D._ a bénéficié d'avances pour des frais d'écolage et de transport.
A.b. Une demande unilatérale en divorce a été introduite par l'épouse le 18 juillet 2018.
A.c. En juillet 2020, D._ a terminé son gymnase. Durant ses études, il a perçu les bourses annuelles suivantes: pour la période du 1er août 2017 au 31 juillet 2018: 6'980 fr.; pour la période du 1er août 2018 au 31 juillet 2019: 6'720 fr.; pour la période du 1er août 2019 au 31 juillet 2020: 6'970 fr.; pour la période de septembre 2020 à août 2021: 16'060 fr. La décision de l'Office cantonal des bourses d'études et d'apprentissage du 26 octobre 2020 concernant cette dernière période précise que le revenu déterminant de D._ pour le calcul du montant de la bourse comprend notamment toutes les ressources comme le subside OVAM, les allocations familiales ou de formation, la pension alimentaire et les rentes.
A.d. D._, devenu majeur le 10 août 2020, a attesté par courrier du 5 juin 2020 vouloir que la question de la contribution d'entretien en sa faveur soit traitée dans le cadre de la procédure opposant ses parents.
A.e. Depuis août 2020, l'époux est sans emploi et bénéficie du revenu d'insertion.
B.
B.a. Par ordonnance de mesures provisionnelles du 22 février 2021, la Présidente du Tribunal civil de l'arrondissement de l'Est vaudois est entrée en matière sur la requête de mesures provisionnelles (modification des mesures protectrices) introduite par l'époux le 30 octobre 2020. Elle a considéré en substance qu'il ne pouvait désormais plus être imputé de revenu hypothétique à l'époux et que D._ percevait une bourse d'études depuis quatre ans, ce qui constituait des faits nouveaux au sens de l'<ref-law>. La requête a été partiellement admise, en ce sens que dès le 1er novembre 2020, l'époux est libéré du paiement de toute contribution d'entretien en faveur de son épouse ainsi que de D._, et que le montant de l'entretien convenable de D._ est fixé à 1'905 fr. par mois jusqu'au 31 août 2020, puis à 122 fr. par mois du 1er septembre au 31 décembre 2020, et enfin à 149 fr. 50 dès le 1er janvier 2021, allocations de formation et bourse d'études déduites.
B.b. L'époux a fait appel de cette décision par acte du 5 mars 2021. Il a conclu à sa réforme, principalement en ce sens que la requête de mesures provisionnelles du 30 octobre 2020 est admise et que l'épouse est reconnue sa débitrice de 20'670 fr. à faire valoir lors de la liquidation du régime matrimonial, subsidiairement en ce sens que du 1er novembre 2019 au 30 octobre 2020, la contribution d'entretien en faveur de D._ est fixée à 757 fr. 50, et qu'elle est supprimée à compter du 1er novembre 2020. Plus subsidiairement, il a conclu à ce que la contribution d'entretien en faveur de D._ soit fixée à 1'905 fr. 85 du 1er août 2017 au 30 août 2020, et supprimée dès le 1er novembre 2020. Encore plus subsidiairement, il a conclu à l'annulation de l'ordonnance entreprise et au renvoi de la cause à l'autorité de première instance pour nouvelle décision s'agissant du sort des bourses d'études octroyées à D._.
Par arrêt du 14 juillet 2021, la Juge déléguée a rejeté l'appel.
C.
Par acte du 18 août 2021, A.A._ exerce un recours constitutionnel subsidiaire au Tribunal fédéral. Il conclut à l'annulation de l'arrêt cantonal et principalement au renvoi de la cause à l'autorité précédente pour nouvelle décision. Subsidiairement, il demande la réforme de l'arrêt querellé, en ce sens que l'épouse est sa débitrice de 20'670 fr., à faire valoir lors de la liquidation du régime matrimonial. Plus subsidiairement, il conclut à ce que la décision entreprise soit réformée en ce sens que la contribution dont il doit s'acquitter en faveur de son fils D._ est fixée à 757 fr. 50 du 1er novembre 2019 au 30 octobre 2020, et encore plus subsidiairement, en ce sens qu'elle est fixée à 1'905 fr. 85 du 1er août 2017 au 30 août 2020. Dans ces deux dernières éventualités, il demande la suppression de toute contribution d'entretien en faveur de D._ dès le 1er novembre 2020. Il sollicite enfin le bénéfice de l'assistance judiciaire pour la procédure fédérale.
Des observations n'ont pas été requises.

Considérant en droit :
1.
Déposé en temps utile (<ref-law>) et dans la forme légale (<ref-law>), le recours est dirigé contre une décision finale (<ref-law>; <ref-ruling> consid. 2.2) rendue sur recours par une autorité supérieure statuant en dernière instance cantonale (art. 75 al. 1 et 2 LTF), dans une affaire matrimoniale (<ref-law>) de nature pécuniaire, dont la valeur litigieuse n'atteint pas le seuil de 30'000 fr. (art. 51 al. 1 let. a et al. 4, 74 al. 1 let. b LTF), le recourant ne se prévalant en outre pas de l'existence d'une question juridique de principe, au sens de l'<ref-law>. Le recourant a en outre qualité pour recourir (<ref-law>). Le recours constitutionnel subsidiaire est ouvert au vu des dispositions qui précèdent. Au demeurant, la détermination de la voie de recours n'a pas d'importance pratique en l'espèce puisque la procédure porte sur des mesures provisionnelles, de sorte que le recourant ne peut de toute manière se plaindre que d'une violation de ses droits constitutionnels (<ref-law>).
2.
2.1. Le recours constitutionnel subsidiaire n'est ouvert que pour se plaindre de la violation des droits constitutionnels (<ref-law>). En vertu de l'<ref-law>, applicable par renvoi de l'<ref-law>, les griefs y relatifs doivent être invoqués et motivés par le recourant, à savoir expressément soulevés et exposés de manière claire et détaillée (" principe d'allégation "; <ref-ruling> consid. 3; <ref-ruling> consid. 5.1; <ref-ruling> consid. 2.1; <ref-ruling> consid. 2.4). Le recourant ne peut se borner à critiquer la décision attaquée comme il le ferait en procédure d'appel, où l'autorité de recours jouit d'une libre cognition, notamment en se contentant d'opposer sa thèse à celle de l'autorité précédente; les critiques de nature appellatoire sont irrecevables (ATF <ref-ruling> consid. 2.4 et la référence). Au surplus, il doit exister un lien entre la motivation du recours et la décision attaquée. Le recourant doit se déterminer par rapport aux considérants de l'arrêt entrepris; il ne peut se contenter de reprendre presque mot pour mot l'argumentation formée devant l'autorité cantonale (<ref-ruling> consid. 5.2; <ref-ruling> consid. 2.1 et 2.3).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il peut néanmoins rectifier ou compléter les constatations de cette autorité si les faits ont été constatés en violation d'un droit constitutionnel (art. 118 al. 2 et 116 LTF), ce que le recourant doit démontrer d'une manière circonstanciée et précise, conformément aux exigences de motivation de l'<ref-law> (par renvoi de l'<ref-law>; cf. supra consid. 2.1).
2.3. De jurisprudence constante, si une décision comporte une double motivation (i.e deux motivations indépendantes, alternatives ou subsidiaires), il incombe au recourant, sous peine d'irrecevabilité, de démontrer que chacune d'elles est contraire au droit (en application de l'<ref-law>, cf. <ref-ruling> consid. 3.4 p. 735; <ref-ruling> consid. 6.3). On ne peut parler de double motivation que si chacun de ses pans suffit à sceller le sort de la cause (arrêt 4D_9/2021 du 19 août 2021 consid. 3.3.1 et la référence).
3.
Le recourant s'en prend aux considérations de l'autorité cantonale portant sur sa conclusion prise en appel tendant à ce que l'intimée soit reconnue sa débitrice d'un montant de 20'670 fr., à faire valoir lors de la liquidation du régime matrimonial. Il soutient que la décision entreprise est arbitraire dans ses moyens, en tant qu'elle considère qu'il s'agit d'une conclusion constatatoire, alors que selon lui, celle-ci a trait à l'exigibilité de la créance. Il expose que le sort des créances entre époux, dont font partie les arriérés d'entretien, doit être réglé uniquement à la liquidation du régime matrimonial. Le recourant critique également la décision entreprise en tant qu'elle retient que la solution subsidiaire qu'il avait envisagée, tendant au paiement de 10'255 fr., devait d'emblée être écartée faute d'avoir fait l'objet d'une conclusion spécifique dans l'appel. Il expose qu'il n'avait pas à formuler de conclusions pécuniaires pour un montant inférieur à celui de 20'670 fr. auquel il avait expressément conclu, l'autorité pouvant aller en-deçà des conclusions des parties.
En l'espèce, la cour cantonale a en effet considéré que la conclusion principale prise par l'époux en appel était de nature constatatoire. Elle a néanmoins laissé ouverte la question de savoir si cette conclusion était recevable (cf. arrêt cantonal consid. 4.4.1 p. 17) dès lors que celle-ci devait de toute manière être rejetée. En effet, l'époux n'établissait pas, même au stade de la vraisemblance, qu'il devrait ce montant de 20'670 fr. au BRAPA. La Juge déléguée a de surcroît expressément indiqué que le montant de 20'670 fr. auquel faisait référence l'époux concernait en réalité l'enfant D._, respectivement sa contribution d'entretien, de sorte qu'il était interdit de le compenser dans le cadre du régime matrimonial, faute d'identité entre les créanciers et les débiteurs des créances (cf. arrêt cantonal consid. 4.4.1 in fine p. 21 et consid. 4.4.2 in fine p. 22, en lien avec le consid. 3.2 p. 14). Force est de constater que le recourant ne s'en prend nullement à cette dernière motivation, de sorte que le recours est irrecevable sur ce point, indépendamment de la pertinence des autres motivations figurant dans l'arrêt entrepris (cf. supra consid. 2.3). Il en va dès lors de même s'agissant de la variante proposée par l'époux tendant à ce que l'épouse soit reconnue sa débitrice de 10'255 fr., à faire valoir dans le cadre de la liquidation du régime matrimonial.
4.
Le recourant remet en cause le refus de la cour cantonale de réduire la contribution d'entretien en raison de la perception par D._ de bourses d'études. Il se plaint d'arbitraire dans l'établissement des faits et soutient que la décision entreprise est arbitraire dans ses moyens ainsi que dans son résultat.
4.1. La cour cantonale a tout d'abord relevé que l'époux limitait expressément son appel à la contestation de la solution retenue par le premier juge concernant les bourses d'études perçues par D._ - à savoir un refus de réduire le montant de la contribution d'entretien -, de sorte qu'elle n'allait pas revenir sur les autres éléments du premier jugement.
Sur ce point, elle a indiqué que la conclusion subsidiaire de l'époux, qui portait sur la réduction de la contribution d'entretien en faveur de son fils de 757 fr. 50 par mois pour la période du 1er novembre 2019 au 30 août 2020 - somme obtenue en divisant par 12 le montant de la bourse perçue pour la période du 1er août 2017 au 31 juillet 2020 -, devait être rejetée, dès lors qu'elle portait sur une période antérieure à la requête de mesures provisionnelles. L'effet rétroactif ne pouvait en effet, en principe, pas être accordé. Demeurait toutefois réservée l'interdiction de l'abus de droit dans les cas où le cumul de prestations (ici: contribution alimentaire et bourse d'études) aboutirait à une surcouverture manifeste de l'obligation d'entretien. La Juge déléguée a retenu qu'une telle surcouverture manifeste n'était pas établie en l'espèce. En effet, la bourse d'études de D._ avait fait l'objet, à tout le moins à une reprise, d'un remboursement au CSR, qui avait avancé des frais d'écolage et de transport. L'origine du problème paraissait ainsi être une souscouverture, notamment due au non-respect par l'appelant de son obligation de verser l'entier de la contribution alimentaire mise à sa charge et non contestée. En effet, l'arrêt de la Cour d'appel civile du 30 novembre 2017, qui n'avait pas fait l'objet d'un recours au Tribunal fédéral, avait confirmé la contribution d'entretien de 2'480 fr. Cet arrêt précisait que les coûts directs de D._ s'élevaient à 1'781 fr. selon les Tabelles zurichoises, laissant entendre que la contribution de prise en charge de la mère (2'383 fr.) aurait pu s'y ajouter, ce qui valait à tout le moins jusqu'à ce que D._ ait atteint l'âge de 16 ans.
La Juge déléguée a ensuite considéré que dès l'âge de 16 ans et jusqu'à sa majorité, lorsqu'après la couverture des minima vitaux élargis du droit de la famille, il subsiste un excédent, les coûts directs de l'enfant - contrairement à la contribution de prise en charge qui ne peut dépasser ce minimum vital - pouvaient être augmentés par l'attribution d'une part de l'excédent, étant relevé que l'entretien de l'enfant majeur était limité au minimum vital du droit de la famille, y compris les coûts de formation. Compte tenu de ce que la bourse d'études était subsidiaire à la contribution alimentaire, que l'époux aurait du reste été en mesure de payer jusqu'au 31 juillet 2020 au vu des revenus obtenus de son poste au Cameroun, et des remboursements effectués au BRAPA, on ne pouvait pas non plus considérer qu'il existait une surcouverture manifeste de l'obligation d'entretien due à D._, constitutive d'un abus de droit. En effet, la fixation de la bourse d'études tenait compte de par la loi notamment de la contribution alimentaire arrêtée par le juge civil (art. 24 al. 1 de la loi vaudoise sur l'aide aux études et à la formation [LAEF/VD], BLV 416.11), voire de l'avance sur contribution alimentaire, ainsi que des allocations de formation octroyées (art. 22 al. 1 LAEF/VD). A suivre le raisonnement de l'époux, la réduction rétroactive de la contribution d'entretien devrait logiquement entraîner une augmentation rétroactive du montant de la bourse d'études, puisqu'elle tiendrait compte notamment de (l'avance sur) la pension alimentaire qu'elle complétait. On voyait mal qu'un tel ajustement rétroactif entrerait en ligne de compte, qui entraînerait au demeurant une nouvelle modification de la contribution alimentaire comme relevé par le BRAPA dans sa réponse, au détriment de la sécurité du droit.
Pour les mêmes motifs, la Juge déléguée a considéré qu'il fallait aussi rejeter la conclusion plus subsidiaire de l'époux tendant à la réduction de la contribution d'entretien due à D._ du 1er août 2017 au 30 octobre 2020 à un montant de 1'905 fr. 85.
4.2. En premier lieu, le recourant demande que les faits soient complétés par l'indication que " durant la présente procédure, il a été porté à la connaissance de la Présidente de céans que D._ perçoit une bourse d'études depuis le 1er août 2017 ", fait qui se trouvait dans la partie " en droit " de la décision de première instance mais qui ne figurerait pas dans l'arrêt cantonal, bien que celui-ci reconnaisse en réalité en p. 19 de sa partie " en droit " le fait que l'existence de ces bourses d'études soit apparue durant l'instruction de première instance, et qu'ainsi cet élément aurait dû se trouver dans les faits de cette décision.
Il apparaît qu'en réalité, comme le souligne d'ailleurs lui-même le recourant, l'autorité cantonale a clairement tenu compte du fait qu'il était apparu durant la procédure de modification que D._ bénéficiait de bourses d'études depuis le 1er août 2017, comme l'avait retenu le premier juge, peu importe à cet égard que dite constatation figure dans la partie " en fait " ou " en droit " du jugement. Le grief est ainsi dénué de pertinence.
4.3. En second lieu, le recourant semble vouloir faire compléter les faits en ce sens que dès la contribution d'entretien due pour mars 2018 et jusqu'à août 2020, il avait réglé, pratiquement en totalité et en mains du BRAPA, l'entretien mensuel de 4'350 fr. dû aux siens. Il expose que la loi obligeait le BRAPA à rendre l'entier du montant à l'intimée, " la preuve de ce fait découlant du montant d'avances encore non remboursées par le recourant de CHF 20'264 fr. 33 retenu par les faits de la décision entreprise ", ajoutant que " ce montant serait bien plus haut si le BRAPA n'avait pas reversé l'entier de l'entretien reçu à l'intimée ", et qu' "ainsi, ce deuxième élément de fait se retrouve en réalité déjà dans les faits de la décision entreprise ", enfin, que " même s'il est choquant qu'un jugement cantonal confonde grossièrement avances du BRAPA et versements effectifs du débirentier, ce n'est pas un fait déterminant pour l'issue du litige ". Le recourant indique aussi qu'il a été allégué et prouvé que pendant plus de deux ans, l'intimée a touché mensuellement 4'350 fr. de contributions d'entretien, 574 fr. de bourse et 360 fr. d'allocations de formation, soit un total de 5'284 fr. par mois.
Ce grief, au demeurant difficilement compréhensible, est à l'évidence insuffisamment motivé (cf. supra consid. 2.2), partant, irrecevable, étant de surcroît souligné que le recourant lui-même relève que les faits dont il demande le complètement figurent en réalité déjà dans l'arrêt entrepris et n'ont pas d'influence sur l'issue du litige.
4.4. En troisième lieu, le recourant fait valoir que la décision entreprise est arbitraire dans ses moyens comme dans son résultat, en tant qu'elle refuse de réduire la contribution d'entretien du montant des bourses d'études obtenues par D._.
4.4.1. Il expose en substance que l'intimée a failli à son devoir découlant de l'<ref-law> en ne l'informant pas de l'existence de la bourse litigieuse, le privant ainsi de pouvoir requérir dès le départ un nouveau calcul de la pension, celle-ci étant beaucoup trop élevée dès l'obtention de la bourse, alors que parallèlement, la contribution d'entretien en faveur de l'intimée était dès cet instant bien trop basse. Le résultat de l'arrêt querellé serait choquant et insoutenable, en tant que l'intimée se verrait récompensée " de sa violation du devoir d'information en pouvant conserver un montant qui aurait correspondu à la baisse de contribution globale si elle avait annoncé la présence d'une bourse dès 2017 ". En outre, la Juge déléguée aurait refusé d'entrer en matière sur de nouveaux calculs " en soutenant plusieurs moyens sans rapport avec l'exigence desdits calculs, raison pour laquelle ces moyens, respectivement ces rejets des griefs du recourant, tombent également dans la violation de l'interdiction de l'arbitraire ". En particulier, l'argumentation de la cour cantonale selon laquelle il n'aurait pas prouvé qu'il devrait des montants au BRAPA serait choquante, puisque le fait que le BRAPA avance ou non des montants n'aurait aucun rapport avec les calculs d'entretien, et que de toute manière, à terme, le BRAPA exigerait de lui l'ensemble des contributions d'entretien dues pour la période considérée. Le recourant s'en prend aussi aux considérations de l'autorité cantonale relatives à la prétendue absence de surcouverture des besoins de D._, exposant que cet élément n'a quoi qu'il en soit aucun rapport avec la question litigieuse, le montant de la pension ne dépendant pas des avances versées par le BRAPA. Il soutient qu' " en invoquant la non-rétroactivité d'une décision d'entretien (...), l'intimée abuse clairement de ce principe de non-rétroactivité alors que les conclusions du recourant viennent du fait qu'elle a violé son devoir d'information (...). " Il affirme aussi qu' "il est correct de dire que la bourse d'études est subsidiaire à la contribution alimentaire, mais à l'évidence l'Office des bourses avait une situation très claire devant lui pour octroyer une bourse à D._, en particulier en connaissant le fait que les contributions étaient déjà dues par le recourant, et que pendant une grande partie de la période elles étaient même réglées en intégralité. Toute autre considération viserait à partir du principe que l'intimée a caché les décisions de contributions de 2017 à l'Office des bourses, ce qui serait illégal, et donc insoutenable en l'espèce. "
4.4.2. Si l'on peut concéder au recourant que le raisonnement de la Juge déléguée apparaît complexifié, force est de constater que, par sa critique à la limite de la recevabilité (cf. supra consid. 2.1), le recourant ne démontre quoi qu'il en soit pas que la décision entreprise serait insoutenable. En tant que celui-ci affirme que l'Office cantonal des bourses d'études avait connaissance de l'existence de sa condamnation à contribuer à l'entretien de D._ et du fait que les contributions d'entretien dues étaient presque intégralement versées, à tout le moins pour une grande partie de la période en cause, il se fonde sur des faits qui ne ressortent pas de l'arrêt entrepris, sans faire valoir de grief d'établissement arbitraire des faits à cet égard (cf. supra consid. 2.2), de sorte que sa critique ne saurait être prise en considération. Quoi qu'il en soit, il ressort pour l'essentiel de la décision attaquée que la bourse perçue par D._ repose sur la LAEF/VD, qui prévoit que l'aide cantonale à la formation est subsidiaire à celle de la famille (art. al. 3 LAEF, mentionné en p. 16 de l'arrêt cantonal), ce que ne remet pas en cause le recourant. Or, on ne voit pas pour quel motif il serait arbitraire de ne pas tenir compte, dans les revenus de l'enfant pris en considération pour le calcul de la pension, d'une prestation de l'Etat subsidiaire à celles fondées sur le droit de la famille, et le recourant ne s'exprime pas sur cette question, de sorte qu'il n'y a pas lieu de l'examiner plus avant.
5.
En définitive, le recours doit être rejeté dans la faible mesure de sa recevabilité. Dès lors que le recours était d'emblée dénué de chances de succès, la requête d'assistance judiciaire du recourant est rejetée (<ref-law>) et les frais judiciaires sont mis à sa charge (<ref-law>). Il n'y a pas lieu d'allouer des dépens, l'intimée n'ayant pas été invitée à se déterminer.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La requête d'assistance judiciaire du recourant est rejetée.
3.
Les frais judiciaires, arrêtés à 1'500 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Juge déléguée de la Cour d'appel civile du Tribunal cantonal du canton de Vaud.
Lausanne, le 22 février 2022
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
La Greffière : Dolivo