Faits :
A.
A.a. B._, née en 1983, a donné naissance, le 20 juillet 2016, à un enfant prénommé C._.
Le 22 décembre 2016, elle a formé une action en paternité doublée d'une demande d'aliments à l'encontre de A._, né en 1978, alors marié et père de deux enfants.
Le même jour, elle a requis des mesures provisionnelles tendant notamment à ce que celui-ci soit condamné à verser une contribution à l'entretien de l'enfant d'au minimum 1'400 fr. par mois, allocations familiales en sus, avec effet rétroactif au 1er août 2016.
Une expertise de paternité a été mise en oeuvre. Les conclusions du rapport rendu le 15 juin 2017 sont venues confirmer, avec une probabilité estimée supérieure à 99,999%, le lien de filiation biologique entre le défendeur et l'enfant.
A.b. Une audience de conciliation et de mesures provisionnelles s'est tenue le 17 novembre 2017. A cette occasion, les parties ont conclu une convention, ratifiée pour valoir ordonnance de mesures provisionnelles, prévoyant notamment que le défendeur contribuerait à l'entretien de l'enfant par le versement d'une pension mensuelle de 1'000 fr. dès le 1er décembre 2017, ce montant étant cependant réduit à 600 fr. jusqu'à ce que les contributions dues à ce moment-là pour son épouse et ses deux autres enfants aient pu être adaptées en tenant compte de cette nouvelle obligation.
A.c. Lors de l'audience de jugement du 20 mars 2019, le père a reconnu l'enfant par dictée au procès-verbal et signature de sa déclaration.
Par jugement du même jour, le Tribunal civil de l'arrondissement de La Broye et du Nord vaudois (ci-après: Tribunal) a admis l'action en constatation de filiation formée par la demanderesse, prononcé que l'enfant était bien le fils du défendeur et ordonné à l'officier d'état civil compétent de modifier l'inscription concernant cet enfant.
B.
Par jugement du 6 novembre 2019, le Tribunal a confié l'autorité parentale et la garde de l'enfant à la mère exclusivement, renoncé à fixer les modalités d'exercice du droit de visite du père et dit qu'il appartiendrait aux parties de saisir l'autorité compétente pour faire reconnaître un droit de visite réglementé. Le Tribunal a de plus astreint le défendeur à contribuer à l'entretien de l'enfant par le versement, allocations familiales et indexation en sus, d'une pension d'un montant de 310 fr. par mois du 1er août 2016 au 31 décembre 2017, de 1'770 fr. par mois du 1er janvier au 31 décembre 2018, puis de 1'610 fr. par mois dès le 1er janvier 2019 et jusqu'à la majorité, voire au-delà, jusqu'à l'achèvement d'une formation professionnelle, aux conditions de l'art. 277 al. 2 CC. Le montant assurant l'entretien convenable de l'enfant a été fixé à 310 fr. par mois pour la période du 1er août 2016 au 31 décembre 2017, puis à 1'800 fr. par mois dès le 1er janvier 2018, allocations familiales déduites.
Par arrêt du 13 mai 2020, notifié le 20 suivant, la Cour d'appel civile du Tribunal cantonal du canton de Vaud (ci-après: Cour d'appel) a rejeté l'appel formé par le défendeur et confirmé le jugement de première instance.
C.
Par acte posté le 24 juin 2020, A._ exerce un recours en matière civile au Tribunal fédéral contre cet arrêt. Il conclut à sa réforme en ce sens que les contributions à l'entretien de l'enfant mises à sa charge sont fixées à 310 fr. par mois du 1er août 2016 au 30 novembre 2017, puis à 1'610 fr. par mois dès l'entrée en force de la décision à intervenir et jusqu'à la majorité de l'enfant, l'art. 277 al. 2 CC étant réservé. Subsidiairement, il demande l'annulation de l'arrêt entrepris et le renvoi de la cause à l'autorité cantonale pour nouvelle décision dans le sens des considérants.
Le recourant sollicite par ailleurs le bénéfice de l'assistance judiciaire partielle, limitée à la dispense des frais judiciaires et des sûretés.
Des réponses n'ont pas été demandées.
D.
Par ordonnance présidentielle du 16 juillet 2020, l'effet suspensif a été accordé pour les contributions d'entretien arriérées, mais refusé pour les pensions courantes, à savoir en l'occurrence dès le 1er juillet 2020.

Considérant en droit :
1.
Déposé en temps utile (art. 100 al. 1 LTF) et dans la forme légale (art. 42 al. 1 LTF), le recours est dirigé contre une décision finale (art. 90 LTF) rendue sur recours par une autorité supérieure statuant en dernière instance cantonale (art. 75 al. 1 et 2 LTF), dans une affaire civile, de nature pécuniaire (cf. <ref-ruling> consid. 2b et les références), dont la valeur litigieuse atteint 30'000 fr. (art. 51 al. 1 let. a, 51 al. 4 et 74 al. 1 let. b LTF). Le recourant a participé à la procédure devant l'autorité précédente et a un intérêt digne de protection à la modification ou l'annulation de la décision entreprise (art. 76 al. 1 LTF). Le recours est donc en principe recevable.
2.
2.1. Le recours en matière civile peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 s. LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF), sans être lié ni par les motifs de l'autorité précédente, ni par les moyens des parties; il peut donc admettre le recours en se fondant sur d'autres arguments que ceux invoqués par le recourant, comme il peut le rejeter en opérant une substitution de motifs (<ref-ruling> consid. 1.1; <ref-ruling> consid. 3.2.3; <ref-ruling> consid. 2.3). Cela étant, eu égard à l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, il n'examine en principe que les griefs soulevés; il n'est pas tenu de traiter, à l'instar d'une autorité de première instance, toutes les questions juridiques qui pourraient se poser, lorsque celles-ci ne sont plus discutées devant lui (<ref-ruling> consid. 2.4 et les références). Le recourant doit par conséquent discuter les motifs de la décision entreprise et indiquer précisément en quoi il estime que l'autorité précédente a méconnu le droit (<ref-ruling> consid. 1.7.1; <ref-ruling> consid. 2.4 et la référence). Le Tribunal fédéral ne connaît par ailleurs de la violation de droits fondamentaux que si un tel grief a été expressément invoqué et motivé de façon claire et détaillée par le recourant ("principe d'allégation", art. 106 al. 2 LTF; <ref-ruling> consid. 2.1; <ref-ruling> consid. 5.1; <ref-ruling> consid. 2.1).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut s'en écarter que si ceux-ci ont été constatés de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF), et si la correction du vice est susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF). Le recourant qui soutient que les faits ont été établis d'une manière manifestement inexacte, c'est-à-dire arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 6.7; <ref-ruling> consid. 2.2 et la référence), doit satisfaire au principe d'allégation susmentionné (art. 106 al. 2 LTF; cf. supra consid. 2.1). Une critique des faits qui ne satisfait pas à cette exigence est irrecevable (<ref-ruling> consid. 1.1).
En matière d'appréciation des preuves et d'établissement des faits, il n'y a arbitraire que si l'autorité cantonale n'a manifestement pas compris le sens et la portée d'un moyen de preuve, a omis sans raisons objectives de tenir compte de preuves pertinentes ou a opéré, sur la base des éléments recueillis, des déductions insoutenables (<ref-ruling> consid. 1.1; <ref-ruling> consid. 2.3 et les références).
2.3. En vertu du principe de l'épuisement des griefs, le recours n'est ouvert qu'à l'encontre des décisions rendues par une autorité cantonale de dernière instance (art. 75 al. 1 LTF), ce qui signifie que les voies de droit cantonales doivent avoir été non seulement utilisées sur le plan formel, mais aussi épuisées sur le plan matériel (<ref-ruling> consid. 3.3.4; <ref-ruling> consid. 2.2.2; <ref-ruling> consid. 1.1 et les références). Lorsque l'autorité de dernière instance cantonale peut se limiter à examiner les griefs régulièrement soulevés, le principe de l'épuisement matériel des instances cantonales veut que les moyens soumis au Tribunal fédéral aient déjà été invoqués devant l'instance précédente (arrêts 5A_302/2020 du 12 juillet 2021 consid. 2.4; 4A_40/2021 du 10 juin 2021 consid. 3.2; 5A_451/2020 du 31 mars 2021 consid. 2.3; 5A_703/2019 du 27 avril 2020 consid. 2.3.1 et les références).
3.
Le recourant reproche à l'autorité cantonale d'avoir violé le principe de l'autorité de chose jugée relative de l'ordonnance de mesures provisionnelles du 17 novembre 2017, laquelle mettait à sa charge, dès le 1er décembre 2017, des contributions d'entretien inférieures à celles fixées dans le jugement au fond. L'arrêt entrepris serait en outre insuffisamment motivé sur ce point (art. 29 Cst. et 6 CEDH).
3.1.
3.1.1. Considérant que, selon l'appelant, les mesures provisionnelles en question excluaient de fixer le point de départ de la contribution due pour l'enfant antérieurement à l'entrée en force du jugement au fond, l'autorité précédente a constaté que, tant dans sa demande au fond que dans sa requête de mesures provisionnelles du 22 décembre 2016, la mère avait conclu au versement d'une contribution d'entretien en faveur de son fils dès le 1er août 2016. La question de ce point de départ rétroactif n'avait apparemment pas été tranchée dans le cadre des mesures provisionnelles, puisque la convention ratifiée le 17 novembre 2017 prévoyait le versement d'une pension dès le 1er décembre 2017, soit le mois suivant l'accord des parties. Vu les conclusions prises par la demanderesse, on ne pouvait inférer de ce fait que celle-ci aurait renoncé, dans le cadre de la procédure au fond, à toute contribution d'entretien en faveur de l'enfant pour la période du 1er août 2016 au 30 novembre 2017. On ne discernait dès lors pas en quoi l'autorité de chose jugée relative aurait été violée.
3.1.2. Il résulte des considérations qui précèdent que l'autorité cantonale a indiqué les motifs sur lesquels elle s'est fondée pour nier une violation de l'autorité de la chose jugée relative et, partant, pour rejeter le grief en lien avec celle-ci. Le droit à une décision motivée est ainsi respecté (sur cette notion, parmi plusieurs, <ref-ruling> consid. 4.3.2; <ref-ruling> consid. 1.3.1). Savoir si la motivation présentée est convaincante est une question différente (cf. <ref-ruling> consid. 3.2.1; arrêts 1B_182/2021 du 28 avril 2021 consid. 3.4; 4A_108/2019 du 22 janvier 2020 consid. 2.2.2).
3.2. Sur le fond, le recourant soutient que les mesures provisionnelles du 17 novembre 2017 constituent des mesures de réglementation, bien que la reconnaissance de paternité n'ait été effectuée formellement qu'à l'audience de jugement du 20 mars 2019. Même en admettant qu'il s'agisse de mesures d'exécution anticipée - ce qu'il conteste -, les contributions d'entretien provisoirement mises à sa charge ne pourraient, selon lui, pas être augmentées de façon rétroactive, l'absence de chose jugée relative de ces mesures devant servir les intérêts du débirentier et non ceux de l'enfant.
3.2.1. Une fois l'action en recherche de paternité introduite, l'art. 303 al. 2 let. b CPC permet à la partie demanderesse de faire condamner au paiement de contributions provisoires le défendeur dont la paternité est présumée et le reste après l'administration des preuves immédiatement disponibles. Il ne s'agit pas là de mesures de réglementation - comme les mesures provisionnelles ordonnées en faveur de l'enfant dont la filiation est établie (art. 303 al. 1 CPC; <ref-ruling> consid. 1.2) -, mais de mesures d'exécution anticipée. Si l'action est admise, les contributions provisionnelles versées constitueront des à-valoir sur la créance de l'enfant, alors que, dans le cas contraire, elles devront être remboursées au défendeur (<ref-ruling> consid. 1.2; <ref-ruling> consid. 2.3; cf. arrêts 5A_674/2019 du 27 avril 2020 consid. 1.2; 5A_615/2019 du 23 décembre 2019 consid. 1.2).
3.2.2. Pour autant qu'en appel, le grief ait été invoqué dans les mêmes termes que dans le présent recours (cf. supra consid. 2.3) - ce dont on peut douter compte tenu de la motivation de l'autorité cantonale -, il est à l'évidence infondé. Le recourant soutient d'abord en vain que le rapport d'expertise indiquant une probabilité de paternité supérieure à 99,999% date du 15 juin 2017, que l'arrêt attaqué retient qu'il savait être le père de l'enfant depuis le 27 juin 2016 et que la convention ratifiée le 17 décembre 2017 pour valoir ordonnance de mesures prévisionnelles prévoit explicitement le versement d'une contribution d'entretien à "son fils". L'application de l'art. 303 al. 1 CPC (art. 281 al. 2 aCC) suppose en effet que le rapport de filiation existe déjà à l'ouverture de l'action (HEGNAUER, Droit suisse de la filiation, 1998, n° 21.09); or, on ne saurait admettre que la filiation est établie au sens de cette disposition et, par conséquent, que l'obligation d'entretien existe de plein droit, tant qu'un lien de filiation au sens juridique n'a pas été créé (cf. MEIER/STETTLER, Droit de la filiation, 6e éd. 2019, n° 3 p. 2, n° 18 p. 14 et n° 1502 p. 986).
Pour le surplus, le recourant ne présente aucun motif convaincant justifiant une modification de la jurisprudence susvisée (cf. supra consid. 3.2.1). Il se contente de relever que le Tribunal fédéral n'a fait que "survoler cette question", se contentant de faire sienne, sans indication de motif, l'opinion d'un auteur (HEGNAUER, Commentaire bernois, vol. II/2/2/1, 1997, nos 42 ss ad art. 281-284 CC), dont le bien-fondé de la position n'a pas été examiné. Il n'avance cependant aucun avis doctrinal contraire et n'apporte pas le moindre élément propre à faire apparaître la jurisprudence du Tribunal fédéral comme erronée ou désormais inadaptée aux circonstances, en sorte que les conditions justifiant sa modification seraient en l'espèce réunies (<ref-ruling> consid. 6.1; <ref-ruling> consid. 2.2.2; <ref-ruling> consid. 6.1). La Cour de céans a d'ailleurs déjà jugé que, comme le sort définitif des mesures d'exécution anticipée doit être réglé dans la décision au fond, les avances faites par le défendeur au demandeur sont imputées sur les montants alloués par le jugement; autrement dit, le juge du fond doit statuer dans le dispositif sur les contributions dues pour toute la période courant dès l'ouverture de l'action, les montants alloués en mesures provisoires devant être décomptés (<ref-ruling> consid. 3.2 [s'agissant de mesures provisionnelles dans le cadre d'une procédure de modification du jugement de divorce]).
A cela s'ajoute que, toujours selon la jurisprudence, même des mesures de réglementation - telles que celles qui perdurent en cas d'appel ou de recours limité aux effets accessoires du divorce, ou à certains d'entre eux (art. 276 al. 3 CPC) - n'empêchent pas de prévoir la fixation rétroactive des contributions d'entretien: le point déterminant est que les montants versés au titre des mesures provisoires peuvent être imputés sur ceux alloués par le jugement au fond, la restitution du surplus ne pouvant en revanche être exigée (<ref-ruling> consid. 5.3; <ref-ruling> consid. 3c/bb; BOHNET, in Commentaire pratique, Droit matrimonial, 2016, n° 78 ad art. 276 CPC). Dans la mesure où le recourant fait subsidiairement valoir qu'il a formellement reconnu l'enfant le 20 mars 2019, de sorte que les mesures provisionnelles en cause seraient devenues, dès cette date en tout cas, des mesures de réglementation réglant définitivement l'entretien de son fils du 1er avril 2019 jusqu'à l'entrée en force de la décision au fond, la critique, pour autant qu'elle ait été dûment soumise à l'autorité précédente, n'apparaît donc pas déterminante. Le moyen doit par conséquent être rejeté par substitution de motifs.
4.
Le recourant reproche en second lieu à la cour cantonale d'avoir enfreint l'art. 277 CC en prévoyant le versement de la contribution d'entretien au-delà de la majorité de l'enfant. Il expose qu'un tel jugement représente potentiellement un titre de mainlevée définitif, en dépit du fait que son fils aurait terminé sa formation. Il serait ainsi obligé d'agir pour faire constater que celle-ci a pris fin, alors même que les relations entre lui et l'enfant seraient harmonieuses, ce qui ne serait manifestement pas la volonté du législateur. A l'inverse, si la formation perdure et que les relations sont harmonieuses, il continuera d'entretenir son fils, si bien que ce n'est qu'en cas de litige qu'une procédure devra être ouverte par l'enfant, après sa majorité. Il conviendrait ainsi de réserver l'hypothèse posée à l'art. 277 al. 2 CC, et non de fixer explicitement la durée de l'obligation d'entretien au-delà de la majorité de l'enfant.
Le recourant se plaint aussi à cet égard d'une violation de son droit d'être entendu (art. 29 al. 2 Cst.), sous l'angle du droit à une décision motivée, arguant qu'il a soulevé ce moyen en appel et que l'autorité précédente n'en a nullement tenu compte dans son arrêt.
4.1. Bien que le recourant ne paraisse pas reprocher aux juges précédents d'avoir omis de statuer sur une conclusion qui leur était soumise, il n'est pas inutile de relever qu'ils ont formellement rejeté, dans le dispositif de leur arrêt, l'intégralité de l'appel du débirentier, de sorte qu'il ne saurait leur être reproché d'avoir commis un déni de justice formel (art. 29 al. 1 Cst.). Par ailleurs, en procédure d'appel, la question de la formulation du dispositif du jugement de première instance concernant la durée de la contribution d'entretien n'a été soulevée qu'incidemment, à la fin d'une critique, fondée sur l'art. 276 al. 1 CC, portant sur la répartition des coûts directs de l'enfant; or, il convient de rappeler que, compte tenu de l'obligation de motivation imposée par l'art. 311 al. 1 CPC, l'autorité d'appel peut se limiter à examiner les griefs régulièrement soulevés (<ref-ruling> consid. 4.3.1). Quoi qu'il en soit, le Tribunal fédéral peut exceptionnellement réparer une violation du droit d'être entendu s'il dispose d'un libre pouvoir de cognition, autrement dit, lorsque seules des questions de droit fédéral demeurent litigieuses et qu'il n'en résulte aucun préjudice pour le justiciable (<ref-ruling> consid. 3.5.2; <ref-ruling> consid. 4.3). Cette condition est ici remplie, car le point soulevé par le recourant se limite à une question juridique (arrêts 5A_219/2021 du 27 août 2021 consid. 7.1; 9C_345/2021 du 11 août 2021 consid. 3.3; 2C_954/2020 du 26 juillet 2021 consid. 4.3).
4.2. Le moyen n'est pas davantage fondé quant au fond. Selon la jurisprudence, une contribution d'entretien peut être fixée pour la période postérieure à la majorité de l'enfant même si celui-ci est très jeune au moment du divorce. En pratique, les jugements et conventions d'entretien prévoient d'ailleurs, de façon systématique, l'entretien après la majorité. Le fardeau psychologique que représente une action en justice contre un parent est ainsi évité à l'enfant - l'enfant mineur pouvant compter sur l'appui du parent détenteur de l'autorité parentale - et le parent débiteur est par conséquent renvoyé à agir, si besoin est, par la voie de l'action en modification de l'art. 286 al. 2 CC, une fois l'enfant devenu majeur. En effet, bien qu'en théorie l'art. 277 al. 2 CC subordonne à certains critères la fixation de la contribution d'entretien pour une période allant au-delà de l'accès à la majorité, ceux-ci ne peuvent toutefois donner lieu à un examen précis, les circonstances personnelles, telles que le refus de l'enfant d'entretenir des relations avec son parent, voire même la possibilité effective de réaliser des études, ne pouvant que difficilement faire l'objet d'un pronostic et devant bien plus être examinées au moment de l'accès à la majorité, cas échéant dans le cadre d'une action en modification (<ref-ruling> consid. 3.2.2 et les références). La même règle s'applique à l'enfant de parents non mariés (arrêt 5A_330/2014 du 30 octobre 2014 consid. 8).
En l'espèce, l'arrêt entrepris confirme le jugement de première instance, dont le dispositif prévoyait le versement d'une contribution d'entretien en faveur de l'enfant jusqu'à la majorité et, au-delà, jusqu'à l'achèvement d'une formation professionnelle, aux conditions de l'art. 277 al. 2 CC. Cette solution est conforme à la jurisprudence susvisée, même si, vu l'âge de l'enfant, celui-ci ne dispose d'aucun plan de formation défini. Elle lui évite en effet d'être contraint d'agir en justice contre son père si sa formation n'est pas achevée à ses dix-huit ans; l'initiative de demander la modification de la contribution d'entretien est réservée au père si, le moment venu, il estime que les conditions de l'art. 277 al. 2 CC ne sont pas remplies. L'argumentation du recourant ne peut donc être suivie.
5.
En conclusion, le recours apparaît mal fondé et ne peut dès lors qu'être rejeté, dans la mesure où il est recevable. Vu cette issue, prévisible, de la procédure, la requête d'assistance judiciaire du recourant ne saurait être agréée (art. 64 al. 1 LTF). Celui-ci supportera dès lors les frais judiciaires (art. 66 al. 1 LTF). Il n'y a pas lieu d'allouer de dépens à l'intimée, qui n'a pas été invitée à répondre sur le fond et qui a conclu au rejet de la requête d'effet suspensif, alors que celui-ci a été partiellement accordé.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté, dans la mesure où il est recevable.
2.
La requête d'assistance judiciaire du recourant est rejetée.
3.
Les frais judiciaires, arrêtés à 2'500 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel civile du Tribunal cantonal du canton de Vaud.
Lausanne, le 4 octobre 2021
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
La Greffière : Mairot