Faits:
A.
A.a. A._, né en 1979, et B._, née en 1979, se sont mariés en 2013 à U._ (VD), après avoir vécu en concubinage depuis le mois d'avril 2010. Ils sont les parents de C._, né en 2010.
Les parties vivent séparées depuis le 13 octobre 2014.
A.b. Le 12 juin 2014, les parties ont acquis en copropriété, pour une demie chacune, l'immeuble n° xxx de la Commune de V._ (VS), sur lequel est érigée l'ancienne maison conjugale. L'extrait du Registre foncier concernant cet immeuble indique que le recourant en est devenu propriétaire individuel par cession du 2 mars 2020.
Par contrat de base pour prêt hypothécaire du 16 janvier 2020, la Banque D._ a accordé au recourant et à la société E._ SA, " dans le sens d'une société simple ", un prêt hypothécaire de 580'000 fr. sur l'immeuble susvisé. Une annexe au contrat datée du même jour prévoit que les intérêts sont dus chaque semestre, la première fois le 30 juin 2020, que ceux-ci sont débités d'un compte libellé au nom du recourant et que des amortissements indirects doivent être effectués chaque année pour un montant total de 5'583 fr. 50, la première fois le 21 décembre 2020, par le versement de montants de 3'183 fr. 50 sur une assurance-vie de capital 3a conclue au nom du recourant auprès de F._ AG et de 2'400 fr. sur une assurance-vie liée à des fonds conclue au nom de celui-ci auprès de G._ AG.
Par reconnaissance de dette signée par le recourant et E._ SA le 28 mars 2020, celui-là a reconnu que celle-ci lui avait octroyé un prêt de 80'000 fr. à 1.5% d'intérêt, prêt garanti par une cédule hypothécaire sur son bien immobilier, et s'est engagé à rembourser ce montant par des versements mensuels de 1'050 fr. chacun, la première fois le 1er mai 2020 et la dernière fois le 1er avril 2027. Le 14 avril 2020, le recourant a signé seul une reconnaissance de dette en faveur de E._ SA, dont le contenu est presque identique à celle du 28 mars 2020, à l'exception de la désignation du compte de la société sur lequel les versements mensuels devront être effectués. Le 28 mai 2020, il a signé devant notaire l'acte constitutif de la cédule hypothécaire au porteur de 80'000 fr. grevant son bien immobilier, à remettre en possession à la société E._ SA. Le 24 novembre 2020, dite société a attesté recevoir du recourant la somme de 1'050 fr. " tous les mois et cela durant 7 ans, en remboursement du prêt qu'elle lui a[vait] alloué ".
B.
B.a. Par ordonnance de mesures protectrices de l'union conjugale du 29 février 2016, la Juge suppléante du Tribunal du district de Monthey (ci-après: Juge suppléante) a notamment dit que l'époux contribuerait à l'entretien de l'enfant C._ par le versement d'une pension mensuelle de 1'470 fr., allocations familiales en sus, dès le 1er novembre 2015, ainsi qu'à l'entretien de l'épouse par le versement d'une pension mensuelle de 1'300 fr. pour les mois de novembre et décembre 2015, puis de 1'490 fr. dès le 1er janvier 2016.
Par décision du 1er juin 2016, le Juge unique de la Cour civile II du Tribunal cantonal du canton du Valais a partiellement admis l'appel de l'épouse contre l'ordonnance précitée et a réformé celle-ci en ce sens que la pension mensuelle due par l'époux pour l'entretien de l'épouse a été fixée à 1'570 fr. pour les mois de janvier à mai 2016, puis à 2'473 fr. depuis lors. La pension mensuelle de 1'470 fr. due pour l'entretien de l'enfant C._ a été confirmée.
Par arrêt du 22 août 2016, le Tribunal fédéral a déclaré irrecevable le recours formé par l'époux contre la décision précitée (5A_496/2016).
B.b. Le 17 janvier 2017, la Juge suppléante a rendu une décision d'avis aux débiteurs contre l'époux, le prélèvement sur le salaire de l'intéressé devant être effectué à hauteur de 1'470 fr. par mois pour la contribution d'entretien courante due à l'enfant C._ et à hauteur de 2'473 fr. pour la contribution courante due à l'épouse.
C.
C.a. Par demande unilatérale du 9 décembre 2016, motivée le 7 mars 2017, l'époux a ouvert action en divorce devant le Tribunal civil de l'arrondissement de Lausanne (ci-après: Tribunal civil).
C.b. Par jugement de divorce du 28 novembre 2019, le Tribunal civil a, entre autres points, constaté que le montant assurant l'entretien convenable de l'enfant C._ s'élevait à 1'454 fr. (VII), a dit, d'une part, que, dès jugement de divorce définitif et exécutoire, l'ex-époux contribuerait à l'entretien de l'enfant C._ par le régulier versement d'une pension mensuelle, allocations familiales en sus, payable d'avance le premier de chaque mois, en mains de l'ex-épouse, de 1'454 fr. jusqu'aux douze ans révolus de l'enfant, de 1'365 fr. depuis lors et jusqu'aux seize ans révolus de l'enfant, et de 1'277 fr. depuis lors et jusqu'à la majorité de l'enfant ou, au-delà, aux conditions de l'art. 277 al. 2 CC et, d'autre part, que les frais extraordinaires de l'enfant C._ seraient partagés à raison de deux tiers à la charge de l'ex-époux et d'un tiers à la charge de l'ex-épouse (VIII), a dit que dès jugement de divorce définitif et exécutoire, l'ex-époux était libéré du paiement d'une contribution d'entretien en faveur de l'ex-épouse (X), et a dit que l'avis aux débiteurs ordonné le 17 janvier 2017 était maintenu, en précisant qu'il ne concernait que la contribution d'entretien due par l'ex-époux en faveur de son fils C._ conformément au chiffre VIII précité (XI).
C.c. Par arrêt du 8 janvier 2021, expédié le 12 suivant, la Cour d'appel civile du Tribunal cantonal du canton de Vaud a partiellement admis l'appel de l'ex-époux (I), rejeté celui de l'ex-épouse (II), réformé le jugement attaqué aux chiffres VII, VIII et XI de son dispositif, en ce sens qu'il est constaté que le montant assurant l'entretien convenable de l'enfant C._ s'élève à 2'247 fr. par mois dès jugement de divorce définitif et exécutoire jusqu'à ce que l'enfant ait atteint l'âge de douze ans révolus, puis à 1'347 fr. par mois depuis lors et jusqu'aux seize ans révolus de l'enfant, qu'il est dit que, dès jugement de divorce définitif et exécutoire, l'ex-époux contribuera à l'entretien de l'enfant C._ par le régulier versement, d'avance le premier de chaque mois en mains de l'ex-épouse, puis en mains de l'enfant dès sa majorité, d'une pension mensuelle, allocations familiales en sus, de 1'220 fr. jusqu'à ce que l'enfant ait atteint l'âge de seize ans révolus et de 700 fr. depuis lors et jusqu'à la majorité de l'enfant et, au-delà, jusqu'à l'achèvement de sa formation professionnelle aux conditions de l'art. 277 al. 2 CC, qu'il est dit que les frais extraordinaires de l'enfant C._ seront partagés par moitié entre les parties et qu'ordre est donné à H._, titulaire de l'entreprise individuelle I._, à Z._, ainsi qu'à tout éventuel futur employeur de l'ex-époux et à tout tiers qui serait appelé à lui verser des prestations tenant lieu de salaire (assurance-chômage, maladie ou accident, etc.), de prélever chaque mois, sur le salaire ou les prestations servies à celui-ci, dès jugement définitif et exécutoire, le montant de 1'220 fr. par mois jusqu'au 30 septembre 2026, puis de 700 fr. par mois dès le 1er octobre 2026, pour la contribution d'entretien courante due à son fils C._, et de verser ce montant à l'ex-épouse sur son compte auprès de la Banque J._ n° IBAN yyy, le jugement entrepris étant confirmé pour le surplus (III).
D.
Par acte posté le 12 février 2021, l'ex-époux exerce un recours en matière civile au Tribunal fédéral contre l'arrêt du 8 janvier 2021. Il conclut à sa réforme en ce sens que le montant de l'entretien convenable de l'enfant C._ arrêté au chiffre VII du dispositif du jugement de première instance demeure inchangé, que, dès jugement de divorce définitif et exécutoire, il soit libéré de toute contribution d'entretien en faveur de l'enfant C._, qu'il soit dit que les frais extraordinaires de celui-ci seront partagés par moitié entre les parties, que l'avis aux débiteurs visé au chiffre XI du jugement de première instance soit supprimé et que les frais et dépens de deuxième instance soient intégralement mis à la charge de l'intimée. Subsidiairement, il conclut à ce que la contribution d'entretien mensuelle en faveur de son fils soit fixée, allocations familiales en sus, à 1'120 fr. jusqu'à ce que l'enfant ait atteint l'âge de 16 ans révolus, puis à 600 fr. jusqu'à la majorité de l'enfant et, au-delà, jusqu'à l'achèvement de sa formation professionnelle aux conditions de l'art. 277 al. 2 CC, ses autres conclusions demeurant inchangées. Plus subsidiairement, il sollicite le renvoi de la cause à l'autorité cantonale pour nouvelle décision au sens des considérants. Pour le surplus, il requiert le bénéfice de l'assistance judiciaire pour la procédure fédérale.
Des déterminations n'ont pas été requises.

Considérant en droit:
1.
L'arrêt entrepris est une décision finale (art. 90 LTF) prise par un tribunal cantonal supérieur statuant sur recours (art. 75 al. 1 et 2 LTF), dans une affaire matrimoniale (art. 72 al. 1 LTF) de nature pécuniaire, dont la valeur litigieuse requise est atteinte (art. 51 al. 1 let. a et al. 4, 74 al. 1 let. b LTF). Le recourant, qui a partiellement succombé devant la juridiction précédente, a qualité pour recourir (art. 76 al. 1 LTF). Déposé par ailleurs dans le délai (art. 100 al. 1 LTF) et la forme (art. 42 al. 1 LTF) prévus par la loi, le recours est en principe recevable au regard des dispositions qui précèdent.
2.
2.1. Le recours en matière civile peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 s. LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Cela étant, eu égard à l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, il n'examine en principe que les griefs soulevés; il n'est pas tenu de traiter, à l'instar d'une autorité de première instance, toutes les questions juridiques qui pourraient se poser, lorsque celles-ci ne sont plus discutées devant lui (<ref-ruling> consid. 2.4 et les références). Le recourant doit par conséquent discuter les motifs de la décision entreprise et indiquer en quoi il estime que l'autorité précédente a méconnu le droit (<ref-ruling> consid. 1.7.1; <ref-ruling> consid. 2.4 et la référence). Le Tribunal fédéral ne connaît par ailleurs de la violation de droits fondamentaux que si un tel grief a été expressément invoqué et motivé de façon claire et détaillée par le recourant ("principe d'allégation", art. 106 al. 2 LTF; <ref-ruling> consid. 2.1; <ref-ruling> consid. 5.1; <ref-ruling> consid. 2.1).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut s'en écarter que si ceux-ci ont été constatés de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF), et si la correction du vice est susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF). Le recourant qui soutient que les faits ont été établis d'une manière manifestement inexacte, c'est-à-dire arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 6.7; <ref-ruling> consid. 2.2 et la référence), doit, sous peine d'irrecevabilité, satisfaire au principe d'allégation susmentionné (cf. supra consid. 2.1).
3.
Le recourant conclut à ce que le montant de l'entretien convenable de l'enfant C._ arrêté au chiffre VII du dispositif du jugement de première instance demeure inchangé. Force est toutefois de constater qu'il n'émet aucune critique relative aux coûts directs et indirects de l'enfant retenus par la juridiction précédente, alors qu'il lui appartenait d'exposer les motifs à l'appui de la conclusion prise (art. 42 al. 2 LTF; cf. ég. supra consid. 2.1). Partant, celle-ci est irrecevable.
4.
Le recourant fait grief à la cour cantonale d'avoir constaté les faits relatifs à ses frais de logement de manière manifestement inexacte et incomplète et d'avoir ainsi fait preuve d'arbitraire en ne retenant, au titre de ses charges incompressibles, qu'une part infime des frais de logement qu'il assume effectivement. En tenant compte de l'intégralité de ces frais, son budget mensuel serait déficitaire, de sorte qu'il ne serait pas en mesure de s'acquitter d'une pension en faveur de son fils.
4.1. La cour cantonale a retenu qu'au vu des pièces produites par l'appelant, du fait que celui-ci était devenu seul propriétaire de l'ancienne maison conjugale et des allégations de l'intéressé, il était établi que le prêt de 80'000 fr. octroyé par E._ SA était en lien avec l'acquisition en pleine propriété du bien immobilier sis à V._, qui avait nécessité la conclusion d'un nouveau prêt hypothécaire. Cela étant, elle a constaté que la dette contractée auprès de E._ SA servait à la constitution d'un patrimoine et non au règlement de charges d'utilisation, d'entretien ou financières (intérêts hypothécaires, frais bancaires liés au crédit hypothécaire, etc.) liées au logement. Au vu de la situation financière serrée des parties, elle a ainsi jugé qu'il n'était pas admissible d'intégrer dans les charges incompressibles de l'appelant l'amortissement du prêt concédé par E._ SA pour se constituer un patrimoine foncier, au détriment de son obligation d'entretien envers l'enfant C._.
Quant au montant de 435 fr. allégué au titre des intérêts hypothécaires dus à la Banque D._, la cour cantonale a retenu, sur la base des pièces produites, que ceux-ci s'élevaient en réalité à 399 fr. 80 ([{1'669 fr. 30 ÷ 127 jours} x 365 jours] ÷ 12 mois), montant qui pouvait être comptabilisé dans les frais mensuels liés au logement de l'appelant.
La cour cantonale a par ailleurs constaté que l'annexe au contrat de base pour prêt hypothécaire du 16 janvier 2020 prévoyait que des amortissements indirects devaient être effectués chaque année pour un montant total de 5'583 fr. 50, la première fois le 21 décembre 2020, par le versement de montants de 3'183 fr. 50 sur une assurance-vie de capital 3a conclue au nom de l'appelant auprès de F._ AG et de 2'400 fr. sur une assurance-vie liée à des fonds conclue au nom de l'appelant auprès de G._ AG. Au vu de ce document, l'amortissement indirect devant actuellement être effectué via la police conclue auprès de l'assurance F._ AG était de 265 fr. 30 (3'183 fr. 50 ÷ 12 mois), et non de 272 fr. 30 [recte: 273 fr. 30] comme le prétendait l'appelant. Quoi qu'il en soit, dès lors que, selon la jurisprudence, l'amortissement de la dette hypothécaire n'était en principe pas pris en considération et que la situation financière des parties était serrée, il n'y avait pas lieu de comptabiliser dans les charges de l'appelant la prime d'assurance de prévoyance liée qu'il revendiquait, quand bien même celle-ci était en lien avec l'amortissement indirect de la maison de V._. En effet, l'appelant était désormais seul propriétaire de ce bien et l'épouse ne tirait aucun bénéfice du maintien du crédit hypothécaire conclu le 16 janvier 2020.
En définitive, la cour cantonale a arrêté les frais mensuels de logement de l'appelant au montant arrondi de 682 fr. 20, lequel, outre les intérêts hypothécaires payés à la Banque D._ [399 fr. 80], tient compte d'autres charges liées au logement résultant des pièces produites (ramonage, impôt foncier, etc.).
4.2. S'agissant des versements de 1'050 fr. opérés mensuellement en faveur de la société E._ SA, le recourant soutient qu'ils comprennent tant les intérêts que l'amortissement du prêt de 80'000 fr. La reconnaissance de dette produite attesterait d'un "intérêt hypothécaire" de 1.5% l'an, ce qui correspondait à un coût mensuel de 100 fr. (80'000 fr. x 1.5% ÷ 12). La cour cantonale n'avait toutefois pas retenu ce montant de 100 fr. au titre de ses frais de logement, ce qui était choquant et contraire au droit et à la jurisprudence, les intérêts hypothécaires faisant partie du minimum vital du droit des poursuites. Dès lors, à l'instar des intérêts hypothécaires mensuellement dus à la Banque D._, la cour cantonale aurait à tout le moins dû compter ce montant de 100 fr. dans ses charges incompressibles. Cela étant, en refusant de prendre en compte dans ses frais de logement la somme de 1'050 fr. (intérêts de 100 fr. compris) versée mensuellement à la société E._ SA, les juges cantonaux n'avaient pas pris en considération l'ensemble des circonstances du cas d'espèce, ce qui avait conduit à une décision arbitraire tant dans ses motifs que dans son résultat. Il était en effet légitime que ses frais de logement réels soient pris en compte, ce d'autant qu'ils n'étaient pas disproportionnés, mais étaient justifiés, équivalents à ceux de l'intimée, et non contestés par celle-ci. Le recourant relève que sans prise en compte desdits frais, il allait être en défaut de paiement avec pour conséquence la rupture de ses engagements contractuels (hypothèques, amortissements, etc.) et se verrait contraint de quitter son logement et, certainement, de requérir une modification de la contribution d'entretien en raison du nouveau loyer plus onéreux qu'il serait amené à payer, ce qui était manifestement choquant.
Le recourant reproche enfin à la cour cantonale de ne pas avoir pris en compte les amortissements indirects obligatoires au maintien de son logement, dont il s'acquitte mensuellement à raison de 273 fr. 30 envers F._ AG et de 200 fr. envers G._ AG. S'agissant du premier montant, c'était arbitrairement que la cour cantonale l'avait arrêté à 265 fr. 30, puisque les pièces produites faisaient toutes état d'un montant de 273 fr. 30, montant qu'il avait toujours allégué, que l'autorité de première instance avait retenu et que l'intimée n'avait jamais contesté. Quoi qu'il en soit, la jurisprudence sur laquelle la cour cantonale s'était basée tendait manifestement à autoriser la prise en considération de l'amortissement de manière exceptionnelle, notamment lorsque sa non-prise en compte conduirait à un résultat arbitraire et choquant, ce qui était le cas en l'espèce. C'était en outre à tort et arbitrairement que la cour cantonale avait retenu que l'intimée ne tirerait aucun bénéfice du maintien du crédit hypothécaire qu'il avait contracté. En effet, le maintien du crédit permettait de limiter ses frais de logement et évitait de grever son budget mensuel incompressible de charges supplémentaires et plus onéreuses. L'intimée y avait tout intérêt, en particulier dans le futur, lorsqu'il serait à même de s'acquitter d'une contribution d'entretien envers son fils.
En définitive, le recourant considère qu'il conviendrait d'ajouter aux frais de logement mensuels de 682 fr. 20 retenus par la cour cantonale les sommes de 1'050 fr. (100 fr. + 950 fr.), 273 fr. 30 et 200 fr., soit ses charges de logement réelles assumées à concurrence de 2'205 fr. 50 au total. Le recourant relève encore que l'égalité de traitement aurait dû conduire la cour cantonale à retenir un tel montant, dès lors qu'il correspond à des frais de logement équivalents à ceux de l'intimée.
4.3.
4.3.1. Savoir si un élément peut être inclus dans le calcul des charges d'une partie relève de l'application du droit et non de l'appréciation des preuves; seul le montant effectivement supporté à ce titre est une question de fait (arrêts 5A_129/2021 du 31 mai 2021 consid. 4.1; 5A_246/2019 du 9 juin 2020 consid. 5.1 et les références).
4.3.2. La méthode du minimum vital avec répartition de l'excédent, auxquels les juges cantonaux ont eu recours, implique de déterminer les ressources et les besoins des personnes concernées, puis de répartir les ressources en fonction des besoins des ayants droit (<ref-ruling> consid. 6.6 et 7).
Pour calculer les besoins des parties, il convient de prendre comme point de départ le minimum vital au sens du droit des poursuites (cf. Lignes directrices pour le calcul du minimum vital du droit des poursuites selon l'art. 93 LP établies par la Conférence des préposés aux poursuites et faillites de Suisse du 1er juillet 2009, publiées in BlSchK 2009 p. 196 ss). Plus la situation financière des parties est serrée, moins le juge devra s'écarter des principes développés pour la détermination du minimum vital au sens de l'art. 93 LP (<ref-ruling> consid. 4.2.3; arrêts 5A_329/2016 du 6 décembre 2016 consid. 4.1; 5A_1029/2015 du 1er juin 2016 consid. 3.3.1.3). Si les moyens financiers le permettent, l'entretien doit être élargi à ce qu'on nomme le minimum vital du droit de la famille, auquel appartiennent typiquement les impôts, les frais de logement correspondant à la situation financière concrète, l'amortissement raisonnable de certaines dettes (cf. infra consid. 4.3.3) ou encore les forfaits pour la télécommunication et les assurances (<ref-ruling> consid. 7.2). Dans des circonstances favorables, il est aussi possible de prendre en compte les primes d'assurance non obligatoires (ATF 147 précité, ibid.).
4.3.3. A la différence des intérêts hypothécaires qui font généralement partie du minimum vital LP, l'amortissement de la dette hypothécaire, qui ne sert pas à l'entretien mais à la constitution du patrimoine, n'est en principe pas pris en considération, sauf si les moyens financiers des époux le permettent (<ref-ruling> consid. 2a/bb et les références; arrêts 5A_102/2019 du 12 décembre 2019 consid. 3.2.1; 5A_105/2017 du 17 mai 2017 consid. 3.3.1; 5A_608/2011 du 13 décembre 2011 consid. 6.2.3; 5A_682/2008 du 9 mars 2009 consid. 3.1 et les références).
4.4. En l'espèce, le recourant ne peut être suivi lorsqu'il reproche à la cour cantonale d'avoir arbitrairement omis de tenir compte d'un montant de 100 fr. à titre d' "intérêts hypothécaires" de la dette contractée auprès de E._ SA. En effet, il ressort des constatations de l'arrêt querellé (art. 105 al. 1 LTF) - non remises en cause par le recourant (cf. supra consid. 2.2) -, que celui-ci a fait valoir un montant de 1'050 fr. "à titre de remboursement d'un prêt consenti pour acquérir le bien immobilier" et que la société prêteuse a confirmé recevoir mensuellement le montant précité de la part du recourant à titre de "remboursement du prêt qu'elle lui a[vait] alloué". Or, il n'est pas insoutenable de considérer que le terme de "remboursement" a trait uniquement à l'amortissement de la dette et non au paiement des intérêts. Cela est d'autant plus vrai qu'en l'espèce, il n'apparaît pas (art. 105 al. 1 LTF; <ref-ruling> consid. 1.3.1) - et le recourant ne soutient pas le contraire - que celui-ci aurait présenté devant l'autorité précédente le calcul effectué dans son présent recours pour déterminer la part du montant de 1'050 fr. liée au paiement des intérêts, étant précisé que la maxime inquisitoire illimitée - applicable en l'espèce (art. 296 al. 1 CPC) - ne le dispensait nullement de collaborer activement à la procédure (<ref-ruling> consid. 3.2.1; arrêt 5A_762/2020 du 9 février 2021 consid. 5). Dès lors que la cour cantonale pouvait sans arbitraire considérer l'entier de ce montant comme un amortissement, il n'est pas nécessaire d'examiner si - comme le soutient le recourant - le paiement des intérêts du prêt consenti par E._ SA aurait dû être assimilé au paiement d'intérêts hypothécaires et être, à ce titre, inclus dans son minimum vital LP.
S'agissant de l'amortissement du prêt octroyé par E._ SA et des amortissements indirects de l'emprunt hypothécaire contracté auprès de la Banque D._, le raisonnement de la cour cantonale est en tous points conforme à la jurisprudence susrappelée, de sorte que l'on peut sans autre s'y référer. Le recourant omet - et partant ne remet pas valablement en cause - la constatation des juges cantonaux selon laquelle la situation financière des parties est serrée. Or, selon la jurisprudence constante (cf. supra consid. 4.3.3), ce n'est que lorsque les moyens financiers des époux le permettent, c'est-à-dire uniquement dans le cadre du minimum vital du droit de la famille, que de telles charges sont susceptibles d'être décomptées. Les considérations du recourant - au demeurant guère étayées - quant aux exceptions qu'il conviendrait de ménager au principe énoncé par la jurisprudence tombent donc à faux. En particulier, son argument selon lequel il n'a pas contracté de nouveaux prêts dans son seul intérêt, mais dans le but de conserver son logement et d'éviter ainsi l'augmentation de cette charge et la réduction de sa capacité contributive ne peut être suivi. En effet, le recourant perd de vue que lorsque les revenus (du travail et de la fortune) ne suffisent pas à couvrir l'entretien, on peut, selon les circonstances, attendre du débirentier qu'il entame la substance de sa fortune, en particulier lorsqu'il s'agit de couvrir le minimum vital LP du crédirentier (arrêt 5A_582/2018 du 1er juillet 2021 consid. 6.1.1 et 6.1.6, destinés à la publication). Or, le recourant ne soutient pas que si elle avait été réalisée, la vente de l'ancien logement conjugal ne lui aurait pas permis d'obtenir des liquidités supplémentaires.
Il suit de là que la détermination des charges composant les frais de logement du recourant apparaît exempte de toute critique, étant précisé qu'en vertu de la maxime inquisitoire illimitée, il n'est pas décisif que les frais de logement allégués par le recourant n'aient pas été contestés par l'intimée en instance cantonale (cf. parmi d'autres, arrêts 5A_245/2019 du 1er juillet 2019 consid. 3.2.1; 5A_298/2015 du 30 septembre 2015 consid. 2.1.2, publié in RSPC 2016 p. 135). Enfin, si tant est qu'il entende se plaindre d'une violation de l'art. 8 Cst. lorsqu'il fait grief à la cour cantonale d'avoir retenu un montant à titre de frais de logement inférieur au loyer admis pour l'ex-épouse, le recourant oublie que cette garantie constitutionnelle s'adressant à l'État et ne produisant pas d'effet horizontal direct dans les relations entre personnes privées (<ref-ruling> consid. 5.1; <ref-ruling> consid. 2b et les références), il ne peut s'en prévaloir à l'appui d'un recours dirigé contre une décision rendue dans une affaire matrimoniale opposant deux particuliers.
Autant que recevable, le grief doit être rejeté.
5.
Le recourant conclut également à la suppression de l'avis aux débiteurs dirigé contre lui. Il n'y a toutefois pas lieu d'entrer en matière sur ce point, le recourant n'ayant émis aucune critique à cet égard (art. 42 al. 2 LTF; cf. supra consid. 2.1) pour le cas où il ne serait pas libéré du paiement de toute pension.
6.
En définitive, le recours est rejeté dans la mesure de sa recevabilité. Faute de chances de succès du recours, la requête d'assistance judiciaire ne saurait être agréée (art. 64 al. 1 LTF). Les frais judiciaires, arrêtés à 2'000 fr., sont par conséquent mis à la charge du recourant, qui succombe (art. 66 al. 1 LTF). Il n'est pas alloué de dépens à l'intimée, qui n'a pas été invitée à répondre (art. 68 al. 1 LTF). Compte tenu de l'issue de la cause, il n'y a pas lieu de modifier la répartition des frais et dépens de la procédure cantonale (art. 67 et 68 al. 5 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La requête d'assistance judiciaire du recourant est rejetée.
3.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel civile du Tribunal cantonal du canton de Vaud.
Lausanne, le 1er octobre 2021
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
La Greffière : Feinberg