Faits :
A.
A._, né en 1972, et B._, née en 1977, ont fait vie commune de 2002 à avril 2007 et sont les parents non mariés de l'enfant C._, né en 2002. Le père a reconnu l'enfant.
B.
B.a. Par convention conclue le 20 août 2003, approuvée par le Juge de paix du cercle de Pully (VD) le 28 août 2003, les parties sont convenues que A._ contribuerait à l'entretien de son fils par le régulier versement d'une pension de 720 fr. jusqu'à l'âge de 10 ans révolus, de 770 fr. dès lors et jusqu'à l'âge de 15 ans révolus et de 820 fr. dès lors et jusqu'à l'achèvement ordinaire d'une formation mais au moins jusqu'à la majorité.
B.b. Par jugement rendu le 12 juin 2014 par la Présidente du Tribunal civil de l'arrondissement de l'Est vaudois (ci-après: le premier juge ou la présidente), la convention alimentaire précitée a été modifiée, en ce sens que le demandeur a été astreint à verser une contribution d'entretien en faveur de son fils d'un montant de 870 fr. dès et y compris le mois de mai 2012 jusqu'à l'âge de 15 ans révolus et de 945 fr. jusqu'à sa majorité ou son indépendance financière, l'<ref-law> étant réservé.
S'agissant de la situation financière et personnelle des parties lors de la fixation de la contribution d'entretien précitée, il avait été retenu que la défenderesse s'était mariée avec D._, lequel assumait la quasi-totalité des charges de leur ménage. La défenderesse n'avait pas d'emploi fixe mais travaillait en qualité d'enseignante et effectuait du soutien pédagogique sur appel, pour un revenu mensuel net moyen de 1'473 fr. Quant au demandeur, il travaillait à cette époque en qualité de magasinier pour le compte de la société E._ AG depuis le mois d'octobre 2011 et percevait à ce titre un salaire mensuel net de 5'789 fr., treizième salaire compris.
B.c. Par requête de mesures provisionnelles du 31 octobre 2016, A._ a conclu à ce que la contribution d'entretien due en faveur de son fils soit réduite à 675 fr. par mois.
Par ordonnance du 15 décembre 2016, cette requête a été rejetée par la présidente. Cette magistrate a retenu que le requérant avait quitté son emploi chez E._ AG et qu'il avait travaillé, dès novembre 2014, pour F._ GmbH dans la vente et la préparation de projets, avant d'être licencié en mai 2016. Elle a considéré que la période de chômage du requérant constituait un état passager, qui ne justifiait pas de modifier les contributions mises à sa charge en procédure provisionnelle, que l'intéressé, qui n'avait pas prouvé avoir effectué des recherches d'emploi sérieuses, était en mesure de retrouver un emploi " tout prochainement " et que celui-ci n'avait pas rendu vraisemblable que le maintien de la contribution d'entretien pendant la durée du procès risquait de lui causer un préjudice difficilement réparable.
B.d. Par demande du 16 août 2018, le demandeur a conclu à ce que le chiffre II du jugement rendu par la présidente en date du 12 juin 2014 soit modifié en ce sens qu'il soit libéré du paiement de toute contribution d'entretien en faveur de son fils dès le 1er juin 2018 et, subsidiairement, en ce sens qu'il doive contribuer à l'entretien de son fils, d'avance le premier de chaque mois, par le versement d'un montant de 100 fr. maximum, dès le 1er juin 2018 et jusqu'à la majorité de l'enfant ou la fin de ses études régulièrement menées.
Par jugement du 29 juillet 2019, la présidente a notamment admis la demande, arrêté le montant assurant l'entretien convenable de l'enfant C._ à 1'090 fr. par mois, allocations familiales par 360 fr. déduites, constaté que A._ n'était pas en mesure de contribuer à l'entretien de son fils, et modifié le chiffre II du jugement du 12 juin 2014, en ce sens que A._ était libéré du paiement de toute contribution d'entretien en faveur de son fils dès et y compris le 1er juin 2018.
En droit, le premier juge a considéré que les conditions d'une modification du jugement du 12 juin 2014 étaient réalisées, dès lors que le demandeur s'était retrouvé au chômage depuis mai 2016 et était désormais au bénéfice du revenu d'insertion depuis le 1er juin 2018. Celui-ci avait fait tout ce qu'on pouvait attendre de lui pour retrouver un emploi, de sorte qu'il ne se justifiait pas de lui imputer un revenu hypothétique. Compte tenu de sa situation effective, le demandeur n'était plus en mesure de contribuer à l'entretien de son fils, alors que la défenderesse disposait quant à elle d'un excédent mensuel lui permettant de subvenir en grande partie à l'entretien de l'enfant.
B.e. Par acte du 13 septembre 2019, B._ a interjeté appel contre ce jugement, en concluant en substance à sa réforme en ce sens que A._ soit débouté de toutes ses conclusions.
Faisant droit à la réquisition de preuves de l'appelante, la Juge déléguée de la Cour d'appel civile du Tribunal cantonal du canton de Vaud a notamment ordonné à l'intimé de produire les preuves attestant d'efforts suffisants pour trouver un travail entre 2016 et 2018. Le 8 janvier 2020, il a produit un bordereau de trois pièces et, le 27 janvier 2020, après avoir été à nouveau interpellé, diverses autres pièces.
Par réponse du 8 janvier 2020, l'intimé a conclu au rejet de l'appel.
B.f. Par arrêt du 22 juillet 2020, la Cour d'appel civile du Tribunal cantonal du canton de Vaud a admis l'appel et a réformé le jugement attaqué en ce sens notamment que la demande formée le 16 août 2018 par A._ est rejetée, que les frais judiciaires de première instance, arrêtés à 1'800 fr., sont mis à la charge du demandeur et que celui-ci versera à la défenderesse la somme de 5'000 fr. à titre de dépens de première instance.
En substance, les juges cantonaux ont retenu que le débirentier n'avait pas fait, depuis son licenciement en 2016, les efforts qu'il aurait dû faire pour retrouver un emploi lui permettant de s'acquitter de ses obligations familiales. Il n'avait aucunement démontré ses allégations contraires, respectivement avait refusé sur ce point de collaborer à la preuve des faits qu'il alléguait. S'il avait fait les efforts que l'on pouvait attendre de lui, soit davantage que remplir mensuellement une liste de postulations pour l'assurance-chômage et envoyer à peine plus d'une postulation par mois en moyenne, au mieux, il aurait eu la possibilité effective d'exercer une activité par exemple de magasinier, comme celle qu'il avait exercée entre 2011 et fin 2014, à tout le moins dès juin 2018. Dès lors que le revenu qu'il avait perçu comme magasinier était de 5'789 fr. net, treizième salaire inclus, c'était ce montant qu'il aurait pu à tout le moins réaliser s'il avait fait les efforts que la situation permettait d'exiger de lui, en juin 2018, au jour du dépôt de sa requête de conciliation. Au vu notamment du fait que la justice civile l'avait déjà interpellé en 2016 sur la nécessité pour lui de travailler, respectivement de documenter ses efforts de ne pas y arriver, il ne se justifiait pas de lui accorder un délai pour ce faire avant de lui imputer, dès le mois de juin 2018, un revenu hypothétique s'élevant à 5'789 fr. Dans ces conditions, le premier juge avait admis à tort que la situation professionnelle du débirentier puisse ouvrir le droit à une modification du " jugement de divorce " (sic).
C.
Par acte posté le 28 août 2020, A._ exerce un recours en matière civile au Tribunal fédéral contre l'arrêt du 22 juillet 2020. Il conclut à sa réforme en ce sens que l'appel interjeté le 13 septembre 2019 par B._ est rejeté et que le jugement rendu le 29 juillet 2019 par la Présidente du Tribunal civil de l'arrondissement de l'Est vaudois est intégralement confirmé. Subsidiairement, il sollicite le renvoi de la cause à l'autorité cantonale pour nouvelle décision au sens des considérants. Pour le surplus, il requiert d'être mis au bénéfice de l'assistance judiciaire pour la procédure fédérale.
L'intimée conclut à l'irrecevabilité de la pièce n° 3 produite par le recourant et au rejet du recours. La cour cantonale s'est référée aux considérants de son arrêt.
Le recourant a renoncé à répliquer.

Considérant en droit :
1.
Déposé en temps utile (<ref-law>) et dans la forme légale (<ref-law>), le recours est dirigé contre une décision finale (<ref-law>) qui concerne la modification de la contribution d'entretien en faveur d'un enfant né hors mariage, rendue par une autorité supérieure statuant en dernière instance cantonale (<ref-law>), dans une affaire civile (<ref-law>), de nature pécuniaire, dont la valeur litigieuse atteint 30'000 fr. (art. 74 al. 1 let. b cum <ref-law>). Le recourant a participé à la procédure devant l'autorité précédente et a un intérêt digne de protection à la modification ou l'annulation de la décision entreprise (art. 76 al. 1 let. a et b LTF).
2.
2.1. Le recours en matière civile peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 s. LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>); cela étant, eu égard à l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, il n'examine en principe que les griefs soulevés (<ref-ruling> consid. 2.4 et les références). Le recourant doit par conséquent discuter les motifs de la décision entreprise et indiquer précisément en quoi il estime que l'autorité précédente a méconnu le droit (<ref-ruling> consid. 1.7.1; <ref-ruling> consid. 2.4 et la référence). En outre, le Tribunal fédéral ne connaît de la violation de droits fondamentaux que si un tel grief a été invoqué et motivé par le recourant (" principe d'allégation ", <ref-law>), c'est-à-dire s'il a été expressément soulevé et exposé de façon claire et détaillée (<ref-ruling> consid. 2.1; <ref-ruling> consid. 2.4).
En l'occurrence, faute de répondre un tant soit peu aux réquisits du principe d'allégation susvisé, le grief de violation du droit d'être entendu que le recourant soulève au motif que les juges cantonaux n'auraient pas appointé d'audience d'appel, alors qu'il s'était réservé dans sa réponse à l'appel le droit de développer plus avant son moyen dirigé contre l'imputation d'un revenu hypothétique lors de " l'éventuelle audience à intervenir ", peut d'emblée être écarté.
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>); le recourant ne peut critiquer les constatations de fait que si elles ont été établies de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law>, et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>). Le recourant qui entend se plaindre d'un établissement manifestement inexact - c'est-à-dire arbitraire (art. 9 Cst.; <ref-ruling> consid. 6.7; <ref-ruling> consid. 2.2 et la référence) - des faits doit se conformer au principe d'allégation (<ref-law>; cf. supra consid. 2.1), étant rappelé que l'appréciation des preuves ne se révèle arbitraire que si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis, sans raison sérieuse, de tenir compte d'une preuve propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a effectué des déductions insoutenables (<ref-ruling> consid. 1.1; <ref-ruling> consid. 2.3); les critiques appellatoires sont irrecevables (<ref-ruling> consid. 1.1; <ref-ruling> consid. 1.3.1).
2.3. Le recourant produit une pièce nouvelle, soit un extrait du site internet de l'État de Vaud (pièce n° 3). S'agissant de faits notoires (cf. sur cette notion: <ref-ruling> consid.1; <ref-ruling> consid. 4.1; <ref-ruling> consid. 3.4), cette pièce est recevable nonobstant son caractère nouveau au sens de l'<ref-law> (cf. arrêt 5A_310/2019 du 5 novembre 2019 consid. 2.3).
3.
Le recourant reproche à la cour cantonale d'avoir violé son droit à la preuve et, partant, son droit d'être entendu.
3.1. Il réfute le reproche qui lui a été fait de ne pas avoir contribué à la preuve des faits qu'il avait allégués, soit ses nombreuses recherches d'emploi. Par courrier du 8 janvier 2020, il avait indiqué à l'autorité cantonale qu'il était dans l'impossibilité de fournir l'ensemble des justificatifs de ses recherches d'emploi. Il avait, pour cette raison, demandé qu'il soit ordonné à l'Office régional de placement de produire ces justificatifs. Il avait ainsi régulièrement requis l'administration d'un moyen de preuve adéquat. Alors même qu'elle savait qu'il ne disposait pas de l'ensemble des justificatifs concernés, l'autorité cantonale avait toutefois refusé de donner suite à sa réquisition de preuve, considérant qu'il lui appartenait de produire lui-même lesdits justificatifs. Ce faisant, elle avait manifestement violé son droit d'être entendu ainsi que son droit à la preuve. Elle ne pouvait dès lors considérer que le nombre de postulations était insuffisant ni que les formulaires transmis n'étaient pas convaincants au motif qu'ils n'étaient pas signés et n'étaient pas accompagnés de leurs annexes.
3.2.
3.2.1. Le droit d'être entendu garanti par l'art. 29 al. 2 Cst. comprend notamment le droit pour le justiciable de produire des preuves pertinentes quant aux faits de nature à influer sur la décision à rendre, d'obtenir qu'il soit donné suite à ses offres de preuves pertinentes, de participer à l'administration des preuves essentielles ou à tout le moins de s'exprimer sur son résultat, à moins que le fait à prouver ne soit dépourvu de pertinence ou que le moyen de preuve n'apparaisse manifestement inapte à établir le fait allégué, et de se déterminer à leur propos (<ref-ruling> consid. 2.3; <ref-ruling> consid. 3.3; <ref-ruling> consid. 3.3).
3.2.2. Conformément à l'<ref-law>, l'instance d'appel peut librement décider d'administrer des preuves: elle peut ainsi ordonner que des preuves administrées en première instance le soient à nouveau devant elle, faire administrer des preuves écartées par le tribunal de première instance ou encore décider l'administration de toutes autres preuves, en particulier celles qui sont propres et nécessaires à établir les faits pertinents pour rendre une décision conforme à l'intérêt de l'enfant (<ref-ruling> consid. 3.2.1; arrêts 5A_528/2015 du 21 janvier 2016 consid. 2; 5A_876/2014 du 3 juin 2015 consid. 4.3.3). Cette disposition ne confère toutefois pas au justiciable un droit à la réouverture de la procédure probatoire et à l'administration de preuves. Le droit à la preuve, comme le droit à la contre-preuve - qu'ils découlent de l'<ref-law> ou de l'art. 29 al. 2 Cst. - n'excluent pas l'appréciation anticipée des preuves (<ref-ruling> consid. 4.3.1 et les arrêts cités). L'autorité d'appel peut ainsi renoncer à procéder à des mesures d'instruction lorsque les preuves administrées lui ont permis de forger sa conviction et que, procédant d'une manière non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, elle a la certitude qu'elles ne pourraient l'amener à modifier son opinion (<ref-ruling> consid. 4.1; <ref-ruling> consid. 6.3.1; <ref-ruling> consid. 4.3.2; arrêts 5A_983/2019 du 13 novembre 2020 consid. 6.1; 5A_489/2019 du 24 août 2020 consid. 3.1; 5A_943/2019 du 29 avril 2020 consid. 3.2; 5A_368/2018 du 25 avril 2019 consid. 7.2). Il n'en va pas différemment lorsque le procès est soumis à la maxime inquisitoire (art. 55 al. 2, 272 et 296 al. 1 CPC; <ref-ruling> consid. 4.3.2; arrêt 5A_983/2019 précité loc. cit. et les autres références).
3.3. Il n'apparaît pas que l'<ref-law> ou l'art. 29 al. 2 Cst. auraient été violés. Force est en effet de constater qu'en décidant de ne pas mettre en oeuvre la mesure d'instruction sollicitée par le recourant et de statuer sur le vu des pièces produites par les parties, l'autorité précédente a procédé à une appréciation anticipée des preuves. Si le recourant entendait contester une telle appréciation, il lui appartenait de soulever un grief d'arbitraire (art. 9 Cst.) motivé selon les exigences strictes de l'<ref-law> (cf. parmi plusieurs: arrêt 5D_157/2019 du 30 septembre 2019 consid. 3.1), ce qu'il n'a pas fait. Quoi qu'il en soit, on ne voit pas en quoi il serait insoutenable de considérer qu'il revenait au recourant de requérir lui-même auprès de l'Office régional de placement les formulaires de recherche d'emploi lui manquant et que, n'y ayant pas procédé, la cause était en état d'être jugée sur la base du dossier. Le recourant se limite en définitive à affirmer qu'il a étéempêché de prouver ses allégations relatives à ses recherches d'emploi en raison du refus de donner suite à sa réquisition en édition de pièces, sans expliquer ce qui l'aurait empêché de s'adresser à l'Office régional de placement pour obtenir copie de ses formulaires de recherche d'emploi et des annexes y relatives. Au demeurant, la maxime inquisitoire régissant la procédure en matière d'entretien de l'enfant (<ref-law>) trouve ses limites dans l'obligation des parties de collaborer à l'administration des preuves (parmi plusieurs: arrêt 5A_522/2020 du 26 janvier 2021 consid. 7.1), de sorte qu'on ne saurait de toute façon reprocher à la cour cantonale d'avoir mal instruit la cause dont elle était saisie, en renonçant à ordonner l'édition de pièces que le recourant aurait raisonnablement pu produire lui-même. Aussi, les constatations de fait des juges cantonaux quant au contenu des formulaires de recherche d'emploi figurant au dossier et au nombre de postulations ne souffrent-elles d'aucune critique et lient le Tribunal fédéral (<ref-law>; cf. supra consid. 2.2).
Autant que recevable, le grief doit être rejeté.
4.
Le recourant fait ensuite grief à l'autorité cantonale d'avoir établi les faits de manière manifestement inexacte et d'avoir violé le droit en lui imputant un revenu hypothétique.
4.1. Il reproche à l'autorité cantonale d'avoir retenu qu'il n'avait pas établi que c'était sans sa faute qu'il s'était retrouvé à la charge de l'assurance-chômage, puis tributaire du revenu de réinsertion. Les juges cantonaux avaient en effet eux-mêmes établi qu'il avait été licencié en mai 2016 par la société F._ GmbH. Il avait ensuite effectué des recherches d'emploi sérieuses et régulières, sans succès. L'autorité cantonale avait à tort remis en cause la force probante des formulaires de recherches d'emploi qu'il avait produits au motif notamment qu'ils n'étaient pas signés et qu'ils n'étaient pas accompagnés d'annexes. Les annexes manquantes auraient pu être fournies par l'Office régional de placement si leur production avait été ordonnée comme il l'avait requis. Quant à l'absence de signature, les juges cantonaux avaient omis de tenir compte du fait que les preuves de recherche d'emploi pouvaient être adressés électroniquement audit office et que, partant, aucune signature n'était requise. Le recourant dit peiner à comprendre comment ses recherches d'emploi auraient pu être prouvées autrement que par la production des formulaires concernés. D'autant plus que les recherches d'emploi y figurant avaient été contrôlées par l'Office régional de placement, étant rappelé que les administrés étaient rendus attentifs à leurs obligations et aux conséquences pénales qui pourraient en découler. Lorsque l'autorité cantonale lui reprochait d'avoir postulé très souvent, de mois en mois, auprès des mêmes sociétés, elle omettait que les entités concernées étaient constituées de plusieurs succursales/filiales et qu'il lui incombait, comme il l'avait fait, de postuler auprès de la succursale/filiale concernée. Le recourant relève en outre qu'il avait également pu postuler à des postes différents au sein d'une même entité. S'agissant du nombre de postulations, jugé insuffisant, l'autorité cantonale avait manifestement ignoré que les administrés doivent mensuellement soumettre à l'Office régional de placement un nombre minimum et déterminé de recherches d'emploi. En ce qui le concernait, ce nombre se situait entre 10 et 15 recherches par mois. Le nombre de recherches d'emploi retenu par l'autorité cantonale pour chaque année n'était pas plausible et aurait indubitablement entraîné des sanctions, qui ne lui avait jamais été infligées. Concernant plus particulièrement l'année 2017, on ne pouvait, sans violer l'<ref-law>, lui faire grief de ne pas avoir prouvé que les réponses obtenues résultaient d'une malchance et non du fait que son profil n'était pas adéquat avec l'emploi en question. Cela étant, n'ayant plus exercé le métier de menuisier depuis près de 15 ans, les juges cantonaux ne pouvaient considérer qu'il était à même de retrouver un emploi dans ce domaine. Ce métier avait été largement automatisé ces dernières années, de sorte qu'il ne disposait pas des qualifications nécessaires pour utiliser les machines et les composants informatiques utiles à sa pratique. Enfin, le fait que l'ordonnance de mesures provisionnelles du 15 décembre 2016 avait retenu qu'il n'avait pas prouvé, à cette époque déjà, avoir effectué des recherches d'emploi sérieuses, ne constituait pas un élément " utile " dans le cadre de la présente procédure. L'autorité cantonale aurait dû uniquement s'en tenir à sa situation actuelle.
4.2. Une telle critique, exclusivement dirigée contre la constatation des faits et l'appréciation des preuves, est purement appellatoire, partant irrecevable. Il convient de rappeler au recourant que le Tribunal fédéral n'est pas une cour d'appel auprès de laquelle les faits pourraient être rediscutés librement comme il le fait. Il lui appartenait bien plutôt de s'en prendre à l'appréciation des preuves de l'autorité cantonale de manière conforme aux exigences de l'<ref-law> (cf. supra consid. 2.2). Se borner à affirmer que l'absence de signature sur les formulaires de recherche d'emploi s'expliquerait par le fait qu'ils peuvent être transmis par la voie électronique et que leur contenu ne saurait être remis en doute dès lors qu'ils auraient été contrôlés par l'Office régional de placement est insuffisant à démontrer l'arbitraire de la décision entreprise, dont la motivation sur ce point (cf. arrêt attaqué, consid. 3.4.5.2) n'est tout simplement pas discutée de manière claire et détaillée. Quant aux arguments soulevés par le recourant pour contester la constatation selon laquelle il avait postulé, de mois en mois, pour les mêmes entreprises et remettre en cause le nombre de postulations retenu par l'autorité cantonale, ils reposent sur ses seules affirmations non étayées ainsi que sur de pures conjectures. Par ailleurs, outre qu'elles consistent manifestement en une redite de ses propres allégations formulées en instance cantonale (cf. arrêt attaqué, ch. 7 let. a p. 7), les considérations émises par le recourant en lien avec sa prétendue impossibilité d'exercer le métier de menuisier apparaissent dénuées de pertinence. En effet, l'autorité cantonale a en définitive retenu comme revenu hypothétique celui que le recourant avait perçu comme magasinier entre 2011 et 2014, soit 5'789 fr. net. Le revenu qu'un menuisier de l'âge et de l'expérience du recourant pourrait actuellement retirer (soit un salaire mensuel net de l'ordre de 6'239 fr. 85) n'a été évoqué par les juges cantonaux que pour démontrer que le revenu hypothétique de 5'789 fr. apparaissait, par comparaison, adéquat et réaliste (cf. arrêt attaqué, consid. 3.4.5.4). Enfin, sauf à affirmer péremptoirement que l'autorité cantonale aurait dû se borner à examiner sa " situation actuelle ", le recourant n'explique nullement en quoi le fait qu'il avait déjà omis, dans une précédente procédure, de prouver avoir effectué des recherches d'emploi sérieuses était contraire aux pièces du dossier, respectivement sans pertinence dans l'appréciation faite par l'autorité cantonale du respect de son devoir de collaborer à la preuve de ses efforts pour retrouver un emploi.
5.
Sous couvert d'une violation arbitraire de l'art. 1 du Tarif vaudois du 23 novembre 2010 des dépens en matière civile (TDC/VD; BLV 270.11.6), le recourant conteste enfin l'allocation à l'intimée de dépens à hauteur de 5'000 fr. pour la procédure de première instance, dès lors que celle-ci n'était alors pas assistée d'un avocat.
Quoi que semble penser l'intimée, le fait que le recourant invoque une violation arbitraire du droit cantonal, alors que la question litigieuse est régie par le droit fédéral, ne porte pas à conséquence. Il apparaît en effet que l'art. 1 TDC/VD a une teneur strictement identique à l'<ref-law>, dont le Tribunal fédéral contrôle librement le respect.
5.1. Lorsqu'une partie procède sans représentant professionnel, elle n'a droit à une indemnité équitable pour ses démarches, en sus du remboursement de ses débours nécessaires (<ref-law>), que dans les cas où cela se justifie (art. 95 al. 3 let. c CPC; cf. arrêt 5D_229/2011 du 16 avril 2012 consid. 3.3 s'agissant d'éventuels dépens alloués à un canton). Selon le Message du Conseil fédéral (FF 2006 6905), l'art. 95 al. 3 let. c CPC vise notamment la perte de gain d'un indépendant. Le fait que l'activité déployée par une partie non assistée d'un avocat lui occasionne des frais susceptibles d'indemnisation est exceptionnel et nécessite une motivation particulière (arrêts 5A_132/2020 du 28 avril 2020 consid. 4.2.1; 5A_741/2018, 5A_772/2018 du 18 janvier 2019 consid. 9.2; 5A_268/2019 du 14 avril 2019 consid. 2.2; 4A_233/2017 du 28 septembre 2017 consid. 4.1, publié in RSPC 2018 p. 25; 4A_192/2016 du 22 juin 2016 consid. 8.2; 4A_355/2013 du 22 octobre 2013 consid. 4.2).
5.2. En l'espèce, on cherche en vain dans l'arrêt attaqué un quelconque motif permettant de justifier l'allocation de dépens de première instance à l'intimée, dont il n'est pas contesté qu'elle n'était pas assistée d'un avocat devant le premier juge. La seule référence à l'art. 5 TDC/VD, qui concerne le tarif applicable au défraiement de l'avocat en matière de procédure simplifiée, est à l'évidence insuffisante. Or, pour que le Tribunal fédéral soit en mesure de vérifier si le droit fédéral a été correctement appliqué en relation avec la question soulevée, il est nécessaire que le jugement de l'instance précédente fasse clairement ressortir les motifs déterminants de fait et de droit (<ref-law>). Conformément à l'<ref-law>, il convient donc d'admettre le recours, d'annuler la décision attaquée et de renvoyer la cause à l'autorité précédente. Il lui appartiendra de rendre une nouvelle décision satisfaisant aux exigences posées par la loi en matière de motivation en indiquant clairement les motifs qui l'ont conduite à admettre que l'intimée avait droit à une indemnité équitable à titre de dépens de première instance au sens de l'art. 95 al. 3 let. c CPC.
6.
En définitive, le recours est partiellement admis dans la mesure de sa recevabilité, l'arrêt attaqué annulé en tant qu'il condamne le recourant à verser à l'intimée la somme de 5'000 fr. à titre de dépens de première instance et la cause renvoyée à l'autorité précédente pour nouvelle décision sur ce point au sens des considérants.
Vu le sort du recours, il se justifie de mettre à la charge du recourant les 3/4 des frais judiciaires arrêtés à 2'500 fr. (<ref-law>). Il sera renoncé à percevoir le 1/4 restant dans la mesure où l'intimée ne répond pas du vice incriminé et que l'erreur de droit (violation du droit d'être entendu) commise par le canton de Vaud n'entraîne que l'admission partielle du recours et ne saurait être qualifiée de particulièrement grave (" Justizpanne "; <ref-law>; arrêts 5A_580/2017 du 28 août 2017 consid. 4; 5A_6/2016 du 15 septembre 2016 consid. 6; 4A_340/2015 du 21 décembre 2015 consid. 4 et les références non publié aux <ref-ruling>). Dès lors que le recourant succombe sur le fond, il versera une indemnité de dépens à l'intimée qui s'est déterminée et était représentée par un mandataire professionnel pour la procédure fédérale (art. 68 al. 1 et 2 LTF). L'octroi de l'assistance judiciaire ne le dispense en effet pas de verser des dépens (<ref-ruling> consid. 2c, avec la jurisprudence citée). Le recourant peut quant à lui prétendre à une indemnité de dépens en tant que son recours a été admis sur la question de l'allocation de dépens de première instance à l'intimée. L'admission partielle du recours trouvant son origine dans le défaut de motivation de l'arrêt cantonal, les dépens dus au recourant seront à la charge du canton de Vaud. Dans cette mesure, la requête d'assistance judiciaire du recourant devient en principe sans objet; elle doit être admise pour le surplus (<ref-law>). La part de frais mise à la charge du recourant est supportée provisoirement par la Caisse du Tribunal fédéral, le recourant étant toutefois rendu attentif au fait qu'il est tenu de rembourser ultérieurement la Caisse du Tribunal fédéral s'il est en mesure de le faire (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est partiellement admis dans la mesure où il est recevable, l'arrêt entrepris est annulé en tant qu'il condamne le recourant à verser à l'intimée la somme de 5'000 fr. à titre de dépens de première instance et la cause est renvoyée à l'autorité cantonale pour nouvelle décision dans le sens des considérants.
2.
La requête d'assistance judiciaire du recourant est admise dans la mesure où elle n'est pas sans objet et Me Dario Barbosa, avocat, lui est désigné comme conseil d'office.
3.
Les frais judiciaires sont mis à hauteur de 1'875 fr. à la charge du recourant. Ils sont provisoirement supportés par la Caisse du Tribunal fédéral.
4.
Une indemnité de 2'000 fr., à payer à l'intimée à titre de dépens, est mise à la charge du recourant.
5.
Une indemnité de 1'000 fr., à payer au mandataire du recourant à titre de dépens, est mise à la charge du canton de Vaud.
6.
Le présent arrêt est communiqué aux parties et à la Cour d'appel civile du Tribunal cantonal du canton de Vaud.
Lausanne, le 26 avril 2021
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
La Greffière : Hildbrand