Faits :
A.
A.A._ (1977) et B.A._ (1975) se sont mariés en 2000 à U._. Deux enfants sont issus de cette union : C.A._ (2002) et D.A._ (2004).
B.
B.a. Par jugement du 9 septembre 2015, le Juge du district de l'Entremont (ci-après: Juge de district) a, entre autres points, prononcé le divorce des époux, ordonné l'exercice en commun de l'autorité parentale sur les enfants, la garde de ceux-ci étant confiée à leur mère, a fixé le droit de visite du père sur les enfants et mis à la charge du père, indexation et allocations familiales en sus, des contributions mensuelles d'un montant de 485 fr. pour son fils jusqu'à 12 ans révolus, puis de 690 fr. pour chaque enfant jusqu'à leur majorité ou au-delà, jusqu'à l'obtention d'une formation professionnelle appropriée, pour autant qu'elle soit achevée dans des délais normaux. Les parties ont renoncé à une contribution pour leur entretien après le divorce.
B.b. Par acte du 23 juin 2017, l'ex-épouse a requis la modification du jugement de divorce. Par jugement du 31 octobre 2018, le Juge de district a dit que, du 1er juin 2017 au 30 septembre 2017, le père contribuerait à l'entretien de son fils D.A._ et de sa fille C.A._ par le versement d'une pension mensuelle de 690 fr. chacun, puis de 670 fr. pour chaque enfant du 1er octobre 2017 au 28 février 2018, et de 695 fr. pour D.A._ respectivement de 790 fr. pour C.A._ jusqu'à leur majorité ou jusqu'à l'obtention d'une formation professionnelle appropriée, pour autant qu'elle soit achevée dans des délais normaux. Le revenu mensuel net de l'ex-épouse pris en considération s'élevait à 3'400 fr. et celui de l'ex-époux à 5'230 fr. Les allocations familiales n'étaient pas comprises dans ces montants.
B.c. Le 17 décembre 2018, l'ex-épouse a interjeté appel contre ce jugement par-devant la Cour civile II du Tribunal cantonal du canton du Valais (ci-après: Cour civile) sollicitant sa réforme en ce sens que le père soit astreint, dès le 1er juin 2017, de contribuer à l'entretien de son fils D.A._ par le versement d'un montant de 1'010 fr. 30 jusqu'au 31 août 2017, puis de 1'321 fr. 55 pour chaque enfant jusqu'à leur majorité ou au-delà aux conditions de l'<ref-law>, allocations familiales non comprises. Le revenu mensuel net de l'ex-épouse pris en considération s'élevait à 3'263 fr. et celui de l'ex-époux à 5'444 fr., allocations familiales non comprises.
Par acte du 4 février 2019, l'ex-époux a déposé une réponse, laquelle lui a été retournée le 5 février 2020 (recte: 2019) pour cause de tardiveté, le délai ayant expiré le 1er février 2019.
L'enfant C.A._, majeure depuis le 2 septembre 2020, a déclaré approuver les conclusions formulées par sa mère et souhaiter que celle-ci continue de la représenter dans la procédure.
B.d. Par jugement du 16 octobre 2020, la Cour civile a admis l'appel de l'ex-épouse et réformé le jugement de première instance en ce sens qu'elle a dit que, l'ex-époux verserait en mains de l'ex-épouse, une contribution mensuelle visant la couverture des frais directs de C.A._ de 1'100 fr. du 1er juin 2017 au 28 février 2018, de 1'220 fr. du 1er mars au 30 septembre 2018 et de 1080 fr. dès le 1er octobre 2018 jusqu'à la majorité de l'enfant ou au-delà jusqu'à l'obtention d'une formation professionnelle appropriée pour autant qu'elle soit achevée dans les délais normaux, une contribution mensuelle visant la couverture des frais directs de D.A._ de 1'100 fr. du 1er juin 2017 au 28 février 2018, de 1'126 fr. du 1er mars au 30 septembre 2018 et de 986 fr. dès le 1er octobre 2018 jusqu'à la majorité de l'enfant ou au-delà jusqu'à l'obtention d'une formation professionnelle appropriée pour autant qu'elle soit achevée dans les délais normaux, dit que le revenu mensuel net de l'ex-épouse pris en considération s'élevait à 3'400 fr. et celui de l'ex-époux à 5'230 fr., allocations familiales non comprises dans ces montants (chiffre 5 du dispositif), supprimé le chiffre 6 du dispositif avec effet au 1er mars 2018, mis les frais judiciaires de première instance (2'000 fr.) à charge de l'ex-époux, mais provisoirement supportés par le canton du Valais au titre de l'assistance judiciaire, dit que l'ex-époux versera à l'ex-épouse la somme de 500 fr. à titre de dépens de première instance, dit que le canton du Valais payera à Me Couchepin une indemnité de 5'600 fr. à titre de rémunération du conseil d'office de l'ex-épouse en première instance, le canton étant subrogé dans les droits de celle-ci à l'encontre de l'ex-époux à concurrence du montant versé dès le jour du paiement, dit que le canton du Valais payera à Me Marmy une indemnité de 5'020 fr. à titre de rémunération du conseil d'office de l'ex-époux en première instance, dit que les fais de la procédure d'appel (850 fr.) sont mis à la charge de l'ex-époux, dit que l'ex-époux versera 500 fr. à l'ex-épouse à titre de dépens de seconde instance.
C.
Par acte du 16 novembre 2020, l'ex-époux exerce un recours en matière civile au Tribunal fédéral. Il conclut à l'annulation des chiffres 1, 2, 4, 5, 6, 8 et 9 du dispositif du jugement du 16 octobre 2020, à ce que le chiffre 5 du dispositif du jugement de divorce du 9 septembre 2015 soit modifié en ce sens que le recourant paiera, en mains de son ex-épouse, d'avance le premier jour du mois, une contribution mensuelle visant la couverture des frais directs de C.A._ de 616 fr. du 1er juin 2017 au 28 février 2018, de 683 fr. du 1er mars au 30 septembre 2018 et de 605 fr. dès le 1er octobre 2018 jusqu'à la majorité de l'enfant ou au-delà jusqu'à l'obtention d'une formation professionnelle appropriée pour autant qu'elle soit achevée dans les délais normaux, une contribution mensuelle visant la couverture des frais directs de D.A._ de 616 fr. du 1er juin 2017 au 28 février 2018, de 630 fr. du 1er mars au 30 septembre 2018 et de 552 fr. dès le 1er octobre 2020 jusqu'à la majorité de l'enfant ou au-delà jusqu'à l'obtention d'une formation professionnelle appropriée pour autant qu'elle soit achevée dans les délais normaux, dit qu'aucune contribution mensuelle de prise en charge n'est due à l'ex-épouse, dit que le revenu mensuel net de l'ex-épouse pris en considération s'élève à 4'080 fr. et celui de l'ex-époux à 5'230 fr., allocations familiales non comprises dans ces montants, dit que le chiffre 6 du dispositif du jugement de divorce du 9 septembre 2015 est supprimé avec effet au 1er mars 2018, sous suite de frais et dépens.
Des déterminations n'ont pas été requises.

Considérant en droit :
1.
Le recours a été déposé en temps utile (<ref-law>) et dans la forme légale (<ref-law>), contre une décision finale (<ref-law>) rendue sur recours par une autorité supérieure statuant en dernière instance cantonale (<ref-law>), dans une affaire civile (<ref-law>) de nature pécuniaire, dont la valeur litigieuse atteint le seuil de 30'000 fr. (art. 51 al. 1 let. a et 74 al. 1 let. b LTF). Le recourant, qui a succombé devant la juridiction précédente, a qualité pour recourir (art. 76 al. 1 let. a et b LTF). Le recours est donc en principe recevable.
2.
2.1. Le recours en matière civile peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>). Il n'est donc limité ni par les arguments soulevés dans le recours, ni par la motivation retenue par l'autorité précédente; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (<ref-ruling>consid. 2.1; <ref-ruling>consid. 3.2.3). Compte tenu de l'obligation de motiver imposée par l'<ref-law>, il ne traite que les questions qui sont soulevées devant lui par les parties, à moins que la violation du droit ne soit manifeste (arrêt 4A_45/2021 du 14 mai 2021 consid. 3.2 et les références). Le recourant doit par conséquent discuter les motifs de la décision entreprise et indiquer précisément en quoi l'autorité précédente a méconnu le droit (<ref-ruling>consid. 1.7.1; <ref-ruling>consid. 2.4). Le Tribunal fédéral ne connaît par ailleurs de la violation de droits fondamentaux que si un tel grief a été expressément invoqué et motivé de façon claire et détaillée (" principe d'allégation ", <ref-law>; <ref-ruling>consid. 1.1; <ref-ruling>consid. 2.4).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si ces faits ont été constatés de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law>, et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>). Le recourant qui soutient que les faits ont été établis d'une manière manifestement inexacte, c'est-à-dire arbitraire au sens de l'art. 9 Cst. (<ref-ruling>consid. 2.2; <ref-ruling>consid. 2.3), doit, sous peine d'irrecevabilité, satisfaire au principe d'allégation susmentionné (cf. supra consid. 2.1). L'appréciation des preuves n'est arbitraire que si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a procédé à des déductions insoutenables (<ref-ruling>consid. 1.1; <ref-ruling>consid. 2.3).
Le recourant procède en premier lieu à une description des faits de la cause aux pages 3 à 8 de son acte de recours. Celle-ci ne peut être prise en considération en tant qu'elle s'écarte des faits arrêtés par les juges précédents et que le recourant ne démontre pas, de manière conforme au principe d'allégation, leur établissement arbitraire (cf. supra consid. 2.1).
2.3. En vertu de l'<ref-law>, aucun fait nouveau ni preuve nouvelle ne peut être présenté, à moins de résulter de la décision de l'autorité précédente. Cette exception, dont il appartient au recourant de démontrer que les conditions sont remplies (<ref-ruling> consid. 1.1), vise les faits qui sont rendus pertinents pour la première fois par la décision attaquée, par exemple concernant le déroulement de la procédure devant l'instance précédente afin d'en contester la régularité, ou encore des faits postérieurs à l'arrêt attaqué permettant d'établir la recevabilité du recours (<ref-ruling> consid. 4.4.3). En dehors du cas prévu par l'<ref-law>, les nova ne sont pas admissibles, qu'il s'agisse de faits ou moyens de preuve survenus postérieurement à la décision attaquée (<ref-ruling> consid. 5.2.4) ou d'éléments que les parties ont négligé de présenter à l'autorité précédente (<ref-ruling> consid. 1.2; <ref-ruling> consid. 4.4.3).
S'agissant des pièces produites devant le Tribunal fédéral à l'appui du présent recours, il s'agit de pièces nouvelles dont le recourant ne démontre pas qu'elles satisfont aux conditions de l'<ref-law> et qui sont en conséquence irrecevables.
2.4. En vertu du principe de l'épuisement des griefs, le recours n'est ouvert qu'à l'encontre des décisions rendues par une autorité cantonale de dernière instance (<ref-law>), ce qui signifie que les voies de droit cantonales doivent avoir été non seulement utilisées sur le plan formel, mais aussi épuisées sur le plan matériel (<ref-ruling> consid. 3.3.4; <ref-ruling> consid. 2.2.2; <ref-ruling> consid. 1.1 et les références). Lorsque l'autorité de dernière instance cantonale peut se limiter à examiner les griefs régulièrement soulevés, le principe de l'épuisement matériel des instances cantonales veut que les griefs soumis au Tribunal fédéral aient déjà été invoqués devant l'instance précédente (arrêts 5A_667/2020 du 28 avril 2021 consid. 2.3 et les références; 5A_451/2020 du 31 mars 2021 consid. 2.3 et les références; 5A_703/2019 du 27 avril 2020 consid. 2.3.1 et les références). Ce principe s'applique également lorsqu'une partie n'a pas soulevé de moyen de droit dans la procédure cantonale et était de ce fait uniquement partie intimée (arrêts 5A_451/2020 précité consid. 2.3; 5A_669/2019 du 7 février 2020 consid. 5 et les références; pour l'application de ce principe devant le Tribunal fédéral: <ref-ruling> consid. 2).
3.
Dans un premier grief, le recourant soutient que l'intimée aurait commis un abus de droit et invoque en conséquence une violation de l'<ref-law>.
3.1. Il expose que le déroulement des faits démontrait que l'intimée avait procédé à diverses manoeuvres pour surendetter son patrimoine et ainsi pouvoir solliciter sa contribution financière. Elle avait ainsi notamment renoncé à toute pension alimentaire dans un premier temps, avant d'augmenter ses charges une semaine après le prononcé du divorce et de diminuer son taux d'activité juste avant le dépôt de la demande de modification du jugement de divorce le 23 juin 2017. Elle avait également contracté un leasing, procédé à des emprunts et souscrit un prêt hypothécaire. Cette stratégie avait pour but de péjorer provisoirement sa situation financière pour les besoins de la procédure qu'elle avait elle-même intentée contre lui. Le recourant indique encore qu'il s'étonne des nouveaux choix de vie de l'intimée, en particulier du souhait de celle-ci d'entrer en politique pour la commune de V._ au niveau exécutif et législatif.
3.2. En l'espèce, le recourant expose de manière appellatoire sa propre version des faits de la cause sans indiquer de façon précise en quoi les juges cantonaux auraient violé le droit. Son argumentation repose en définitive uniquement sur la chronologie des faits et les intentions qu'il attribue à l'intimée sans pour autant se référer à une quelconque preuve en attestant et comporte de surcroît des jugements de valeur quant aux choix de vie de l'intimée. Une telle motivation est manifestement impropre à satisfaire aux réquisits de motivation de l'<ref-law>. Au demeurant, il ressort de l'arrêt querellé que le recourant était intimé dans la procédure d'appel. Sa réponse à l'écriture d'appel a été déclarée irrecevable pour cause de tardiveté, ce qu'il ne conteste pas. Par conséquent, le recourant n'a pas satisfait au principe d'épuisement des griefs s'agissant de sa critique de violation de l'<ref-law> (cf. supra consid. 2.4), étant de surcroît précisé qu'aucune violation manifeste du droit n'est donnée en l'espèce.
4.
Le recourant fait valoir une violation du droit en ce sens qu'un revenu hypothétique pour une activité à 100% aurait dû être imputé à l'intimée selon le régime des paliers scolaires dès lors que le cadet des enfants est désormais âgé de seize ans révolus.
Ce grief est manifestement insuffisamment motivé au regard de l'<ref-law>. En effet, bien que le recourant énumère les critères qui doivent être examinés dans le cadre de l'imputation d'un éventuel revenu hypothétique, il ne les discute aucunement. Il se contente par ailleurs de soutenir de manière toute générale qu'un revenu hypothétique à 100 % aurait dû être imputé à l'intimée sans même chiffrer le revenu qu'elle pourrait tirer d'une telle activité. Par ailleurs, une fois encore le principe d'épuisement des griefs n'est pas respecté et aucune violation manifeste du droit n'est donnée.
5.
Enfin, le recourant se plaint d'arbitraire dans l'établissement des faits sur plusieurs points.
5.1. Indépendamment de la question de l'imputation d'un revenu hypothétique, il conteste la manière dont le revenu net de l'intimée a été déterminé. Il expose que celle-ci exploite en qualité d'indépendante le Café E._ à U._. Ce café étant hautement fréquenté, il serait douteux qu'elle ne gagne que 3'396 fr. par mois, auxquels devraient s'ajouter les pourboires. Dans la mesure où il était difficile de déterminer la quotité des pourboires et le réel revenu de l'intimée, il convenait selon lui de se référer aux prélèvements mensuels privés opérés par l'intimée. Ainsi, les prélèvements privés au 31 décembre 2016 s'élevaient à 53'559 fr. 90, soit un montant mensuel de 4'080 fr. après déduction de l'AVS.
Le recourant conteste également la détermination des charges de l'intimée, estimant que c'est un montant de 2'206 fr. à titre de charges qui doit être retenu, ce qui lui laisserait un solde disponible de 1'874 fr. mensuel (4'080 fr. - 2'206 fr.). Il conteste plus particulièrement les frais de logement arrêtés à 1'682 fr. et incluant le remboursement mensuel à hauteur de 400 fr. et 450 fr. de deux emprunts de 25'000 fr. et de 15'000 fr. au motif qu'il s'agirait du remboursement d'un investissement immobilier et donc d'épargne non obligatoire dont il n'avait pas à supporter le remboursement. Il expose que les charges PPE par 405 fr. ont été calculées sur la base d'un budget ne correspondant pas à la réalité et se fonde sur une pièce nouvelle irrecevable produite à l'appui de son recours (cf. supra consid. 2.3) pour affirmer que le montant effectif de ce poste de charge serait de 285 fr. Il conteste également le montant de 1'473 fr. retenu pour les autres charges courantes de l'intimée, comprenant notamment les frais de déplacement de W._ à U._ (55 fr.), les frais de leasing du véhicule (513 fr.), l'assurance RC du véhicule (113 fr.) et l'impôt sur les plaques (19 fr.). Il soutient que l'intégralité des frais de véhicule, dont le leasing, les assurances et les impôts sur les plaques, sont déjà déduits des comptes de l'activité indépendante, de sorte qu'ils n'ont pas à être déduits deux fois.
5.2. En l'occurrence, faute pour le recourant d'avoir déposé une réponse recevable à l'écriture d'appel et par conséquent de s'être plaint des revenus et charges arrêtées par le premier juge et repris par la cour cantonale, respectivement d'avoir contesté ceux allégués par l'intimée dans son appel, il est forclos à faire valoir un grief d'arbitraire dans l'établissement des faits sur ce point (cf. supra consid. 2.4).
5.3. Le recourant soutient également que l'intimée n'aurait pas droit à une contribution en sa faveur et que la répartition entre les parents de l'entretien des enfants devrait être revue et fixée à hauteur de 44% à la charge de la mère et 56% à la charge du père. Dans la mesure où il fonde son argumentation sur la seule admission de son grief d'arbitraire dans l'établissement des charges de l'intimée, lequel est irrecevable, il ne saurait être suivi.
6.
En définitive, le recours est irrecevable. Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant qui succombe (<ref-law>). Il n'y a pas lieu d'allouer de dépens, l'intimée n'ayant pas été invitée à répondre (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est irrecevable.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt et communiqué aux parties et à Cour civile II du Tribunal cantonal du canton du Valais.
Lausanne, le 2 juillet 2021
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
La Greffière : Hildbrand