Faits :
A.
A.A._ (1967) et B.A._ (1963) se sont mariés le 25 juin 1999. De leur union sont issus C._, né en 1999, et D._, né en 2004. Le 1er janvier 2010, les parties ont définitivement suspendu leur vie commune.
A.A._ est aussi le père de E._, née en 2011. ll a épousé la mère de celle-ci le 22 août 2017.
B.
B.a. Le 12 décembre 2016, le Juge suppléant du district de Monthey a prononcé le divorce des époux A._ (1). Il a notamment et en substance attribué l'autorité parentale sur D._ et C._ conjointement aux deux parents, la garde étant confiée à la mère (2) et un large et libre droit de visite étant réservé au père, à exercer d'entente entre les parties et les enfants (3). L'ex-époux a été condamné à contribuer à l'entretien de D._ par le versement de 895 fr. par mois, puis de 1'162 fr. par mois dès les 12 ans révolus de l'enfant et jusqu'à sa majorité, voire au-delà aux conditions de l'<ref-law>, éventuelles allocations familiales en sus. La pension due par l'ex-époux pour l'entretien de C._ a été fixée à 1'162 fr. par mois jusqu'à sa majorité, voire au-delà aux conditions de l'<ref-law>, éventuelles allocations familiales en sus (5). L'ex-époux a été astreint à contribuer à l'entretien de son ex-épouse à hauteur de 1'873 fr. par mois, jusqu'à ce que D._ ait atteint l'âge de 16 ans révolus (6).
B.b. L'enfant C._ est devenu majeur le 24 août 2017.
B.c. Statuant par jugement du 15 juillet 2019 sur les appels interjetés par les deux parties, la Cour civile II du Tribunal cantonal du canton du Valais a réformé le jugement précité sur plusieurs points. En particulier, la contribution d'entretien en faveur de D._ a été fixée, allocations familiales en sus, à 1'477 fr. par mois jusqu'au 30 décembre 2020, puis à 1'100 fr. par mois à compter du 31 décembre 2020 et jusqu'à sa majorité, voire au-delà aux conditions de l'<ref-law> (5). Le père a aussi été astreint à s'acquitter d'une pension alimentaire en faveur de C._, fixée à 915 fr. par mois, allocations familiales en sus, avec effet rétroactif au 1er mai 2018, sous déduction d'une quote-part de 60% du salaire net d'apprenti et, le cas échéant, de stagiaire, jusqu'à l'achèvement d'une formation appropriée, le paiement de la contribution d'entretien étant suspendu durant l'école de recrues (6). L'autorité cantonale a en outre jugé que l'ex-époux devrait s'acquitter d'une contribution d'entretien en faveur de son ex-épouse, à verser d'avance le premier de chaque mois, de 1'103 fr. par mois jusqu'au 30 décembre 2020, puis de 1'440 fr. par mois du 31 décembre 2020 et jusqu'à ce que la crédirentière atteigne l'âge de 64 ans révolus (7). Elle a au surplus statué sur les frais et dépens cantonaux (12-14).
C.
Par acte du 16 septembre 2019, A.A._ exerce un recours en matière civile au Tribunal fédéral. Il conclut à l'annulation de l'arrêt entrepris et à sa réforme s'agissant des pensions alimentaires qu'il a été astreint à verser à ses enfants et à son ex-épouse. En particulier, il demande que la contribution due pour l'entretien de D._ s'élève, allocations familiales en sus, à 1'160 fr. par mois jusqu'au 30 décembre 2020, puis à 1'100 fr. par mois à compter du 31 décembre 2020 et jusqu'à sa majorité, voire au-delà aux conditions de l'<ref-law>, dite contribution étant " non modifiable (<ref-law>) ". Il demande aussi qu'aucune contribution ne soit due pour l'entretien de C._ et de son ex-épouse. Enfin, il conclut à ce que les frais judiciaires de première et deuxième instance soient répartis à raison de 13'330 fr. à sa charge et de 13'730 fr. à la charge de son ex-épouse, et à ce que les dépens de première et deuxième instance soient compensés.
Il n'a pas été demandé de réponse sur le fond du recours.
D.
Par ordonnance présidentielle du 2 octobre 2019, l'effet suspensif a été attribué au recours en ce qui concerne les arriérés de contributions d'entretien dus jusqu'à la fin août 2019, mais non pour les montants d'entretien courant dus à partir du 1er septembre 2019. Le recours a aussi été assorti de l'effet suspensif s'agissant de la question des frais et dépens cantonaux.

Considérant en droit :
1.
Le recours a été déposé en temps utile (<ref-law>), contre une décision finale (<ref-law>), par une partie qui a succombé en dernière instance cantonale et sur recours (art. 76 al. 1 et 75 al. 1 LTF), dans une affaire civile (<ref-law>) de nature pécuniaire, dont la valeur litigieuse est supérieure à 30'000 fr. (art. 74 al. 1 let. b et 51 al. 1 let. a LTF). Le recours en matière civile est ainsi en principe recevable.
2.
2.1. Le recours en matière civile peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 s. LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>). Cela étant, eu égard à l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, il n'examine en principe que les griefs soulevés (<ref-ruling> consid. 2.4 et les références). Le recourant doit par conséquent discuter les motifs de la décision entreprise et indiquer précisément en quoi il estime que l'autorité précédente a méconnu le droit (<ref-ruling> consid. 1.7.1; <ref-ruling> consid. 2.4 et la référence). Le Tribunal fédéral ne connaît par ailleurs de la violation de droits fondamentaux que si un tel grief a été expressément invoqué et motivé de façon claire et détaillée par le recourant (" principe d'allégation ", <ref-law>; <ref-ruling> consid. 2.1; <ref-ruling> consid. 2.4).
2.2. Lorsque, comme ici (cf. supra consid. 1.1), l'autorité cantonale de dernière instance statue sur recours, conformément au principe de l'<ref-law>, l'épuisement des instances cantonales est une condition de recevabilité du recours en matière civile au Tribunal fédéral. Sous réserve des exceptions énumérées par l'art. 75 al. 2 let. a-c LTF, qui n'entrent pas en ligne de compte en l'espèce, le principe de la double instance s'applique en matière civile (<ref-ruling> consid. 4.1 et les références; <ref-ruling> consid. 1.6; <ref-ruling> consid. 1.1). L'épuisement des instances cantonales selon l'<ref-law> signifie que les voies de droit cantonales doivent avoir été non seulement utilisées sur le plan formel, mais aussi épuisées sur le plan matériel. Lorsque l'autorité de dernière instance cantonale peut se limiter à examiner les griefs régulièrement soulevés (<ref-ruling> consid. 2.2.4; arrêt 4A_290/2014 du 1er septembre 2014 consid. 3.1), le principe de l'épuisement matériel des instances cantonales veut que les griefs soumis au Tribunal fédéral aient déjà été invoqués devant l'instance précédente (<ref-ruling> consid. 1.1 et les références; arrêts 5A_605/2018 du 7 décembre 2018 consid. 5.2; 4A_32/2018 du 11 juillet 2018 consid. 5.2.1-5.2.2).
2.3. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Le recourant qui entend invoquer que les faits ont été établis de manière manifestement inexacte ne peut obtenir la rectification ou le complètement des constatations de fait de l'arrêt cantonal que s'il démontre la violation de droits constitutionnels, conformément au principe d'allégation susmentionné (cf. supra consid. 2.1). Le Tribunal fédéral ne corrige les constatations de fait que si elles sont arbitraires (art. 9 Cst.) et ont une influence sur le résultat de la décision (<ref-ruling> consid. 1.2.2). En matière d'appréciation des preuves et d'établissement des faits, il n'y a arbitraire que lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (<ref-ruling> consid. 2.3 et les références). Le recourant ne peut pas se borner à contredire les constatations litigieuses par ses propres allégations ou par l'exposé de sa propre appréciation des preuves; il doit indiquer de façon précise en quoi ces constatations sont contraires au droit ou entachées d'une erreur indiscutable, c'est-à-dire arbitraires au sens de l'art. 9 Cst. (<ref-ruling> consid. 1.2.2). Une critique des faits qui ne satisfait pas à cette exigence est irrecevable (<ref-law>; <ref-ruling> consid. 1.4.3).
I. Contribution d'entretien en faveur de l'ex-épouse
3.
Le recourant fait grief à l'autorité cantonale d'avoir violé l'<ref-law> en le condamnant à contribuer à l'entretien de son ex-épouse. Il conteste en particulier le refus de la cour cantonale d'imputer un revenu hypothétique à l'intimée, et remet aussi en cause le montant du loyer qui a été retenu dans les charges de celle-ci.
3.1. En premier lieu, le recourant affirme que le loyer de 1'912 fr. 50 " soi-disant conclu avec sa tante "est manifestement excessif et doit être ramené à 700 fr. " étant donné que la bailleresse est un membre de la famille ". Dans la partie de son recours relative à la contribution d'entretien en faveur de D._, le recourant précise que le montant de 700 fr. correspond au " loyer effectif payé " par l'intimée.
3.1.1. Il ressort des constatations de l'arrêt querellé que l'ex-épouse, qui vit avec ses enfants, est locataire d'un appartement propriété de sa tante maternelle pour lequel elle paie 2'250 fr. par mois, charges comprises. La cour cantonale a précisé qu'à compter du 1er janvier 2018, l'ex-épouse n'était plus parvenue à s'acquitter d'un montant supérieur à 700 fr. par mois et qu'à intervalles réguliers, elle avait dès lors signé des reconnaissances de dette à teneur desquelles elle s'obligeait à payer la différence au plus vite, dès que sa situation financière le permettrait. Cette situation était cependant temporaire et très vraisemblablement consécutive à la suspension, par l'ex-mari, du paiement de la contribution d'entretien en faveur de C._ à compter du 1er septembre 2017. En définitive, la juridiction précédente a tenu compte d'un montant de 1'912 fr. 50 dans les charges de l'ex-épouse, le solde de 337 fr. 50 étant comptabilisé dans les charges de l'enfant D._.
3.1.2.
3.1.2.1. Selon la jurisprudence, les charges de logement d'un époux peuvent ne pas être intégralement retenues lorsqu'elles apparaissent excessivement élevées au regard de ses besoins et de sa situation économique concrète (arrêt 5A_461/2017 du 25 juillet 2017 consid. 3.3 et les références). Le point de savoir si un loyer est, ou non, excessif est une question de droit. Le juge cantonal dispose à cet égard d'un pouvoir d'appréciation (<ref-law>). Le Tribunal fédéral ne revoit qu'avec réserve la décision prise par celui-ci. Il n'intervient que si ce magistrat a excédé ou abusé de son pouvoir d'appréciation; tel est notamment le cas si la décision attaquée s'appuie sur des faits qui, dans le cas particulier, ne devaient jouer aucun rôle ou lorsqu'elle ignore des éléments qui auraient absolument dû être pris en considération; le Tribunal fédéral redresse en outre les décisions rendues en vertu d'un pouvoir d'appréciation lorsqu'elles aboutissent à un résultat manifestement injuste ou à une iniquité choquante (arrêt 5A_688/2013 du 14 avril 2014 consid. 3.2.1 et la référence).
3.1.2.2. Seules les charges effectives, à savoir celles qui sont réellement acquittées, peuvent être prises en compte pour le calcul de la contribution d'entretien (<ref-ruling> consid. 3a et les références; arrêts 5A_889/2018 du 15 mai 2019 consid. 3.2.1; 5A_771/2018 du 28 mars 2019 consid. 3.2), à l'exclusion de dépenses hypothétiques dont on ne sait si elles existeront finalement - et à concurrence de quel montant - ni si elles seront en définitive assumées (arrêt 5A_405/2019 du 24 février 2020 consid. 5.2).
3.1.3. En l'occurrence, il ne ressort pas de l'arrêt querellé que le caractère raisonnable du montant du loyer aurait été remis en cause par l'ex-époux en appel, et le recourant ne le prétend pas non plus. Partant, la recevabilité de sa critique apparaît plus que douteuse sous l'angle de l'<ref-law> (cf. supra consid. 2.2). Au demeurant, dans la mesure où il se borne à relever que la bailleresse de son ex-épouse est un membre de la famille, sans discuter ni le montant moyen des loyers dans la région ni la grandeur de l'appartement, le recourant ne parvient pas à démontrer que la cour cantonale aurait abusé de son pouvoir d'appréciation.
En tant que le recourant demande que le montant du loyer soit ramené aux 700 fr. "effectivement payés " par l'intimée, il faut relever qu'il ne remet pas en considération l'argumentation de la cour cantonale à cet égard, à savoir le fait que cette situation provisoireest très probablement due à un manque de liquidités consécutif à la suspension, par le recourant, du versement de la contribution d'entretien en faveur de C._, l'intimée ayant par ailleurs signé des reconnaissances de dette pour les montants dont elle n'a pas été en mesure de s'acquitter immédiatement.
3.2. Le recourant fait valoir qu'un revenu hypothétique aurait dû être imputé à son ex-épouse.
3.2.1. Il expose en particulier qu'elle ne souffre d'aucune affection, de sorte qu'elle est capable de travailler à 100% et qu'un revenu hypothétique de 5'651 fr. 70 aurait dû lui être imputé, calculé sur la base du salaire qu'elle réalise actuellement à temps partiel. Il affirme qu'elle pourrait travailler auprès de F._ en qualité de veilleuse et de remplaçante à 100%. Sur la base de cet élément ainsi que du montant du loyer de son ex-épouse qu'il chiffre à 700 fr. (cf. supra consid. 3.1), le recourant fait valoir qu'elle ne fait face à aucun déficit, mais bénéficie d'un disponible de 2'227 fr. 75 par mois. En définitive, il prône l'application " à plein " du principe du clean break, estimant que l'on peut raisonnablement attendre de son ex-épouse qu'elle pourvoie elle-même à son entretien convenable, " y compris la constitution d'une prévoyance vieillesse appropriée puisqu'elle est employée salariée dépendante ".
3.2.2. La cour cantonale a relevé que l'ex-épouse était âgée de 56 ans, qu'elle avait une formation d'infirmière assistante, et qu'elle exerçait, depuis plusieurs années, la profession de veilleuse. Seule cette activité était raisonnablement exigible d'elle. Elle avait travaillé à un taux d'occupation total de 61,20% en 2017 et de 72,58% en 2018, réparti entre plusieurs emplois. La cour cantonale a relevé que, parmi les différentes offres d'emploi disponibles actuellement en Suisse romande, certaines n'apparaissaient pas préférables à celle exercée actuellement par l'ex-épouse, alors que d'autres exigeaient une expérience en soins aigus ou en pédiatrie, ou encore en maternité, dont l'ex-épouse ne pouvait pas se prévaloir, celle-ci n'ayant de surcroît pas exercé son activité d'infirmière assistante depuis plusieurs années. Dans ces circonstances, l'autorité précédente - qui a aussi souligné que l'ex-épouse travaillait à temps partiel, mais qu'elle ne pouvait exploiter économiquement sa capacité résiduelle eu égard aux conditions concrètes du marché du travail (cf. consid. 7.2.2 p. 51 de l'arrêt cantonal) - a considéré qu'un revenu hypothétique ne pouvait pas lui être imputé.
3.2.3. Pour fixer les contributions d'entretien, le juge doit en principe tenir compte du revenu effectif du débirentier. Il peut toutefois lui imputer un revenu hypothétique supérieur. Il s'agit d'inciter la personne à réaliser le revenu qu'elle est en mesure de se procurer et dont on peut raisonnablement exiger qu'elle l'obtienne afin de remplir ses obligations (<ref-ruling> consid. 2.3; arrêt 5A_120/2017 du 28 juin 2017 consid. 5.1.2).
Lorsque le juge entend tenir compte d'un revenu hypothétique, il doit examiner successivement deux conditions. Tout d'abord, il doit déterminer s'il peut être raisonnablement exigé de la personne concernée qu'elle exerce une activité lucrative ou augmente celle-ci, eu égard, notamment, à sa formation, à son âge et à son état de santé; il s'agit d'une question de droit. Ensuite, il doit vérifier si la personne a la possibilité effective d'exercer l'activité ainsi déterminée et quel revenu elle peut en obtenir, compte tenu des circonstances subjectives susmentionnées, ainsi que du marché du travail; il s'agit là d'une question de fait (<ref-ruling> consid. 3.2; <ref-ruling> consid. 4.2.2.2).
3.2.4. En tant qu'il fait valoir que l'intimée est en bonne santé, le recourant omet que cet élément n'est pas de nature à influencer l'issue du litige s'agissant de la question du revenu hypothétique. En effet, il apparaît que c'est exclusivement en raison des conditions concrètes du marché du travail que la cour cantonale a considéré qu'il n'était pas possible pour l'ex-épouse d'augmenter son taux de travail. La cour cantonale a d'ailleurs mentionné l'ensemble des offres d'emploi disponibles en Suisse romande dans son secteur d'activité, indiquant pour chacune d'elles pour quelle raison on ne pouvait pas attendre de l'intimée qu'elle postule. Elle a ainsi refusé d'imputer un revenu hypothétique à l'ex-épouse en considérant que celle-ci n'aurait pas la possibilité effective de trouver un emploi plus rémunérateur, ce qui constitue une question de fait (cf. supra consid. 3.2.3). Or, en se contentant d'affirmer que l'intimée pourrait travailler auprès de F._ en qualité de veilleuse et de remplaçante à 100%, le recourant ne soulève aucun grief d'arbitraire dans l'établissement des faits, se contentant d'exposer son point de vue de manière purement appellatoire, partant, irrecevable (cf. supra consid. 2.3).
II. Contribution d'entretien en faveur de l'enfant D._
4.
Le recourant s'en prend à la contribution due pour l'entretien de D._. Il fait valoir, en substance, qu'un revenu hypothétique de 5'651 fr. 70 devait être imputé à son ex-épouse et que le loyer de celle-ci aurait dû être pris en compte à hauteur du " loyereffectif payé ", à savoir 700 fr., depuis le 1er janvier 2018. Sur cette base, son ex-épouse bénéficierait d'un solde disponible mensuel de 2'437 fr. 45, de sorte qu'il ne fallait pas ajouter aux coûts directs de D._ une contribution de prise en charge " si l'on considère que [ l'ex-épouse] peut travailler à 100%, à tout le moins dès que D._ aura 16 ans révolus ". Le recourant déduit de ce qui précède que le coût mensuel d'entretien de D._ devait être fixé à 1'160 fr. au maximum jusqu'au 31 décembre 2020, puis à 1'100 fr. depuis le 1er janvier 2021. Se référant à l'<ref-law>, il ajoute que " toute modification de ces montants doit être exclue ".
En ce qui concerne les questions du loyer et du revenu hypothétique de l'ex-épouse, il peut être renvoyé supra aux consid. 3.1 et 3.2. Vu le sort qui a été réservé aux critiques formulées par le recourant sur ces deux points, force est de retenir que par son argumentation, celui-ci ne parvient pas à démontrer que la contribution de prise en charge de 317 fr. par mois, qui a été prise en compte par l'autorité cantonale dans les besoins de D._ jusqu'à ses 16 ans révolus (cf. arrêt cantonal consid. 4.3.1.2 p. 37 s.), contreviendrait au droit fédéral ni, partant, que la contribution d'entretien fixée à 1'477 fr. par mois jusqu'au 30 décembre 2020, date à laquelle D._ aura 16 ans, serait contraire au droit. Au surplus, le recourant ne conteste pas la contribution d'entretien due à compter du 31 décembre 2020, fixée à 1'100 fr. par mois. Enfin, en tant qu'il affirme, se fondant sur l'<ref-law>, qu'il y a lieu d'exclure toute modification de ces montants, le recourant perd manifestement de vue que l'<ref-law> ne concerne que les contributions d'entretien prévues par convention homologuée, de sorte qu'il ne saurait à l'évidence trouver application dans le cas d'espèce.
III. Contribution d'entretien en faveur de l'enfant majeur C._
5.
Le recourant conteste devoir s'acquitter d'une contribution d'entretien en faveur de C._, qui est majeur depuis le 24 août 2017. Il invoque à cet égard les griefs d'établissement arbitraire des faits et de violation des art. 277 al. 2 et 279 al. 1 CC.
5.1. En premier lieu, le recourant soutient que la rupture des relations personnelles entre son fils C._ et lui est due à la faute prépondérante, voire exclusive de celui-ci, ce qui devrait entraîner, si ce n'est un refus, du moins une diminution sensible, de l'ordre de 50%, de la contribution d'entretien.
5.1.1.
5.1.1.1. L'obligation d'entretien des père et mère à l'égard de leur enfant majeur, prévue par l'<ref-law>, dépend expressément de l'ensemble des circonstances et notamment des relations personnelles entre les parties. Si l'inexistence de celles-ci attribuée au seul comportement du demandeur d'aliments peut justifier un refus de toute contribution d'entretien, la jurisprudence exige toutefois que l'attitude de l'enfant lui soit imputable à faute, celle-ci devant être appréciée subjectivement; l'enfant doit avoir violé gravement les devoirs qui lui incombent en vertu de l'<ref-law>, et dans les cas où les relations personnelles sont rompues, avoir provoqué la rupture par son refus injustifié de les entretenir, son attitude gravement querelleuse ou son hostilité profonde (<ref-ruling> consid. 3c; <ref-ruling> consid. 2; <ref-ruling> consid. 2; arrêt 5A_1018/2018 du 2 juillet 2019 consid. 2.1.2 et les références). Toutefois, une réserve particulière s'impose lorsqu'il s'agit du manquement filial d'un enfant de parents divorcés envers ceux-ci ou l'un d'eux; il faut tenir compte des vives émotions que le divorce des parents peut faire naître chez l'enfant et des tensions qui en résultent normalement, sans qu'on puisse lui en faire le reproche. Néanmoins, si l'enfant persiste, après être devenu majeur, dans l'attitude de rejet adoptée lors du divorce à l'égard du parent qui n'avait pas la garde, bien que celui-ci se soit comporté correctement envers lui, cette attitude inflexible lui est imputable à faute (<ref-ruling> consid. 4.2; <ref-ruling> consid. 3b; <ref-ruling> consid. 4; arrêt 5A_1018/2018 du 2 juillet 2019 consid. 2.1.2 et les références).
En la matière, le juge jouit d'un large pouvoir d'appréciation; il applique les règles du droit et de l'équité (<ref-law>; arrêt 5A_585/2018 précité consid. 3.1.3). Le Tribunal fédéral n'intervient qu'en cas d'excès ou d'abus de ce pouvoir (<ref-ruling> consid. 2.2.1; <ref-ruling> consid. 1; arrêt 5A_1018/2018 du 2 juillet 2019 consid. 2.1.2 in fine).
5.1.1.2. Savoir si l'entretien peut être raisonnablement exigé des parents est une question de droit. Ressortissent en revanche à l'établissement des faits les circonstances concrètes sur lesquelles le tribunal se fonde pour trancher cette question (arrêt 5A_585/2018 du 24 août 2018 consid. 3.1.2 et la référence).
5.1.2. Selon les constatations de l'autorité cantonale, le recourant n'a plus revu ses enfants depuis le 4 décembre 2015. Concernant en particulier le cas de C._, la juridiction précédente a relevé que celui-ci n'avait pas provoqué la rupture des relations personnelles par un refus injustifié de les entretenir, une attitude gravement querelleuse ou une hostilité profonde. Lors du rétablissement du droit de visite surveillé, C._ avait, à l'instar de son frère, pris plaisir à partager des activités avec son père. Les intéressés avaient en effet sollicité l'élargissement du droit de visite. La suspension de celui-ci était ensuite intervenue en raison de torts partagés mis en évidence dans les différents rapports de la curatrice des enfants, qui avait notamment souligné qu'il apparaissait peu probable que le père exerce le droit de visite " de manière saine ". En conséquence, il n'était pas justifié de refuser une contribution d'entretien à C._ en raison de circonstances personnelles.
5.1.3. Le recourant soutient que les faits ont été établis de manière insoutenable, la juridiction précédente ayant omis de retenir que la rupture de ses relations personnelles avec C._ était imputable à la seule faute de l'enfant, ce qui devrait entraîner le refus de toute contribution d'entretien après sa majorité. Il en veut pour preuve le contenu des différents rapports établis par la curatrice des enfants, qui attesteraient du fait qu'un droit de visite usuel se heurterait au refus de ceux-ci, de sorte que la curatrice avait préconisé un droit de visite exercé d'entente entre les intéressés, ce que le recourant qualifie de droit de visite " virtuel ". Affirmant avoir tout d'abord essayé par tous les moyens d'exercer son droit de visite, le recourant expose qu'il s'est toutefois par la suite rendu à l'évidence " étant donné l'attitude de refus systématique des enfants ", ce qui l'aurait profondément et durablement affecté.
5.1.4. Par cette argumentation, le recourant ne démontre pas que les faits auraient été constatés de manière insoutenable. Il se limite en effet à évoquer les conclusions de la curatrice, occultant toutefois les circonstances dans lesquelles celle-ci a formulé ses observations ainsi que les nombreux autres éléments de fait pris en compte par l'autorité cantonale. Les juges précédents ont en effet notamment constaté (arrêt entrepris p. 21 s.), sans que le recourant ne démontre d'arbitraire à cet égard, que selon la curatrice, au mois de juin 2015, les enfants avaient clairement manifesté le souhait de ne plus continuer les visites selon le calendrier fixé. Ils reprochaient à leur père de tenir des propos peu agréables à l'endroit de leur mère et de leur curatrice, de pratiquer des activités répétitives, de " faire des tours en voiture pour perdre du temps ", de leur faire la morale ou encore de répéter constamment qu'il n'avait pas d'argent. Sur proposition du père, il avait été décidé de suspendre momentanément le droit de visite afin de réinstaurer un cadre plus spontané dans les échanges, " en ce sens qu'il appartiendrait à chacun de se contacter pour proposer une sortie ". Cette solution n'avait toutefois pas abouti au résultat escompté et le père reprochait aux enfants " de ne pas jouer le jeu " ou de répondre systématiquement qu'ils étaient occupés. Les enfants l'avaient pourtant attendu, en vain, le 30 août 2015. Selon les constatations de la cour cantonale, non remises en cause devant la Cour de céans, le père ne répondait à leurs textos qu'après plusieurs semaines. Le droit de visite n'avait dès lors pas repris et c'était dans ces circonstances que la curatrice des enfants avait émis l'avis qu'un droit de visite usuel se heurterait au refus des enfants. Par ailleurs, le 4 avril 2017, la curatrice avait souligné que depuis le 21 mars 2016, le père n'avait pris aucune initiative pour rencontrer ses fils et qu'il était peu probable qu'il exerce son droit de visite " de manière saine ".
Dans un tel contexte, les juges précédents ne sauraient se voir reprocher d'avoir enfreint le droit fédéral, ni abusé de leur pouvoir d'appréciation, en considérant que l'on ne pouvait pas imputer à C._ une responsabilité prépondérante, voire exclusive, dans la rupture des relations personnelles avec son père.
5.2. Se plaignant toujours d'une violation de l'<ref-law>, le recourant soutient que son fils C._ ne saurait prétendre à une contribution d'entretien, dès lors qu'il a interrompu ses études et pris trop de retard dans sa formation.
5.2.1. Aux termes de l'<ref-law>, si, à sa majorité, l'enfant n'a pas encore de formation appropriée, les père et mère doivent, dans la mesure où les circonstances permettent de l'exiger d'eux, subvenir à son entretien jusqu'à ce qu'il ait acquis une telle formation, pour autant qu'elle soit achevée dans les délais normaux.
Le devoir d'entretien des père et mère de l'enfant majeur est destiné à permettre au créancier d'acquérir une formation professionnelle, à savoir les connaissances qui lui permettront de gagner sa vie dans un domaine correspondant à ses goûts et à ses aptitudes. La formation tend donc à l'acquisition de ce qui est nécessaire pour que l'enfant puisse faire face par ses propres ressources aux besoins matériels de la vie (<ref-ruling> consid. 5b). Elle doit être achevée dans des délais normaux, ce qui implique que l'enfant doit s'y consacrer avec zèle ou en tout cas avec bonne volonté, sans toutefois faire preuve de dispositions exceptionnelles. La loi n'impose pas l'assistance à un étudiant qui perd son temps; il y a lieu d'accorder une importance décisive à l'intérêt, à l'engagement et à l'assiduité que manifeste un enfant à l'égard d'une formation déterminée dont on peut légitimement admettre qu'elle correspond à ses aptitudes. Le retard entraîné par un échec occasionnel de même qu'une brève période infructueuse ne prolongent pas nécessairement d'une manière anormale les délais de formation. Il incombe toutefois à l'enfant qui a commencé des études depuis un certain temps et réclame une pension de faire la preuve qu'il a déjà obtenu des succès, notamment qu'il a présenté les travaux requis et réussi les examens organisés dans le cours normal des études (ATF <ref-ruling> consid. 3b et la jurisprudence citée; arrêts 5A_563/2008 du 4 décembre 2008 consid. 4.1; 5C.40/2004 du 5 mai 2004 consid. 4.1). Cette disposition peut également trouver application si l'enfant qui n'a pas reçu de formation professionnelle adéquate et a gagné sa vie pendant un certain temps abandonne momentanément son activité lucrative pour entreprendre des études appropriées, susceptibles d'être achevées dans des délais normaux (<ref-ruling> consid. 4a; <ref-ruling> consid. 2a). Il n'y a cependant de droit à l'entretien après la majorité que si le plan de formation est déjà fixé avant la majorité au moins dans ses grandes lignes (<ref-ruling> consid. 3e; <ref-ruling> consid. 4a); on ne saurait prendre en considération des goûts et des aptitudes qui se sont développés exclusivement après la majorité (<ref-ruling> consid. 4d). En outre, l'obligation d'entretien n'existe que pour une seule formation professionnelle. Une seconde formation, un perfectionnement ou une formation complémentaire ne sont en principe pas couverts, même s'ils peuvent paraître utiles (<ref-ruling> consid. 4a). L'obligation d'entretien peut subsister au-delà de la formation de base, pour une formation complémentaire ou une seconde formation fondée sur la première, si ces compléments ont été envisagés avant la majorité de l'enfant (<ref-ruling> consid. 6c; arrêt 5A_664/2015 du 25 janvier 2016 consid. 2.1).
5.2.2. Il ressort de l'arrêt querellé que C._ a entrepris, à l'issue de sa scolarité obligatoire, une formation d'une durée de trois ans (dont les deux premières années sans rémunération) de laborantin en chimie auprès de l'Ecole F._, et qu'il achèverait son apprentissage le 31 juillet 2019. Il avait d'ores et déjà été admis en classe de maturité professionnelle technique, architecture et sciences de la vie, modèle post-CFC, dont l'écolage est gratuit. Il entendait suivre cette voie à temps partiel sur deux ans, du 24 août 2019 au 2 juillet 2021, en alternant, chaque semaine, deux jours de cours à l'école des métiers et trois jours de stage dans le domaine de la chimie. La fin de sa formation serait atteinte par l'obtention d'un titre dans la Haute école G._ qu'il souhaitait fréquenter ensuite et après une interruption destinée à accomplir son école de recrues, programmée en hiver 2022. Dans ces circonstances, C._ était en principe fondé à bénéficier de l'entretien de ses parents jusqu'à l'achèvement de sa formation.
5.2.3. Le recourant affirme que C._ a interrompu sa formation et qu'il a pris trop de retard dans l'obtention d'un CFC pour pouvoir prétendre à une contribution d'entretien. Il précise ne pas contester que, le 24 août 2017, C._ ne disposait pas d'une formation appropriée lui permettant de subvenir à ses besoins. A cette époque, après avoir échoué dans ses études gymnasiales, C._ avait selon lui multiplié les démarches pour trouver une formation de laborantin en chimie, dont on ne savait même pas s'il l'avait achevée le 31 juillet 2019. Le recourant soutient ne pas avoir été informé de l'évolution de la formation de son fils aîné entre la fin de l'école obligatoire (30 juin 2015) et le début de sa formation de laborantin en chimie (juillet 2016 semble-t-il), de sorte qu'il ignorerait ce qu'il a fait durant cette période. Le fils n'aurait en outre pas informé son père du plan de formation déjà fixé avant sa majorité. Vu ces éléments, il conviendrait de retenir que le retard causé par ces " échecs scolaires successifs " le prive du droit au versement d'une contribution d'entretien dès sa majorité et jusqu'à l'achèvement de son apprentissage.
5.2.4. La critique du recourant se fonde essentiellement sur des faits qui ne ressortent pas de l'arrêt querellé, partant, irrecevables faute de grief d'arbitraire (cf. supra consid. 2.3), le recourant n'exposant au demeurant pas de manière claire et détaillée à quels moyens de preuve il se réfère pour les établir. Pour le surplus, il ne saurait être question d'une violation de l'<ref-law> au vu des faits retenus par l'autorité cantonale (cf. supra consid. 5.2.2), qui lient la Cour de céans (cf. supra consid. 2.3).
5.3. Le recourant conteste le point de départ de la contribution d'entretien en faveur de son fils aîné.
Selon les constatations de l'autorité cantonale, le recourant n'a plus participé à l'entretien de C._ depuis le 1er septembre 2017 - soit dès l'accession de celui-ci à la majorité -, bien qu'il sache que son fils n'avait pas achevé sa formation (cf. arrêt cantonal consid. 4.4.2 et 4.4.2.2 p. 40). La contribution d'entretien devait dès lors lui être versée avec effet rétroactif au 1er mai 2018, comme le réclamait l'intimée.
Le recourant soutient en substance que pour pouvoir bénéficier de l'effet rétroactif prévu par l'<ref-law>, il appartenait à C._ d'une part de faire preuve de suffisamment de diligence pour poursuivre sa formation, d'autre part de lui communiquer avant la survenance de sa majorité ses projets de carrière et l'évolution de sa formation. Ne l'ayant pas fait, son fils aurait violé ses obligations légales et ne saurait prétendre à une contribution d'entretien rétroactive. De telles considérations sont dénuées de pertinence. En effet, la cour cantonale a simplement précisé que la contribution d'entretien en faveur de C._ restait due dès le 1er mai 2018 (soit postérieurement à la date à laquelle a été rendu le jugement de première instance), conformément aux conclusions prises par la mère, sans aucunement prévoir un véritable effet rétroactif au sens de l'<ref-law>, à savoir un effet antérieur à l'ouverture de l'action. Pour le surplus, il ressort clairement de l'arrêt entrepris que le recourant savait que son fils aîné n'avait pas achevé sa formation au moment où il a cessé de lui verser une contribution d'entretien. Quant aux considérations émises par le recourant s'agissant du prétendu manque de diligence de son fils dans le suivi de son cursus, elles sont purement appellatoires, partant, irrecevables (cf. supra consid. 2.3; sur ce point, voir aussi supra consid. 5.2.4).
5.4. Le recourant se plaint de la violation du principe de l'intangibilité du minimum vital du débirentier.
5.4.1. Selon les constatations de la cour cantonale, l'ex-époux perçoit un revenu mensuel net de 6'513 fr. Il doit faire face à des charges incompressibles s'élevant à 2'148 fr. par mois (850 fr. de base mensuelle de minimum d'existence - à savoir la moitié de la base mensuelle pour un couple -, 382 fr. 45 de loyer, 445 fr. 40 de cotisations d'assurance-maladie et 470 fr. de participation à l'entretien de son enfant E._). La juridiction précédente a jugé qu'il n'y avait pas lieu de prendre en considération dans les charges de l'ex-époux les montants affectés à la constitution d'un 3ème pilier A. En effet, le recourant est salarié (de sorte qu'il dispose d'un 2ème pilier) et propriétaire d'une fortune immobilière importante, dont il pourrait affecter une quote-part, après l'accession à la retraite, à sa prévoyance. On ignorait en outre ce qu'il était advenu d'une partie de sa fortune mobilière. En définitive, l'autorité cantonale a considéré que l'ex-époux disposait d'un solde disponible mensuel de 4'365 fr. (6'513 fr. - 2'148 fr.), de sorte qu'il lui appartenait de supporter l'intégralité des besoins de ses deux premiers enfants, d'un montant total de 2'392 fr. (1'477 fr. pour D._ + 915 fr. pour C._) jusqu'au 30 décembre 2020, puis de 2'015 fr. (1'100 fr. pour D._ + 915 fr. pour C._) à compter du 31 décembre 2020.
L'autorité cantonale a encore précisé qu'en 2018 et 2019, C._ avait perçu un revenu en qualité d'apprenti, dont il convenait de déduire une quote-part de 60% du montant dû par son père, étant relevé qu'il lui appartiendrait de fournir à celui-ci toutes les informations utiles. En outre, les revenus que C._ percevrait du 24 août 2019 au 2 juillet 2021 devraient également être affectés à hauteur de 60% à son entretien. Par ailleurs, durant l'école de recrues, C._ percevrait 62 fr. par jour, à savoir un montant suffisant pour couvrir ses frais d'entretien, de sorte qu'aucune contribution d'entretien ne lui serait due durant cette période. Enfin, lorsqu'il suivrait la Haute école G._, aucun revenu propre ne pourrait lui être imputé.
5.4.2. Le recourant affirme que la contribution d'entretien en faveur de C._ porte atteinte à son minimum vital. En particulier, il demande que le montant de 564 fr. par mois qu'il affecte à la constitution de son 3ème pilier A soit pris en considération dans le calcul de son minimum vital d'existence. En outre, il conviendrait de tenir compte de sa charge fiscale, à savoir 300 fr. par mois, et non pas 300 fr. par année comme retenu de manière erronée à la p. 17 de l'arrêt cantonal. En définitive, il considère que son minimum vital incompressible s'élève à 3'012 fr. (soit les 2'048 fr. de charges retenues par l'autorité cantonale + 300 fr. d'impôts + 564 fr. de cotisations de 3ème pilier A). Après avoir payé ces charges, il disposerait donc d'un solde disponible de 2'779 fr. (soit 5'791 fr. de revenus - 3'012 fr. de charges), de sorte qu'il ne pourrait " de toute façon pas être appelé à subvenir à l'entretien de l'enfant majeur étant donné que cette contribution entame son minimum vital élargi, si la base mensuelle fixée ci-dessus est augmentée de 20% ".
5.4.3. Force est de relever, au préalable, que le recourant fonde son calcul sur un montant de revenus (5'791 fr. par mois) qui ne correspond pas à celui retenu en instance cantonale (6'513 fr. par mois; cf. notamment arrêt cantonal consid. 4.2.3 p. 36 et 4.4.2 p. 39), sans toutefois soulever de grief d'établissement arbitraire des faits s'agissant de ce montant (cf. supra consid. 2.3), dont le Tribunal fédéral ne saurait dès lors s'écarter.
En tant que le recourant se contente d'affirmer que sa charge fiscale s'élève à 300 fr. par mois et non par année, comme retenu par l'autorité cantonale, il ne prétend pas, ni a fortiori ne démontre, que celle-ci aurait établi arbitrairement les faits sur ce point, de sorte que le grief est irrecevable (cf. supra consid. 2.2). Le montant des impôts qui pourrait éventuellement être pris en considération s'élèverait ainsi à 25 fr. par mois (300 / 12). S'agissant de ses cotisations au 3ème pilier A, le recourant n'avance aucun élément susceptible de révéler qu'il serait en l'occurrence inéquitable de ne pas les prendre en considération, ne discutant en particulier pas l'argumentation développée par la cour cantonale à ce sujet; au demeurant, il faut relever que ces primes servent à constituer une épargne (<ref-ruling> consid. 3; arrêt 5A_339/2015 du 18 novembre 2015 consid. 10.3) et ne sauraient dès lors être prises en considération dans le calcul du minimum vital. Quoi qu'il en soit, même en ajoutant dans les charges mensuelles du débirentier les montants de 25 fr. par mois de charge fiscale, ainsi que de 564 fr. à titre de cotisations au 3ème pilier A, et en prévoyant un supplément de 170 fr. correspondant au 20% du montant de base de 850 fr., comme l'allègue le recourant, la limite de la capacité contributive de celui-ci apparaîtrait respectée. En effet, il en résulterait des charges totales de 2'906 fr. 85 (382 fr. 45 de loyer, 445 fr. 40 de primes d'assurance-maladie, 1'020 fr. de base mensuelle du minimum vital, 25 fr. d'impôts, 470 fr. de participation à l'entretien de E._ et 564 fr. de cotisations au 3ème pilier A), pour des revenus de 6'513 fr., d'où un excédent de 3'606 fr. 15. Dès lors que le total mensuel des contributions d'entretien qu'il est astreint à payer s'élève au plus à 3'495 fr. jusqu'au 30 décembre 2020 (1'103 fr. pour l'ex-épouse, 1'477 fr. pour D._ et 915 fr. pour C._) puis à 3'455 fr. dès le 31 décembre 2020 (1'440 fr. pour l'ex-épouse, 1'100 fr. pour D._ et 915 fr. pour C._), le principe selon lequel le minimum vital du débirentier doit être préservé n'apparaît pas violé.
6.
Au vu de l'issue du présent recours, il ne saurait être donné droit aux conclusions que le recourant a prises s'agissant des frais et dépens cantonaux. Le recourant ne formule en effet aucun grief spécifique à l'encontre de la décision cantonale sur ces points, se limitant à demander une nouvelle répartition des frais et dépens pour le motif que les conclusions de son ex-épouse concernant la contribution d'entretien pour l'enfant majeur et pour elle-même auraient dû être rejetées en instance cantonale. Pour le surplus, en tant qu'il affirme que l'activité de la curatrice n'aurait pas à figurer dans les frais de justice étant donné que cette activité " n'a débouché sur aucun résultat " pour lui, puisque son droit de visite est inexistant, son argumentation est tout simplement dénuée de pertinence.
7.
En définitive, le recours doit être rejeté dans la mesure où il est recevable, aux frais du recourant (<ref-law>). Il n'est pas alloué de dépens à l'intimée, qui n'a pas été invitée à se déterminer sur le fond et a succombé s'agissant de l'effet suspensif (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2'500 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux participants à la procédure et à la Cour civile II du Tribunal cantonal du canton du Valais.
Lausanne, le 20 avril 2020
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
La Greffière : Dolivo