Faits :
A.
A._ et B._ se sont mariés en 2004 à U._ (Neuchâtel). Deux enfants sont issus de cette union: C._ (2004) et D._ (2006). Les époux ont chacun un enfant, majeur, d'une précédente union.
Les conjoints vivent séparés depuis le 23 mars 2012. Les modalités de leur séparation ont fait l'objet de mesures protectrices de l'union conjugale. La garde des enfants a été confiée à la mère.
B.
B.a. Par acte du 16 octobre 2013, les époux ont déposé une requête commune de divorce avec accord partiel au sens de l'<ref-law>.
B.b. Lors d'une audience tenue le 26 mai 2015, les parties ont notamment convenu, sur mesures provisionnelles, que le père verserait une pension de 500 fr. par mois en faveur de chacun de ses enfants et que les parties discuteraient, dans le cadre de la procédure de divorce, de la pension en faveur de l'épouse.
B.c. Par jugement du 25 août 2017, le Président du Tribunal régional Jura bernois-Seeland, Agence du Jura bernois, a notamment prononcé le divorce des parties, maintenu l'autorité parentale conjointe sur les enfants, la garde étant attribuée à la mère, fixé le droit de visite du père, condamné celui-ci à verser des contributions d'entretien en faveur de chacun de ses enfants et de son ex-épouse, et ordonné à la caisse de pension de l'ex-époux de transférer un montant de 14'910 fr. 64 sur le compte de libre passage de l'ex-épouse.
B.d. Statuant sur appel de l'ex-époux et appel joint de l'ex-épouse, la 2 e Chambre civile de la Cour suprême du canton de Berne (ci-après: la Cour suprême) a, par décision partielle du 12 décembre 2018, constaté que le principe du divorce n'avait pas été contesté par les parties et qu'il était dès lors entré en force de chose jugée le 8 décembre 2017.
Par décision du 22 octobre 2019, la Cour suprême a, en complément de la décision partielle précitée, constaté que la décision de première instance était entrée en force s'agissant du maintien de l'autorité parentale conjointe et du partage des avoirs de prévoyance professionnelle (ch. 1) et a admis partiellement l'appel de l'ex-époux et l'appel joint de l'ex-épouse (ch. 2). Cela fait, elle a attribué la garde des enfants à la mère jusqu'au 31 décembre 2019 (ch. 2.1), instauré, dès le 1er janvier 2020, une garde alternée à raison d'une prise en charge à 50% par la mère et 50% par le père (ch. 2.2), ordonné le maintien de la curatelle au sens de l'<ref-law> (ch. 2.3), condamné le père à verser, dès l'entrée en force du principe du divorce et sous déduction des montants déjà versés à ce titre, des contributions d'entretien mensuelles en faveur de chacun des enfants de 1'100 fr. pour la période du 1er janvier au 30 avril 2018, de 700 fr. du 1er mai au 31 décembre 2018, de 675 fr. du 1er janvier au 31 mars 2019, de 825 fr. du 1er avril au 31 décembre 2019, de 550 fr. en faveur de C._ et de 625 fr. en faveur de D._ du 1er janvier 2020 au 31 décembre 2021, de 650 fr. en faveur de C._ du 1er janvier 2022 jusqu'à la fin de la formation, et de 550 fr. en faveur de D._ du 1er janvier 2022 au 31 décembre 2023 puis de 650 fr. en faveur de celui-ci du 1er janvier 2024 jusqu'à la fin de la formation (ch. 2.4), indexé ces contributions d'entretien à l'indice suisse des prix à la consommation (ch. 2.5), attribué à chaque parent la moitié de la bonification pour tâches éducatives depuis le 1er janvier 2020 (ch. 2.6), condamné l'ex-époux à verser à l'ex-épouse, sous déduction des montants déjà versés à ce titre, une pension au sens de l'<ref-law> de 25 fr. par mois du 1er janvier 2018 au 30 avril 2018, de 220 fr. par mois du 1er avril 2019 au 31 décembre 2019 et de 150 fr. par mois du 1er janvier 2020 jusqu'au 31 mai 2022 (ch. 2.7), fixé les revenus des membres de la famille en fonction desquels les contributions d'entretien ont été arrêtées (ch. 2.8), rejeté pour le surplus l'appel et l'appel joint (ch. 3). Elle a également rejeté la requête d'assistance judiciaire de l'ex-époux (ch. 4), mis les frais judiciaires d'appel pour moitié à charge de chacune des parties (ch. 10) et dit que chacune d'elles supporterait ses propres dépens de première [recte: deuxième] instance (ch. 11).
C.
Par acte du 22 novembre 2019, l'ex-époux exerce un recours en matière civile au Tribunal fédéral. Il conclut principalement à l'annulation des ch. 1 concernant le partage des avoirs de prévoyance professionnelle, 2.4, 2.5, 2.7, 2.8, 3, 4 et 10 du dispositif de la décision attaquée, à ce qu'il soit mis au bénéfice de l'assistance judiciaire et à ce que Me Kleiner lui soit désigné comme avocat d'office pour la procédure d'appel, à ce que les honoraires de celui-ci pour la procédure de deuxième instance soient fixés à 9'773 fr. 25 et à ce qu'ils soient mis à la charge du canton de Berne, subsidiairement à ce que la cause soit renvoyée à l'autorité cantonale pour qu'elle taxe les honoraires du mandataire d'office, à ce qu'il soit dit qu'à compter du 1er janvier 2020, la prise en charge des enfants est assumée par moitié entre les parties, chaque parent assumant l'entretien des enfants lorsqu'ils sont chez lui, les primes d'assurances-maladie étant payées par la mère qui reçoit les allocations pour enfants, à ce qu'il soit dit qu'à compter du 1er janvier 2020, les frais extraordinaires des enfants seront pris en charge par moitié par les parties, subsidiairement à raison de 2/3 par le recourant et de 1/3 par l'intimée, à ce qu'il soit ordonné à sa caisse de pension de transférer un montant de 9'595 fr. 75 sur le compte de libre passage de l'intimée ou sur son compte auprès de sa caisse de pension, à ce que l'intégralité des frais judiciaires de la procédure cantonale de deuxième instance soient mis à la charge de l'intimée, subsidiairement à ce que la cause soit renvoyée à l'autorité précédente pour qu'elle statue à nouveau sur le sort desdits frais, à ce que les frais judiciaires et ses frais de défense pour la procédure fédérale soient entièrement mis à la charge de l'intimée, éventuellement à la charge du canton de Berne. Subsidiairement, le recourant conclut à l'annulation des chiffres précités du dispositif de la décision attaquée et au renvoi de la cause à la juridiction précédente pour nouvelle décision dans le sens des considérants. Il requiert également le bénéfice de l'assistance judiciaire pour la procédure fédérale.
Invitée à se déterminer, l'intimée a conclu au rejet du recours et a requis le bénéfice de l'assistance judiciaire. La Cour suprême a quant à elle conclu à l'admission partielle du recours et à ce que les ch. 2.4 et 2.7 du dispositif de la décision attaquée soient réformés en ce sens que la contribution d'entretien en faveur de C._ est fixée à 1'025 fr. du 1er janvier au 30 avril 2018, à 700 fr. du 1er mai au 31 décembre 2018, à 675 fr. du 1er janvier au 31 mars 2019, à 825 fr. du 1er avril au 31 décembre 2019, à 525 fr. du 1er janvier 2020 au 31 décembre 2021 et à 625 fr. du 1er janvier 2022 jusqu'à la fin de la formation, que la contribution d'entretien en faveur de D._ est fixée aux mêmes montants que pour sa soeur pour les périodes successives allant du 1er janvier 2018 au 31 décembre 2019, puis à 575 fr. du 1er janvier 2020 au 31 décembre 2021, à 525 fr. du 1er janvier 2022 au 31 décembre 2023 et à 625 fr. du 1er janvier 2024 jusqu'à la fin de la formation, et que la pension en faveur de l'ex-épouse est arrêtée à 25 fr. du 1er janvier 2018 au 30 avril 2018, à 220 fr. du 1er avril 2019 au 31 décembre 2019, et à 75 fr. du 1er janvier 2020 au 31 mai 2022.
Par courrier du 29 juin 2020, le recourant a persisté dans ses conclusions.
Par courrier du même jour, l'intimée a indiqué qu'elle souscrivait au contenu de la prise de position de la Cour suprême " s'agissant unique ment des faits contestés par elle ".
La production du dossier cantonal a été requise.
D.
Par ordonnance du 18 décembre 2019, le Président de la IIe Cour de droit civil a très partiellement admis la requête d'effet suspensif assortissant le recours, en ce sens que l'effet suspensif a été accordé pour les contributions d'entretien dues jusqu'à la fin du mois d'octobre 2019.

Considérant en droit :
1.
Le recours a été déposé en temps utile (<ref-law>) et dans la forme légale (<ref-law>), contre une décision finale (<ref-law>) rendue sur recours par une autorité supérieure statuant en dernière instance cantonale (art. 75al. 1 et 2LTF), dans une affaire civile (art. 72 al. 1 LT F). A ce stade, le litige n'est plus que de nature pécuniaire (arrêt 5A_705/2013 du 29 juillet 2014 consid. 1.1 et les références). La valeur litigieuse atteint le seuil de 30'000 fr. (art. 51 al. 1 let. a, 51 al. 4 et 74 al. 1 let. b LTF). Le recourant a pris part à la procédure devant l'autorité précédente et a un intérêt digne de protection à la modification ou l'annulation de la décision attaquée (art. 76 al. 1 let. a et b LTF). Le recours est donc en principe recevable.
2.
2.1. Le recours en matière civile peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 s. LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>), sans être lié ni par les motifs de l'autorité précédente, ni par les moyens des parties; il peut donc admettre le recours en se fondant sur d'autres arguments que ceux invoqués par le recourant, comme il peut le rejeter en opérant une substitution de motifs (<ref-ruling> consid. 1.1; <ref-ruling> consid. 3.2.3; <ref-ruling> consid. 2.3). Cela étant, eu égard à l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, il n'examine en principe que les griefs soulevés; il n'est pas tenu de traiter, à l'instar d'une autorité de première instance, toutes les questions juridiques qui pourraient se poser, lorsque celles-ci ne sont plus discutées devant lui (<ref-ruling> consid. 2.4 et les références). Le recourant doit par conséquent discuter les motifs de la décision entreprise et indiquer précisément en quoi il estime que l'autorité précédente a méconnu le droit (<ref-ruling> consid. 1.7.1; <ref-ruling> consid. 2.4 et la référence). Le Tribunal fédéral ne connaît par ailleurs de la violation de droits fondamentaux que si un tel grief a été expressément invoqué et motivé de façon claire et détaillée par le recourant (" principe d'allégation ", <ref-law>; <ref-ruling> consid. 2.1; <ref-ruling> consid. 5.1; <ref-ruling> consid. 2.1).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si ceux-ci ont été constatés de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>), et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>). Le recourant qui soutient que les faits ont été établis d'une manière manifestement inexacte, c'est-à-dire arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 6.7; <ref-ruling> consid. 2.2 et la référence), doit satisfaire au principe d'allégation susmentionné (<ref-law>; cf. supra consid. 2.1). Une critique des faits qui ne satisfait pas à cette exigence est irrecevable (<ref-ruling> consid. 1.1).
En matière d'appréciation des preuves et d'établissement des faits, il n'y a arbitraire que si l'autorité cantonale n'a manifestement pas compris le sens et la portée d'un moyen de preuve, a omis sans raisons objectives de tenir compte de preuves pertinentes ou a opéré, sur la base des éléments recueillis, des déductions insoutenables (<ref-ruling> consid. 1.1; <ref-ruling> consid. 2.3 et les références). Pour être qualifiée d'arbitraire, la décision doit être insoutenable non seulement dans ses motifs, mais aussi dans son résultat (<ref-ruling> consid. 1.3.1; <ref-ruling> consid. 7.1, 170 consid. 7.3).
I. Partage des avoirs de prévoyance professionnelle
3.
Le recourant reproche tout d'abord à la cour cantonale d'avoir déclaré irrecevable sa conclusion relative au partage des avoirs de prévoyance.
3.1. La juridiction précédente a relevé que, lors de l'entrée en vigueur, le 1er janvier 2017, de la modification législative relative au partage des avoirs de la prévoyance professionnelle, la procédure de divorce des parties était en cours en première instance. Le premier juge avait dès lors statué sur la question du partage desdits avoirs en application du nouveau droit. Il avait toutefois partagé ceux-ci conformément à la pratique bernoise, selon laquelle l'art. 7d al. 2 T.f. CC ne devait pas conduire à donner un effet rétroactif aux nouvelles règles pour les affaires pendantes et introduites avant le 1er janvier 2017. Il avait ainsi retenu cette date pour le partage des avoirs de prévoyance acquis durant le mariage. Aucune des parties n'avait remis en cause ce point du jugement en deuxième instance, le fait que l'ex-époux ait conclu dans son appel à " procéder au partage des avoirs LPP " n'étant pas suffisant, puisqu'il n'avait pas motivé cette conclusion. Il n'était dès lors plus possible de modifier ce point du jugement de première instance, celui-ci étant entré en force à cet égard. La conclusion que l'ex-époux avait prise dans ses remarques finales du 15 août 2018 visant à ce qu'il soit procédé au partage par moitié des avoirs accumulés entre le 20 janvier 2004 et le 16 octobre 2013 - date du dépôt de la requête de divorce - était donc irrecevable.
3.2. Le recourant conteste que le jugement de première instance soit entré en force s'agissant des avoirs de prévoyance, dans la mesure où il a pris, en deuxième instance, une conclusion - même non motivée - tendant à leur partage. Il n'était pas en mesure d'expliquer dans son appel, déposé le 27 septembre 2017, que la pratique bernoise n'était pas conforme au droit, puisque l'arrêt du Tribunal fédéral sur l'interprétation à donner à l'art. 7d al. 2 T.f. CC n'avait été rendu que le 30 avril 2018 (arrêt 5A_710/2017). Il était donc parfaitement logique que ce ne soit qu'après le prononcé de cet arrêt qu'il ait invité l'autorité cantonale à procéder au partage des avoirs de prévoyance des parties conformément au droit. Compte tenu de la conclusion de son mémoire d'appel demandant le partage des avoirs de prévoyance, de la date de l'arrêt rendu par le Tribunal fédéral et du fait que le juge doit d'office appliquer le droit et établir les faits en lien avec le partage de la prévoyance professionnelle - ce point étant soustrait à la libre disposition des parties -, ce serait à tort que la juridiction précédente n'a pas ordonné le partage par moitié des avoirs de prévoyance accumulés du 20 janvier 2004 au 16 octobre 2013. Il conviendrait dès lors de réformer la décision querellée sur ce point et d'ordonner, à titre de partage des avoirs de prévoyance professionnelle accumulés durant le mariage, le transfert en faveur de l'intimée d'un montant de 9'595 fr. 75, et non de 14'910 fr. 64.
3.3. En l'espèce, la critique du recourant est infondée. En effet, l'absence de jurisprudence fédérale concernant l'art. 7d al. 2 T.f. CC ne dispensait nullement le recourant de prendre, dans son mémoire d'appel, une conclusion motivée relative au partage de la prévoyance professionnelle et de faire valoir ses arguments à l'encontre de la pratique bernoise en expliquant l'interprétation qu'il convenait, selon lui, de donner à la disposition précitée, étant rappelé que le fait que le juge d'appel applique le droit d'office (<ref-law>) ne supprime pas l'exigence de motivation consacrée à l'<ref-law> (arrêts 5A_361/2019 du 21 février 2020 consid. 3.3.2; 5A_206/2016 du 1er juin 2016 consid. 4.2.1 et les références). Par ailleurs, en l'état actuel de la jurisprudence, si le premier juge établit les faits d'office pour les questions qui touchent à la prévoyance professionnelle (<ref-law> [maxime inquisitoire sociale ou atténuée]; FOUNTOULAKIS/D'ANDRÈS, in Petit commentaire, Code de procédure civile, 2020, n° 8 ad <ref-law>; BÄHLER, in Basler Kommentar, Schweizerische Zivilprozessordnung, 3ème éd. 2019, n° 3 ad <ref-law>; SPYCHER, Berner Kommentar, Schweizerische Zivilprozessordnung, vol. II, 2012, n° 27 ad <ref-law>; BOHNET, in Commentaire pratique, Droit matrimonial, 2016, n° 11 et 15 ad <ref-law>; comp. arrêt 5D_148/2017 du 13 octobre 2017 consid. 3.1 [maxime inquisitoire illimitée en lien avec l'<ref-law>]) et statue à leur sujet même en l'absence de conclusions des parties (maxime d'office), dites maximes ne s'imposent pas devant l'autorité de deuxième instance (arrêts 5A_912/2019 du 13 juillet 2020 consid. 3.3; 5A_776/2018 du 12 juin 2019 consid. 7.3 et les références), les maximes des débats et de disposition étant applicables en appel (arrêts 5A_478/2016 du 10 mars 2017 consid. 10.1; 5A_796/2011 du 5 avril 2012 consid. 5.3 et les références). Le recourant ignore cette jurisprudence et ne prétend a fortiori pas qu'elle devrait être revue à l'aune du nouveau droit entré en vigueur le 1er janvier 2017. Partant à tort du principe que les maximes inquisitoire et d'office s'appliqueraient en deuxième instance, il perd de vue que l'admissibilité des novaet des conclusions nouvelles en appel est régie par l'<ref-law> (arrêt 5A_631/2018 du 15 février 2019 consid. 3.2.2). Or, faute de remplir les conditions de cette disposition - l'arrêt du Tribunal fédéral du 30 avril 2018 ne constituant pas un fait nouveau permettant de prendre de nouvelles conclusions -, c'est à bon droit que la cour cantonale a déclaré irrecevable la conclusion prise par le recourant dans ses remarques finales.
II. Contributions d'entretien en faveur des enfants et de l'ex-épouse
4.
Le recourant s'en prend au montant et au dies a quo des contributions d'entretien en faveur des enfants et de l'ex-épouse. Il conclut également à l'annulation du chiffre du dispositif de la décision attaquée concernant l'indexation des pensions.
5.
S'agissant de la quotité des pensions, l'ex-époux conteste certains postes des budgets établis par la juridiction précédente pour les différents membres de la famille.
5.1.
5.1.1. Le recourant reproche tout d'abord à l'autorité cantonale d'avoir arbitrairement arrêté le montant des revenus de l'intimée pour la période postérieure au 1er janvier 2019. Il relève tout d'abord que l'ex-épouse est employée de E._ depuis le 2 mai 2018 et non depuis le 1er décembre 2018 comme retenu par la juridiction précédente. Il soutient ensuite que l'intimée n'a produit aucune fiche de salaire alors que cela avait été requis d'elle. La cour cantonale aurait dès lors dû tenir compte de ce manque de collaboration et retenir le salaire effectif réalisé par l'intimée en 2018, à savoir 4'286 fr. par mois, également pour les années suivantes.
Subsidiairement, en admettant que le salaire de l'intimée à compter du mois de janvier 2019 doive être calculé sur la base de son contrat de travail, le montant retenu par la juridiction précédente serait manifestement faux. En effet, celle-ci aurait estimé que l'ex-épouse réalisait un revenu mensuel net de 3'800 fr. versé 13 fois l'an, puis aurait ensuite omis de tenir compte du 13ème salaire dans ses calculs, versant ainsi dans l'arbitraire. L'autorité cantonale aurait donc dû retenir que l'intimée réalisait un revenu mensuel net de 4'116 fr. (13ème salaire compris).
5.1.2. L'intimée soutient quant à elle que la cour cantonale aurait dû prendre en compte un revenu mensuel net de 3'517 fr. 35 et non de 3'800 fr. à compter du 1er janvier 2019. Pour autant qu'on puisse la comprendre, l'ex-épouse reproche également à la juridiction précédente d'avoir arrêté des revenus trop élevés pour la période allant du 2 mai au 30 novembre 2018.
5.1.3. En l'espèce, le recourant ne peut être suivi lorsqu'il reproche à l'intimée un manque de collaboration du fait que celle-ci n'a pas produit ses fiches de salaire. En effet, dans son ordonnance du 14 janvier 2019, la cour cantonale a invité l'intimée à déposer son contrat de travail, ainsi que son certificat de salaire pour l'année 2018 ou ses décomptes de salaire des mois de janvier à décembre 2018. Ayant produit son contrat de travail - lequel spécifie les conditions financières auxquelles elle était engagée à compter du 1er décembre 2018 - et ses certificats de salaire pour l'année 2018, l'ex-épouse a rempli son obligation de collaborer. Le fait que l'intimée ait déjà travaillé pour E._ dès le mois de mai 2018 - ce qui est au demeurant constaté dans la décision querellée - n'a pas d'influence sur le sort de la cause (cf. supra consid. 2.2). En effet, la juridiction précédente pouvait sans arbitraire se fonder sur le contrat de travail valant dès le 1er décembre 2018 pour arrêter les revenus de l'intimée à compter du 1er janvier 2019. En retenant que l'intimée réalisait un revenu mensuel net, 13 fois l'an, de 3'800 fr., puis en tenant compte, dans ses calculs, d'un revenu de 3'800 fr., 13ème salaire compris, la décision querellée apparaît certes arbitraire dans ses motifs. Le recourant ne démontre toutefois nullement qu'elle serait également insoutenable dans son résultat (cf. supra consid. 2.2). En effet, la cour cantonale a retenu que, selon le contrat de travail de l'intimée, le revenu mensuel brut de celle-ci était de 3'902 fr. 25 versé 13 fois l'an, constat qui n'est pas remis en cause par le recourant (cf. supra consid. 2.2). Ce montant équivaut à un salaire mensuel brut, 13ème salaire compris, de 4'227 fr. 45 (3'902 fr. 25 x 13/12). Un salaire mensuel net de 3'800 fr. (13ème salaire compris), tel que retenu par la juridiction dans ses calculs, correspond à environ 90% du salaire brut précité. La décision querellée revient ainsi à déduire un montant de 10% seulement du salaire brut pour tenir compte des cotisations sociales/LPP de l'intimée, ce qui apparaît plutôt favorable au recourant. La décision n'est dès lors, sur ce point, pas arbitraire dans son résultat. Autant que recevable (cf. supra consid. 2.2), le grief doit donc être rejeté.
Il n'y a pour le surplus pas lieu d'examiner plus avant les critiques de l'intimée quant à ses revenus, faute pour elle d'avoir soulevé à cet égard un grief dûment motivé d'arbitraire dans l'établissement des faits et l'appréciation des preuves (cf. supra consid. 2.2).
5.2. Le recourant fait également grief à l'autorité cantonale d'avoir commis une " erreur manifeste " en ne tenant pas compte, dans ses charges, des amortissements de la dette hypothécaire.
5.2.1. Indiquant que l'amortissement d'une dette hypothécaire ne faisait pas partie du minimum vital du droit des poursuites puisqu'il servait à la constitution de fortune, la cour cantonale a considéré qu'il n'y avait lieu de s'écarter de ce principe que lorsque la situation financière le permettait. Or, en l'espèce, même si la famille n'était pas totalement réduite au minimum vital du droit des poursuites, la prise en compte des impôts épuisait déjà quasiment tout le disponible. Au vu de la situation financière des parties, il n'y avait dès lors pas lieu de tenir compte des amortissements directs et indirects obligatoires.
5.2.2. Pour toute critique, le recourant se contente d'indiquer, dans ses considérations en lien avec l'octroi de l'assistance judiciaire pour la procédure fédérale, que lesdits amortissements sont obligatoires et qu'il convient d'en tenir compte " aussi bien dans le budget d'assistance judiciaire que dans le budget d[e son] minimum vital ". Ce faisant, il ne s'exprime pas sur les motifs de la décision querellée, la cour cantonale ayant refusé de tenir compte des amortissements au vu de la situation financière des parties, de sorte que sa critique est irrecevable (<ref-law>; cf. supra consid. 2.1).
5.3. Le recourant s'en prend ensuite aux charges de l'intimée et à celles des enfants retenues par la cour cantonale.
5.3.1. S'agissant des postes d'assurance-maladie et de frais de déplacement de l'intimée, la critique est d'emblée irrecevable, faute pour le recourant de soulever un grief d'arbitraire dans l'établissement des faits ou l'appréciation des preuves (cf. supra consid. 2.2).
5.3.2. Le recourant reproche également à la juridiction précédente d'avoir arbitrairement constaté que le loyer de l'intimée s'élevait à 800 fr., auquel il convenait d'ajouter les frais accessoires et les frais de chauffage d'un montant de 221 fr. 75 par mois, et d'avoir ainsi arrêté le loyer à 1'022 fr. par mois. Se référant au contrat de bail de l'intimée, il soutient que le loyer de celle-ci de 800 fr. comprend déjà un acompte de charges de 200 fr. La cour cantonale aurait dès lors versé dans l'arbitraire en ajoutant l'entier des charges effectivement payées au montant de 800 fr.
En l'occurrence, la critique du recourant est fondée. Il ressort en effet du contrat de bail de l'intimée que le loyer net de celle-ci est de 600 fr. auquel s'ajoute 200 fr. d' "acomptes frais chauffage & acc. ". En tenant compte non seulement du montant effectif total des charges mais aussi du montant des acomptes versés, la juridiction précédente a en partie comptabilisé à double les frais accessoires. Il convient donc de fixer le loyer de l'intimée, charges comprises, à 822 fr. (1'022 fr. [loyer retenu par la cour cantonale] - 200 fr. [acompte de charges]).
5.3.3. Le recourant reproche également à la cour cantonale d'avoir arrêté de manière arbitraire la part des enfants au loyer de l'intimée.
5.3.3.1. Après avoir constaté que le montant du loyer de l'ex-épouse s'élevait à 800 fr., la cour cantonale a considéré qu'il convenait de déduire un montant équivalent à 20% du loyer pour la part de C._ et D._, à savoir un montant de 200 fr. chacun.
5.3.3.2. Le recourant soutient que le calcul de la cour cantonale est incompréhensible, dans la mesure où le 20% d'un loyer de 800 fr. représenterait une part de 160 fr., à savoir 80 fr. par enfant. Si l'on tenait compte du loyer de 1'022 fr. retenu par la cour cantonale dans la décision attaquée, le 20% serait de 204 fr. 40, à savoir 102 fr. 20 par enfant. Compte tenu du montant du loyer corrigé, il conviendrait de tenir compte d'un montant de 82 fr. par enfant.
5.3.3.3. En l'espèce, bien qu'elle ait faussement indiqué un loyer de 800 fr. comme base de calcul, la cour cantonale a en réalité calculé la participation au loyer des enfants sur la base du loyer de 1'022 fr. qu'elle avait retenu (cf. supra consid. 5.3.2 sur la correction de ce poste), le 20% de ce montant correspondant au montant arrondi de 200 fr. par enfant. Le motif de la décision querellée ne peut ainsi être compris qu'en ce sens que la participation au loyer de chaque enfant est fixée à 20%, et non que la participation totale des deux enfants au loyer de l'intimée est de 20%. S'il estimait que le pourcentage de 20% par enfant était trop élevé, le recourant aurait dû s'en plaindre dans son recours. En émettant cette critique dans sa réplique seulement, le recourant complète - hors délai (<ref-law>) - la motivation de son recours, ce qui est inadmissible (arrêt 4A_76/2019 du 15 juillet 2020 consid. 6.2). Il n'y a dès lors pas lieu d'examiner cette critique.
Cela étant, compte tenu de la correction apportée au loyer de l'intimée (cf. supra consid. 5.3.2), il convient également de recalculer la part de chacun des enfants. Celle-ci doit ainsi être arrêtée au montant arrondi de 165 fr. (822 fr. x 20%) et un montant de 330 fr. doit être déduit du poste de loyer de l'intimée.
Dans les nouveaux calculs qu'elle effectue dans ses observations (p. 8), la Cour suprême adapte également, sans autre explication, la participation des enfants au loyer du père dès le 1er janvier 2020, et tient compte d'une déduction totale de 330 fr. au lieu de 400 fr. pour lui également, et non seulement pour la mère. Il n'y a toutefois nullement lieu de corriger les calculs sur ce point, les parties n'émettant aucune critique en lien avec le loyer de l'ex-époux ou la part des enfants à celui-ci.
6.
Le recourant conteste la manière dont l'entretien a été calculé dès l'instauration de la garde alternée, à savoir dès le 1er janvier 2020.
6.1. Pour cette période, la cour cantonale a considéré qu'il fallait répartir les montants de base des enfants à raison de 50% chez chacun des parents, tenir compte d'une participation des enfants au loyer de chacun des parents et attribuer à la mère, qui reçoit les allocations familiales et recevra des pensions pour les enfants, les dépenses de ceux-ci liées aux assurances-maladie, aux frais de maladie spéciaux et aux éventuelles autres dépenses spéciales (p.ex. dentiste) de faibles montants. Afin de simplifier les calculs, il convenait d'ajouter aux charges des enfants leur participation à l'excédent à raison de 1/6 chacun, ce montant devant être versé à la mère à qui il incomberait de financer les dépenses non comprises dans les besoins de base des enfants usuellement payées à l'aide de l'excédent. Dans ses calculs, la juridiction précédente a ainsi inclus, sous un poste " Autres dépenses spéciales pour enfants (loisirs) ", un montant de 242 fr. dans les besoins de chaque enfant lorsqu'ils sont chez leur mère.
6.2. Le recourant soutient que le fait d'ajouter un tiers de l'excédent des parents dans les besoins des enfants tout en précisant que les frais extraordinaires doivent être pris en charge par la mère en intégralité n'est pas compatible avec le fait d'ordonner une garde alternée. Cette solution le désavantage puisqu'il doit payer des pensions majorées et que rien n'indique qu'il y aura nécessairement des frais extraordinaires à prendre en charge. En outre, les frais extraordinaires (p.ex. camp linguistique) doivent faire l'objet d'un accord commun entre les parents au vu de l'autorité parentale conjointe et de la garde alternée.
Le montant de 242 fr. retenu dans les besoins des enfants pour les autres dépenses spéciales (loisirs) serait arbitraire, la Cour suprême ayant expressément indiqué qu'il n'y avait pas lieu d'ajouter les frais de hobby des enfants dans leurs charges, ceux-ci pouvant être librement financés au moyen de la part à l'excédent attribuée à chaque enfant. Ce montant ne pourrait donc pas correspondre à des frais de loisirs et le calcul de ce poste serait incompréhensible. Il conclut ainsi à ce que chaque parent assume l'entretien des enfants lorsqu'ils sont sous sa garde, que les primes d'assurance-maladie soient payées par la mère et que les frais extraordinaires des enfants soient assumés par moitié par les deux parents, éventuellement à raison de 2/3 par le père et de 1/3 par la mère.
6.3.
6.3.1. Lorsque les parents se partagent - comme en l'espèce - la prise en charge de l'enfant par moitié et contribuent ainsi dans la même mesure aux soins et à l'éducation de celui-ci, leurs capacités financières respectives sont seules déterminantes pour savoir dans quelle mesure chacun d'eux doit subvenir aux besoins en argent de l'enfant (arrêts 5A_926/2019 du 30 juin 2020 consid. 6.3; 5A_1032/2019 du 9 juin 2020 consid. 5.4.1; 5A_727/2018 du 22 août 2019 consid. 4.3.2.3 et les références). Chaque parent doit ainsi assumer, selon ses capacités, les besoins que l'enfant a lorsqu'il se trouve chez lui et chez l'autre parent. Les coûts directs de l'enfant étant en règle générale différents chez chaque parent, il convient de déterminer quelles dépenses sont supportées par quel parent et lequel d'entre eux reçoit des prestations destinées à l'enfant au sens de l'<ref-law>. Les deux parents assument notamment - en principe dans la mesure de leur part de prise en charge - des dépenses couvertes par le montant de base de l'enfant (nourriture, habillement, hygiène). Ils ont également chacun droit à une participation de l'enfant pour leur loyer. En revanche, un seul des parents paie en principe les factures liées à des frais qui ne sont pas raisonnablement divisibles, tels que les primes d'assurance-maladie ou les frais de garde par des tiers. Les allocations familiales, qui doivent être déduites des besoins de l'enfant, ne sont également versées qu'à un seul parent. Ces particularités doivent être prises en compte pour déterminer la participation de chaque parent aux coûts directs de l'enfant (arrêt 5A_743/2017 du 22 mai 2019 consid. 5.4.3).
6.3.2. En l'espèce, le recourant ne peut être suivi lorsqu'il soutient qu'il conviendrait que chaque parent assume les frais de l'enfant lorsqu'il se trouve chez lui. Cette solution fait en effet abstraction des capacités financières respectives des parties, alors qu'il s'agit justement du critère déterminant lorsque, comme en l'espèce, les parents assument à parts égales la prise en charge de l'enfant.
La cour cantonale a, conformément aux principes énoncés ci-dessus (cf. supra consid. 6.3.1), réparti par moitié entre les parties les dépenses des enfants couvertes par le montant de base compte tenu de la prise en charge à 50% par chacun des parents et tenu compte d'une participation des enfants au loyer de chacun d'eux. Elle a, à juste titre également, constaté que la mère recevait les allocations familiales et devait assumer l'entier des primes d'assurance-maladie et autres dépenses de maladie peu importantes. S'agissant du montant de 242 fr. pour les " dépenses spéciales " dont la cour cantonale a tenu compte à partir du 1er janvier 2020, le recourant ne peut être suivi lorsqu'il indique, en se référant à une motivation qui vaut pour la période antérieure au 1er janvier 2020, que ce montant est " incompréhensible ". En effet, il ressort clairement de la décision attaquée qu'il est destiné à couvrir des dépenses des enfants non comprises dans leurs besoins de base et usuellement payées à l'aide de l'excédent, notamment des loisirs. Compte tenu de la nature des besoins qu'il couvre, il est toutefois vrai que la cour cantonale aurait dû répartir ce montant par moitié entre les parents, et non l'allouer entièrement à la mère comme elle l'a fait. Il convient donc de corriger la décision attaquée en ce sens que le poste " autres dépenses spéciales " est pris en compte à raison de 121 fr. par enfant lorsque ceux-ci se trouvent chez la mère et du même montant lorsqu'ils sont chez leur père.
7.
Compte tenu des considérations qui précèdent, il y a lieu de corriger le montant des charges des enfants et de l'ex-épouse. Dans les cinq tableaux figurant dans la décision attaquée, il convient de remplacer le montant de 1'022 fr. pris en compte pour le loyer de l'intimée par un montant de 822 fr. (cf. supra consid. 5.3.2), duquel doit être déduit un montant de 330 fr., et non de 400 fr. à titre de parts des enfants (cf. supra consid. 5.3.3.3). Dans les besoins de chacun des enfants, leur part au loyer doit être de 165 fr. et non de 200 fr. (cf. supra consid. 5.3.3.3). Par ailleurs, dans le tableau qui porte sur les pensions dues à partir du 1er janvier 2020, il convient, dans les besoins de chacun des enfants, de remplacer le montant de 242 fr. pour les dépenses spéciales par un montant de 121 fr. qui doit figurer à la fois dans la colonne relative aux besoins des enfants lorsqu'ils se trouvent chez leur mère et dans celle relative à leurs besoins lorsqu'ils sont auprès de leur père (cf. supra consid. 6.3.2). Les montants des pensions dues après modification des charges susmentionnées sont indiqués ci-après (cf. infra consid. 10).
8.
8.1. Le recourant reproche également à la cour cantonale d'avoir violé l'<ref-law> en allouant une pension à l'ex-épouse. Celle-ci disposant d'un excédent de plus de 1'200 fr. par mois, elle ne remplirait pas les conditions pour l'allocation d'une contribution d'entretien, compte tenu du principe du clean break.
8.2. Aux termes de l'<ref-law>, si l'on ne peut raisonnablement attendre d'un époux qu'il pourvoie lui-même à son entretien convenable, y compris à la constitution d'une prévoyance vieillesse appropriée, son conjoint lui doit une contribution équitable.
L'entretien convenable doit être déterminé après avoir constaté le niveau de vie des époux pendant le mariage (respectivement durant la séparation si celle-ci a duré dix ans environ), lequel constitue la limite supérieure de l'entretien convenable (<ref-ruling> consid. 3.1; <ref-ruling> consid. 4.2.1.1; arrêts 5A_641/2019 du 30 juin 2020 consid. 4.1; 5A_778/2018 du 23 août 2019 consid. 4.4, non publié aux <ref-ruling>). Le niveau de vie déterminant est le dernier mené ensemble par les époux, auquel s'ajoutent les dépenses supplémentaires qu'entraîne l'existence de deux ménages séparés (<ref-ruling> consid. 4.3; <ref-ruling> consid. 8; <ref-ruling> consid. 4; arrêt 5A_641/2019 précité consid. 4.1). Lorsque - comme en l'espèce - l'union conjugale a durablement marqué de son empreinte la situation de l'époux bénéficiaire, le principe est que le standard de vie choisi d'un commun accord doit être maintenu pour les deux parties dans la mesure où leur situation financière le permet (<ref-law>). Quand il n'est pas possible, en raison de l'augmentation des frais qu'entraîne l'existence de deux ménages séparés, de conserver le niveau de vie antérieur, le créancier de l'entretien peut prétendre au même train de vie que le débiteur de l'entretien (ATF <ref-ruling> consid. 4.2.1.1; arrêt 5A_98/2020 du 18 septembre 2020 consid. 3.3).
8.3. En l'occurrence, le recourant - qui fonde sa critique sur la situation financière de l'ex-épouse telle qu'elle serait si tous ses griefs relatifs aux revenus et charges de celle-ci avaient été admis, ce qui n'est pas le cas (cf. supra consid. 5) - considère que la couverture par l'intimée de ses charges après le divorce permettrait de le dispenser du versement d'une contribution d'entretien. Ce faisant, il semble confondre la notion de couverture du minimum vital avec celle de l'entretien convenable. En effet, le fait pour un ex-époux de pouvoir assumer ses propres charges après la séparation ne signifie pas pour autant qu'il puisse subvenir seul à son entretien convenable, qui est arrêté sur la base du niveau de vie des époux durant la vie commune. Or, à cet égard, le recourant ne soutient pas que le standard de vie de celle-ci durant le mariage correspondrait à la couverture actuelle de son minimum vital, même élargi. Au vu de ce qui précède, la critique du recourant est infondée.
9.
Le recourant reproche à la juridiction précédente d'avoir fixé le dies a quo des contributions d'entretien à la date de l'entrée en force partielle du prononcé du divorce, à savoir au 1er janvier 2018.
9.1.
9.1.1. Qu'elle soit en faveur du conjoint ou d'un enfant, le juge du divorce détermine le moment à partir duquel la contribution d'entretien est due. Celle-ci prend en principe effet à l'entrée en force du jugement de divorce, sauf si le juge en fixe, selon son appréciation, le dies a quo à un autre moment (<ref-ruling> consid. 5.3; arrêt 5A_97/2017 et 5A_114/2017 du 23 août 2017 consid. 11.1). Il peut par exemple décider de fixer le dies a quo au moment où le jugement de divorce est entré en force de chose jugée partielle, à savoir lorsque le principe du divorce n'est plus remis en cause (<ref-ruling> consid. 5.3 et les références; arrêts 5A_769/2016 du 21 février 2017 consid. 5.2; 5C.43/2007 du 5 juin 2007 consid. 2.2); cela vaut aussi lorsque le juge des mesures provisionnelles a ordonné le versement d'une contribution d'entretien qui va au-delà de l'entrée en force partielle (<ref-ruling> consid. 5.3; <ref-ruling> consid. 3c/aa; arrêt 5A_807/2018 du 28 février 2019 consid. 2.2.2).
9.1.2. Lorsque le juge cantonal dispose d'un pouvoir d'appréciation, le Tribunal fédéral ne revoit en principe qu'avec réserve sa décision prise en équité. Il intervient lorsque celle-ci s'écarte sans raison des règles établies par la jurisprudence en matière de libre appréciation, ou lorsqu'elle s'appuie sur des faits qui, dans le cas particulier, ne devaient jouer aucun rôle, ou à l'inverse, lorsqu'elle n'a pas tenu compte d'éléments qui auraient absolument dû être pris en considération; il sanctionnera en outre les décisions rendues en vertu d'un pouvoir d'appréciation lorsqu'elles aboutissent à un résultat manifestement injuste ou à une iniquité choquante (<ref-ruling> consid. 3.3 et les références; <ref-ruling> consid. 3.2.5).
9.2. En l'espèce, dans la mesure où le recourant reproche à la juridiction précédente de ne pas avoir motivé sa décision s'agissant du dies a quo des pensions, sa critique, autant que recevable (cf. supra consid. 2.1), est infondée. En effet, bien que succincte, la motivation de la décision querellée permet de comprendre que la cour cantonale a tenu compte du fait qu'elle avait rendu une décision partielle constatant que le principe du divorce n'était pas contesté en appel et qu'il était entré en force de chose jugée le 8 décembre 2017 pour fixer le dies a quo au 1er janvier 2018, ce qui apparaît suffisant au regard des exigences de la jurisprudence (cf. à ce propos, <ref-ruling> consid. 5.2). Pour le surplus, les arguments invoqués par le recourant ne permettent pas de conclure que la juridiction précédente aurait outrepassé son pouvoir d'appréciation en fixant le point de départ des contributions d'entretien à cette date. En particulier, le fait que les parties aient prévu, par convention provisoire du 26 mai 2015, des pensions en faveur des enfants valant pendant la procédure de divorce et dont l'intimée n'a pas requis ultérieurement la modification, que le recourant ait payé lesdites pensions pendant les deux années qu'ont duré la procédure d'appel et que le montant des pensions fixé en première instance par le juge du divorce ait été contesté en appel ne sauraient, en tant que tels, faire obstacle à la solution retenue (cf. supra consid. 9.1.1). Dans la mesure où il se prévaut de ce que, dans les faits, une garde alternée a été pratiquée par les parties depuis 2018, de sorte qu'il se justifierait d'autant moins de modifier les pensions dues pour les années 2018-2019, le recourant perd de vue que la juridiction précédente a tenu compte de cet élément en lui octroyant un allégement forfaitaire de 150 fr. par enfant et par mois à compter du 1er mai 2018 et jusqu'au 31 décembre 2019, ce qu'il ne discute pas. Compte tenu du pouvoir d'appréciation dont dispose le juge et de la réserve exercée par le Tribunal fédéral en la matière (cf. supra consid. 9.1.2), la solution retenue dans la décision attaquée échappe à la critique.
10.
Au vu de ce qui précède, le dies a quo des contributions d'entretien fixé par l'autorité cantonale peut être confirmé. S'agissant du montant des pensions dues, il y a lieu de tenir compte de la modification des charges de l'intimée et des enfants (cf. supra consid. 7). A cet égard, il est possible de réformer la décision querellée (<ref-law>) en adaptant les postes concernés dans les tableaux présentés par la cour cantonale, en recalculant les excédents/déficits des divers membres de la famille, puis en procédant selon la méthode de la juridiction précédente pour déterminer les pensions dues.
10.1. La contribution d'entretien mensuelle en faveur de C._ doit, sous déduction des montants déjà versés à ce titre, être arrêtée comme suit (montants arrondis) :
- 1'040 fr. pour la période du 1er janvier 2018 au 30 avril 2018
(dont contribution de prise en charge de 204 fr.);
- 400 fr. pour la période du 1er janvier 2020 au 31 décembre 2021;
- 500 fr. du 1er janvier 2022 jusqu'à la fin de la formation.
Les montants alloués par la cour cantonale pour les périodes successives allant du 1er mai 2018 au 31 décembre 2019 demeurent inchangés et peuvent donc être confirmés.
10.2. La contribution d'entretien mensuelle en faveur de D._ doit, sous déduction des montants déjà versés à ce titre, être arrêtée comme suit (montants arrondis) :
- 1'040 fr. pour la période du 1er janvier 2018 au 30 avril 2018
(dont contribution de prise en charge de 204 fr.);
- 460 fr. pour la période du 1er janvier 2020 au 31 décembre 2021;
- 385 fr. pour la période du 1er janvier 2022 au 31 décembre 2023;
- 485 fr. du 1er janvier 2024 jusqu'à la fin de la formation.
Les montants alloués par la cour cantonale pour les périodes successives allant du 1er mai 2018 au 31 décembre 2019 demeurent inchangés et peuvent donc être confirmés.
10.3. La pension en faveur de l'intimée doit, sous déduction des montants déjà versés à ce titre, être arrêtée à 130 fr. par mois pour la période allant du 1er janvier 2020 au 31 mai 2022. En raison du principe de l'interdiction de la reformatio in pejus (arrêt 5A_20/2020 du 28 août 2020 consid. 5 et les références), les montants alloués par la juridiction précédente à titre de pension post-divorce pour les périodes du 1er janvier 2018 au 30 avril 2018 et du 1er avril 2019 au 31 décembre 2019 doivent être confirmés.
11.
Dans son recours, l'ex-époux conclut à l'annulation du point 2.5 du dispositif de la décision attaquée, lequel prévoit l'indexation des contributions d'entretien dues en faveur des enfants à l'indice suisse des prix à la consommation (ISPC). Faute de motivation propre en lien avec cette conclusion, celle-ci est irrecevable (arrêt 5A_493/2018 du 5 novembre 2018 consid. 2.3).
III. Assistance judiciaire pour la procédure d'appel
12.
12.1. Le recourant fait grief à la cour cantonale d'avoir violé l'<ref-law> en refusant de lui octroyer le bénéfice de l'assistance judiciaire pour la procédure d'appel. Il reproche à la juridiction précédente de n'avoir pas immédiatement statué sur sa requête, déposée le 12 mars 2018, et d'avoir attendu la décision finale pour le faire, ce qui serait constitutif d'une inégalité de traitement par rapport à l'intimée - la juridiction précédente ayant statué immédiatement sur la requête d'assistance judiciaire de celle-ci - et d'une violation du principe de la confiance - la cour cantonale ayant rendu sa décision de rejet plus d'une année et demie après le dépôt de la requête et son avocat ayant déployé une activité conséquente pendant cette période.
Le recourant conteste également la manière dont la cour cantonale a calculé ses charges et le fait qu'elle ait considéré qu'il disposait de ressources suffisantes pour lui refuser le bénéfice de l'assistance judiciaire. Il soutient qu'à la date du dépôt de sa demande, sa situation financière présentait un déficit mensuel de 1'037 fr., et non un excédent de 1'288 fr. comme retenu par la cour cantonale.
12.2. Selon les constatations de l'arrêt querellé, le recourant a fait appel contre le jugement de première instance le 27 septembre 2017 et a procédé à l'avance de frais de 8'000 fr. requise par le Juge instructeur dans le délai imparti. Il a déposé sa requête d'assistance judiciaire le 12 mars 2018 simultanément au dépôt de son mémoire de réponse à l'appel joint de l'intimée. Par décision du 14 mai 2018, la cour cantonale a notamment indiqué qu'il serait statué dans la décision finale sur ladite requête.
Dans la décision attaquée, la juridiction précédente a retenu qu'au moment du dépôt de sa requête d'assistance judiciaire, les revenus du recourant se montaient à 8'084 fr. et ses charges à 6'796 fr. Dans les observations qu'elle a adressées à la Cour de céans, elle a toutefois admis la correction de certains postes du budget, tout en relevant que cela ne changeait pas le résultat, la situation financière du recourant présentant encore un excédent de 771 fr. par mois.
12.3. Aux termes de l'<ref-law>, une personne a droit à l'assistance judiciaire si elle ne dispose pas de ressources suffisantes (let. a) et que sa cause ne paraît pas dépourvue de toute chance de succès (let. b).
Une personne est indigente lorsqu'elle n'est pas en mesure d'assumer les frais de la procédure sans porter atteinte au minimum nécessaire à son entretien et à celui de sa famille. Pour déterminer l'indigence, il convient de prendre en considération l'ensemble de la situation financière du requérant au moment où la demande est présentée (<ref-ruling> consid. 4.1; <ref-ruling> consid. 4.1; <ref-ruling> consid. 5.1). Il y a lieu de mettre en balance, d'une part, la totalité des ressources effectives du requérant et, d'autre part, l'ensemble de ses engagements financiers (ATF <ref-ruling> consid. 5.1 et la référence; arrêts 5A_422/2018 du 26 septembre 2019 consid. 3.1; 5A_181/2019 du 27 mai 2019 consid. 3.1.1). Concernant ceux-ci, seules les charges réellement acquittées sont susceptibles d'entrer dans le calcul du minimum vital (ATF <ref-ruling> consid. 5.1; <ref-ruling> consid. 3a; arrêt 5A_181/2019 précité consid. 3.1.1).
Il appartient à la partie requérante de motiver sa requête et d'apporter, à cet effet, tous les moyens de preuve nécessaires et utiles (<ref-law>; arrêts 5D_83/2020 du 28 octobre 2020 consid. 5.3.3 et les références; 5A_181/2019 précité consid. 3.1.2 et la référence).
12.4.
12.4.1. En l'espèce, le recourant ne peut être suivi lorsqu'il invoque une violation des principes de la confiance et de l'égalité de traitement, dès lors qu'il n'a pas requis le bénéfice de l'assistance judiciaire au moment du dépôt de son appel mais uniquement au moment du dépôt de sa réponse à l'appel joint - contrairement à l'intimée qui l'a demandé d'emblée -, qu'il a procédé à l'avance de frais et qu'il n'a pas contesté l'ordonnance du 14 mai 2018 en faisant valoir que celle-ci lui causerait un préjudice irréparable. Les griefs sont dès lors infondés, le fait que le recourant ait changé d'avocat après le dépôt de son appel n'étant pas de nature à remettre en cause cette conclusion.
12.4.2.
12.4.2.1. S'agissant de son indigence, le recourant soutient que celle-ci est établie et que son budget mensuel présenterait un déficit de 1'037 fr. Il reproche notamment à la juridiction précédente d'avoir retenu dans ses charges un montant de 1'200 fr. à titre de montant de base, alors qu'il aurait fallu tenir compte d'un montant de 1'350 fr. pour lui et de 300 fr. par enfant (moitié de leur montant de base) compte tenu de la garde alternée pratiquée de facto,et de n'avoir pas motivé sa décision sur ce point.
En l'espèce, à la lecture de la décision querellée, on comprend que la cour cantonale a considéré que la situation du recourant était, à la date du dépôt de la requête d'assistance judiciaire, celle d'une personne vivant seule. Le recourant a d'ailleurs compris également en ce sens la décision entreprise et a pu l'attaquer en connaissance de cause (<ref-ruling> consid. 3.4.1; <ref-ruling> consid. 5.2; <ref-ruling> consid. 4.3.2). Partant, autant que recevable (cf. supra consid. 2.1), le grief de violation du droit à une décision motivée est infondé.
Pour le surplus, dès lors que la garde alternée n'a été prononcée qu'à partir du 1er janvier 2020, il n'apparaît pas contraire au droit d'avoir retenu le montant de base pour une personne seule dans le calcul des charges du recourant, même si celui-ci a volontairement augmenté sa prise en charge des enfants avant cette date. Dans ses observations, la cour cantonale admet toutefois que l'allégement forfaitaire de 150 fr. retenu par enfant pour le calcul des contributions d'entretien pourrait également être comptabilisé pour tenir compte de manière équitable de la part de prise en charge augmentée. Dans ces circonstances, il convient donc de retenir un montant global de 1'500 fr. (1'200 fr. [montant de base du recourant] + 300 fr. [2x 150 fr.; allégement forfaitaire]), et non de 1'950 fr. comme le soutient le recourant (1'350 fr. [montant de base du recourant] + 600 fr. [2x moitié du montant de base des enfants]).
12.4.2.2. Le recourant tient également compte dans ses charges d'un montant de 800 fr. lié à l'amortissement de la dette hypothécaire et reproche à la cour cantonale d'avoir écarté cette charge au motif qu'il s'agissait d'une constitution de fortune qui ne saurait être financée par la collectivité. Il insiste sur le caractère obligatoire de ces versements.
Constituant, d'un point de vue économique, un accroissement de la fortune du requérant, l'amortissement d'une dette hypothécaire n'est en principe pas pris en compte, à moins qu'il ait précédemment été convenu qu'il a un caractère obligatoire et qu'il soit démontré que le créancier n'est pas disposé à réduire son montant ou à surseoir à son paiement (arrêt 5A_422/2018 du 26 septembre 2019 consid. 3.6.3 et les références).
En l'espèce, il ne ressort pas de l'arrêt attaqué (<ref-law>; <ref-ruling> consid. 1.3.1) que le recourant, assisté d'un avocat (arrêts 2C_297/2020 du 8 mai 2020 consid. 3.3.3; 5A_502/2017 du 15 août 2017 consid. 3.2), aurait soutenu et démontré le refus de la banque créancière de lui accorder une réduction des montants à verser ou un sursis au paiement. Dans ces circonstances, le fait d'avoir écarté cette charge n'apparaît pas critiquable.
Autant que recevable (cf. supra consid. 2.1 et 2.2), le grief du recourant doit être rejeté.
12.4.2.3. Le recourant tient également compte dans le calcul de ses charges d'un montant de 666 fr. à titre de remboursement d'un prêt qui lui a été accordé par un tiers afin de régler l'avance de frais pour la procédure de deuxième instance.
La cour cantonale a considéré que, dans la mesure où les frais judiciaires d'appel de 8'000 fr. avaient été mis à hauteur de 4'000 fr. seulement à la charge du recourant, le solde de l'avance de frais de 4'000 fr. lui serait remboursé et a laissé ouverte la question de savoir si un montant mensuel de 333 fr. devait être pris en compte dès lors que, selon le budget qu'elle avait retenu, le recourant disposait de moyens suffisants pour couvrir ses frais d'avocat même si cette charge était comptabilisée.
En l'espèce, il n'est pas contesté que cette dette a été constituée par le recourant afin de payer l'avance de frais de la procédure d'appel. Or, une partie qui a dû payer une avance de frais pour la procédure puisqu'elle n'a pas requis le bénéfice de l'assistance judiciaire ne peut ensuite se prévaloir, pour justifier de son indigence, de la dette qu'elle a dû contracter précisément dans le but de régler le montant de ladite avance. Il convient dès lors d'écarter totalement cette charge du budget du recourant.
12.4.2.4. Même en admettant pour le surplus entièrement le budget tel qu'établi par le recourant, celui-ci bénéficierait, compte tenu des considérations qui précédent, d'un excédent mensuel de 879 fr. (- 1'037 fr. [déficit invoqué par le recourant] + 1'916 fr. [450 fr. + 800 fr. + 666 fr.]). Par substitution de motifs (cf. supra consid. 2.1), le refus de l'assistance judiciaire pour la procédure de deuxième instance peut ainsi être confirmé.
13.
Le recourant s'en prend également à la répartition des frais judiciaires de deuxième instance. Dès lors que certaines des critiques formulées par le recourant dans son présent recours ont été admises (cf. supr a consid. 5.3.2, 5.3.3.3 et 6.3.2) et que la cause est renvoyée à la juridiction précédente pour nouvelle répartition des frais de la procédure cantonale (cf. infra consid. 14), la Cour de céans peut toutefois se dispenser d'examiner ce grief.
14.
En conclusion, le recours est très partiellement admis dans la mesure de sa recevabilité et l'arrêt attaqué réformé au sens des considérants (cf. supra consid. 10). Les requêtes d'assistance judiciaire des parties sont admises, compte tenu des pièces qu'elles ont produites et du fait que leurs conclusions n'étaient pas d'emblée dépourvues de chances de succès (<ref-law>). Le recours n'ayant été admis que très partiellement, il y a lieu de mettre les frais judiciaires - provisoirement supportés par la Caisse du Tribunal fédéral (<ref-law>) - à hauteur de 3/4 à la charge du recourant et de 1/4 à la charge de l'intimée (<ref-law>) et de compenser les dépens (<ref-law>). Une indemnité, supportée par la Caisse du Tribunal fédéral, sera versée aux conseils des parties à titre d'honoraires d'avocat d'office (<ref-law>). Il est précisé, s'agissant du montant de celle-ci, que le Tribunal fédéral le fixe en fonction des règles énoncées dans le Règlement du 31 mars 2006 sur les dépens alloués à la partie adverse et sur l'indemnité pour la représentation d'office dans les causes portées devant le Tribunal fédéral (RS 173.110.210.3; arrêt 2C_135/2019 du 18 novembre 2019 consid. 4) et n'est aucunement tenu par les prétentions que les parties font valoir à cet égard dans leur mémoire ou leur liste de frais (arrêt 1C_451/2018 du 13 septembre 2019 consid. 6). En l'occurrence, les circonstances de l'espèce ne commandent pas de s'écarter de la pratique du Tribunal fédéral en la matière. Il appartiendra à la cour cantonale de statuer à nouveau sur les frais et dépens de la procédure cantonale (art. 67 et 68 al. 5 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est partiellement admis dans la mesure où il est recevable et l'arrêt attaqué est réformé s'agissant des contributions d'entretien en faveur des enfants et de l'intimée.
1.1. La contribution d'entretien mensuelle en faveur de C._ est, sous déduction des montants déjà versés à ce titre, arrêtée à:
- 1'040 fr. pour la période du 1er janvier 2018 au 30 avril 2018
(dont contribution de prise en charge de 204 fr.),
- 400 fr. pour la période du 1er janvier 2020 au 31 décembre 2021,
- 500 fr. du 1er janvier 2022 jusqu'à la fin de la formation,
les montants alloués par la cour cantonale pour les périodes successives allant du 1er mai 2018 au 31 décembre 2019 étant confirmés.
1.2. La contribution d'entretien mensuelle en faveur de D._ est, sous déduction des montants déjà versés à ce titre, arrêtée à:
- 1'040 fr. pour la période du 1er janvier 2018 au 30 avril 2018
(dont contribution de prise en charge de 204 fr.),
- 460 fr. pour la période du 1er janvier 2020 au 31 décembre 2021,
- 385 fr. pour la période du 1er janvier 2022 au 31 décembre 2023,
- 485 fr. du 1er janvier 2024 jusqu'à la fin de la formation,
les montants alloués par la cour cantonale pour les périodes successives allant du 1er mai 2018 au 31 décembre 2019 étant confirmés.
1.3. La contribution d'entretien en faveur de l'intimée est, sous déduction des montants déjà versés à ce titre, arrêtée à 130 fr. par mois pour la période allant du 1er janvier 2020 au 31 mai 2022, les montants alloués par la cour cantonale à titre de pension post-divorce pour les périodes du 1er janvier 2018 au 30 avril 2018 et du 1er avril 2019 au 31 décembre 2019 étant confirmés.
2.
La requête d'assistance judiciaire du recourant est admise et Me Vincent Kleiner lui est désigné comme avocat d'office.
3.
La requête d'assistance judiciaire de l'intiméeest admise et Me Dimitri Gianoli lui est désigné comme avocat d'office.
4.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à raison de 2'250 fr. à la charge de l'ex-époux et de 750 fr. à la charge de l'ex-épouse. Ils sont toutefois supportés provisoirement par la Caisse du Tribunal fédéral.
5.
Les dépens sont compensés.
6.
Une indemnité de 2'500 fr., supportée par la Caisse du Tribunal fédéral, est allouée au conseil du recourant à titre d'honoraires d'avocat d'office.
7.
Une indemnité de 2'500 fr., supportée par la Caisse du Tribunal fédéral, est allouée au conseil de l'intimée à titre d'honoraires d'avocat d'office.
8.
La cause est renvoyée à la cour cantonale pour nouvelle décision sur les frais et dépens de la procédure cantonale.
9.
Le présent arrêt est communiqué aux parties et à la 2 e Chambre civile de la Cour suprême du canton de Berne.
Lausanne, le 2 décembre 2020
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
La Greffière : Feinberg