Faits :
A.
A._ (1983) et B._ (1984) se sont mariés le 9 février 2005. Ils ont eu deux enfants, C._ (2006) et D._ (2009). Ils se sont séparés le 1er janvier 2017.
Par convention de mesures protectrices de l'union conjugale ratifiée par le Juge des districts de Martigny et St-Maurice le 16 décembre 2006 (ci-après: le Juge de district), les parties sont notamment convenues de ce que l'autorité parentale sur leurs enfants demeurait conjointe, la garde étant attribuée à la mère et un droit de visite réservé au père, celui-ci étant astreint à s'acquitter, en mains de la mère, d'avance le premier jour de chaque mois, la première fois le 1er janvier 2017, d'une contribution d'entretien de 650 fr. par enfant, les allocations familiales perçues par lui étant versées en sus.
L'épouse a introduit une demande unilatérale en divorce le 26 février 2019.
B.
B.a. Par requête de mesures provisionnelles du 4 avril 2019, l'époux a conclu à ce que les contributions d'entretien soient réduites à 332 fr. par mois et par enfant, ou dans la mesure que justice dira, dès le 24 juillet 2018. Le 29 avril 2019, le Juge de district a partiellement admis la requête, en ce sens que les pensions sont fixées à 650 fr. par mois pour C._ et à 630 fr. par mois en faveur de D._, allocations familiales en sus, à compter du mois d'avril 2019.
B.b. L'époux a fait appel de cette décision le 13 mai 2019. Il a conclu à ce que les pensions soient réduites à 484 fr. par mois pour C._ et à 467 fr. par mois pour D._, allocations familiales en sus, ou dans la mesure que justice dira, à compter du 24 juillet 2018. Le 17 juin 2019, il a introduit des faits nouveaux, pièces à l'appui, et modifié ses conclusions, sollicitant que la contribution d'entretien en faveur de C._ s'élève à 325 fr. par mois et celle en faveur de D._ à 315 fr. par mois, dès le 24 juillet 2018. Dans ses déterminations du 9 juillet 2019, l'épouse a principalement conclu au rejet de l'appel; elle a fait valoir des faits nouveaux et déposé des pièces nouvelles, et a sollicité le bénéfice de l'assistance judiciaire. L'époux s'est encore déterminé le 16 août 2019. Donnant suite à l'ordonnance de l'autorité cantonale du 27 septembre 2019, l'époux a produit une copie de ses fiches de salaire des mois de septembre 2018 à septembre 2019 ainsi qu'une attestation de domicile s'agissant de sa compagne. Il a aussi déposé un contrat de bail à loyer établi aux noms de son épouse et du compagnon de celle-ci, alléguant que tous deux vivraient en concubinage à compter du 1er janvier 2020. Le 6 novembre 2019, l'épouse a allégué, pièces à l'appui, que la compagne de son époux réalisait un revenu. L'époux s'est déterminé le 13 novembre 2019; il a alors déposé un extrait du compte bancaire de sa compagne pour la période du 12 avril au 12 novembre 2019.
B.c. Par décision du 6 janvier 2020, la Cour civile II du Tribunal cantonal du canton du Valais a annulé et réformé le jugement du 29 avril 2019, en ce sens que les pensions sont fixées aux montants suivants:
- pour les mois d'avril et mai 2019: 650 fr. par mois pour C._ et 755 fr. par mois pour D._;
- pour les mois de juin à décembre 2019: 650 fr. par mois pour C._ et 630 fr. par mois pour D._;
- dès le 1er janvier 2020, 430 fr. par mois pour C._ et 415 fr. par mois pour D._.
Les frais judiciaires, par 600 fr., ont été mis à la charge de l'époux, celui-ci étant en outre condamné à verser à son épouse une indemnité de dépens de 1'200 fr. pour la procédure d'appel. La requête d'assistance judiciaire de l'époux a été rejetée. Celle de l'épouse a été admise.
C.
Agissant par mémoire du 7 février 2020, A._ exerce un recours en matière civile et un recours constitutionnel subsidiaire au Tribunal fédéral. Il conclut à l'annulation de l'arrêt cantonal et principalement à sa réforme, en ce sens que les frais de deuxième instance sont mis par moitié à la charge de chacune des parties, les dépens étant compensés et l'assistance judiciaire totale lui étant accordée. Subsidiairement, il demande que les frais de deuxième instance soient mis par moitié à la charge de chacune des parties, que les dépens soient compensés et que l'assistance judiciaire totale lui soit accordée à compter du 17 juin 2019. Plus subsidiairement, il conclut à l'annulation de la décision cantonale et au renvoi de la cause à l'autorité précédente pour nouvelle décision. Il sollicite aussi le bénéfice de l'assistance judiciaire pour la procédure fédérale.
Invitée à se déterminer sur la question du refus d'assistance judiciaire pour la procédure cantonale, l'autorité précédente a indiqué qu'elle n'avait pas d'observations à formuler. Des observations sur le fond n'ont pas été demandées à l'épouse.
D.
Par ordonnance présidentielle du 26 février 2020, la requête d'effet suspensif du recourant a été rejetée.

Considérant en droit :
1.
Le recours a été déposé en temps utile (<ref-law>) et dans la forme prévue par la loi (<ref-law>) contre une décision finale (<ref-law>; sur le caractère final d'une décision sur l'assistance judiciaire rendue avec l'arrêt final sur le fond, cf. arrêts 4A_182/2018 du 21 novembre 2018 consid. 1.1; 5A_567/2011 du 10 février 2012 consid. 1 in fine), par une partie qui a succombé en dernière instance cantonale et sur recours (art. 75 et 76 LTF) dans une affaire matrimoniale (art. 72 al 1 LTF). La cause porte sur la répartition des frais et dépens cantonaux ainsi que sur l'assistance judiciaire requise pour la procédure d'appel, de sorte qu'elle est de nature pécuniaire. En vertu de l'<ref-law>, il convient, pour calculer la valeur litigieuse, de se fonder sur les dernières conclusions prises par les parties devant l'autorité précédente; comme le relève le recourant, le seuil de 30'000 fr. exigé par l'art. 74 al. 1 le. b LTF est atteint en l'espèce (cf. aussi <ref-law>). Le recours en matière civile est recevable à ce titre, ce qui exclut d'entrer en matière sur le recours constitutionnel subsidiaire (<ref-law>).
2.
L'arrêt entrepris porte sur des mesures provisionnelles au sens de l'<ref-law>, en sorte que la partie recourante ne peut se plaindre que d'une violation de ses droits constitutionnels. Le Tribunal fédéral n'examine un tel moyen que s'il est invoqué et motivé (" principe d'allégation ", <ref-law>), c'est-à-dire expressément soulevé et exposé de façon claire et détaillée (<ref-ruling> consid. 2.1, III 364 consid. 2.4); le recourant doit ainsi indiquer quelle disposition constitutionnelle aurait été violée et démontrer, par une argumentation précise, en quoi consiste cette violation (<ref-ruling> consid. 3).
En particulier, une décision ne peut être qualifiée d'arbitraire (art. 9 Cst.) que si elle est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et indiscuté, ou heurte de manière choquante le sentiment de la justice et de l'équité (<ref-ruling> consid. 7.3; <ref-ruling> consid. 4.1); il ne suffit pas qu'une autre solution paraisse concevable, voire préférable; pour que cette décision soit annulée, encore faut-il qu'elle se révèle arbitraire non seulement dans ses motifs, mais aussi dans son résultat (<ref-ruling> consid. 7.1, 170 consid. 7.3; <ref-ruling> consid. 4.3).
I. Frais et dépens cantonaux
3.
Le recourant fait valoir qu'en mettant à sa charge l'entier des frais judiciaires de la procédure d'appel, la cour cantonale a appliqué les art. 106 et 107 CPC de manière arbitraire. Selon lui, il n'y avait pas de raison de s'écarter de la règle générale de l'<ref-law>, qui prévoit une répartition des frais en fonction du sort de la cause. Le raisonnement de la cour cantonale, qui lui a refusé le bénéfice de l'assistance judiciaire pour le motif que les circonstances lui ayant permis d'obtenir partiellement gain de cause en appel ne résultaient que des nova introduits régulièrement en deuxième instance, reviendrait à le " punir " d'avoir présenté ces faits nouveaux dans le cadre de la procédure d'appel plutôt qu'en les introduisant par le biais d'une procédure de modification des mesures provisionnelles; or, il devait introduire lesdits novaen appel, sous peine de forclusion, de sorte que la décision querellée reposerait sur des motifs insoutenables. La décision entreprise serait aussi choquante dans son résultat, en tant qu'elle met à sa charge la totalité des frais de justice, alors que ceux-ci auraient été mis à la charge de l'intimée s'il avait fait valoir les faits nouveaux précités dans le cadre d'une procédure de modification des mesures provisionnelles. En définitive, il y avait lieu de répartir les frais au minimum par moitié entre les parties et de compenser les dépens.
4.
L'autorité cantonale a considéré que l'appel, qui tendait à une diminution des contributions d'entretien à compter du 24 juillet 2018, avait été rejeté hormis pour la période postérieure au 1er janvier 2020. Les conditions ayant permis à l'époux d'obtenir partiellement gain de cause à cet égard n'avaient été réalisées que " dans la procédure de recours ". Partant, au moment où il avait été déposé, l'appel était dénué de chances de succès. Il était à cet égard significatif que la contribution d'entretien en faveur de D._ ait été augmentée durant deux mois. Dans ces circonstances, la cour cantonale a considéré qu'en équité, il convenait de mettre l'intégralité des frais à la charge de l'époux.
4.1. Les frais et dépens sont répartis entre les parties en application des art. 106 et 107 CPC, la règle étant qu'ils sont en principe mis à la charge de la partie qui succombe (<ref-law>). Lorsqu'aucune des parties n'obtient entièrement gain de cause, les frais sont répartis selon le sort de la cause (<ref-law>). Le tribunal est toutefois libre de s'écarter de ces règles et de répartir les frais selon sa libre appréciation dans les hypothèses prévues par l'<ref-law>, notamment lorsque le litige relève du droit de la famille (art. 107 al. 1 let. c CPC); il n'est ainsi pas exclu, dans ce type de procédure, que la partie qui obtient gain de cause soit condamnée à supporter des frais (arrêt 5A_864/2018 du 23 mai 2019 consid. 5.2 et les références). Statuant dans ce cadre selon les règles du droit et de l'équité (<ref-law>), l'autorité cantonale dispose d'un large pouvoir d'appréciation non seulement quant à la manière dont les frais sont répartis, mais également quant aux dérogations à la règle générale de l'<ref-law> (<ref-ruling> consid. 3; arrêt 5D_43/2019 du 24 mai 2019).
4.2. En l'espèce, l'époux avait conclu en appel à ce que les contributions d'entretien telles que fixées en première instance soient réduites à compter du 24 juillet 2018. Or, l'autorité cantonale n'a réduit la pension en faveur de C._ qu'à compter de janvier 2020, la fixant dès lors à 430 fr. par mois, alors que l'époux avait pris des conclusions modifiées correspondant à un montant de 325 fr. par mois (cf. supra let. B.b). Quant à la pension en faveur de D._, elle a été augmentée à 755 fr. par mois pour les mois d'avril et mai 2019, puis légèrement réduite, à 630 fr. (contre les 650 fr. prévus par le premier juge) pour la période de juin à décembre 2019, enfin réduite à 415 fr. par mois dès le mois de janvier 2020, bien que l'époux ait pris au cours de la procédure d'appel des conclusions modifiées à hauteur de 315 fr. par mois. Ainsi, comme l'a relevé la cour cantonale, l'époux n'a obtenu que très partiellement gain de cause en appel. Dans ces circonstances et compte tenu du fait qu'il s'agit en l'occurrence d'un litige relevant du droit de la famille au sens de l'art. 107 al. 1 let. c CPC, la cour cantonale n'a commis aucun excès ni abus manifeste de son pouvoir d'appréciation en mettant l'intégralité des frais judiciaires à la charge de l'époux nonobstant le fait qu'il a obtenu en partie gain de cause. Le fait qu'une autre solution, plus favorable au recourant, aurait pu être envisagée, ne permet aucunement de tenir le raisonnement de la cour cantonale pour arbitraire (cf. supra consid. 2 in fine).
II. Assistance judiciaire pour la procédure d'appel
5.
Le recourant se plaint de la violation des art. 29 al. 1 et 6 § 1 CEDH, qui garantissent le droit à un procès équitable, dont découle le principe d'égalité des armes. Il expose que l'on ne pouvait lui refuser le bénéfice de l'assistance judiciaire - alors qu'il a obtenu partiellement gain de cause grâce à l'assistance de son avocat -, alors que sa partie adverse s'est vue octroyer l'assistance judiciaire, partant, a pu se faire assister d'un conseil juridique professionnel sans avoir à se soucier de sa situation financière précaire.
Tel qu'il est ancré aux art. 29 al. 1 Cst. et 6 § 1 CEDH, le principe d'égalité des armes requiert que chaque partie se voie offrir une possibilité raisonnable de présenter sa cause dans des conditions qui ne la placent pas dans une situation de net désavantage par rapport à son adversaire (<ref-ruling> consid. 2b p. 163 s.). Il s'ensuit que, contrairement à l'opinion exprimée dans le recours, l'autorité cantonale n'a pas violé la garantie d'un procès équitable du seul fait qu'elle a accordé l'assistance judiciaire à une partie et non à l'autre, alors que les parties ont toutes deux participé à la procédure en étant chacune assistée d'un conseil.
6.
Le recourant soutient que la décision entreprise procède d'une application arbitraire de l'<ref-law> et viole les art. 29 al. 1 et 3 Cst. et 6 § 1 CEDH, en tant qu'elle lui refuse le bénéfice de l'assistance judiciaire pour le motif que son appel était dénué de chances de succès, alors qu'il a eu partiellement gain de cause sur le fond.
Il expose que l'appréciation des chances de succès doit être effectuée sur la base des éléments connus au moment de la décision d'octroi ou de refus de l'assistance judiciaire. Il ajoute que l'un des griefs soulevés d'emblée dans l'appel, à savoir le montant des frais de transport de son épouse trop élevé retenu par le juge de première instance, était fondé, comme cela ressort de la décision querellée, de sorte que l'on ne saurait considérer, sous peine d'arbitraire, que son appel était d'emblée dénué de toutes chances de succès. En outre, de manière choquante, l'autorité cantonale aurait fait fi d'éléments dont elle avait connaissance, à savoir les faits nouveaux qu'il avait introduits au cours de la procédure d'appel et qui ont conduit à son admission partielle. Pour ces motifs, le recourant soutient qu'il aurait dû se voir octroyer le bénéfice de l'assistance judiciaire pour l'ensemble de la procédure d'appel. A titre subsidiaire, il fait valoir que l'autorité cantonale aurait dû à tout le moins lui accorder l'assistance judiciaire pour la période postérieure au 17 juin 2019, date à laquelle il a invoqué des faits nouveaux.
6.1. Selon l'art. 29 al. 3 Cst., toute personne qui ne dispose pas de ressources suffisantes a droit à l'assistance judiciaire gratuite, à moins que sa cause ne paraisse dépourvue de toutes chances de succès; elle a en outre droit à l'assistance gratuite d'un défenseur, dans la mesure où la sauvegarde de ses droits le requiert. Les conditions de l'assistance judiciaire selon l'<ref-law> ne sont pas différentes de celles prévues, en tant que garantie minimale, par l'art. 29 al. 3 Cst. (arrêts 4A_589/2013 du 16 janvier 2014 consid. 3.2, non publié aux <ref-ruling>; 5A_574/2011 du 6 janvier 2012 consid. 3; 4A_383/2019 du 30 mars 2020 consid. 2.1).
6.1.1. Un procès est dépourvu de chances de succès lorsque les perspectives de le gagner sont notablement plus faibles que les risques de le perdre, et ne peuvent donc être considérées comme sérieuses, de sorte qu'un plaideur raisonnable et aisé renoncerait à s'y engager en raison des frais qu'il serait exposé à devoir supporter; en revanche, il ne l'est pas lorsque les chances de succès et les risques d'échec s'équilibrent à peu près ou que les premières n'apparaissent que légèrement inférieures aux secondes. Cette évaluation doit s'opérer en fonction des circonstances existant à la date du dépôt de la requête et sur la base d'un examen sommaire (<ref-ruling> consid. 5.1 et les références; arrêt 5A_632/2017 du 15 mai 2018 consid. 2.1). La décision d'assistance judiciaire doit certes être rendue avec une certaine précision; elle ne doit toutefois pas conduire à déplacer à ce stade le procès au fond (arrêt 5A_396/2018 du 29 juin 2018 consid. 5.1 et les références).
6.1.2. Pour déterminer les chances de succès d'un recours, le juge peut prendre en considération la décision de première instance, en confrontant celle-ci avec les griefs et des faits (le cas échéant nouveaux) invoqués en deuxième instance et recevables (arrêts 5A_623/2016 du 24 mai 2017 consid. 1.3; 5D_164/2015 du 11 janvier 2016 consid. 5). De la sorte, l'examen sommaire des chances de succès auquel il doit procéder est simplifié. Cet examen ne doit toutefois pas conduire à ce qu'une partie voit quasiment rendu impossible le contrôle d'une décision qu'elle conteste. Ce n'est que lorsque le recourant n'oppose aucun argument substantiel contre la décision de première instance qu'il risque de voir son recours considéré comme étant dénué de chance de succès, en particulier si l'autorité de recours n'a qu'une cognition limitée ou que le recourant doit motiver ses griefs en respectant le principe d'allégation. La perspective concrète du recourant d'obtenir entièrement gain de cause n'est pas déterminante; pour que la condition soit remplie, il suffit qu'il existe une chance d'admission même partielle des conclusions (arrêt 5A_572/2015 du 8 octobre 2015 consid. 4.1 et les références).
6.1.3. Dans le cadre de l'examen des chances de succès, l'autorité qui statue sur l'octroi de l'assistance judiciaire dispose d'un pouvoir d'appréciation; le Tribunal fédéral, qui examine librement quels sont les éléments d'appréciation pertinents et s'il existe des chances de succès (<ref-ruling> consid. 2.3), ne revoit dès lors la décision qu'avec retenue (arrêt 5A_93/2014 du 2 mai 2014 consid. 4.1.2). Il n'intervient que si l'autorité cantonale s'est écartée sans raisons des règles établies par la jurisprudence en matière de libre appréciation, ou lorsqu'elle s'est appuyée sur des faits qui, dans le cas particulier, ne devaient jouer aucun rôle ou, à l'inverse, lorsqu'elle n'a pas tenu compte d'éléments qui auraient absolument dû être pris en considération (arrêts 8C_707/2017 du 2 mars 2018 consid. 3.2; 5A_94/2014 du 2 mai 2014 consid. 4.1.2).
6.2. Se référant aux considérations qu'elle a développées à propos de la répartition des frais judiciaires, à savoir que les conditions ayant permis à l'époux d'obtenir partiellement gain de cause n'avaient été réalisées qu'au cours de la procédure de deuxième instance (cf. supra consid. 4), l'autorité cantonale a jugé que l'appel était dénué de chances de succès lorsqu'il a été déposé. Pour ce motif, elle a rejeté la requête d'assistance judiciaire de l'époux.
6.3. Il apparaît qu'en l'espèce, l'autorité d'appel a statué sur la requête d'assistance judiciaire dans la même décision que sur le fond. Si ce procédé n'est en soi pas exclu, il n'en demeure pas moins que la partie requérante ne doit subir aucun préjudice en raison de la procédure adoptée pour l'examen de sa requête (arrêt 4A_42/2013 du 6 juin 2013 consid. 4.1).
La décision relative à l'assistance judiciaire n'entre qu'en force de chose jugée formelle, et non matérielle, de sorte qu'une nouvelle requête peut être déposée en tout temps, lorsque les circonstances se sont modifiées depuis la première requête (arrêts 5A_872/2018 du 27 février 2019 consid. 3.3.2 et la référence; 5A_405/2011 du 27 septembre 2011 consid. 4.5.4 non publié aux <ref-ruling>; 4A_410/2013 du 5 décembre 2013 consid. 3.2). Il en résulte qu'en l'occurrence, si la cour cantonale avait rejeté la requête d'assistance judiciaire par une décision séparée prise au moment de l'introduction de cette requête - estimant par hypothèse que l'appel était dénué de chances de succès à ce moment-là -, le recourant aurait eu tout le loisir d'introduire une nouvelle demande d'assistance judiciaire ultérieurement, lorsque de nouveaux éléments ont été introduits en procédure. En rejetant dans son ensemble la requête d'assistance judiciaire dans le cadre de l'arrêt au fond, sous prétexte qu'au moment où la requête a été introduite, l'appel était voué à l'échec (tout en reconnaissant que des circonstances ayant permis à l'appelant d'obtenir partiellement gain de cause se sont réalisées par la suite), l'autorité cantonale a procédé d'une manière qui a occasionné un préjudice pour le recourant. Il lui appartiendra d'y remédier dans le cadre du renvoi.
La cause doit ainsi être renvoyée à l'autorité cantonale pour nouvelle décision. Il appartiendra en particulier à la cour cantonale de procéder à une appréciation sommaire et rétrospective des chances de succès de l'appel en confrontant au premier jugement les griefs et les faits (le cas échéant nouveaux) invoqués en deuxième instance et recevables (cf. supra consid. 6.1.2). Dans ce cadre, il s'agira notamment de tenir compte du grief invoqué par l'appelant en lien avec les frais de transport de l'épouse, évoqué dans le présent recours.
7.
En conclusion, le recours constitutionnel subsidiaire est irrecevable. Le recours en matière civile est partiellement admis, l'arrêt cantonal est annulé et la cause renvoyée à l'autorité précédente pour nouvelle décision concernant la question de l'assistance judiciaire pour la procédure cantonale.
Le recourant obtient gain de cause s'agissant du refus d'assistance judiciaire pour la procédure d'appel. Dans cette mesure, sa requête d'assistance judiciaire pour la procédure fédérale devient sans objet (<ref-ruling> consid. 3). Les dépens incombent à l'Etat du Valais (art. 68 al. 1 et 2 LTF), mais non les frais judiciaires (<ref-law>; arrêt 5A_567/2011 du 10 février 2012 consid. 6).
Pour le surplus, le recourant succombe s'agissant de la question de la répartition des frais et dépens d'appel. Sa requête d'assistance judiciaire est rejetée à ce propos, ses conclusions étant d'emblée dépourvues de chances de succès (<ref-law>), de sorte qu'il doit supporter les frais judiciaires (<ref-law>). L'intimée, qui n'a pas été invitée à se déterminer sur le fond du recours mais a obtenu gain de cause dans ses conclusions relatives à l'effet suspensif, a droit à une indemnité de dépens pour cette écriture, mise à la charge du recourant (art. 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours constitutionnel est irrecevable.
2.
Le recours en matière civile est partiellement admis, l'arrêt attaqué est annulé et la cause renvoyée à l'autorité cantonale pour nouvelle décision s'agissant de l'assistance judiciaire pour la procédure cantonale.
3.
Dans la mesure où le recours concerne le refus d'assistance judiciaire en procédure d'appel, la requête d'assistance judiciaire du recourant pour la procédure fédérale est sans objet. Elle est rejetée pour le surplus.
4.
Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge du recourant.
5.
Une indemnité de 300 fr., à verser à l'intimée à titre de dépens, est mise à la charge du recourant.
6.
L'Etat du Valais versera au recourant une indemnité de 500 fr. à titre de dépens.
7.
Le présent arrêt est communiqué aux parties.
Lausanne, le 27 mai 2020
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
La Greffière : Dolivo