Faits :
A.
B.A._, née en 1972, et A.A._, né en 1969, se sont mariés en 2005 à U._. Deux enfants sont issus de leur union, soit C._, né en 2004 et D._, né en 2007. Les époux vivent séparés depuis le 1er octobre 2014.
B.
B.a. Le 25 novembre 2014, B.A._ a déposé une requête de mesures protectrices de l'union conjugale à l'encontre de son époux.
Par décision du 1er avril 2015, le juge I du district de Sion a homologué la convention partielle conclue par les époux à l'audience du 16 mars 2015 selon laquelle la jouissance du logement familial est attribuée à l'époux et la garde des deux enfants à la mère, un large droit de visite étant réservé au père. Le juge de district a par ailleurs condamné A.A._ à verser, d'avance le premier de chaque mois, une contribution d'entretien de 818 fr. par mois pour chacun de ses deux enfants, allocations familiales en sus, ainsi que la somme de 3'220 fr. par mois pour l'entretien de son épouse.
Statuant sur appel le 19 novembre 2015, le Tribunal cantonal valaisan a réformé cette décision en ce sens que la contribution d'entretien due à chacun des enfants s'élève, allocations familiales en sus, à 600 fr. du 1er décembre 2014 au 31 mai 2015, puis à 1'150 fr. par mois dès le 1er juin 2015, celle due pour l'entretien de l'épouse étant ramenée à 1'650 fr. par mois dès le 1er juin 2015.
B.b. Le 4 novembre 2016, A.A._ a déposé une demande en divorce auprès du Tribunal des districts de Martigny et St-Maurice.
Le même jour, il a adressé une requête de mesures provisionnelles tendant à la modification des mesures protectrices précédemment prononcées. Il a conclu à ce que la garde de C._ lui soit attribuée, celle de D._ restant confiée à la mère, à ce qu'il soit donné acte aux parties de ce que cette situation est en vigueur dès le 20 août 2016, à ce que les pensions de C._ et de D._ soient supprimées avec effet au 20 août 2016, et à ce que la pension de l'épouse soit supprimée avec effet au 1er novembre 2016.
B.c. Par décision du 30 mai 2017, la juge des districts de Martigny et St-Maurice a homologué la convention partielle conclue par les parties à l'audience du 12 décembre 2016 et a modifié la décision de mesures protectrices de l'union conjugale en ce sens que la garde sur l'enfant C._ est attribuée au père et celle sur l'enfant D._ confiée à la mère, les parties bénéficiant chacune d'un large droit de visite. La juge de district a pour le surplus partiellement admis la requête de mesures provisionnelles de l'époux et a modifié la décision de mesures protectrices en ce sens que le mari versera, dès le 1er septembre 2016, en mains de la mère, une contribution mensuelle d'entretien de 807 fr. pour D._, que l'épouse versera, dès le 1er septembre 2016, en mains du père, une contribution mensuelle d'entretien de 547 fr. pour C._, et qu'aucune contribution d'entretien ne serait due entre époux dès le 1er novembre 2016.
B.d. Le 12 juin 2017 B.A._ a déposé un appel à l'encontre de cette décision, concluant à sa réforme en ce sens que la contribution d'entretien de D._ est fixée à 1'012 fr. par mois dès le 1er septembre 2016, que celle de C._ est fixée à 312 fr. 50 dès le 1er septembre 2016, et que celle due pour son propre entretien est fixée à 1'120 fr. dès le 1er septembre 2016.
Par détermination du 26 juin 2017, A.A._ a conclu au rejet de l'appel.
B.e. Par décision du 13 novembre 2017, expédiée le lendemain, le Tribunal cantonal valaisan a partiellement admis l'appel et a modifié la décision de mesures protectrices en ce sens que le mari versera, dès le 1er septembre 2016, en mains de la mère, une contribution mensuelle d'entretien de 898 fr. pour D._, que l'épouse versera, dès le 1er septembre 2016, en mains du père, une contribution mensuelle d'entretien de 443 fr. pour C._, et que le mari versera, dès le 1er septembre 2016, une contribution de 920 fr. 50 par mois pour l'entretien de son épouse.
C.
Par acte posté le 13 décembre 2017, A.A._ exerce un recours en matière civile au Tribunal fédéral contre la décision du 13 novembre 2017. Il conclut, sous suite de frais et dépens, à sa réforme en ce sens que la pension de l'épouse est supprimée dès le 1er septembre 2016, subsidiairement dès le 1er juillet 2017, que le mari versera une pension de 807 fr. par mois pour D._, et que l'épouse versera une pension de 547 fr. par mois pour C._. Pour le surplus, il sollicite d'être mis au bénéfice de l'assistance judiciaire pour la procédure fédérale.
Des déterminations n'ont pas été requises.

Considérant en droit :
1.
L'arrêt attaqué est une décision finale (art. 90 LTF; <ref-ruling> consid. 2.2), rendue par une juridiction cantonale de dernière instance ayant statué sur recours (art. 75 al. 1 et 2 LTF) dans une affaire civile (art. 72 al. 1 LTF). Il s'agit d'une contestation de nature pécuniaire dont la valeur litigieuse atteint 30'000 fr. (art. 51 al. 1 let. a, 51 al. 4 et 74 al. 1 let. b LTF). Le recourant, qui a été débouté de ses conclusions par l'autorité précédente, a qualité pour recourir (art. 76 al. 1 LTF). Déposé dans le délai (art. 100 al. 1 LTF) et la forme (art. 42 al. 1 LTF) prévus par la loi, le recours est donc en principe recevable.
2.
2.1. Dès lors que la décision attaquée porte sur des mesures provisionnelles, seule peut être dénoncée la violation de droits constitutionnels (art. 98 LTF). Le Tribunal fédéral n'examine la violation de ces droits que si ce moyen est invoqué et motivé par le recourant (principe d'allégation; art. 106 al. 2 LTF), c'est-à-dire s'il a été expressément soulevé et exposé de manière claire et détaillée (<ref-ruling> consid. 2.1; <ref-ruling> consid. 1.3 et les références). Le recourant doit ainsi indiquer quelle disposition constitutionnelle aurait été violée et démontrer, par une argumentation précise, en quoi consiste la violation (<ref-ruling> consid. 3). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 2.8). Le grief doit être développé dans le recours même, un renvoi à d'autres écritures ou à des pièces n'étant pas admissible (<ref-ruling> consid. 2.1-2.3; <ref-ruling> consid. 3.2). Il doit exister un lien entre la motivation du recours et la décision attaquée. Le recourant doit se déterminer par rapport aux considérants de l'arrêt entrepris; il ne peut se contenter de reprendre presque mot pour mot l'argumentation formée devant l'autorité cantonale (<ref-ruling> consid. 2.1 et 2.3).
Par ailleurs, s'agissant de l'arbitraire (art. 9 Cst.), la jurisprudence admet ce grief uniquement si la décision attaquée est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et indiscuté, ou heurte de manière choquante le sentiment de la justice et de l'équité; il ne suffit pas qu'une autre solution paraisse concevable, voire préférable; pour que la décision soit annulée,encore faut-il qu'elle se révèle arbitraire non seulement dans ses motifs, mais aussi dans son résultat (<ref-ruling> consid. 4.3 et les références).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Dans l'hypothèse d'un recours limité aux griefs d'ordre constitutionnel, le recourant qui entend invoquer que les faits ont été établis de manière manifestement inexacte ne peut obtenir la rectification ou le complètement des constatations de fait de l'arrêt cantonal que s'il démontre la violation de droits constitutionnels, conformément au principe d'allégation susmentionné (cf. supra consid. 2.1); les art. 95, 97 et 105 al. 2 LTF ne s'appliquent pas directement (<ref-ruling> consid. 7.1, 585 consid. 4.1). Toutefois, l'application de l'art. 9 Cst. aboutit pratiquement au même résultat: le Tribunal fédéral ne corrige les constatations de fait que si elles sont arbitraires et ont une influence sur le résultat de la décision (<ref-ruling> consid. 1.2.2). Le recourant ne peut donc pas se borner à contredire les constatations litigieuses par ses propres allégations ou par l'exposé de sa propre appréciation des preuves; il doit indiquer de façon précise en quoi ces constatations sont contraires au droit ou entachées d'une erreur indiscutable, c'est-à-dire arbitraires au sens de l'art. 9 Cst. Une critique des faits qui ne satisfait pas à cette exigence est irrecevable (art. 106 al. 2 LTF; <ref-ruling> consid. 2.3 et les références; <ref-ruling> consid. 1.4.3).
3.
Sans même se prévaloir d'une quelconque violation arbitraire (art. 9 Cst.) de l'art. 317 CPC, le recourant fait grief à la cour cantonale d'avoir fait preuve de formalisme excessif en écartant la pièce - qu'il ne désigne pas - produite en appel aux fins de prouver l'existence d'un prêt consenti en avril 2016 par son frère à concurrence de 16'000 fr. Dès lors que l'intimée n'avait pas contesté en première instance l'allégation selon laquelle ce montant lui avait été prêté ni son affirmation le confirmant lors de l'interrogatoire des parties, il n'avait pas de raison de penser qu'il devait apporter devant le juge de district une preuve supplémentaire de l'existence du prêt. Comme son épouse était toutefois revenue sur ce point en appel, il était tout à fait légitime de fournir à ce stade la preuve écrite de ce prêt.
3.1. Le formalisme excessif est un déni de justice contraire à l'art. 29 al. 1 Cst.; il survient lorsque des règles de procédure sont appliquées avec une rigueur que ne justifie aucun intérêt digne de protection, au point que la procédure devient une fin en soi et empêche ou complique de manière insoutenable l'application du droit (<ref-ruling> consid. 2.4.2; <ref-ruling> consid. 2.1; <ref-ruling> consid. 5). L'excès de formalisme peut se manifester dans la règle de comportement qui est imposée au plaideur ou dans la sanction qui est attachée à cette règle (ATF <ref-ruling>, ibid.; <ref-ruling> consid. 3a; <ref-ruling> consid. 2b/aa).
3.2. Le Tribunal cantonal a constaté que le recourant avait annexé deux nouvelles pièces à sa réponse à l'appel du 26 juin 2017. S'agissant de la reconnaissance de dette signée le 12 mai 2016, force était de constater qu'elle était largement antérieure à la décision de première instance, sans que l'intéressé n'établisse pour quel (s) motif (s) il aurait été empêché de la produire devant la juge de district bien qu'il ait fait preuve de la diligence requise. Il en allait de même des estimations d'impôts pour l'année 2016, qui auraient également pu être produites devant la première juge.
3.3. Une telle motivation, qui se réfère aux conditions de l'art. 317 al. 1 CPC, ne procède nullement d'un formalisme excessif prohibé par l'art. 29 al. 1 Cst. S'il introduit des pseudo nova, l'appelant doit démontrer qu'il a fait preuve de la diligence requise, ce qui implique notamment d'exposer en détail les motifs pour lesquels il n'a pas pu présenter le fait ou le moyen de preuve en première instance déjà (<ref-ruling> consid. 4.1; arrêt 5A_739/2012 du 17 mai 2013 consid. 9.2.2). La diligence requise suppose que dans la procédure de première instance, chaque partie expose l'état de fait de manière soigneuse et complète et qu'elle amène tous les éléments propres à établir les faits jugés importants (arrêts 5A_739/2012 précité consid. 9.2.2; 4A_334/2012 du 16 octobre 2012 consid. 3.1, publié in SJ 2013 I 311). Or, en l'occurrence, il apparaît que la détermination du 26 juin 2017 ne contient pas la moindre explication quant à la réalisation des conditions de l'art. 317 al. 1 CPC en lien avec la pièce litigieuse. La critique apparaît donc vaine.
4.
Le recourant s'en prend au budget des parties, tel qu'arrêté dans la décision querellée. Invoquant l'arbitraire, il reproche à la cour cantonale de ne pas avoir tenu compte dans ses charges de l'annuité de 3'000 fr. par mois qu'il doit contractuellement à la banque X._ au motif qu'elle n'était pas payée. Ce faisant, le juge précédent avait ignoré que le revenu mensuel de 8'900 fr. retenu à son égard était " pour une large part " un revenu hypothétique. Il était évident que s'il gagnait réellement 8'900 fr. par mois, il s'acquitterait de cette dette. Le recourant relève en outre avoir prouvé qu'entre le 22 novembre 2013 et le 15 septembre 2015, il avait versé pour 81'000 fr. environ d'annuités et que son frère avait versé pour lui 16'000 fr. le 28 avril 2016. Il était donc établi " avec toute la certitude voulue " qu'il s'acquitterait régulièrement de cette dette s'il gagnait effectivement le revenu hypothétique qui lui était imputé. L'on ne pouvait " retenir un revenu hypothétique sans retenir les charges qui vont avec ". Le Tribunal cantonal l'avait admis pour les impôts qu'il avait calculés selon le revenu hypothétique, même s'il ne paie pas effectivement cette charge. Il devait en aller de même s'agissant de l'annuité de 3'000 fr. par mois, qui devait être ajoutée à son minimum vital. En effet, si le revenu hypothétique était atteint, cette dette pourrait et devrait être régulièrement honorée. A tout le moins, la cour cantonale aurait dû compter dans ses charges le 1/12 des 16'000 fr. versés en 2016, soit 1'333 fr. par mois, dès lors qu'il s'agit d'un prêt de son frère et non, comme retenu à tort dans la décision attaquée, d'une donation, qui ne se présume pas. L'existence de ce prêt avait été alléguée et confirmée lors de l'interrogatoire des parties. L'intimée ne l'avait pas contestée. Le prêt avait en outre été prouvé par une pièce produite en appel, laquelle n'aurait pas dû être écartée de la procédure.
4.1. Le Tribunal cantonal a retenu que, par courrier du 22 janvier 2016, la banque X._ avait récapitulé les montants versés par l'époux jusqu'à ce jour en lien avec le remboursement de la dette contractée envers elle, à savoir 20'176 fr. 45 et 9'823 fr. 55 le 22 novembre 2013, 4'481 fr. 20 et 25'518 fr. 80 le 16 décembre 2013, 10'000 fr. le 27 janvier 2014 et 11'000 fr. le 15 septembre 2015. Ce courrier mentionnait également que dès le mois d'août 2015, l'époux devait verser des mensualités de 3'000 fr., qui avaient été fixées en fonction des intérêts dus et des amortissements exigés. Ces mensualités n'avaient toutefois jamais été bonifiées, si bien qu'un délai au 11 mars 2016 avait été imparti à l'intéressé pour le paiement de celles dues pour les mois d'août 2015 à février 2016, à hauteur de 21'000 fr.
Il était par ailleurs établi que le frère de l'époux avait versé un montant de 16'000 fr., correspondant au remboursement des intérêts de la dette en cause. En revanche, l'époux n'avait déposé aucune pièce attestant d'un versement de sa part en remboursement de celle-ci et de ses intérêts depuis le 15 septembre 2015. Il n'avait pas non plus démontré être débiteur d'une dette envers son frère, étant rappelé que les pièces annexées à sa réponse du 26 juin 2017 étaient irrecevables. Dans ces circonstances, le Tribunal cantonal a considéré qu'il convenait de retenir que la charge mensuelle alléguée de 3'000 fr. n'était pas acquittée par l'époux de manière régulière. Contrairement à ce qu'il pensait, la question du remboursement effectif et régulier de la dette en question était pourtant déterminante. A cet égard, alléguer que cette dette serait effectivement remboursée s'il disposait d'un revenu hypothétique de 8'900 fr. était insuffisant. D'une part, il concédait ainsi lui-même ne pas s'acquitter régulièrement de cette charge. D'autre part, un revenu hypothétique lui avait été imputé pour l'inciter à réaliser le revenu qu'il est en mesure de se procurer et qu'on pouvait raisonnablement exiger de lui. Il restait libre de renoncer volontairement à l'obtention de ressources stables et de ne pas mettre pleinement à profit sa capacité contributive malgré la nouvelle situation familiale, mais cela ne devait toutefois pas se faire au détriment des contributions d'entretien dont il doit s'acquitter. Il convenait à cet égard de rappeler que la réalisation d'un revenu d'un certain niveau était nécessaire pour que les époux puissent faire face aux frais supplémentaires qu'engendre la séparation. En l'absence de preuve d'un remboursement régulier, la dette précitée devait être considérée comme une charge non réellement acquittée par l'époux. Elle ne pouvait ainsi être retenue dans ses dépenses régulières.
Donnant suite à une critique développée par l'époux dans sa détermination du 26 juin 2017, le Tribunal cantonal a en revanche estimé que la première juge ne pouvait à la fois majorer de 25% les coûts d'entretien des enfants, au vu des revenus des parties, et ne pas prendre en compte leur charge fiscale. Compte tenu de la situation financière théorique favorable des époux et conformément à la jurisprudence, leurs charges fiscales courantes prévisibles devaient être incluses dans leur minimum vital élargi.
4.2. Au vu de ce qui précède, force est de constater que l'argumentation du recourant est impropre à démontrer l'arbitraire de l'autorité cantonale. Reprendre pour l'essentiel la position déjà soutenue sans succès en appel (cf. détermination du 26 juin 2017 ch. 1c p. 2-3) sans discuter précisément les motifs ayant conduit au dispositif contesté ne saurait respecter les exigences accrues de motivation d'un recours soumis à l'art. 98 LTF (cf. supra consid. 2.1). Quant aux arguments avancés en sus dans le présent recours, ils ne sont pas non plus de nature à convaincre d'un quelconque arbitraire de la part du juge cantonal. S'agissant de la simple affirmation selon laquelle il conviendrait de traiter la mensualité litigieuse de 3'000 fr. de la même manière que les impôts qui ne seraient pas non plus payés, elle ne répond aucunement aux motifs - au demeurant en rien insoutenables - retenus par le juge précédent pour inclure les charges fiscales courantes prévisibles des époux dans leur minimum vital élargi. Nonobstant sa recevabilité à l'aune de l'art. 106 al. 2 LTF, la critique se heurte de toute façon au principe de la bonne foi procédurale. Il ressort en effet de l'arrêt déféré, respectivement de la détermination du 26 juin 2017, que le recourant a fait valoir en appel qu'il faudrait compter la charge fiscale " estimée " des époux dans l'hypothèse où l'annuité de 3'000 fr. due à la banque X._ ne serait pas entièrement prise en compte. Quant au montant de 16'000 fr. payé en 2016 par le frère du recourant, compte tenu de la jurisprudence correctement rappelée par le Tribunal cantonal (arrêt attaqué, consid. 5.2 p. 14-15), on ne saisit pas en quoi il serait arbitraire de retenir qu'il n'est pas apte à démontrer que la dette litigieuse est régulièrement et effectivement remboursée par le recourant. Autant que recevable, le grief doit être rejeté.
5.
Le recourant reproche au Tribunal cantonal d'avoir imputé un revenu hypothétique sur la base d'un taux d'activité de 80% pour lui et de 50% pour l'intimée à partir du moment où le deuxième enfant a atteint l'âge de dix ans révolus. Il considère qu'il n'y a aucune raison objective de retenir un taux d'activité différent pour le père et la mère. Chacun a la garde d'un enfant de plus de dix ans et supporte donc les mêmes charges. Le principe d'égalité devant la loi s'oppose ainsi à ce qu'il y ait une telle différence dans le taux d'activité exigible des parents. Le recourant relève en outre que l'analyse du Tribunal cantonal, qui se fonde sur le taux d'activité de l'intimée du temps de la vie commune pour justifier cette différence, est en contradiction avec le " dossier de la séparation ". Il en résulterait que l'intimée a réalisé un revenu de 84'453 fr. en 2006, 61'918 fr. en 2007 et de 96'220 fr. en 2008. A l'époque, elle avait un enfant de deux ans (2006), respectivement deux enfants en bas âge (2007 et 2008). Si elle pouvait dans ces conditions travailler quasiment à plein temps, on ne voyait pas pour quelle raison elle ne pourrait pas travailler à 80% avec un seul enfant de plus de dix ans. S'il admet ne pas avoir allégué le montant des revenus de l'intimée dans sa requête en modification des mesures protectrices, il rappelle avoir demandé l'édition du " dossier de la séparation ", de sorte que le " Tribunal " devait tenir compte des éléments qui s'y trouvaient pour apprécier le temps de travail admissible de l'intimée.
Une fois encore, le recourant se contente de reprendre son argumentation présentée en appel (cf. détermination du 26 juin 2017 ch. 2a p. 3), ce qui n'est pas admissible (cf. supra consid. 2.1). Y ajouter une appréciation purement appellatoire par référence aux revenus réalisés par l'épouse de 2006 à 2008 tels qu'ils ressortiraient du " dossier de la séparation " - et non de la décision attaquée (cf. supra consid. 2.2) - n'est à l'évidence pas un élément propre à fonder l'arbitraire de la décision cantonale. Le moyen est irrecevable.
6.
Le recourant soutient que la pension accordée à l'épouse lui permet d'avoir un train de vie supérieur à celui qu'elle avait durant la vie commune. Dépourvu de tout grief d'ordre constitutionnel et de surcroît purement appellatoire, ce grief est également irrecevable.
7.
Le recourant juge " critiquable " que le Tribunal cantonal ait réparti le coût des enfants en fonction du revenu hypothétique des époux et non de leur disponible. Là encore, le recourant n'invoque aucune disposition constitutionnelle à l'appui de sa critique, qui se révèle dès lors d'emblée irrecevable.
8.
Enfin, sans avoir recouru en son nom contre la décision querellée, l'avocat du recourant estime que le Tribunal cantonal a fait preuve d'arbitraire en fixant les honoraires d'avocat. On comprenait mal en vertu de quelles règles les honoraires réduits avaient été fixés à 1'000 fr. pour un avocat et à 600 fr. pour l'autre. Chaque avocat avait effectué le même travail, l'un pour présenter ses arguments, l'autre pour les contester. Le nombre de pages des écritures ne pouvait justifier l'écart des honoraires. " Par délicatesse vis-à-vis de son client qui pourrait être amené à rembourser l'indemnité d'avocat d'office ", il indique toutefois ne pas contester le montant de 600 fr. en cas de rejet des autres griefs soulevés dans le recours.
Vu le sort réservé aux griefs examinés ci-avant, force est de constater que le grief, pour autant que recevable, est privé d'objet.
9.
En définitive, le recours est rejeté dans la mesure de sa recevabilité. Les conclusions du recourant étant d'emblée dépourvues de chances de succès, sa requête d'assistance judiciaire doit être rejetée (art. 64 al. 1 LTF). Le recourant, qui succombe, supportera les frais judiciaires, arrêtés à 3'000 fr. (art. 66 al. 1 LTF). Il n'y a pas lieu d'allouer une indemnité de dépens à l'intimée, qui n'a pas été invitée à se déterminer (art. 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La requête d'assistance judiciaire du recourant est rejetée.
3.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et au Juge de la Cour civile II du Tribunal cantonal du canton du Valais.
Lausanne, le 5 février 2018
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : von Werdt
La Greffière : Hildbrand