Faits :
A.
A.a. A._ (1976) et B._ (1977) se sont mariés le 24 octobre 2003.
Deux enfants sont issus de leur union, à savoir C._ (2006) et D._ (2009).
Les parties se sont séparées le 1 er octobre 2011.
A.b. Une procédure de divorce a été ouverte le 11 décembre 2014 par B._. Elle a donné lieu à un jugement du 11 mai 2015 dans lequel le Tribunal des districts de Martigny et St-Maurice (VS) a notamment prononcé le divorce des parties et condamné A._ à verser, d'avance le premier de chaque mois et jusqu'au mois de septembre 2025 inclus, une contribution de 2'300 fr. à l'entretien de B._.
A.c. Depuis le jugement de divorce du 11 mai 2015, la situation matérielle de A._ a évolué. Fin mai 2015, il a dû changer d'emploi et travaille désormais comme conseiller à la clientèle auprès de la banque X._, à Y._.
A.d. Le 10 août 2016, A._ a déposé une requête de mesures provisionnelles à l'encontre de B._, concluant notamment à la suppression de la contribution d'entretien due à cette dernière.
A.e. Le 22 août 2016, A._ a déposé une demande en modification du jugement de divorce à l'encontre de B._.
A.f. Par ordonnance de mesures provisionnelles du 2 février 2017, la Présidente du Tribunal d'arrondissement de l'Est vaudois a rejeté la requête de mesures provisionnelles déposée le 10 août 2016 par A._ à l'encontre de B._ (ch. I du dispositif), a arrêté les frais judiciaires à 400 fr. à la charge de A._, tout en les laissant provisoirement à la charge de l'Etat (II), a dit que A._, bénéficiaire de l'assistance judiciaire, était, dans la mesure de l'<ref-law>, tenu au remboursement des frais judiciaires mis à la charge de l'Etat (III), a condamné A._ à payer à B._ la somme de 1'200 fr. à titre de dépens (IV) et a rejeté toutes autres ou plus amples conclusions (V).
B.
Statuant par arrêt du 23 mars 2017 sur l'appel formé par A._ contre cette ordonnance, la Cour d'appel civile du Tribunal cantonal du canton de Vaud (ci-après: Cour d'appel) l'a rejeté, a confirmé l'ordonnance querellée, a rejeté la requête d'assistance judiciaire de A._ et a mis les frais judiciaires de deuxième instance par 600 fr. à sa charge.
C.
Par acte du 27 avril 2017, A._ interjette un recours en matière civile au Tribunal fédéral contre cet arrêt. Il conclut principalement, d'une part, à ce que le bénéfice de l'assistance judiciaire lui soit accordé à compter du 28 mars 2017 et que Me Adrienne Favre lui soit désignée comme avocate d'office et, d'autre part, à l'annulation et à la réforme de l'arrêt attaqué en ce sens que la contribution d'entretien due en faveur de B._ est supprimée à compter du mois d'août 2016 et que cette dernière est condamnée à l'entier des frais de première et deuxième instances et à de pleins dépens. Subsidiairement, il conclut à l'annulation de l'arrêt attaqué et au renvoi de la cause à la Cour d'appel pour nouvelle instruction et décision dans le sens des considérants.
Des déterminations n'ont pas été requises.

Considérant en droit :
1.
1.1. Le recours a été déposé dans le délai légal (<ref-law>) à l'encontre d'une décision prise en matière civile (<ref-law>) par un tribunal supérieur statuant sur recours (art. 75 al. 1 et 2 LTF). Le recourant, qui a succombé devant le juge précédent et possède un intérêt digne de protection à la modification de la décision attaquée, a qualité pour recourir (<ref-law>).
1.2. Les mesures provisionnelles relatives à une procédure en modification (ou en complément) d'un jugement de divorce sont des décisions incidentes qui ne sont sujettes à recours immédiat que si elles peuvent causer un préjudice irréparable au sens de l'<ref-law> (arrêts 5A_923/2016 du 4 avril 2017 consid. 1.1; 5A_274/2016 du 26 août 2016 consid. 1.1; 5A_152/2016 du 11 août 2016 consid. 1.1; 5A_641/2015 du 3 mars 2016 consid. 2.1 et les références) ou si l'admission du recours peut conduire immédiatement à une décision finale qui permet d'éviter une procédure probatoire longue et coûteuse (<ref-law>). Cette qualification ne change pas lorsque - comme en l'espèce - les mesures requises sont refusées (arrêt 5A_579/2016 du 6 février 2017 consid. 1.2).
Il est manifeste que les conditions cumulatives posées à l'<ref-law> ne sont pas remplies en l'espèce, de sorte qu'il convient uniquement d'examiner si le recours est recevable au regard de l'<ref-law>.
1.3. Le préjudice irréparable au sens de l'<ref-law> doit être de nature juridique et ne pas pouvoir être entièrement réparé ultérieurement par une décision finale favorable au recourant; un dommage économique ou de pur fait n'est pas considéré comme un préjudice de cette nature (<ref-ruling> consid. 1.2 et les arrêts cités).
Il appartient au recourant d'alléguer et d'établir la possibilité que la décision incidente lui cause un tel dommage (<ref-ruling> consid. 1.2), à moins que celui-ci ne fasse d'emblée aucun doute (<ref-law>; <ref-ruling> consid. 1.2; <ref-ruling> consid. 1.2; <ref-ruling> consid. 1.3).
1.4. En l'espèce, seule la question de la contribution due à l'ex-épouse est encore litigieuse. Or, le fait d'être exposé à un simple préjudice financier est, par principe, dépourvu de pertinence au regard de l'<ref-law>. Au surplus, le recourant n'établit pas qu'il subirait un " dommage définitif " (<ref-ruling> consid. 2.1). Il ne fait en effet pas valoir que les éventuels montants perçus en trop par l'intimée si sa requête en modification du jugement de divorce devait être admise avec un effet rétroactif ne pourraient pas être ultérieurement recouvrés. Il soutient certes que son minimum vital serait atteint et qu'il vivrait actuellement à crédit, ce qui lui causerait un préjudice irréparable. Il calcule toutefois l'atteinte alléguée à son minimum vital en se fondant sur sa propre appréciation de ses revenus et charges, lesquels diffèrent de ceux retenus dans l'arrêt querellé. Ce faisant, il se réfère en outre à son minimum vital élargi et non au minimum vital tel qu'il ressort des lignes directrices en matière de droit des poursuites, lequel demeure largement couvert même en se fondant sur les chiffres qu'il allègue. Dans ces circonstances, force est d'admettre que le recourant n'est pas parvenu à démontrer que le rejet des mesures provisionnelles requises lui causerait un préjudice irréparable au sens de l'<ref-law>, ce qui conduit à l'irrecevabilité du recours.
1.5. Compte tenu de l'issue du recours, la requête du recourant tendant à ce que la production de tous les relevés bancaires et/ou postaux de l'intimée soit requise n'a plus de pertinence, dans la mesure où il alléguait uniquement que ces pièces étaient nécessaires pour démontrer que l'intimée s'enrichissait à son détriment mais ne faisait pas valoir qu'elles auraient pu avoir une incidence sur l'examen de la recevabilité du présent recours.
Par ailleurs, il convient de rappeler que le Tribunal fédéral conduit en principe son raisonnement juridique sur la base des faits établis par l'autorité précédente (<ref-law>) et que des mesures probatoires (<ref-law>) ne sont qu'exceptionnellement ordonnées dans une procédure de recours devant lui (<ref-ruling> consid. 2).
2.
En définitive, le recours doit être déclaré irrecevable faute de remplir les conditions de l'<ref-law>. Faute de chances de succès du recours et en l'absence de preuve de son indigence, la requête d'assistance judiciaire avec nomination d'un avocat d'office déposée par le recourant ne saurait être agréée (art. 64 al. 1 et 2 LTF). Les frais judiciaires, arrêtés à 1'500 fr., doivent par conséquent être mis à sa charge (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est irrecevable.
2.
La requête d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'500 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Juge déléguée de la Cour d'appel civile du Tribunal cantonal du canton de Vaud.
Lausanne, le 11 août 2017
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : von Werdt
La Greffière : Hildbrand