Faits :
A.
A._ (1984) et B._ (1995) se sont mariés en 2013 au Maroc. A cette époque, l'époux demeurait déjà en Suisse depuis une dizaine d'années. L'épouse avait quant à elle toujours vécu au Maroc, où elle était lycéenne. Ensuite du mariage, elle a interrompu sa scolarité pour rejoindre son conjoint et est arrivée en Suisse le 19 juillet 2014.
Aucun enfant n'est issu de leur union.
Du 31 mars 2015 au mois de juin 2015, l'épouse a séjourné dans un centre d'accueil.
B.
B.a. Le 10 juin 2015, l'épouse a déposé une requête de mesures protectrices de l'union conjugale.
B.b. Le 9 juillet 2016 [recte: 2015], l'époux a déposé une demande en annulation de mariage, subsidiairement en divorce.
Par ordonnance de mesures provisionnelles du 2 septembre 2015, le Président du Tribunal civil de l'arrondissement de l'Est vaudois (ci-après: le Président du Tribunal d'arrondissement) a attribué la jouissance de l'appartement conjugal à l'épouse, à charge pour elle d'en payer le loyer, a astreint l'époux à contribuer à l'entretien de l'épouse par le versement d'une pension mensuelle de 2'200 fr. à compter du 1 er juillet 2015 et a prononcé une interdiction de périmètre, estimant qu'il était établi par pièces que l'époux avait pu se montrer violent envers son épouse et qu'il avait importuné celle-ci après la séparation.
B.c. Par ordonnance du 13 avril 2016, le Président du Tribunal d'arrondissement a rejeté une requête de mesures provisionnelles de l'époux tendant à la réduction de la contribution d'entretien fixée par l'ordonnance du 2 septembre 2015.
B.d. Par ordonnance du 12 janvier 2017, le Président du Tribunal d'arrondissement a rejeté une nouvelle requête de mesures provisionnelles de l'époux, visant à la suppression de la pension en faveur de l'épouse à compter du 1 er novembre 2016.
Statuant sur appel de l'époux, la Juge déléguée de la Cour d'appel civile du Tribunal cantonal du canton de Vaud a, par arrêt du 4 mai 2017, confirmé l'ordonnance du premier juge.
C.
Par acte du 12 juin 2017, l'époux exerce un recours en matière civile au Tribunal fédéral. Il conclut principalement à la réforme de l'arrêt attaqué, en ce sens que la contribution d'entretien en faveur de l'épouse est supprimée à compter du 1 er novembre 2016 et que les frais judiciaires et les dépens de deuxième instance sont mis à la charge de celle-ci. Subsidiairement, il conclut au renvoi de la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants. Il requiert également le bénéfice de l'assistance judiciaire.
Des observations n'ont pas été requises.

Considérant en droit :
1.
Interjeté en temps utile (art. 45 al. 1 et 100 al. 1 LTF) et dans la forme légale (<ref-law>), le recours est dirigé contre une décision finale (<ref-law>; <ref-ruling> consid. 2.2) rendue par une autorité supérieure statuant sur recours en dernière instance cantonale (art. 75 al. 1 et 2 LTF), dans une affaire civile (<ref-law>) de nature pécuniaire, dont la valeur litigieuse dépasse 30'000 fr. (art. 51 al. 1 let. a, 51 al. 4 et 74 al. 1 let. b LTF). Le recourant a participé à la procédure devant l'autorité précédente et a un intérêt digne de protection à la modification ou l'annulation de la décision entreprise (art. 76 al. 1 let. a et b LTF). Le recours est donc en principe recevable.
2.
2.1. La décision attaquée porte sur des mesures provisionnelles au sens de l'<ref-law> (<ref-ruling> consid. 5.1), en sorte que le recourant ne peut se plaindre que de la violation de ses droits constitutionnels. Le Tribunal fédéral n'examine de tels griefs que s'ils ont été invoqués et motivés (" principe d'allégation "; <ref-law>), c'est-à-dire expressément soulevés et exposés de manière claire et détaillée (<ref-ruling> consid. 2.1; <ref-ruling> consid. 2.4). En particulier, une décision ne peut être qualifiée d'arbitraire (art. 9 Cst.) que si elle est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et indiscuté, ou heurte de manière choquante le sentiment de la justice et de l'équité; il ne suffit pas qu'une autre solution paraisse concevable, voire préférable; pour que cette décision soit annulée, encore faut-il qu'elle se révèle arbitraire non seulement dans ses motifs, mais aussi dans son résultat (<ref-ruling> consid. 4.3; <ref-ruling> consid. 4.1 et les références). Les critiques de nature appellatoire sont irrecevables (ATF <ref-ruling> consid. 2.4).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Dans l'hypothèse d'un recours soumis à l'<ref-law>, le recourant qui entend invoquer que les faits ont été établis de façon manifestement inexacte ne peut obtenir la rectification ou le complètement des constatations de fait que s'il démontre la violation de droits constitutionnels, conformément au principe d'allégation susmentionné (cf. supra consid. 2.1). Une critique des faits qui ne satisfait pas à cette exigence est irrecevable (<ref-law>; <ref-ruling> consid. 1.3.1; <ref-ruling> consid. 2.3 et les références).
3.
La cour cantonale a retenu que l'époux n'avait produit ou requis aucune pièce dans le cadre de la procédure de mesures provisionnelles qui serait propre à établir la formation professionnelle de l'épouse, ses qualifications professionnelles, sa maîtrise écrite et orale de la langue française, des rentrées d'argent d'un quelconque revenu autre que la pension en sa faveur ou son pécule de préapprentissage. En l'occurrence, l'intimée, de langue maternelle arabe, avait quitté le Maroc à 19 ans pour rejoindre son mari qui travaillait en Suisse. Ce faisant, elle avait interrompu la scolarité qu'elle suivait en vue de l'obtention d'un baccalauréat. Bien qu'elle soit en mesure de travailler à plein temps compte tenu de son âge et de son état de santé, et qu'elle y soit autorisée, la production en première instance de nombreuses pièces attestant de ses recherches d'emploi infructueuses dès la séparation des parties suffisait à établir l'impossibilité dans laquelle elle s'était trouvée d'obtenir un emploi à plein temps. Dans ces circonstances, on ne pouvait lui reprocher d'avoir débuté une formation qui lui garantirait, à son échéance, une indépendance économique, pas plus qu'on ne pouvait, en l'état, lui imputer un revenu hypothétique pour un travail à temps complet ou davantage rémunéré que son salaire actuel de préapprentissage.
Après paiement par le recourant de ses charges incompressibles totalisant 3'083 fr. 25, le disponible de celui-ci s'élevait à 3'083 fr. 25 [recte: 2'336 fr. 75]. L'ordonnance du premier juge pouvait ainsi être confirmée, le versement de la pension querellée de 2'200 fr. n'entamant pas le minimum vital du débirentier.
4.
Le recourant reproche à la juridiction précédente d'avoir arbitrairement appliqué les art. 125 et 163 CC et " anticipé sur le procès au fond "en tant qu'elle a retenu que l'intimée, de langue maternelle arabe, avait interrompu sa scolarité et quitté le Maroc pour venir rejoindre son mari en Suisse.
4.1. Pour fixer la contribution d'entretien selon l'<ref-law>, le juge doit partir de la convention conclue pour la vie commune. Il doit ensuite prendre en considération qu'en cas de suspension de cette communauté, le but de l'<ref-law>, à savoir l'entretien convenable de la famille, impose à chacun des époux de participer, selon ses facultés, aux frais supplémentaires qu'engendre la vie séparée, notamment par la reprise ou l'augmentation de son activité lucrative. Ainsi, le juge doit examiner si, et dans quelle mesure, au vu de ces faits nouveaux, on peut attendre de l'époux désormais déchargé de son obligation de tenir le ménage antérieur en raison de la suspension de la vie commune, qu'il investisse d'une autre manière sa force de travail ainsi libérée et reprenne ou étende son activité lucrative, eu égard notamment à sa formation, à son âge et à son état de santé. Le juge peut donc devoir modifier la convention conclue pour la vie commune pour l'adapter à ces faits nouveaux. En revanche, le juge des mesures provisionnelles ne doit pas trancher, même sous l'angle de la vraisemblance, les questions de fond, objet du procès en divorce, en particulier celle de savoir si le mariage a influencé concrètement la situation financière du conjoint (<ref-ruling> consid. 3.1 précisant l'<ref-ruling>; arrêt 5A_651/2011 du 26 avril 2012 consid. 6.1.3.2 non publié in <ref-ruling>).
4.2. En l'espèce, la cour cantonale n'a nullement retenu que le mariage avait concrètement influencé la situation financière de l'épouse et tranché ainsi une question de fond ressortissant à la procédure de divorce. En effet, le critère du déracinement linguistique et culturel de l'épouse n'a, en l'occurrence, été examiné par la juridiction précédente qu'en lien avec la question de l'imputation d'un éventuel revenu hypothétique à l'intimée (cf. supra consid. 3 et infra consid. 7.3; arrêt 5A_876/2016 du 19 juin 2017 consid. 4.2).
Le recourant se plaint également de ce que la cour cantonale aurait, " de manière totalement inadmissible ", tenu pour établis des éléments qui ne le seraient pas, notamment le fait que la venue de l'intimée en Suisse n'aurait pas émané d'une volonté commune des parties et que l'épouse aurait été contrainte d'interrompre sa scolarité pour suivre son époux. Pour autant qu'il entende ainsi soulever le grief d'arbitraire dans l'établissement des faits et l'appréciation des preuves, le recourant ne remplit manifestement pas les exigences de motivation susmentionnées, de sorte que sa critique est d'emblée irrecevable (cf. supra consid. 2.2).
5.
Le recourant reproche par ailleurs à la juridiction précédente d'avoir arbitrairement appliqué l'<ref-law>. Indépendamment de la pertinence de cette disposition en l'espèce, la critique de l'époux ne remplit pas les exigences de motivation de l'<ref-law> (cf. supra consid. 2.1), partant est irrecevable, en tant qu'elle porte, dans ce contexte, sur un devoir d'interpellation du juge. Pour le surplus, le grief se confond avec celui de l'arbitraire dans l'établissement des faits et l'appréciation des preuves, qui sera examiné ci-après (cf. infra consid. 7).
6.
Le recourant fait également valoir que la cour cantonale aurait violé la présomption d'innocence et arbitrairement établi les faits en retenant qu'il avait envoyé des centaines de messages insultants et rabaissants à l'intimée. Autant que recevable - ce qui apparaît d'emblée douteux (cf. supra consid. 2.2) -, le grief est infondé, les faits litigieux n'apparaissant pas déterminants dans la présente procédure, qui porte uniquement sur la contribution d'entretien en faveur de l'épouse.
7.
L'époux reproche enfin à la juridiction précédente d'avoir arbitrairement établi les faits et appliqué les art. 125 et 163 CC en lien avec la prise en compte des revenus - effectif et hypothétique - de l'intimée.
7.1. Pour fixer la contribution d'entretien, le juge doit en principe tenir compte du revenu effectif des parties, tant le débiteur d'entretien que le créancier pouvant néanmoins se voir imputer un revenu hypothétique supérieur. Il s'agit ainsi d'inciter la personne à réaliser le revenu qu'elle est en mesure de se procurer et qu'on peut raisonnablement exiger d'elle afin de remplir ses obligations (<ref-ruling> consid. 4.2.2.2; <ref-ruling> consid. 4a).
Le juge doit ainsi examiner successivement deux conditions. Il doit d'abord déterminer si l'on peut raisonnablement exiger d'une personne qu'elle exerce une activité lucrative ou augmente celle-ci, eu égard, notamment, à sa formation, à son âge et à son état de santé; il s'agit d'une question de droit. Le juge doit ensuite établir si la personne a la possibilité effective d'exercer l'activité ainsi déterminée et quel revenu elle peut en obtenir, compte tenu des circonstances subjectives susmentionnées, ainsi que du marché du travail; il s'agit là d'une question de fait (<ref-ruling> consid. 4.2.2.2; <ref-ruling> consid. 4c/bb).
7.2.
7.2.1. S'agissant du revenu effectif de l'intimée, la cour cantonale aurait, selon le recourant, versé dans l'arbitraire en retenant qu'il n'était pas établi que l'épouse bénéficiait de rentrées d'argent en sus de la contribution d'entretien en sa faveur et de son salaire de préapprentie. On ne pourrait attendre de l'époux qu'il chiffre exactement les montants concernés, dès lors que l'intimée ne verse certainement pas ceux-ci sur un compte bancaire connu des parties et des tribunaux. Le recourant serait néanmoins parvenu à démontrer, au moyen des relevés bancaires de l'épouse, que celle-ci ne s'acquittait pas d'une partie de ses charges fixes par le biais de ce compte. Il serait en effet " pour le moins curieux " que certains de ses relevés ne fassent pas état du paiement de frais fixes, tels que le loyer, les frais de téléphone ou de transport et qu'ils indiquent toujours un solde positif en fin de mois, malgré des dépenses de loisirs non négligeables et alors que la contribution d'entretien ne couvrirait théoriquement que le minimum vital de l'intimée. Ces documents auraient d'ailleurs conduit le premier juge à demander à celle-ci, lors de l'audience du 20 décembre 2016, si elle ne devait pas admettre qu'elle bénéficiait de l'aide de son entourage. La pièce 11 produite lors de cette audience - traduite " tant bien que ma l " à cette occasion par un interprète - indiquerait en outre que le père de l'intimée " aidera financièrement celle-ci dans le cadre des procédures q ui l'opposeront au recourant ".
7.2.2. En l'occurrence, dans la mesure où il se réfère aux relevés bancaires de l'intimée, le recourant se contente de présenter, de manière appellatoire, sa propre lecture de ces documents, en particulier lorsqu'il indique que " certains de ces relevés " ne feraient pas état du paiement de charges fixes, sans se référer à des passages précis de ces pièces ni démontrer que lesdites charges n'ont pas pu être acquittées au moyen des espèces retirées par l'épouse, ou lorsqu'il mentionne - sans les énumérer ni les chiffrer - que l'intimée aurait des " dépenses de loisirs non négligeables ". En tant qu'il fait valoir que le premier juge aurait, lors d'une audience, questionné l'épouse sur une éventuelle aide financière provenant de son entourage, le recourant se fonde sur un fait qui n'est nullement constaté dans la décision querellée (<ref-ruling> consid. 1.3.1), sans faire grief à la cour cantonale de l'avoir arbitrairement écarté (cf. supra consid. 2.2). Enfin, dans la mesure où il se prévaut de la pièce 11 du bordereau du 20 décembre 2016, l'époux se borne à critiquer la traduction qui a été faite de ce document lors de l'audience tenue devant le premier juge, sans toutefois en reproduire ou en discuter précisément la teneur, et se contente pour le surplus de proposer sa propre interprétation de cette pièce (cf. supra consid. 2.2).
Au vu de ce qui précède, le grief est irrecevable, faute de remplir les exigences de motivation de l'<ref-law> (cf. supra consid. 2.2).
7.3.
7.3.1. Le recourant reproche également à la cour cantonale d'avoir arbitrairement refusé d'imputer un revenu hypothétique à l'intimée. Il se plaint en premier lieu de ce que l'autorité précédente aurait retenu de manière insoutenable qu'il n'avait produit aucune pièce attestant du niveau de français de l'épouse. Selon lui, les pièces 104 et 105 du bordereau produit par l'intimée le 23 février 2016 démonteraient que, depuis son arrivée en Suisse, celle-ci a suivi plusieurs cours de langue, de sorte que son niveau est bon, ce que sa professeure de français aurait par ailleurs confirmé (Pièce 32 du bordereau produit par le recourant le 8 avril 2016). En outre, une année après son arrivée, l'intimée travaillait déjà comme serveuse, activité " qui nécessite bien évidemment une maîtrise suffisamment avancée de la langue française pour pouvoir prendre les commandes, servir les clients, discuter avec ses collègues et supérieurs ". L'épouse aurait en outre publié une annonce le 25 novembre 2015 sur un site internet (Pièce 1 du bordereau du recourant du 18 décembre 2015), indiquant qu'elle désirait augmenter son taux de travail en tant que maman de jour et qu'elle maîtrisait le français. L'intimée aurait enfin été incapable de trouver une place de préapprentissage si elle n'avait pas parfaitement bien parlé cette langue.
Le recourant reproche en second lieu à la juridiction précédente d'avoir arbitrairement estimé que l'intimée avait fourni tous les efforts que l'on pouvait attendre d'elle pour trouver un emploi rémunéré et subvenir seule à son entretien. Il serait en effet établi que celle-ci n'avait envoyé que quatre candidatures en décembre 2015, six en janvier 2016 et trois en février 2016 (Pièce 107 du bordereau produit par l'intimée le 23 février 2016). Plus de la moitié de ses postulations concernerait des places d'apprentissage, le reste portant sur des postes non adaptés à son profil (" poste de collaboratrice dans des sociétés "; Pièce 106 du bordereau produit par l'intimée le 15 décembre 2016), nécessitant une formation en sus d'une excellente maîtrise du français, de sorte que " soit l'intimée [...] ment sur ses qualifications professionnelles et sur sa maîtrise de la langue française, soit elle postule à des postes où elle sait d'avance qu'elle ne sera pas prise pour pouvoir ensuite jouer en procédure des refus essuyés ". La pièce 106 susmentionnée démontrerait également que l'épouse n'aurait postulé qu'à de rares occasions pour des postes rémunérés non qualifiés, tels que femme de chambre, cuisinière, serveuse, vendeuse, femme de ménage, équipière, concierge, opératrice de production. Par ailleurs, l'intimée aurait démontré par le passé qu'elle pouvait travailler et avoir un meilleur salaire. Il ne serait dès lors pas crédible de retenir que celle-ci n'est plus en mesure aujourd'hui de trouver un emploi rémunéré qui lui permette de subvenir seule à son entretien, alors que sa maîtrise du français n'a pu évoluer que favorablement. La décision de la juridiction précédente de ne pas imputer de revenu hypothétique à l'intimée apparaîtrait également arbitraire au regard de l'arrêt 5A_243/2013 du 24 juin [recte: juillet] 2013, qui présenterait de nombreuses similitudes avec la présente cause.
7.3.2. En l'occurrence, bien qu'il soutienne que son épouse pourrait trouver un poste rémunéré non qualifié, le recourant ne chiffre pas le revenu qu'elle pourrait effectivement en tirer, de sorte que la recevabilité de sa critique est d'emblée douteuse au regard des exigences de motivation requises (cf. supra consid. 2.2). Par ailleurs, en tant qu'il soutient que l'intimée n'aurait pas mis suffisamment d'efforts dans la recherche d'un poste adapté à son profil, le recourant se contente de proposer sa propre lecture des pièces du dossier et de substituer son appréciation à celle de la cour cantonale, qui a retenu que l'épouse avait effectué de nombreuses recherches de travail dans des domaines variés dès la séparation des parties. Enfin, s'agissant de la maîtrise du français par l'intimée, la cour cantonale s'est certes limitée à constater que le recourant n'avait ni produit ni requis de pièce propre à établir cet élément; elle ne s'est, de ce fait, pas prononcée sur les pièces auxquelles le recourant se référait dans son mémoire d'appel, ce qui pourrait être sujet à caution. Cela étant, au vu des circonstances de l'espèce, en particulier du déracinement culturel et linguistique de l'épouse et de ses nombreuses recherches d'emploi infructueuses, la décision de la juridiction précédente de ne pas imputer, au stade des mesures provisionnelles, de revenu hypothétique à l'intimée - qui a débuté une formation qui lui garantira à son échéance son indépendance financière - n'apparaît quoi qu'il en soit pas arbitraire. Le fait que l'épouse ait travaillé précédemment comme serveuse n'est, en l'espèce et à lui seul, pas propre à remettre en cause cette conclusion, l'employeur ayant mis un terme à cette relation de travail après trois mois seulement. Il en va de même de l'arrêt 5A_243/2013 du 24 juillet 2013 - auquel se réfère le recourant -, dès lors que son état de fait diffère de la présente cause, l'épouse ayant notamment exercé, dans ce cas, une activité lucrative en Suisse avant le mariage.
Au vu de ces éléments, le grief doit être rejeté dans la mesure de sa recevabilité.
8.
En conclusion, le recours est rejeté dans la mesure où il est recevable. La requête d'assistance judiciaire du recourant est également rejetée, ses conclusions étant d'emblée dénuées de chances de succès (<ref-law>). Il n'est pas alloué de dépens à l'intimée, qui n'a pas été invitée à se déterminer (art. 68 al. 1 et 2 LTF). Au vu du sort de la cause, il n'y a pas lieu de modifier la répartition des frais et dépens de deuxième instance cantonale (art. 67 et 68 al. 5 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La requête d'assistance judiciaire du recourant est rejetée.
3.
Les frais judiciaires, arrêtés à 2'500 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Juge déléguée de la Cour d'appel civile du Tribunal cantonal du canton de Vaud.
Lausanne, le 25 juillet 2017
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : von Werdt
La Greffière : Feinberg