Faits:
A. A.a Dame A._, née en 1977, et A._, né en 1960, se sont mariés à Hydra (Algérie) le 13 juillet 2010.
Aucun enfant n'est issu de cette union.
Le 28 juillet 2010, A._, titulaire d'un permis C, est rentré seul en Suisse, où son épouse l'a rejoint le 8 novembre 2010.
L'épouse a quitté le domicile conjugal le 16 juillet 2011.
A.b Dame A._ est au bénéfice d'une formation d'esthéticienne reconnue en Suisse. Depuis le 2 août 2011, elle travaille à 50% dans une société active dans le domaine de la santé, de la beauté et du bien-être. Elle réalise à ce titre un revenu mensuel net de l'ordre de 1'500 fr. Ses charges incompressibles, partiellement contestées par son époux, ont été arrêtées à 2'644 fr. par mois.
A._ a une formation commerciale. Employé par une société à S._, il réalise à ce titre un revenu mensuel net moyen de 4'750 fr. versé douze fois l'an, auquel s'ajoutent des indemnités de 1'500 fr. qu'il perçoit dix fois par année en qualité d'entraîneur de X._. Son revenu mensuel total moyen calculé sur douze mois s'élève par conséquent à 6'000 fr. Ses charges mensuelles ont été arrêtées à 4'390 fr.
B. B.a Les époux ont chacun déposé une requête de mesures protectrices de l'union conjugale par-devant le Tribunal d'arrondissement de l'Est vaudois, respectivement les 8 et 16 août 2011.
B.b Par demande du 5 octobre 2011, A._ a déposé une demande concluant principalement à l'annulation du mariage, subsidiairement au divorce, transformant ainsi la procédure de mesures protectrices de l'union conjugale en procédure de mesures provisionnelles.
Lors de l'audience de mesures provisionnelles du même jour, dame A._ a conclu reconventionnellement à ce que son époux contribue à son entretien par le versement d'une pension mensuelle de 2'000 fr., d'avance le premier de chaque mois, à compter du 1er août 2011. Elle a également produit six pièces attestant de recherches d'emploi infructueuses entre le 28 janvier et le 2 août 2011.
Durant cette audience, les époux ont signé une convention par laquelle ils ont notamment convenu de vivre séparés pour une durée indéterminée, étant précisé que la séparation remontait au 17 juillet 2011 et attribué la jouissance du domicile conjugal au mari.
Par ordonnance de mesures provisionnelles du 3 novembre 2011, la Présidente du Tribunal civil d'arrondissement de l'Est vaudois a rappelé la convention intervenue à l'audience du 5 octobre 2011, déjà ratifiée pour valoir ordonnance partielle de mesures provisionnelles; elle a en outre rejeté les conclusions reconventionnelles prises par l'épouse lors de cette audience et tendant essentiellement à ce que son mari soit condamné à contribuer à son entretien.
B.c Statuant le 30 janvier 2012 sur l'appel interjeté le 16 novembre 2011 par dame A._, le Juge délégué de la Cour d'appel civile du Tribunal cantonal du canton de Vaud (ci-après Juge délégué) a notamment condamné A._ à contribuer à l'entretien de son épouse à concurrence de 380 fr. par mois, dès le 1er septembre 2011.
C. Par acte du 19 mars 2012, A._ exerce un recours en matière civile au Tribunal fédéral. Il conclut principalement à ce que l'arrêt du Juge délégué soit réformé en ce sens qu'il n'est pas tenu de contribuer à l'entretien de son épouse; subsidiairement, il demande que dit arrêt soit réformé en ce sens qu'il contribuera mensuellement à l'entretien de celle-ci par le versement d'un montant de 250 fr. à compter du 1er septembre 2011 et, très subsidiairement, à ce que l'arrêt cantonal soit annulé et la cause renvoyée à l'autorité cantonale pour nouvelle décision dans le sens des considérants. A l'appui de ses conclusions, le recourant invoque l'appréciation arbitraire des preuves et une application arbitraire des art. 125 et 163 CC et de la jurisprudence régissant la question de la contribution d'entretien dans le cadre de mesures provisionnelles avant divorce. Le recourant sollicite en outre l'octroi de l'assistance judiciaire.

Considérant en droit:
1. Le recours est dirigé contre une décision finale (<ref-law>; <ref-ruling> consid. 2.2), rendue en matière civile (<ref-law>), par le Juge délégué de la Cour d'appel civile du Tribunal cantonal du canton de Vaud, autorité de dernière instance cantonale statuant sur recours (<ref-law>), dans une cause de nature pécuniaire dont la valeur litigieuse est supérieure à 30'000 fr. (art. 51 al. 1 let. a et al. 4, art. 74 al. 1 let. b LTF). Il a en outre été interjeté en temps utile (art. 100 al. 1 et 46 al. 2 LTF), par la partie qui a succombé dans ses conclusions prises devant l'autorité précédente (<ref-law>), de sorte qu'il est en principe recevable.
2. Dès lors que la décision attaquée porte sur des mesures provisionnelles (<ref-ruling> consid. 5.1 in fine p. 397), seule peut être dénoncée la violation de droits constitutionnels (<ref-law>). Le Tribunal fédéral n'examine un tel grief que s'il a été dûment invoqué et motivé (<ref-law>), à savoir exposé de manière claire et détaillée (<ref-ruling> consid. 3.2 p. 88 et les arrêts cités). Lorsque le recourant se plaint d'arbitraire (art. 9 Cst.), il ne peut se borner à critiquer la décision attaquée comme il le ferait en instance d'appel, où l'autorité de recours jouit d'une libre cognition; il ne saurait en particulier se contenter d'opposer sa thèse à celle de la juridiction précédente, mais doit démontrer, par une argumentation précise, que cette décision se fonde sur une application du droit ou une appréciation des preuves manifestement insoutenables (<ref-ruling> et les arrêts cités). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 2).
3. En l'espèce, l'autorité cantonale a considéré qu'il n'y avait pas lieu d'examiner, dans le cadre de mesures provisionnelles, la question de savoir si le mariage avait concrètement influencé la situation financière du conjoint, dans la mesure où le juge des mesures provisionnelles ne doit pas préjuger des questions de fond, objet du procès en divorce. Elle a de ce fait estimé qu'il y avait lieu d'entrer en matière sur l'octroi d'une contribution à l'entretien de l'épouse dans son principe, et ce peu importe la durée du mariage et l'éventuel déracinement culturel qu'elle a subi. La juridiction cantonale a ensuite constaté que l'épouse, qui a pris une activité salariée d'esthéticienne à un taux de 50% depuis le 2 août 2011, serait en mesure de travailler à temps complet, compte tenu de son âge, de son état de santé, de sa formation professionnelle, ainsi que de sa maîtrise de la langue française. Elle lui a par conséquent imputé un revenu hypothétique mensuel net de 3'500 fr., montant correspondant, selon l'enquête suisse sur la structure des salaires de l'Office fédéral de la statistique (Annuaire statistique de la Suisse 2010), au salaire moyen d'une esthéticienne active à plein temps. Ainsi, compte tenu des revenus des conjoints qu'elle a jugé moyens, la cour d'appel a fixé la contribution d'entretien mensuelle due par le recourant à son épouse à 380 fr. par mois dès le 1er septembre 2011 en se fondant sur la méthode du minimum vital élargi avec répartition de l'excédent.
4. Le recourant reproche en premier lieu à l'autorité cantonale d'avoir appliqué arbitrairement les art. 125 et 163 CC.
4.1 Le recourant soutient que, si l'<ref-law> demeure certes le fondement de l'obligation d'entretien entre époux dans le cadre des mesures protectrices de l'union conjugale et des mesures provisionnelles, le but poursuivi dans le cadre de ces dernières est toutefois différent et que l'indépendance économique des époux prend plus d'importance dans cette hypothèse dès lors que la reprise de la vie commune ne peut plus réellement être escomptée. Il estime de ce fait que l'autorité cantonale aurait dû retenir les principes cités de manière non exhaustive à l'<ref-law> pour déterminer le droit de l'intimée à une contribution d'entretien et que la situation aurait par conséquent dû être examinée à la lumière du principe dit du clean break, c'est-à-dire en encourageant autant que possible l'indépendance économique des conjoints. Le recourant allègue ensuite que, si la juridiction avait appliqué correctement l'<ref-law>, elle aurait constaté qu'aucune contribution n'était due à l'intimée dans la mesure où cette dernière pouvait subvenir seule à son entretien, compte tenu du fait qu'elle disposait même d'un disponible de 856 fr. selon les chiffres retenus par l'autorité cantonale, qu'il juge toutefois erronés (cf. consid. 5 ci-dessous).
4.2 D'après l'<ref-law> applicable par analogie aux mesures provisoires (art. 276 al. 1 2ème phrase CPC), le juge fixe la contribution pécuniaire à verser par l'une des parties à l'autre. Le juge doit partir de la convention, expresse ou tacite, que les époux ont conclue au sujet de la répartition des tâches et des ressources entre eux (<ref-law>), l'<ref-law> demeurant en effet la cause de l'obligation d'entretien réciproque des époux (<ref-ruling> consid. 3.2). Le juge doit ensuite prendre en considération qu'en cas de suspension de la vie commune (art. 175 s. CC), le but de l'<ref-law>, soit l'entretien convenable de la famille, impose à chacun des époux le devoir de participer, selon ses facultés, notamment par la reprise ou l'augmentation de son activité lucrative, aux frais supplémentaires qu'engendre la vie séparée. Si la situation financière des époux le permet encore, le standard de vie antérieur, choisi d'un commun accord, doit être maintenu pour les deux parties. Quand il n'est pas possible de conserver ce niveau de vie, les époux ont droit à un train de vie semblable (<ref-ruling> consid. 4b/aa; arrêt 5A_710/2009 consid. 4.1 non publié aux <ref-ruling>). Le juge peut donc devoir modifier la convention conclue pour la vie commune, pour l'adapter à ces faits nouveaux. En revanche, le juge des mesures provisionnelles ne doit pas trancher, même sous l'angle de la vraisemblance, les questions de fond, objet du procès en divorce, en particulier celle de savoir si le mariage a influencé concrètement la situation financière du conjoint (<ref-ruling> consid. 3, précisant l'<ref-ruling>). C'est dans ce sens qu'il y a lieu de comprendre la jurisprudence consacrée dans l'<ref-ruling>, qui admet que le juge doit prendre en considération, dans le cadre de l'<ref-law>, les critères applicables à l'entretien après le divorce (<ref-law>) pour statuer sur la contribution d'entretien et, en particulier, sur la question de la reprise ou de l'augmentation de l'activité lucrative d'un époux (cf. aussi, arrêt 5A_122/2011 du 9 juin 2011 consid. 4). Ainsi, le juge doit examiner si, et dans quelle mesure, au vu de ces faits nouveaux, on peut attendre de l'époux désormais déchargé de son obligation de tenir le ménage antérieur, en raison de la suspension de la vie commune, qu'il investisse d'une autre manière sa force de travail ainsi libérée et reprenne ou étende son activité lucrative. En effet, dans une telle situation, la reprise de la vie commune, et donc le maintien de la répartition antérieure des tâches, ne sont ni recherchés ni vraisemblables; le but de l'indépendance financière des époux, notamment de celui qui jusqu'ici n'exerçait pas d'activité lucrative, ou seulement à temps partiel, gagne en importance (<ref-ruling> consid. 3.1).
4.3 En l'espèce, c'est à juste titre que l'autorité cantonale a considéré qu'il ne lui appartenait pas d'examiner les questions de fond qui seront l'objet du procès en divorce et notamment celle de savoir dans quelle mesure le mariage a concrètement influencé la situation financière des époux et de l'intimée en particulier. Le recourant semble pour sa part s'être mépris quant au sens à donner à la jurisprudence du Tribunal de céans. En effet, lorsque la jurisprudence susmentionnée précise qu'il faut tenir compte, dans le cadre de l'<ref-law>, des critères applicables à l'entretien après le divorce pour statuer sur la contribution d'entretien, il ne s'agit pas d'appliquer en tant que tels les critères de l'<ref-law> dans le cadre de la procédure de mesures provisionnelles, mais bien d'examiner, lorsque la reprise de la vie commune n'est plus envisageable, dans quelle mesure on peut exiger du conjoint désormais déchargé de la tenue du ménage qu'il mette à profit son temps disponible pour prendre une activité lucrative ou augmenter son temps de travail de la même manière qu'on aurait pu l'exiger de lui dans le cadre de la procédure au fond. En l'occurrence, c'est ce qu'a fait l'instance précédente en imputant à l'intimée un revenu hypothétique mensuel de 3'500 fr. Cette exigence repose toutefois précisément sur l'<ref-law> et non sur l'<ref-law>, dès lors qu'il s'agit pour l'épouse de participer ainsi, selon ses facultés, à l'augmentation des charges inhérentes à la tenue de deux ménages distincts et par là même de contribuer à l'entretien convenable de la famille. Contrairement à ce que prétend le recourant, le principe du clean break ne joue par conséquent aucun rôle dans le cadre des mesures provisionnelles et son grief doit être rejeté. De même, à lui seul, le fait que l'épouse dispose d'un disponible après couverture de son minimum vital n'est pas décisif non plus (cf. infra consid. 6).
5. De manière subsidiaire et pour autant qu'une contribution d'entretien soit allouée à l'intimée, le recourant reproche à l'autorité cantonale d'avoir établi certains faits et retenu dans les charges de l'intimée différents montants en procédant à une appréciation arbitraire des preuves.
5.1 Le recourant conteste en premier lieu le fait retenu par l'autorité cantonale que son épouse gérait une boutique à l'aéroport d'Alger.
Dans la mesure où le fait pour l'intimée d'avoir exercé une activité lucrative à Alger avant de rejoindre son époux en Suisse n'a pas la moindre incidence sur le calcul du revenu qu'elle est en mesure de réaliser actuellement, ce grief est irrecevable.
5.2 Le recourant reproche dans un deuxième temps à l'instance précédente d'avoir retenu arbitrairement dans les charges de l'intimée un montant de 194 fr. au titre de frais de transport. Il estime non seulement que l'intimée n'a jamais prouvé l'existence de tels frais puisqu'aucune pièce au dossier n'en atteste, mais également que ces frais sont improbables, dans la mesure où le lieu de travail de l'intimée se situerait à dix minutes à pied de son domicile.
Par cette critique, le recourant se contente de substituer sa propre version des faits à celle de l'autorité cantonale, laquelle a précisément retenu que l'intimée était tenue de se déplacer à Lausanne, Crans-Montana et Genève pour les besoins de son activité professionnelle. Le recourant ne s'en prend ainsi nullement à la motivation cantonale et son grief est par conséquent irrecevable.
5.3 Le recourant critique ensuite le montant de 50 fr. retenu dans les charges de l'intimée au titre de cotisation d'assurance-maladie. Il soutient que, compte tenu de ses revenus et de sa charge locative, tout prêterait à croire que l'intimée pourrait bénéficier d'un subside cantonal et qu'il serait par conséquent très peu probable qu'elle doive réellement s'acquitter d'une telle charge. Il soutient au surplus qu'il serait arbitraire de tenir compte d'une charge dont l'intimée n'aurait pas démontré l'existence.
Une fois encore, le recourant oppose sa propre version des faits à celle retenue par l'instance cantonale, sans pour autant démontrer en quoi celle-ci serait arbitraire. Quoiqu'il en soit, vu le revenu de 3'500 fr. imputé à l'intimée, on ne saurait considérer un montant de 50 fr. retenu au titre de cotisation mensuelle de l'assurance-maladie comme arbitraire, fût-il hypothétique.
6. Finalement, dans la mesure où le recourant ne soutient pas que la contribution d'entretien de 380 fr. due à son épouse, ajoutée au revenu hypothétique de 3'500 fr. retenu pour cette dernière, lui offrirait un train de vie supérieur à celui que les époux menaient durant la vie commune, lequel ne résulte de surcroît pas des constatations de fait cantonales, il n'y a pas lieu d'examiner cette question (<ref-law>; consid. 2 supra).
7. En définitive, le recours est rejeté dans la mesure de sa recevabilité. Au vu des considérants qui précèdent, les conclusions du recourant doivent être considérées comme vouées d'emblée à l'échec et ne remplissent par conséquent pas les conditions matérielles d'octroi de l'assistance judiciaire (<ref-law>). La requête d'assistance judiciaire du recourant doit par conséquent être rejetée et les frais judiciaires, arrêtés à 1'000 fr., mis à sa charge (<ref-law>). Il n'y a pas lieu d'allouer de dépens à l'intimée, une réponse n'ayant pas été requise (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté, dans la mesure où il est recevable.
2. La requête d'assistance judiciaire du recourant est rejetée.
3. Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Juge délégué de la Cour d'appel civile.
Lausanne, le 11 juin 2012
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Hohl
La Greffière: Hildbrand