Faits :
A.
A.a. B._ (1988), de nationalité suisse, et A._ (1986), de nationalité péruvienne, se sont rencontrés au Pérou à la fin du printemps 2017. Ils se sont mariés le 20 juin 2018 à U._ (Pérou).
Le mari a rejoint son épouse en Suisse en décembre 2018. Il a obtenu un permis de séjour en janvier 2019.
Les époux vivent séparés depuis le 24 avril 2019.
B.
B.a. Le 27 juin 2019, l'épouse a déposé une action en annulation pour " mariage de complaisance à son insu " datée du 21 juin 2019. Par acte séparé, elle a déposé le même jour une requête de mesures provisionnelles et superprovisionnelles datée du 25 juin 2019. Lors de l'audience de conciliation du 22 juillet 2019, l'épouse a notamment précisé que la conclusion de sa demande au fond tendant à ce qu'aucune contribution d'entretien ne soit due entre époux était également prise à titre provisionnel.
Par procédé écrit du 9 octobre 2019, le mari a conclu à ce que la requête de mesures provisionnelles et superprovisionnelles du 25 juin 2019 soit considérée comme sans objet, subsidiairement qu'elle soit rejetée. Reconventionnellement, il a notamment requis par voie de mesures provisionnelles que son épouse soit astreinte à contribuer à son entretien par le versement d'un montant mensuel à préciser en cours d'instance depuis le 1er mai 2019.
B.b. Par ordonnance de mesures provisionnelles du 5 février 2020, la Présidente du Tribunal civil de l'arrondissement de Lausanne a notamment dit qu'aucune contribution d'entretien n'était due entre les époux.
B.c. Statuant par arrêt du 23 septembre 2020, le Juge délégué de la Cour d'appel civil du Tribunal cantonal du canton de Vaud a rejeté l'appel du mari contre cette ordonnance.
C.
Par acte du 29 octobre 2020, A._ exerce un recours en matière civile au Tribunal fédéral. Il conclut à titre principal à la réforme de l'arrêt cantonal, en ce sens que son épouse est condamnée à contribuer à son entretien par le versement mensuel de 1'400 fr. du 1er mai 2019 au 31 décembre 2019, de 1'115 fr. du 1er janvier 2020 au 31 janvier 2020, de 860 fr. du 1er février 2020 au 31 juillet 2020 et de 930 fr. à compter du 1er août 2020. Il sollicite également le bénéficie de l'assistance judiciaire pour la procédure fédérale.
Des observations n'ont pas été requises.

Considérant en droit :
1.
Déposé en temps utile (<ref-law>) et dans la forme légale (<ref-law>), le recours est dirigé contre une décision finale (<ref-law>; cf. <ref-ruling> consid. 2.2) rendue sur recours par une autorité supérieure statuant en dernière instance cantonale (<ref-law>), dans une affaire matrimoniale (<ref-law>) de nature pécuniaire dont la valeur litigieuse atteint le seuil de 30'000 fr. (art. 51 al. 1 let. a et al. 4 et 74 al. 1 let. b LTF). Le recourant a participé à la procédure devant l'autorité précédente et a un intérêt digne de protection à la modification ou l'annulation de la décision entreprise (art. 76 al. 1 let. a et b LTF). Le recours est donc en principe recevable.
2.
Comme la décision attaquée porte sur des mesures provisionnelles au sens de l'<ref-law> (<ref-ruling> consid. 1.1; <ref-ruling> consid. 5, 585 consid. 3.3), la partie recourante ne peut dénoncer que la violation de droits constitutionnels. Le Tribunal fédéral n'examine de tels griefs que s'ils ont été invoqués et motivés par le recourant (" principe d'allégation "; <ref-law>), c'est-à-dire s'ils ont été expressément soulevés et exposés de manière claire et détaillée (<ref-ruling> consid. 2.1; <ref-ruling> consid. 2.4). En particulier, une décision ne peut être qualifiée d'arbitraire (art. 9 Cst.) que si elle est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et indiscuté, ou heurte de manière choquante le sentiment de la justice et de l'équité; il ne suffit pas qu'une autre solution paraisse concevable, voire préférable; pour que cette décision soit annulée, encore faut-il qu'elle se révèle arbitraire non seulement dans ses motifs, mais aussi dans son résultat (<ref-ruling> consid. 4.3; <ref-ruling> consid. 4.1 et les références). Partant, le recourant ne peut se borner à critiquer la décision attaquée comme il le ferait en procédure d'appel, où l'autorité de recours jouit d'une libre cognition, notamment en se contentant d'opposer sa thèse à celle de l'autorité précédente; les critiques de nature appellatoire sont irrecevables (ATF <ref-ruling> consid. 2.4).
3.
Le principe et le montant de la contribution d'entretien due selon l'<ref-law> se déterminent en fonction des facultés économiques et des besoins respectifs des époux. Même lorsqu'on ne peut plus sérieusement compter sur une reprise de la vie commune, l'<ref-law> constitue la cause de l'obligation d'entretien (<ref-ruling> consid. 3.6; <ref-ruling> consid. 4.2.1; <ref-ruling> consid. 2.2; <ref-ruling> consid. 3.1). Pour fixer la contribution d'entretien selon l'<ref-law>, applicable par analogie aux mesures provisionnelles pendant la procédure de divorce (<ref-law>) - laquelle s'applique également par analogie aux actions en annulation du mariage (<ref-law>; <ref-ruling> consid. 2.4) -, le juge doit partir de la convention conclue pour la vie commune. Il doit ensuite prendre en considération qu'en cas de suspension de cette communauté, le but de l'<ref-law>, à savoir l'entretien convenable de la famille, impose à chacun des époux de participer, selon ses facultés, aux frais supplémentaires qu'engendre la vie séparée. Ainsi, le juge doit examiner si, et dans quelle mesure, au vu de ces faits nouveaux, on peut attendre de l'époux désormais déchargé de son obligation de tenir le ménage antérieur en raison de la suspension de la vie commune, qu'il investisse d'une autre manière sa force de travail ainsi libérée et reprenne ou étende son activité lucrative, eu égard notamment à sa formation, à son âge et à son état de santé. Le juge peut donc devoir modifier la convention conclue pour la vie commune pour l'adapter à ces faits nouveaux. En revanche, le juge des mesures provisionnelles ne doit pas trancher, même sous l'angle de la vraisemblance, les questions de fond, objet du procès en divorce, en particulier celle de savoir si le mariage a influencé concrètement la situation financière du conjoint (ATF <ref-ruling> consid. 3.1 précisant l'<ref-ruling>; arrêts 5A_776/2019 du 27 octobre 2020 consid. 9.1, 5A_904/2015 du 29 septembre 2016 consid. 5.1 non publié in <ref-ruling>; 5A_651/2011 du 26 avril 2012 consid. 6.1.3.2 non publié in <ref-ruling>).
4.
4.1. La cour cantonale a relevé que les parties s'étaient rencontrées au Pérou et avaient décidé de s'établir ensemble en Suisse. L'épouse avait encouragé son mari à trouver du travail sur sol helvétique. Elle avait rédigé certaines candidatures pour le compte de celui-ci et l'avait même mis en contact avec une entreprise prête à l'engager pour un temps d'essai, voire pour un contrat de durée indéterminée. Le mari avait lui-même admis qu'il avait recherché du travail et qu'il avait assumé plusieurs postes successifs. Aussi, la cour cantonale a considéré qu'il était vraisemblable que l'intention des époux était pour chacun de travailler et de participer à l'entretien du ménage. Elle a précisé toutefois que cette intention commune devait être nuancée par le fait que l'épouse ne pouvait pas ignorer, lorsque les époux avaient convenu de se marier et de vivre en Suisse, que son mari, qui ne parlait pas français et n'avait aucun contact en Suisse, ne trouverait pas facilement ni rapidement un travail et qu'il lui incomberait de faire face aux frais du ménage dans un premier temps. L'épouse avait d'ailleurs soutenu avoir financé l'intégralité des charges du couple durant la vie conjugale et il était établi qu'elle avait versé plusieurs sommes à son mari pour son entretien. Ce faisant, elle avait accepté durant la vie commune d'assumer les charges du couple, dans l'attente pour le mari de trouver un emploi fixe. La cour cantonale a ainsi considéré qu'il ressortait de la répartition des rôles pendant la vie conjugale que les parties avaient vraisemblablement convenu que le mari trouverait du travail pour participer aux charge du ménage mais que, dans l'intervalle, l'épouse s'acquitterait des frais du couple. Dès lors, la convention tacite du couple ne justifiait pas de renoncer à toute contribution d'entretien en faveur du mari. Le fait que la vie commune des parties avait été de courte durée ne s'opposait pas au versement d'une telle contribution car il n'appartenait pas au juge des mesures provisionnelles de déterminer si le mariage avait influencé concrètement la situation du conjoint. Selon la cour cantonale, il se justifiait donc d'examiner plus avant la situation financière respective des parties pour déterminer le montant d'une éventuelle contribution.
Retenant que le mari était en mesure de réaliser une activité lucrative à compter du 1er avril 2019 s'il avait fait preuve de diligence dans ses recherches d'emploi, la cour cantonale lui a imputé, après déduction des charges sociales et de l'impôt à la source, un revenu hypothétique mensuel de 2'976 fr. à compter de cette date. Elle a arrêté ses charges à 2'947 fr. 25 du 1er mai 2019 au 31 décembre 2019, à 2'526 fr. 25 du 1er janvier au 31 juillet 2020 et à 2'676 fr. 25 dès le 1er août 2020. Après avoir relevé que le salaire imputé au mari lui permettait de faire face à ses charges pour les trois périodes calculées et qu'il ne souffrait ainsi d'aucun manco, elle a jugé que celui-ci ne pouvait pas prétendre au versement d'une contribution d'entretien, compte tenu de sa situation financière.
4.2. Le recourant reproche à la cour cantonale de s'être écartée de manière arbitraire de la méthode du minimum vital élargi avec répartition de l'excédent, alors que celle-ci avait pourtant confirmé les principes de cette méthode de calcul dans la première étape de son raisonnement. Il soutient en substance que la motivation de l'arrêt cantonal ne permet pas de déterminer quels critères ont été pris en compte pour refuser une répartition de l'excédent, de sorte qu'il n'est pas possible de vérifier si le résultat auquel la cour arrive est conforme à la jurisprudence qui autorise dans certaines circonstances particulières à déroger au partage par moitié. Faute de remplir les exigences minimales de motivation, l'arrêt cantonal violerait également son droit d'être entendu. Il contreviendrait par ailleurs au principe de l'égalité de traitement entre époux en cas de vie séparée, dès lors que la cour cantonale lui a imputé un revenu hypothétique avec un très bref délai d'adaptation alors que dans le même temps elle n'a rien dit au sujet de la diminution volontaire de l'épouse de son temps de travail de 100% à 90%, qu'elle a retenu dans ses charges un loyer hypothétique de 1'000 fr. alors que le loyer de son épouse était de 1'214 fr. et qu'elle avait relevé que l'épouse avait réduit au cours de la procédure le montant de sa franchise d'assurance maladie obligatoire, faisant ainsi passer sa prime mensuelle de 290 fr. 60 à 407 fr. 50, sans en tenir compte. Le recourant fait encore valoir que la différenciation dans la manière de traiter la situation de chacun des époux est d'autant plus marquée que, après avoir arrêté les revenus et les charges des parties, la cour cantonale n'a pas procédé à la répartition de l'excédent du couple, ni n'a formellement arrêté les budgets de l'épouse en fonction des périodes de temps, contrairement à ce qu'elle a opéré pour lui. Or, le budget de son épouse faisait encore état d'un solde disponible de 2'245 fr. 80 par mois, solde que la cour a intégralement laissé à la disposition de celle-ci, alors que de son côté, ce solde s'élevait à 299 fr. 75. Le recourant soutient que, dès lors, le résultat auquel le juge cantonal a abouti serait choquant en ce qu'il permettrait à son épouse d'améliorer son train de vie par rapport à celui qui était le sien pendant la vie commune, alors qu'il subirait une drastique diminution de son train de vie et qu'il parviendrait tout juste, de manière complètement hypothétique, à couvrir ses charges, précisant que s'agissant du train de vie son épouse avait allégué dans sa demande en annulation du mariage en faisant référence aux dépenses du couple les postes suivants: " abonnement de fitness, sorties coûteuses, voyages etc. ".
4.3. Il ressort de l'arrêt querellé que, quand bien même la cour cantonale a admis que la convention tacite du couple ne justifiait pas d'emblée de renoncer à toute contribution d'entretien comme l'avait jugé le tribunal de première instance car les parties s'étaient mises implicitement d'accord pour que l'épouse assume financièrement seule les charges du couple le temps que le mari trouve un travail, elle a néanmoins retenu qu'une fois que le mari trouverait un emploi, l'intention des époux était que chacun d'eux travaille et participe à l'entretien du couple. Etant donné que la cour cantonale a considéré que le recourant était en mesure d'exercer une activité lucrative et de réaliser un revenu mensuel de 2'976 fr. à compter du 1er avril 2019 - ce que le recourant ne remet pas cause en dénonçant la violation d'un droit constitutionnel (cf. supra consid. 2) -, elle a considéré qu'à partir de cette date il était conforme à la convention conclue entre les parties que chaque époux pourvoie à ses propres charges. Dans la mesure où le revenu du recourant était suffisant pour couvrir son entretien convenable, le versement d'une contribution d'entretien en sa faveur ne se justifiait donc pas. Ainsi, c'est à tort que le recourant prétend que l'arrêt cantonal ne permet pas de déterminer les critères sur lesquels la cour cantonale s'est fondée pour ne pas partager l'excédent. Son grief de violation du droit d'être entendu, sous l'angle du droit à une décision motivée, doit ainsi être rejeté, étant relevé qu'il a manifestement été en mesure d'apprécier correctement la portée de la décision et de l'attaquer en connaissance de cause (sur cette notion, voir <ref-ruling> consid. 3.2.1; arrêt 2C_23/2009 du 25 mai 2009 consid. 3.1, in RDAF 2009 II p. 434). Dès lors que le recourant ne remet pas en cause le fait que le couple était convenu pendant la vie commune que chacun des époux contribue financièrement aux charges du couple une fois qu'il aurait trouvé un emploi, ni ne conteste que le revenu mensuel de 2'976 fr. qui lui a été imputé serait suffisant à pourvoir à son entretien convenable sans le concours de son épouse malgré l'augmentation des frais engendrés par la vie séparée, il n'apparaît pas que le raisonnement de la cour cantonale est insoutenable dans son résultat. Partant, pour autant que recevable, le grief d'arbitraire doit être rejeté.
Sous couvert d'une violation du principe d'égalité, le recourant se plaint en réalité d'arbitraire, dans la mesure où il indique notamment que le raisonnement exposé dans l'arrêt litigieux est " insoutenable " en ce sens qu'il viole le principe de l'égalité de traitement des époux (recours, p. 5) et que l'inégalité de traitement dans la manière où les revenus et les charges de chacun des époux ont été retenus aboutit un résultat " choquant " (recours, p. 12). De nature purement appellatoire, ces allégations doivent être déclarées irrecevables (<ref-law>; cf. supra consid. 2.1).
5. En définitive, le recours est rejeté dans la mesure où il est recevable. Le recours étant d'emblée voué à l'échec, la requête d'assistance judiciaire du recourant ne saurait être agréée (<ref-law>). Les frais judiciaires sont mis à la charge du recourant, qui succombe (<ref-law>). Il n'est pas alloué de dépens à l'intimée, qui n'a pas été invitée à se déterminer (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La requête d'assistance judiciaire du recourant est rejetée.
3.
Les frais judiciaires, arrêtés à 1'500 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et au Juge délégué de la Cour d'appel civile du Tribunal cantonal du canton de Vaud.
Lausanne, le 5 mai 2021
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
Le Greffier : Piccinin