Faits :
A.
B.A._, née en 1970, et A.A._, né en 1968, se sont mariés le 28 septembre 2002.
Aucun enfant n'est issu de leur union.
Les parties vivent séparées à tout le moins depuis le 8 novembre 2018, date à laquelle l'épouse a quitté le domicile conjugal pour aller s'installer chez ses parents en V._ (France).
B.
B.a. Par prononcé de mesures protectrices de l'union conjugale du 11 novembre 2019, la Présidente du Tribunal civil de l'arrondissement de l'Est vaudois, statuant sur une requête de l'épouse du 28 mars 2019, a, en substance, astreint l'époux à contribuer à l'entretien de son épouse par le versement mensuel de 2'010 fr. dès le 1er novembre 2018 et jusqu'à la vente de l'appartement copropriété des parties, puis de 2'760 fr.
B.b. Par arrêt du 6 août 2020, expédié le 12 suivant, la Juge déléguée de la Cour d'appel civile du Tribunal cantonal du canton de Vaud, statuant sur appel de l'époux, a partiellement réformé le prononcé du 11 novembre 2019 en ce sens que celui-ci contribuerait à l'entretien de son épouse par le versement mensuel de 1'640 fr. dès et y compris le 1er novembre 2018 et jusqu'au 16 octobre 2019, de 2'400 fr. dès le 17 octobre 2019 et jusqu'au 24 février 2020, puis de 2'670 fr. dès et y compris le 25 février 2020, les éventuelles contributions versées par l'intéressé étant déduites.
C.
Par acte du 14 septembre 2020, l'époux interjette un recours en matière civile auprès du Tribunal fédéral contre l'arrêt du 6 août 2020. Il conclut principalement à ce qu'il soit réformé en ce sens que, pour la période allant du 1er novembre 2018 au 29 février 2020, il contribue à l'entretien de l'épouse par le versement d'une pension mensuelle de 1'432 fr. et que, dès et y compris le 1er mars 2020, il ne doive plus aucune contribution d'entretien. Subsidiairement, il conclut à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité inférieure pour nouvelle décision dans le sens des considérants.
Des déterminations n'ont pas été requises.

Considérant en droit :
1.
Déposé en temps utile (<ref-law>) et dans la forme légale (<ref-law>) par une partie qui a qualité pour recourir (art. 76 al. 1 let. a et b LTF), le recours est dirigé contre une décision de mesures protectrices de l'union conjugale, à savoir une décision finale (<ref-law>; <ref-ruling> consid. 4), rendue sur recours par une autorité supérieure statuant en dernière instance cantonale (art. 75 al. 1 et 2 LTF), dans une affaire civile (<ref-law>; <ref-ruling> consid. 2) de nature pécuniaire, dont la valeur litigieuse requise est atteinte (art. 51 al. 1 let. a, 51 al. 4 et 74 al. 1 let. b LTF). Le recours est donc en principe recevable au regard des dispositions qui précèdent.
2.
2.1. Comme la décision entreprise porte sur des mesures provisionnelles au sens de l'<ref-law> (<ref-ruling> consid. 5.2), la partie recourante ne peut dénoncer que la violation de droits constitutionnels. Le Tribunal fédéral n'examine de tels griefs que s'ils ont été invoqués et motivés par le recourant (" principe d'allégation ", <ref-law>), c'est-à-dire s'ils ont été expressément soulevés et exposés de manière claire et détaillée (<ref-ruling> consid. 2.1; <ref-ruling> consid. 2; <ref-ruling> consid. 2.4). Le recourant qui se plaint de la violation d'un droit fondamental ne peut donc se borner à critiquer la décision attaquée comme il le ferait en instance d'appel, où l'autorité de recours jouit d'une libre cognition; il ne peut, en particulier, se contenter d'opposer sa thèse à celle de l'autorité cantonale, mais doit démontrer ses allégations par une argumentation précise (<ref-ruling> consid. 3; <ref-ruling> consid. 3.2). Le Tribunal fédéral n'entre pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 2.1; <ref-ruling> consid. 2.4; <ref-ruling> consid. 2.3).
D'après la jurisprudence, une décision est arbitraire (art. 9 Cst.) lorsqu'elle est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et indiscuté, ou heurte de manière choquante le sentiment de la justice et de l'équité; il ne suffit pas qu'une autre solution paraisse concevable, voire préférable; pour que cette décision soit annulée, encore faut-il qu'elle se révèle arbitraire, non seulement dans ses motifs, mais aussi dans son résultat (<ref-ruling> consid. 1.3.1; <ref-ruling> consid. 1.1; <ref-ruling> consid. 2).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Dans l'hypothèse d'un recours soumis à l'<ref-law>, le recourant qui soutient que les faits ont été établis d'une manière manifestement inexacte, c'est-à-dire arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 2.2; <ref-ruling> consid. 5.2.2; <ref-ruling> consid. 2.3), doit, sous peine d'irrecevabilité, satisfaire au principe d'allégation susmentionné (<ref-law>; cf. supra consid. 2.1; <ref-ruling> consid. 2.2; <ref-ruling> consid. 1.1; <ref-ruling> consid. 2.3).
En matière d'appréciation des preuves et d'établissement des faits, il y a arbitraire lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (<ref-ruling> consid. 4.2; <ref-ruling> consid. 1.1; <ref-ruling> consid. 2.3).
3.
Le recourant se plaint d'une application arbitraire de l'<ref-law> au regard de la méthode de calcul des contributions d'entretien.
3.1. S'agissant de la situation financière des parties, la cour cantonale a retenu que l'époux, ingénieur de formation, était inscrit depuis le 3 avril 2020 à l'Office régional de placement de U._ et que son disponible mensuel s'était monté à 1'845 fr. 45 jusqu'au 16 octobre 2019 (revenu de 9'359 fr. 50 - charges de 7'514 fr. 05), puis à 3'367 fr. 30 (revenu de 9'359 fr. 50 - charges de 5'992 fr. 20). L'épouse était titulaire d'un D.E.E.S (...), équivalant en Suisse à un Master. De 2008 à 2012, elle avait travaillé à 50 % auprès de C._ en tant que (...), puis elle avait suivi une formation de conseillère en environnement, avant de travailler, entre les mois de janvier 2016 et septembre 2018, en qualité d'intervenante à 20 % auprès d'une fondation, pour un revenu mensuel net d'environ 127 fr. 50. Depuis, l'épouse n'exerçait plus aucune activité lucrative. La juridiction précédente a arrêté ses charges mensuelle à 1'432 fr. jusqu'au 24 février 2020, puis à 1'970 fr.
La cour cantonale a relevé que, dans son appel, l'époux contestait la méthode de calcul dite du minimum vital avec répartition de l'excédent employée par le premier juge, en faisant valoir qu'elle n'était possible que pour autant qu'elle ne fasse pas bénéficier le crédirentier d'un train de vie supérieur à celui qui prévalait pendant l'union conjugale. Selon l'intéressé, il ne fallait pas répartir l'excédent dès lors qu'il avait déjà été tenu compte des charges mensuelles effectives de l'intimée dans son train de vie. Sur cette question, la juge cantonale a estimé qu'aucune circonstance particulière ne permettait de penser que la contribution d'entretien calculée en répartissant l'excédent du minimum vital aurait pour effet d'augmenter le train de vie de l'épouse et a relevé que les parties n'avaient vraisemblablement pas constitué d'économies pendant la vie commune.
3.2. Selon l'<ref-law>, le juge fixe, sur requête, la contribution d'entretien à verser à un époux si la suspension de la vie commune est fondée.
Tant pour la contribution d'entretien durant le mariage que pour celle après divorce, le train de vie mené durant la vie commune constitue le point de départ pour déterminer l'entretien convenable de chacun des époux, auquel ceux-ci ont droit en présence de moyens financiers suffisants (arrêts 5A_891/2018 du 2 février 2021 consid. 4.4, destiné à la publication; 5A_365/2019 du 14 décembre 2020 consid. 5.2.2.3).
3.3.
3.3.1. Le recourant soutient que, dans ses écritures de première instance et d'appel, l'épouse aurait allégué ses charges correspondant à son train de vie durant la vie commune (base mensuelle, assurance-maladie, frais de logement, frais médicaux non remboursés, frais relatifs au chat, frais de loisirs et impôts). Selon lui, dès lors que des frais de même type - dont le montant a été adapté à la situation actuelle de l'intimée en France - ont été admis et retenus dans le budget de celle-ci pour calculer son entretien après la séparation, le maintien de son train de vie serait assuré. Il n'y aurait dès lors pas lieu de lui attribuer, en sus, la moitié du disponible de l'époux.
3.3.2. En l'espèce, force est tout d'abord de constater que l'argumentation du recourant procède d'une incompréhension des notions de train de vie et d'entretien convenable. Dans le cadre du calcul de la contribution d'entretien après la séparation, le fait de retenir des charges de nature identique à celles assumées durant la vie commune n'implique pas nécessairement que les premières atteindraient le standard des secondes, au maintien duquel les époux peuvent prétendre en présence de moyens suffisants. A titre d'exemple, on relèvera qu'il n'est pas certain que les charges retenues pour le logement de l'intimée après la séparation portent sur un bien immobilier de même standing que celui dont ont bénéficié les époux du temps de la vie commune. Le recourant ne le prétend en tous les cas pas. On ne saurait dans ces circonstances retenir que le maintien du train de vie de l'intimée serait assuré par la seule couverture des charges retenues.
Quoi qu'il en soit, l'argumentation du recourant tombe de toute manière à faux puisqu'on ne peut pas tirer des écritures de l'intimée qu'elle aurait entendu alléguer ses dépenses indispensables au maintien de son train de vie durant l'union conjugale. Dans sa réplique déposée en première instance, l'intimée a ainsi indiqué présenter " en substance " ses dépenses du temps de la vie commune, ce qui exclut qu'elle ait entendu leur donner un caractère exhaustif. Elle n'a en outre pas requis l'application de la méthode du train de vie, ce qui vient appuyer le fait que les dépenses sommairement présentées n'étaient nullement censées être représentatives de son standard de vie antérieur.
Il s'ensuit que le recourant ne parvient pas à démontrer que la cour cantonale serait tombée dans l'arbitraire en attribuant la moitié du disponible à l'épouse, en sus de la couverture de ses charges courantes. Partant, son grief doit être rejeté.
3.4. Dans une argumentation subsidiaire, le recourant reproche à la cour cantonale d'avoir opté pour une répartition du disponible par moitié et soutient que, compte tenu du coût de la vie qui serait plus faible en France, cette répartition devrait se faire à hauteur de 70 % en sa faveur et de 30 % en faveur de l'intimée. Ainsi exposée, la motivation du grief ne répond aux réquisits en la matière et se révèle irrecevable (cf. supra consid. 2).
4.
Toujours dans le cadre d'une application prétendument arbitraire de l'<ref-law>, le recourant fait grief à la juridiction précédente d'avoir renoncé à imputer un revenu hypothétique à l'épouse.
4.1. Dans l'arrêt entrepris, la cour cantonale a retenu que, sur le plan professionnel, l'épouse disposait d'une formation complète et qu'elle souffrait d'une sclérose en plaques diagnostiquée au mois de novembre 2019. Aucune des pièces qu'elle avait produites n'attestait toutefois d'une incapacité de travail. Sa maladie semblait avoir des répercussions sur son équilibre et sa mobilité, de sorte qu'elle devait suivre un traitement de kinésithérapie. Elle était du reste à la recherche d'un emploi et s'était vu refuser des allocations destinées aux adultes souffrant de handicap. En revanche, sa situation personnelle, à savoir une séparation somme toute assez récente, le fait d'avoir renoncé à travailler déjà pendant l'union conjugale, l'époux assumant l'entier des charges du ménage, d'avoir déménagé après la séparation et rencontré des problèmes de santé importants même s'ils ne la mettaient pas en incapacité de travail, avait pour conséquence qu'un revenu hypothétique ne pouvait lui être imputé au stade des mesures protectrices de l'union conjugale. La juridiction cantonale a également rappelé que l'épouse avait bientôt 50 ans et qu'elle n'avait pas travaillé depuis près de 8 ans, hormis une activité principalement de soutien, lui rapportant un revenu dérisoire. En outre, la situation des parties paraissait particulièrement évolutive d'un point de vue professionnel, de sorte que l'enjeu de la procédure était de fixer la contribution d'entretien due depuis la séparation tout en étant conscient que celle fixée pour l'avenir risquait d'être modifiée à bref délai, en fonction de l'évolution de la situation.
4.2. Le recourant conteste l'établissement ainsi que l'appréciation juridique de plusieurs faits relatifs à la durée de séparation des parties et à l'absence d'enfant issu de leur union, ainsi qu'à la formation, à l'activité professionnelle, à l'âge, à l'état de santé et au déménagement de l'intimée.
4.3.
4.3.1. Sur la base du texte clair de l'<ref-law>, le principe de l'autonomie prime le droit à l'entretien après le divorce. Il en découle pour l'époux un devoir de se (ré) intégrer sur le marché du travail ou d'étendre une activité lucrative déjà existante. Un époux ne peut ainsi prétendre à une pension que si, en dépit des efforts que l'on peut raisonnablement attendre de lui, il n'est pas ou pas totalement en mesure de pourvoir lui-même à son entretien convenable (<ref-ruling> consid. 3.1; <ref-ruling> consid. 4; arrêt 5A_907/2018 du 3 novembre 2020 consid. 3.4.4, destiné à la publication). En principe, le devoir de se (ré) intégrer sur le marché du travail ou d'étendre une activité lucrative déjà existante s'impose également dès la séparation lorsque l'on ne peut plus compter sérieusement sur une reprise de la vie commune (<ref-ruling> consid. 2.2; <ref-ruling> consid. 3.1; <ref-ruling> consid. 3.2; arrêts 5A_582/2018 et 5A_588/2018 du 1er juillet 2021 consid. 10.3.1, destiné à la publication; 5A_907/2018 précité consid. 3.4.4).
4.3.2. Pour fixer la contribution d'entretien, le juge doit en principe tenir compte du revenu effectif des parties, tant le débiteur d'entretien que le créancier pouvant néanmoins se voir imputer un revenu hypothétique supérieur. Il s'agit ainsi d'inciter la personne à réaliser le revenu qu'elle est en mesure de se procurer et qu'on peut raisonnablement exiger d'elle afin de remplir ses obligations (<ref-ruling> consid. 3.2; <ref-ruling> consid. 4.2.2.2; arrêts 5A_484/2020 du 16 février 2021 consid. 5.1; 5A_433/2020 du 15 décembre 2020 consid. 4.1; 5A_600/2019 du 9 décembre 2020 consid. 5.1.1 et les références). Le juge doit ainsi examiner successivement deux conditions. Il doit d'abord déterminer si l'on peut raisonnablement exiger d'une personne qu'elle exerce une activité lucrative ou augmente celle-ci, eu égard, notamment, à sa formation, à son âge et à son état de santé; il s'agit d'une question de droit. Le juge doit ensuite établir si la personne a la possibilité effective d'exercer l'activité ainsi déterminée et quel revenu elle peut en obtenir, compte tenu des circonstances subjectives susmentionnées, ainsi que du marché du travail; il s'agit là d'une question de fait (<ref-ruling> consid. 3.2; <ref-ruling> consid. 4.2.2.2). Afin de déterminer si un revenu hypothétique doit être imputé, les circonstances concrètes de chaque cas sont déterminantes. Les critères dont il faut tenir compte sont notamment l'âge, l'état de santé, les connaissances linguistiques, la formation (passée et continue), l'expérience professionnelle, la flexibilité sur les plans personnel et géographique, la situation sur le marché du travail, etc. (arrêts 5A_645/2020 du 19 mai 2021 consid. 5.2.1; 5A_104/2018 du 2 février 2021 consid. 5.6, destiné à la publication).
4.4. Compte tenu de la jurisprudence qui précède, il n'apparaît pas que, sur le principe, l'autorité cantonale aurait versé dans l'arbitraire en refusant d'imputer un revenu hypothétique à l'intimée, dès lors que l'état de fait de l'arrêt entrepris ne retient aucunement l'absence de perspective de reprise de la vie commune et que le recourant ne l'allègue pas (cf. supra consid. 4.3.1).
Cela étant, il n'apparaît pas non plus que la juridiction précédente ait fait preuve d'arbitraire dans le cadre de l'examen concret des critères applicables à l'imputation d'un revenu hypothétique. A cet égard, c'est en vain que le recourant soutient qu'il serait arbitraire de considérer que la séparation des parties serait récente. En effet, les époux ont suspendu la vie commune le 8 novembre 2018, de sorte qu'ils vivaient séparés depuis environ une année au moment de la reddition du jugement de première instance et depuis moins de deux ans au moment de celle de l'arrêt entrepris. Compte tenu par ailleurs de la durée de la vie commune, à savoir 16 ans entre l'année du mariage et celle de la séparation, il n'apparaît pas insoutenable de qualifier d' " assez récente " la séparation des époux.
Le recourant fait en outre valoir que l'intimée n'aurait pas renoncé à travailler déjà pendant l'union conjugale. La cour cantonale pouvait toutefois retenir ce fait sans arbitraire dès lors qu'il ressort de l'état de fait cantonal que l'épouse a cessé de travailler environ deux mois avant la séparation des époux, qu'elle n'a pas exercé d'activité lucrative entre son mariage en 2002 et l'année 2008 et que, depuis 2012, elle n'a travaillé que durant deux ans et neuf mois (de janvier 2016 à septembre 2018), à un taux d'activité de 20 % et pour un salaire net d'environ 127 fr. 50 par mois. C'est également en pure perte que le recourant soutient qu'il serait arbitraire de retenir que l'intimée n'aurait pas travaillé au cours des 8 dernières années, puisque la cour cantonale n'a précisément pas retenu une absence totale d'activité mais qu'elle a précisé qu'entre 2016 et 2018, l'intimée avait exercé une activité principalement de soutien, qui de surcroît lui rapportait un revenu dérisoire.
Le recourant soutient encore que les problèmes de santé et l'âge de l'intimée ne s'opposeraient pas à ce qu'un revenu hypothétique lui soit imputé. Si, pris séparément, ces éléments ne s'opposent certes pas de manière rédhibitoire à l'imputation d'un revenu hypothétique, il n'est en l'espèce pas insoutenable, après les avoir mis en balance pour mesurer les opportunités de reprise d'un activité lucrative, de considérer qu'ils ne tendent pas à favoriser la prompte reprise d'une activité lucrative. On ne décèle donc aucun arbitraire à cet égard.
Le recourant fait également valoir que l'autorité n'aurait pas pris en compte le fait que l'épouse était titulaire d'un D.E.E.S, qu'elle soit sans enfant et qu'elle ait déclaré en cours de procédure que son but était de retrouver un emploi si son état de santé le lui permettait. S'agissant du diplôme obtenu par l'intimée, la cour cantonale l'a bien pris en compte dans l'état de fait et a mentionné dans sa subsomption que l'épouse disposait d'une formation complète, ce qui est suffisant pour échapper à l'arbitraire. Par ailleurs, si le fait que l'épouse soit sans enfant pourrait certes être d'importance sous l'angle de la reprise d'une activité lucrative, il n'apparaît toutefois pas qu'en tant que tel, il aurait nécessairement dû conduire à l'imputation d'un revenu hypothétique, de sorte que son absence de prise en compte dans la subsomption de la cour cantonale n'est pas arbitraire. En ce qui concerne l'affirmation de l'intimée en vertu de laquelle elle avait pour but de trouver un emploi, il s'agit d'une déclaration d'intention qui ne saurait davantage, dans les présentes circonstances, mener à l'imputation automatique d'un revenu hypothétique.
Finalement, en tant que le recourant soutient qu'un déménagement ne s'opposerait pas à ce qu'un revenu hypothétique soit imputé à l'intimée et qu'il s'en prend au caractère évolutif de la situation professionnelle des parties, il apparaît que ces éléments n'ont pas joué de rôle décisif dans l'examen d'un revenu hypothétique, de sorte qu'on ne discerne pas d'arbitraire sur ce point.
Au vu de ce qui précède, on ne voit pas en quoi la juridiction précédente aurait versé dans l'arbitraire en refusant d'imputer un revenu hypothétique à l'intimée. Le moyen se révèle ainsi mal fondé, en tant qu'il est suffisamment motivé.
5.
En définitive, le recours est rejeté dans la mesure où il est recevable. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant, qui succombe (<ref-law>). Il n'est pas alloué de dépens à l'intimée, qui n'a pas été invitée à se déterminer (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Juge déléguée de la Cour d'appel civile du Tribunal cantonal du canton de Vaud.
Lausanne, le 10 août 2021
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
La Greffière : Gudit