Faits:
A.
A.a. M. A.X._ (1969) et Mme B.X._ (1971), se sont mariés le 8 juin 1996 au Texas (USA). Deux enfants sont issus de leur union: C._ (1999) et D._ (2001). En mars 2009, les époux ont mis un terme à leur vie commune.
A.b. La vie séparée des époux a été réglée par plusieurs ordonnances successives, prononçant différentes mesures protectrices de l'union conjugale. La garde des enfants a été attribuée à l'épouse le 17 mars 2009; par jugement du 30 mars 2009, confirmé en appel le 20 juillet 2009, la contribution d'entretien globale due par l'époux en faveur de sa famille a été fixée à 10'000 fr.; le 8 octobre 2009 et le 18 janvier 2010, le droit de visite du père a été réglé.
A.c. Une procédure de divorce est en cours depuis le 30 décembre 2010. Par ordonnance de mesures provisionnelles du 8 février 2011, le Président du Tribunal d'arrondissement de La Côte a notamment autorisé la mère à déménager en Thaïlande avec les deux enfants et fixé la contribution due par l'époux pour l'entretien de ses deux enfants à 1'800 fr. par mois, allocations familiales dues en sus, toute contribution d'entretien en faveur de l'épouse étant supprimée. La Cour d'appel civile du Tribunal cantonal vaudois a confirmé cette décision le 4 avril 2011. Statuant sur recours de l'épouse par arrêt du 7 décembre 2011, et admettant le grief de violation du droit d'être entendu au motif que les parties n'ont pas eu l'occasion de se déterminer sur la contribution d'entretien due aux enfants, le Tribunal fédéral a renvoyé la cause à l'autorité de première instance pour nouvelle instruction et décision dans le sens des considérants (arrêt 5A_361/2011 du 7 décembre 2011).
B.
B.a. L'époux a déposé une requête de mesures provisionnelles le 29 février 2012, concluant à ce qu'il soit libéré de toute contribution d'entretien en faveur de son épouse, avec effet rétroactif au 1 er février 2011. D'entente entre les parties, il a été convenu que la contribution d'entretien de l'épouse, objet de la nouvelle requête de mesures provisionnelles, et celles des enfants, objet de la procédure consécutive à l'arrêt du Tribunal fédéral, seraient traitées lors d'une seule audience.
Par conclusions motivées du 12 mars 2012, l'épouse a conclu à ce que la contribution d'entretien due par l'époux en faveur de sa famille ne soit pas inférieure à 10'000 fr. par mois, allocations familiales et assurances maladie pour toute la famille en sus, dès le 1 er février 2011. L'époux a conclu au rejet de ces conclusions et à ce que la pension soit fixée à 900 fr. par mois et par enfant, allocations familiales en sus. Une audience s'est tenue le 5 novembre 2012.
Par ordonnance de mesures provisionnelles du 2 mai 2013, le Président du Tribunal d'arrondissement de La Côte a libéré l'époux de toute contribution à l'entretien de l'épouse dès le 1 er février 2011 (III), et fixé la pension due aux enfants à 2'425 fr. par mois, allocations familiales en sus, à compter de la même date (IV).
B.b. L'épouse a interjeté appel contre cette décision le 13 mai 2013, concluant principalement à ce que la contribution d'entretien due par son époux pour la famille soit fixée à 10'000 fr. par mois, allocations familiales en sus, dès le 1 er février 2011, et subsidiairement au renvoi de la cause à l'autorité précédente pour nouvelle instruction et nouveau jugement. Par arrêt du 28 juin 2013, expédié aux parties le 26 juillet 2013, le Juge délégué de la Cour d'appel civile du Tribunal cantonal vaudois (ci-après: le Juge délégué) a partiellement admis l'appel en ce sens que " l'ordonnance est réformée par l'adjonction d'un chiffre IV bis nouveau dont la teneur est la suivante: IV bis. dit que M. A.X._ versera à Mme B.X._, une contribution d'entretien d'un montant de 2'000 fr. (deux-mille francs), payable d'avance le premier de chaque mois, dès le 1er février 2011". Pour le surplus, il a confirmé l'ordonnance du 2 mai 2013.
C.
Par mémoire expédié le 27 août 2013, l'époux exerce un recours en matière civile au Tribunal fédéral contre cet arrêt. Il conclut principalement à sa réforme, en ce sens que la contribution d'entretien en faveur de son épouse est définitivement supprimée dès le 1 er février 2011, et au renvoi de la cause au Juge délégué pour nouvelle décision sur les frais et dépens de l'instance cantonale. Subsidiairement, il conclut à l'annulation de l'arrêt et au renvoi de la cause au Juge délégué pour nouvelle décision dans le sens des considérants.
Invitée à se déterminer, l'épouse a conclu, par écriture du 26 novembre 2013, au rejet du recours. Quant au Juge délégué, il s'est référé aux considérants de son arrêt. Les parties ont encore fait quelques observations par la suite.
D.
Par ordonnance présidentielle du 13 septembre 2013, l'effet suspensif a été accordé pour les contributions dues jusqu'au 30 juillet 2013, mais non pour les montants dus à partir du 1 er août 2013.

Considérant en droit:
1.
Le recours a été déposé en temps utile (<ref-law>) ainsi que dans la forme légale (<ref-law>) contre une décision finale (<ref-law>; <ref-ruling> consid. 4 p. 395 s.) rendue sur recours par une autorité supérieure statuant en dernière instance cantonale (art. 75 al. 1 et 2 LTF) dans une affaire civile (<ref-law>). Le litige porte sur le montant de la contribution d'entretien en faveur de l'épouse, à savoir une affaire pécuniaire, dont la valeur litigieuse requise est atteinte (art. 51 al. 1 ch. 4 et 74 al. 1 let. b LTF). Le recourant a en outre pris part à la procédure devant l'autorité précédente (<ref-law>) et a un intérêt à l'annulation ou à la modification de la décision attaquée (<ref-law>).
2.
2.1. Comme la décision entreprise porte sur des mesures provisionnelles au sens de l'<ref-law>, la partie recourante ne peut dénoncer que la violation de droits constitutionnels. Le Tribunal fédéral n'examine de tels griefs que s'ils ont été invoqués et motivés par le recourant (" principe d'allégation ", <ref-law>), c'est-à-dire s'ils ont été expressément soulevés et exposés de manière claire et détaillée (<ref-ruling> consid. 3.2 p. 88 et les arrêts cités).
2.2. De jurisprudence constante, une décision est arbitraire lorsqu'elle est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et indiscuté, ou heurte de manière choquante le sentiment de la justice et de l'équité (<ref-ruling> consid. 2.4 p. 5; <ref-ruling> consid. 2.2.2 p. 318 s.); il ne suffit pas qu'une solution différente apparaisse concevable, voire préférable; pour que cette décision soit annulée, encore faut-il qu'elle se révèle arbitraire, non seulement dans ses motifs, mais aussi dans son résultat (<ref-ruling> consid. 3.2.5 p. 339).
2.3. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Dans le cadre d'un recours soumis à l'<ref-law>, le recourant qui entend invoquer que les faits ont été établis de manière manifestement inexacte ne peut obtenir la rectification ou le complètement des constatations de fait de l'arrêt cantonal que s'il démontre la violation de droits constitutionnels, conformément au principe d'allégation susmentionné (cf. supra consid. 2.1). Le recourant ne peut donc pas se borner à contredire les constatations litigieuses par ses propres allégations ou par l'exposé de sa propre appréciation des preuves; il doit indiquer de façon précise en quoi ces constatations sont contraires au droit ou entachées d'une erreur indiscutable, c'est-à-dire arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 1.2.2 p. 252). Une critique des faits qui ne satisfait pas à cette exigence est irrecevable (cf. supra consid. 2.1; art. 106 al. 2 Cst.; <ref-ruling> consid. 1.4.3 p. 254 s.; <ref-ruling> consid. 1.3 p. 261 s.). Le Tribunal fédéral se montre réservé en ce qui concerne l'appréciation des preuves et la constatation des faits, vu le large pouvoir qu'il reconnaît en la matière à l'autorité cantonale (<ref-ruling> consid. 4b p. 40; <ref-ruling> consid. 1b p. 30). Cette retenue est d'autant plus grande lorsque le juge n'examine la cause que d'une manière sommaire et provisoire (<ref-ruling> consid. 3.3 p. 325).
3.
A titre préalable, il y a lieu de constater que l'arrêt cantonal, contrairement à ce qui est indiqué par erreur dans son dispositif, ne réforme pas l'ordonnance de mesures provisionnelles du 2 mai 2013 par l'adjonction d'un chiffre IVbis, mais par le remplacement du chiffre III de dite ordonnance (" III. dit que M. A.X._ est libéré de toute contribution à l'entretien de Mme B.X._, dès le 1er février 2011 "), dont la nouvelle teneur est la suivante: " III. dit que M. A.X._ versera à Mme B.X._, une contribution d'entretien d'un montant de 2'000 fr. (deux mille francs), payable d'avance le premier de chaque mois, dès le 1er février 2011". Cela ressort clairement de la motivation de l'arrêt entrepris.
4.
Le recours a pour objet la contribution d'entretien en faveur de l'épouse, dans le cadre d'une procédure de mesures provisionnelles en matière de divorce.
4.1. Le juge de première instance a considéré que la contribution d'entretien dont bénéficiait l'épouse devait être modifiée, étant donné que le coût de la vie en Thaïlande, où elle réside désormais, est inférieur à celui qui prévaut en Suisse. Il a retenu, en fait, que les revenus de l'intimé ne permettaient pas de maintenir le train de vie des époux. Considérant en substance que l'épouse avait choisi de ne pas reprendre d'activité lucrative depuis la séparation, et qu'elle vivait avec un tiers capable de l'entretenir financièrement, le premier juge a supprimé toute contribution d'entretien dès le mois suivant son départ pour la Thaïlande, en application du principe du " clean break ".
4.2. Quant à l'autorité cantonale, elle a également constaté que le train de vie des parties ne pouvait être maintenu, et tenu compte de leurs dépenses effectives courantes et de leur minimum vital pour établir leurs charges. Dès lors que chaque partie vit en concubinage, elle a retenu pour chacune la moitié du minimum vital de base d'un couple ainsi que du loyer. Ainsi, s'agissant de la recourante, elle a pris en compte un montant de 600 fr. à titre de minimum vital de base - à savoir la moitié de 1'700 fr. - quelque peu réduite pour tenir compte du fait que le coût de la vie est moins élevé en Thaïlande qu'en Suisse "et des conditions de vie privilégiées des expatriés ". Elle a constaté que la recourante supporte des frais de loyer à raison de 535 fr. par mois (soit un sixième du montant du loyer, qui s'élève à 3'189 fr., deux sixièmes ayant été comptabilisés dans les charges incompressibles des enfants, et la moitié étant mise à la charge du concubin). Indiquant qu'il se justifiait de faire abstraction de la convention des parties selon laquelle l'épouse n'exerçait pas d'activité lucrative, le Juge délégué a rappelé que l'exercice d'une telle activité était compatible avec l'âge des enfants (12 et 14 ans), l'épouse ayant d'ailleurs suivi une formation de gemmologie à plein temps. Âgée de 42 ans, ne présentant pas de problème de santé et étant au bénéfice d'une formation universitaire, une telle activité pourrait être exigée d'elle. Si, depuis l'obtention de son diplôme, elle n'a jamais travaillé, elle pourrait notamment exercer une activité lucrative en qualité de répétitrice de langues dans l'enseignement privé, ses compétences en langues étrangères étant excellentes. Ainsi, l'épouse bénéficie d'une capacité de gain, même si elle n'entend pas la mettre à profit compte tenu du fait qu'elle vit avec un tiers qui contribue à son entretien. En définitive, elle serait en mesure de réaliser, en travaillant à temps partiel, un revenu de 2'000 fr.
Estimant qu'il n'y avait pas lieu de faire application du principe du " clean break " ni de considérer que l'épouse serait désormais entretenue par son nouvel ami avec qui elle vit depuis 2010, le Juge délégué a considéré qu'il n'était pas établi que leur relation constituait un concubinage " qualifié " qui permettrait de supprimer la contribution d'entretien. Il a dès lors calculé la pension en appliquant la méthode dite " du minimum vital ". Il a constaté que le revenu du recourant s'élève à 11'412 fr. 55 par mois, ses charges atteignant 5'412 fr., à savoir 850 fr. à titre de minimum vital de base, 700 fr. de loyer, 400 fr. de prime d'assurance-maladie, 2'425 fr. de contribution d'entretien pour ses enfants, et 1'037 fr. de frais de droit de visite. Son disponible s'élève donc à 6'000 fr. 55. Quant à l'épouse, susceptible de percevoir un revenu de 2'000 fr., elle assume 1'172 fr. par mois de charges, à savoir 600 fr. de minimum vital de base, 535 fr. de loyer et 37 fr. de frais médicaux. Partant, elle bénéficie d'un disponible de 828 fr. La prime d'assurance-maladie et les frais de transport auxquels l'épouse doit faire face pour revenir en Europe n'ont pas été pris en compte, dans la mesure où ces frais sont pris en charge par l'employeur de son compagnon. En définitive, selon la cour cantonale, l'épouse aurait droit, à titre de contribution d'entretien, à la moitié du disponible du couple, de sorte que l'époux devrait lui verser 2'586 fr. 30 par mois. Afin de tenir compte du fait que le coût de la vie est moins élevé en Thaïlande, mais que le train de vie dans le milieu privilégié des expatriés est légèrement plus élevé, la pension en faveur de l'épouse a été fixée, en définitive, à 2'000 fr. par mois.
5.
5.1. Selon le recourant, le Juge délégué aurait ignoré des faits qui, s'ils avaient été pris en considération, auraient conduit à admettre que la nouvelle relation de son épouse constitue une communauté de vie assimilable au mariage. En particulier, il aurait omis de tenir compte de faits qui ressortiraient de l'audience de mesures provisionnelles du 3 janvier 2011, et qui ont été retranscrits dans l'ordonnance du 8 février 2011, à savoir: que l'ami de l'épouse aurait pris l'engagement " de subvenir aux besoins de sa compagne et de ceux de sa famille ", que les concubins auraient déclaré "envisager d'aller plus loin dans leur relation après le jugement de divorce ", et que l'épouse aurait affirmé " avoir tout mis en place en Thaïlande, avec le soutien de son ami, pour que les enfants soient bien accueillis dans ce nouveau pays ". En outre, l'arrêt entrepris ne préciserait pas la date exacte du début du ménage commun, à savoir le mois de janvier 2010. De manière insoutenable, la décision omettrait également de mentionner des " éléments de rémunération " perçus par le concubin, à l'appui desquels des pièces ont été produites, à savoir: une attestation du 6 juin 2012 du premier secrétaire de Y._, selon laquelle l'écolage des enfants et l'essentiel des frais médicaux de toute la famille est pris en charge par Y._ - auprès de laquelle le compagnon de l'épouse travaille -; une attestation du 5 juin 2012 selon laquelle le compagnon de l'épouse reçoit, en plus de son salaire, une indemnité de délocalisation de 11'698 SEK, plus 5'168 SEK pour chaque enfant; une attestation du 25 octobre 2010 de Y._ selon laquelle un montant de 70'000 BAHT par mois a été porté au budget pour le loyer du compagnon de l'épouse; une lettre du 3 février 2011 du bailleur du couple, attestant que le loyer mensuel de cet appartement s'élève à 100'000 BAHT.
En définitive, le recourant invoque d'une part l'arbitraire (art. 9 Cst.) dans l'établissement des faits et l'appréciation des preuves, en ce sens que la situation personnelle de l'épouse a été mal constatée, en particulier s'agissant des prestations fournies par le concubin de celle -ci. D'autre part, il invoque l'arbitraire dans l'application des art. 163 et 176 CC, dès lors qu'à son sens, la contribution financière du concubin aurait dû être prise en compte dans le cadre du calcul de la pension. Il reproche également à l'autorité cantonale d'avoir refusé d'appliquer les critères de l'<ref-law> et le principe du " clean break " à la fixation de la contribution d'entretien, bien que l'intimée vive désormais en concubinage.
5.2.
5.2.1. Selon la jurisprudence, même lorsqu'on ne peut plus sérieusement compter sur la reprise de la vie commune (art. 175 s. CC), l'<ref-law> demeure la cause de l'obligation d'entretien réciproque des époux en mesures provisionnelles prononcées pour la durée de la procédure de divorce (<ref-ruling> consid. 202 p. 98 s.; <ref-ruling> consid. 3.1 p. 386 ss). Pour fixer la contribution d'entretien, le juge doit partir de la convention, expresse ou tacite, que les époux ont conclue au sujet de la répartition des tâches et des ressources entre eux (<ref-law>).
Lorsque l'époux créancier vit en concubinage avec un nouveau partenaire, il y a lieu d'examiner si, dans le cas concret, il est soutenu financièrement par cette personne. Le cas échéant, sa créance d'entretien est réduite dans la mesure des prestations réellement fournies par le concubin. La prise en considération du soutien économique momentané par le nouveau partenaire est justifiée dans le cadre de mesures provisionnelles dès lors que - contrairement à ce qui prévaut en matière d'entretien après divorce (<ref-law>) - l'entretien des époux peut aisément être adapté aux circonstances (<ref-ruling> consid. 2.3.1 p. 99 s. et les références). S'il n'y a aucun soutien financier, ou si les prestations fournies par le concubin ne peuvent être prouvées, il peut toutefois exister ce que l'on appelle une (simple) " communauté de toit et de table " , qui entraîne des économies pour chacun des concubins. Ce qui est déterminant, ce n'est pas la durée du concubinage, mais l'avantage économique qui en découle (<ref-ruling> consid. 2.3.2 p. 100). Enfin, dans l'hypothèse où l'époux a construit avec son nouveau partenaire une communauté de vie si étroite que celui-ci est prêt à lui apporter une assistance et un soutien financier semblables à celui qui existe entre époux, comme l'exige l'<ref-law>, la contribution d'entretien due à cet époux peut être supprimée. Pour apprécier la qualité d'une communauté de vie, il faut prendre en considération l'ensemble des circonstances de la vie commune (<ref-ruling> consid. 2.3.3 p. 100 s.; arrêts 5A_593/2013 du 20 décembre 2013 consid. 3.3.1; 5A_470/2013 du 26 septembre 2013 consid. 4.2).
5.2.2. S'agissant de cette dernière hypothèse, le Tribunal de céans a précisé, dans sa jurisprudence rendue en matière de modification d'une contribution après divorce, qu'il faut entendre par concubinage qualifié (ou concubinage stable) une communauté de vie d'une certaine durée entre deux personnes de sexes opposés, à caractère en principe exclusif, qui présente une composante tant spirituelle que corporelle et économique, et qui est parfois également désignée comme communauté de toit, de table et de lit; le juge doit dans tous les cas procéder à une appréciation de tous les facteurs déterminants (<ref-ruling> consid. 3b p. 238; <ref-ruling> consid. 2a/aa p. 54 et les références citées; arrêt 5C.265/2002 du 1er avril 2003 consid. 2.4 non publié aux <ref-ruling>). Il incombe au débiteur d'entretien de prouver que le créancier d'entretien vit dans un concubinage qualifié avec un nouveau partenaire (<ref-ruling> consid. 3.4.2 p. 104; <ref-ruling> consid. 3c); le Tribunal fédéral a toutefois posé la présomption - réfragable - qu'un concubinage est qualifié lorsqu'il dure depuis cinq ans au moment de l'ouverture de l'action en modification du jugement de divorce (<ref-ruling> consid. 3a p. 237; <ref-ruling> consid. 1c p. 298 s.). L'existence ou non d'un concubinage qualifié ne dépend pas des moyens financiers des concubins, mais de leurs sentiments mutuels et de l'existence d'une communauté de destins (ATF <ref-ruling> consid. 2a/aa p. 54).
La suspension ou la suppression de la contribution en cas de concubinage qualifié est possible même si la communauté de vie n'a pas encore atteint une durée de cinq ans mais présente en raison d'autres facteurs une stabilité suffisante (arrêts 5A_593/2013 du 20 décembre 2013 consid. 3.3.1; 5A_81/2008 du 11 juin 2008 consid. 5.4.4 et 5.5 publiés in: FamPra.ch 2008, p. 944).
5.3. En l'espèce, le point de savoir si la nouvelle relation de l'épouse a commencé en janvier ou en février 2011 - comme le soutient l'intimée - ou en janvier 2010 - ce qu'allègue le recourant -, est sans importance, dès lors que le concubinage était quoi qu'il en soit d'une durée inférieure à cinq ans lors de l'introduction de la procédure (cf. supra consid. 5.2.2). Au surplus, le recourant ne démontre pas que le Juge délégué se serait rendu coupable d'arbitraire dans l'appréciation des faits et des preuves en considérant que la nouvelle relation de l'épouse ne constitue pas un concubinage qualifié. Il se contente à cet égard d'opposer sa propre appréciation des preuves de manière essentiellement appellatoire.
En tant que le recourant prétend que l'engagement du concubin de participer à l'entretien de l'épouse n'aurait pas été pris en compte, le recourant se méprend. En effet, contrairement à ce qu'il expose, les attestations des 25 octobre 2010 et 6 juin 2012 sont clairement mentionnées dans la décision attaquée (cf. arrêt entrepris, p. 8). Sur cette base, la cour cantonale a d'ailleurs considéré que l'employeur du concubin s'acquitte intégralement de la prime d'assurance-maladie de l'épouse ainsi que des charges auxquelles celle-ci doit faire face pour revenir en Europe; par conséquent, ces frais n'ont pas été comptabilisés dans les charges de l'épouse. Elle a également indiqué quel était le montant du loyer, et précisé que le concubin reçoit 70'000 THB par mois de la part de son employeur pour ses frais de logement (cf. arrêt entrepris, p. 8). Au surplus, s'agissant de l'ensemble des pièces qu'il invoque, le recourant n'indique pas de manière détaillée quelles conséquences elles devraient avoir dans le calcul des charges de l'épouse, de sorte que son argumentation n'est pas conforme au principe d'allégation; partant, elle est en tout état de cause irrecevable (cf. supra consid. 2.1).
Enfin, il sied de rappeler que contrairement à ce que soutient le recourant, le principe du clean break ne joue aucun rôle dans le cadre des mesures provisionnelles (arrêt 5A_228/2012 du 11 juin 2012 consid. 4.3).
6.
En conclusion, le recours est rejeté dans la mesure où il est recevable. Le recourant, qui succombe, supportera les frais judiciaires (<ref-law>). Il versera en outre à l'intimée, qui a été invitée à se déterminer, une indemnité de dépens de 1'500 fr. (art. 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés 2'000 fr., sont mis à la charge du recourant.
3.
Une indemnité de 1'500 fr., à verser à l'intimée à titre de dépens, est mise à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et au Juge délégué de la Cour d'appel civile du Tribunal cantonal du canton de Vaud.
Lausanne, le 17 janvier 2014
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président: von Werdt
La Greffière: Bonvin