Faits: A. A.a. M. A.X._ (1969) et Mme B.X._ (1971), se sont mariés le 8 juin 1996 au Texas (USA). Deux enfants sont issus de leur union: C._ (1999) et D._ (2001). En mars 2009, les époux ont mis un terme à leur vie commune. A.b. La vie séparée des époux a été réglée par plusieurs ordonnances successives, prononçant différentes mesures protectrices de l'union conjugale. La garde des enfants a été attribuée à l'épouse le 17 mars 2009; par jugement du 30 mars 2009, confirmé en appel le 20 juillet 2009, la contribution d'entretien globale due par l'époux en faveur de sa famille a été fixée à 10'000 fr.; le 8 octobre 2009 et le 18 janvier 2010, le droit de visite du père a été réglé. A.c. Une procédure de divorce est en cours depuis le 30 décembre 2010. Par ordonnance de mesures provisionnelles du 8 février 2011, le Président du Tribunal d'arrondissement de La Côte a notamment autorisé la mère à déménager en Thaïlande avec les deux enfants et fixé la contribution due par l'époux pour l'entretien de ses deux enfants à 1'800 fr. par mois, allocations familiales dues en sus, toute contribution d'entretien en faveur de l'épouse étant supprimée. La Cour d'appel civile du Tribunal cantonal vaudois a confirmé cette décision le 4 avril 2011. Statuant sur recours de l'épouse par arrêt du 7 décembre 2011, et admettant le grief de violation du droit d'être entendu au motif que les parties n'ont pas eu l'occasion de se déterminer sur la contribution d'entretien due aux enfants, le Tribunal fédéral a renvoyé la cause à l'autorité de première instance pour nouvelle instruction et décision dans le sens des considérants (arrêt 5A_361/2011 du 7 décembre 2011). B. B.a. L'époux a déposé une requête de mesures provisionnelles le 29 février 2012, concluant à ce qu'il soit libéré de toute contribution d'entretien en faveur de son épouse, avec effet rétroactif au 1 er février 2011. D'entente entre les parties, il a été convenu que la contribution d'entretien de l'épouse, objet de la nouvelle requête de mesures provisionnelles, et celles des enfants, objet de la procédure consécutive à l'arrêt du Tribunal fédéral, seraient traitées lors d'une seule audience. Par conclusions motivées du 12 mars 2012, l'épouse a conclu à ce que la contribution d'entretien due par l'époux en faveur de sa famille ne soit pas inférieure à 10'000 fr. par mois, allocations familiales et assurances maladie pour toute la famille en sus, dès le 1 er février 2011. L'époux a conclu au rejet de ces conclusions et à ce que la pension soit fixée à 900 fr. par mois et par enfant, allocations familiales en sus. Une audience s'est tenue le 5 novembre 2012. Par ordonnance de mesures provisionnelles du 2 mai 2013, le Président du Tribunal d'arrondissement de La Côte a libéré l'époux de toute contribution à l'entretien de l'épouse dès le 1 er février 2011 (III), et fixé la pension due aux enfants à 2'425 fr. par mois, allocations familiales en sus, à compter de la même date (IV). B.b. L'épouse a interjeté appel contre cette décision le 13 mai 2013, concluant principalement à ce que la contribution d'entretien due par son époux pour la famille soit fixée à 10'000 fr. par mois, allocations familiales en sus, dès le 1 er février 2011, et subsidiairement au renvoi de la cause à l'autorité précédente pour nouvelle instruction et nouveau jugement. Par arrêt du 28 juin 2013, expédié aux parties le 26 juillet 2013, le Juge délégué de la Cour d'appel civile du Tribunal cantonal vaudois (ci-après: le Juge délégué) a partiellement admis l'appel en ce sens que " l'ordonnance est réformée par l'adjonction d'un chiffre IV bis nouveau dont la teneur est la suivante: IV bis. dit que M. A.X._ versera à Mme B.X._, une contribution d'entretien d'un montant de 2'000 fr. (deux-mille francs), payable d'avance le premier de chaque mois, dès le 1er février 2011". Pour le surplus, il a confirmé l'ordonnance du 2 mai 2013. C. Par mémoire expédié le 27 août 2013, l'époux exerce un recours en matière civile au Tribunal fédéral contre cet arrêt. Il conclut principalement à sa réforme, en ce sens que la contribution d'entretien en faveur de son épouse est définitivement supprimée dès le 1 er février 2011, et au renvoi de la cause au Juge délégué pour nouvelle décision sur les frais et dépens de l'instance cantonale. Subsidiairement, il conclut à l'annulation de l'arrêt et au renvoi de la cause au Juge délégué pour nouvelle décision dans le sens des considérants. Invitée à se déterminer, l'épouse a conclu, par écriture du 26 novembre 2013, au rejet du recours. Quant au Juge délégué, il s'est référé aux considérants de son arrêt. Les parties ont encore fait quelques observations par la suite. D. Par ordonnance présidentielle du 13 septembre 2013, l'effet suspensif a été accordé pour les contributions dues jusqu'au 30 juillet 2013, mais non pour les montants dus à partir du 1 er août 2013.