Faits : A. A.A._ (1971) et B.A._ (1966) se sont mariés le 9 avril 1997. Ils ont eu deux enfants, aujourd'hui majeurs. Les époux vivent séparés depuis le 1er avril 2015. A.a. Par convention de mesures protectrices de l'union conjugale signée le 3 janvier 2016, ils sont notamment convenus de ce que l'époux s'acquitterait d'une contribution d'entretien de 20'000 fr. par mois en faveur de son épouse dès le 1er janvier 2016, date à partir de laquelle chacun assumerait ses impôts. Le 15 juillet 2016, l'époux a introduit une requête de mesures protectrices de l'union conjugale dans laquelle il a notamment conclu à la suppression de la contribution d'entretien. Le 10 avril 2017, il a introduit une demande de divorce. Par ordonnance de " mesures protectrices de l'union conjugale " du 12 avril 2017, le Président du Tribunal civil de l'arrondissement de l'Est vaudois (ci-après: le Président) a notamment condamné l'époux à contribuer à l'entretien de son épouse par le versement d'une pension mensuelle de 1'470 fr. du 1er mai au 30 juin 2017, puis de 1'140 fr. dès et y compris le 1er juillet 2017. L'appel formé par l'épouse contre cette décision a été rejeté par arrêt du 1er décembre 2017 du Juge délégué de la Cour d'appel civile du Tribunal cantonal du canton de Vaud (ci-après: le Juge délégué). Par arrêt du 21 septembre 2018, le Tribunal fédéral a partiellement admis, dans la mesure de sa recevabilité, le recours de l'épouse et renvoyé la cause à l'autorité cantonale pour qu'elle détermine à nouveau les revenus de l'époux et, sur cette base, qu'elle procède à un nouveau calcul de la contribution d'entretien (cause 5A_24/2018). B. B.a. Le 21 mars 2018, l'épouse a adressé au Président une requête de mesures provisionnelles tendant à modifier les mesures protectrices de l'union conjugale existantes. Elle a notamment conclu à ce que la contribution d'entretien en sa faveur soit augmentée à 4'500 fr. par mois dès le 1er mai 2017. B.b. Statuant par arrêt du 4 février 2019 ensuite du renvoi de la cause ordonné par arrêt du Tribunal fédéral du 21 septembre 2018, le Juge délégué a confirmé le montant de la pension tel que fixé par ordonnance du 12 avril 2017. B.c. La procédure de mesures provisionnelles a été suspendue du 17 mai 2018 au 17 juin 2019. Par déterminations du 10 octobre 2019, l'époux a notamment conclu au rejet des conclusions de son épouse et à la suppression, dès le 1er mai 2018, de toute pension en faveur de son épouse. Une audience s'est tenue le 30 octobre 2019. B.d. Par ordonnance de mesure provisionnelles du 24 avril 2020, le Président a notamment dit que dès le 1er novembre 2019, la pension serait fixée à 2'270 fr. par mois. Statuant par arrêt du 18 septembre 2020 communiqué aux parties par pli du 22 septembre 2020, le Juge délégué a rejeté l'appel formé par l'épouse et partiellement admis l'appel de l'époux contre cette décision. Il a réformé l'ordonnance du 24 avril 2020 en ce sens que la contribution d'entretien est fixée à 740 fr. par mois à compter du 1er novembre 2019, l'ordonnance étant confirmée pour le surplus. Les frais judiciaires de deuxième instance, arrêté à 6'200 fr., ont été mis pour 4'500 fr. à la charge de l'épouse et pour 1'700 fr. à la charge de l'époux, l'épouse étant au surplus condamnée à verser 1'650 fr. à l'époux à titre de dépens de deuxième instance. C. Par acte du 23 octobre 2020, B.A._ exerce un recours en matière civile au Tribunal fédéral. Il conclut à l'annulation de l'arrêt cantonal et à sa réforme, principalement en ce sens que la contribution d'entretien en faveur de A.A._ est supprimée à compter du 1er novembre 2019, que les frais judiciaires de deuxième instance, arrêtés à 6'200 fr., sont mis pour 5'000 fr. à la charge de son épouse et pour 1'200 fr. à sa propre charge, et que son épouse est condamnée à lui verser 2'500 fr. à titre de dépens de deuxième instance. A titre subsidiaire, il demande le renvoi de la cause à l'autorité cantonale pour nouvelle décision. Il n'a pas été demandé d'observations.