Faits :
A.
A.a. Les époux A._, tous deux de nationalité suisse, se sont mariés en 1997 au Royaume-Uni. Deux enfants sont issus de cette union, à savoir C._, née en 1998, et D._, né en 2003.
Les parties ont connu une première séparation entre 2005 et 2009, laquelle a fait l'objet d'une réglementation par convention du 8 novembre 2005 puis par prononcé du Président du Tribunal civil de l'arrondissement de l'Est vaudois (ci-après: président) du 20 avril 2006. Elles vivent à nouveau séparées vraisemblablement depuis le 18 août 2016.
A.b. Par requête de mesures protectrices de l'union conjugale adressée au président le 22 septembre 2016, A.A._ a notamment conclu à ce qu'il ne soit pas astreint à contribuer à l'entretien de son épouse.
Dans sa réponse du 1 er novembre 2016, B.A._ a conclu, à titre de " mesures superprotectrices de l'union conjugale ", à ce que A.A._ lui verse la somme de 20'000 fr. à valoir comme acompte sur les contributions d'entretien dues pour elle-même et son fils. A titre de mesures protectrices de l'union conjugale, elle a conclu à ce que A.A._ soit astreint à contribuer à son entretien à hauteur de 7'500 fr. par mois.
A.c. Par ordonnance du 4 novembre 2016, le président a notamment ordonné à A.A._ de verser immédiatement à B.A._ un acompte de 20'000 fr. à valoir sur le montant des contributions d'entretien qui seraient éventuellement fixées ultérieurement.
A.d. Par ordonnance du 9 mai 2017, confirmée par arrêt du 12 septembre 2017 de la Juge déléguée de la Cour d'appel civile du Tribunal cantonal vaudois (ci-après: Juge déléguée), le président a notamment astreint A.A._ à verser à B.A._, dès le 1 er novembre 2016, un acompte de 6'700 fr., à valoir sur le montant des contributions d'entretien qui seraient fixées par une ordonnance de mesures protectrices de l'union conjugale à intervenir, sous déduction de la somme de 20'000 fr. dont le paiement avait été ordonné par ordonnance du 4 novembre 2016.
Le recours interjeté par A.A._ contre l'arrêt rendu le 12 septembre 2017 par la Juge déléguée a été déclaré irrecevable par arrêt du Tribunal fédéral du 31 mai 2018 (5A_813/2017).
A.e. Le 16 mars 2018, A.A._ a adressé une nouvelle requête de mesures protectrices de l'union conjugale au président, concluant notamment à ce que le dispositif de l'ordonnance de mesures protectrices de l'union conjugale du 9 mai 2017 soit modifié en ce sens qu'il soit dispensé de toute contribution à l'entretien de son épouse à compter du 1 er avril 2017 et à ce qu'un revenu hypothétique, qui ne saurait être inférieur à 8'000 fr. brut par mois, soit imputé à B.A._ avec effet immédiat à compter de cette date.
Dans ses déterminations du 9 avril 2018, B.A._ a notamment conclu à ce que A.A._ soit astreint à contribuer à son entretien à hauteur de 10'200 fr. par mois dès le 1 er septembre 2016 et à ce qu'aucun revenu hypothétique ne lui soit imputé.
A.f. En cours d'instance, une expertise comptable a été mise en oeuvre à la requête de A.A._. Le rapport d'expertise a été déposé le 22 mai 2018.
A.g. Le 7 juin 2018, la police de sûreté vaudoise a établi un rapport duquel il ressort notamment que B.A._ a prélevé, entre 2011 et 2014, un montant total de 240'000 fr. sur les comptes de E._ SA, l'intéressée ayant expliqué à cet égard qu'il s'agissait du remboursement des arriérés de pensions dus par A.A._ pour les années 2006 à 2009. Entendue comme prévenue par la police de sûreté, elle a indiqué qu'elle avait utilisé une partie de cet argent pour s'acheter un appartement à U._ (V._). La police de sûreté a relevé que B.A._ avait lésé la société E._ SA, sans toutefois qualifier ses agissements de pénalement répréhensibles. Il ressort également dudit rapport que A.A._ a déposé une plainte pénale contre son épouse pour tentative d'assassinat, estimant que celle-ci l'avait empoisonné avec du mercure. La police de sûreté a relevé que l'enquête n'avait pas permis de découvrir l'origine de cet empoisonnement, ni s'il était dû à l'intervention d'une tierce personne.
A.h. Par ordonnance de mesures protectrices de l'union conjugale du 2 juillet 2018, la Présidente du Tribunal civil de l'arrondissement de l'Est vaudois (ci-après: la présidente) a rejeté la requête de mesures protectrices de l'union conjugale déposée le 16 mars 2018 par A.A._. Dite ordonnance a toutefois été annulée par arrêt du 25 septembre 2018 de la Cour d'appel civile du Tribunal cantonal vaudois (ci-après: Cour d'appel) et la cause renvoyée à l'autorité de première instance pour nouvelle décision au sens des considérants ensuite de l'appel interjeté le 13 juillet 2018 par A.A._.
A.i. Par ordonnance de mesures protectrices de l'union conjugale du 30 janvier 2019, la présidente a notamment astreint A.A._ à contribuer à l'entretien de B.A._ à hauteur de 6'600 fr. par mois du 1 er novembre 2016 au 1 er mars 2017 (III), de 5'530 fr. au mois d'avril 2017 (IV), de 4'930 fr. au mois de mai 2017 (V), de 5'000 fr. au mois de juin 2017 (VI), de 460 fr. du 1 er juillet au 1 er septembre 2017 (VII), de 6'600 fr. du 1er octobre au 1er décembre 2017 (VIII), de 6'530 fr. au mois de janvier 2018 (IX), de 5'130 fr. au mois de février 2018 (X), de 5'580 fr. au mois de mars 2018 (XI), de 6'600 fr. du 1 er avril au 1 er septembre 2018 (XII), de 3'100 fr. du 1 er octobre 2018 jusqu'à l'issue d'un délai de trois mois à compter de la notification de la décision (XIII) et de 1'900 fr. à l'issue d'un délai de trois mois à compter de la notification de la décision (XIV), a rejeté, dans la mesure de leur recevabilité, toutes autres ou plus amples conclusions (XV), a arrêté les frais judiciaires à 17'846 fr. 50 (soit notamment 4'846 fr. 50 pour les frais d'expertise comptable), les a mis par 6'500 fr. à la charge de B.A._ et par 11'346 fr. 50 à la charge de A.A._, les a compensés partiellement avec les avances versées par A.A._, B.A._ étant la débitrice de A.A._ de la somme de 453 fr. 50 en remboursement des avances versées (XVI), et a dit que chaque partie supportait ses dépens (XVII).
B.
B.a. Par acte du 11 février 2019, A.A._ a fait appel de l'ordonnance du 30 janvier 2019, concluant principalement à la réforme des chiffres III à XV de son dispositif en ce sens qu'il soit dispensé de toute contribution à l'entretien de B.A._ à compter du 1 er novembre 2016. Il a en outre conclu à la réforme des chiffres XVI et XVII du dispositif de l'ordonnance entreprise en ce sens que l'intégralité des frais judiciaires soit mise à la charge de B.A._ et que celle-ci doive lui verser la somme de 60'000 fr. à titre de dépens. Subsidiairement, il a conclu à l'annulation de l'ordonnance et au renvoi de la cause au premier juge pour nouvelle décision.
Dans sa réponse du 25 mars 2019, B.A._ a conclu au rejet des conclusions prises par A.A._. Elle a par ailleurs conclu à la réforme du chiffre XVII du dispositif de l'ordonnance entreprise en ce sens que A.A._ soit condamné à lui verser 100'000 fr. à titre de dépens (III). Elle a également pris des conclusions tendant à l'inscription d'une hypothèque légale, au séquestre d'un terrain à bâtir et à la restitution d'un compte jeunesse (IV à VI). Subsidiairement, elle a conclu " au renvoi de l'ordonnance " à l'autorité précédente pour " compléments d'instructions ".
B.b. Par arrêt du 15 avril 2019, le Juge délégué de la Cour d'appel civile du Tribunal cantonal vaudois a partiellement admis l'appel principal et a déclaré l'appel joint irrecevable. Il a réformé le chiffre XIV de l'ordonnance attaquée en ce sens que A.A._ est dispensé de toute contribution à l'entretien de B.A._ à compter du 1 er mai 2019. Il a confirmé l'ordonnance entreprise pour le surplus.
C.
Par acte du 16 mai 2019, A.A._ interjette un recours en matière civile au Tribunal fédéral contre cet arrêt. Il conclut principalement à son annulation et à sa réforme en ce sens qu'aucune contribution d'entretien en faveur de B.A._ n'est mise à sa charge. Subsidiairement, il conclut à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'instance inférieure pour nouvelle décision au sens des considérants. Il a également assorti son recours d'une requête d'effet suspensif.
L'intimée a conclu à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'instance inférieure pour nouveau jugement. L'autorité cantonale s'est référée aux considérants de son arrêt. Le recourant a répliqué par écriture du 5 février 2020 concluant à l'irrecevabilité des conclusions prises par l'intimée dans sa réponse tout comme des pièces produites à leur appui.
D.
Par ordonnance présidentielle du 5 juin 2019, l'effet suspensif a été accordé pour les contributions d'entretien dues jusqu'au 30 avril 2019.

Considérant en droit :
1.
1.1. Déposé en temps utile (<ref-law>) et dans la forme légale (<ref-law>), le recours est dirigé contre une décision finale (<ref-law>; <ref-ruling> consid. 4) prise sur recours par une autorité supérieure statuant en dernière instance cantonale (art. 75 al. 1 et 2 LTF), dans une affaire matrimoniale (<ref-law>; <ref-ruling> consid. 2) de nature pécuniaire, dont la valeur litigieuse requise est atteinte (art. 51 al. 1 let. a, 51 al. 4 et 74 al. 1 let. b LTF). Le recourant a participé à la procédure devant l'autorité précédente et a un intérêt digne de protection à la modification ou l'annulation de la décision entreprise (art. 76 al. 1 let. a et b LTF). Le recours est donc en principe recevable au regard des dispositions qui précèdent.
1.2. Le recours doit contenir des conclusions, c'est-à-dire indiquer quels sont les points du dispositif de l'arrêt attaqué qui sont contestés, quelles sont les modifications qui sont demandées (<ref-law>; arrêts 5A_473/2019 du 22 novembre 2019 consid. 1.4; 5A_493/2018 du 5 novembre 2018 consid. 2.3). L'application du principe de la confiance impose d'interpréter les conclusions à la lumière de la motivation; l'interdiction du formalisme excessif commande, pour sa part, de ne pas se montrer trop strict dans la formulation des conclusions si, à la lecture du mémoire, on comprend clairement ce que veut le recourant (arrêts 5A_1023/2018 du 8 juillet 2019 consid. 1.2; 5A_866/2015 du 2 mai 2016 consid. 1.2 et les références, non publié aux <ref-ruling>).
Bien que cela ne ressorte pas des conclusions du recours, on comprend que le recourant conteste les contributions d'entretien dues en faveur de son épouse à compter du 1 er novembre 2016 puisqu'il s'agit du dies a quo fixé dans l'ordonnance de première instance, confirmée sur ce point en appel, et dont il sollicite la réforme. Cela est corroboré par le fait qu'il reproche au Juge délégué d'avoir retenu un loyer hypothétique en faveur de l'intimée pour la période du 1er novembre 2016 au 30 avril 2019 (cf. infra consid. 5).
1.3. Dans ses déterminations sur le recours, l'intimée conclut à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'instance inférieure pour nouveau jugement. La loi sur le Tribunal fédéral ne connaissant pas l'institution du recours joint, de telles conclusions sont irrecevables (cf. <ref-ruling> consid. 1.2; <ref-ruling> consid. 1.2.3). Pour le reste, il ressort de sa réponse qu'elle sollicite à tout le moins le rejet du recours.
2.
2.1. Dès lors que la décision attaquée porte sur des mesures protectrices de l'union conjugale (art. 172 à 179 CC), lesquelles sont considérées comme des mesures provisionnelles au sens de l'<ref-law> (<ref-ruling> consid. 5), seule la violation de droits constitutionnels peut être soulevée à leur encontre. Le Tribunal fédéral n'examine de tels griefs que s'ils ont été invoqués et motivés (" principe d'allégation ", <ref-law>), à savoir expressément soulevés et exposés de manière claire et détaillée (<ref-ruling> consid. 2.2; <ref-ruling> consid. 3.2; <ref-ruling> consid. 6). Le recourant qui se plaint de la violation d'un droit fondamental ne peut donc se borner à critiquer la décision attaquée comme il le ferait en instance d'appel, où l'autorité de recours jouit d'une libre cognition; il ne peut, en particulier, se contenter d'opposer sa thèse à celle de l'autorité cantonale, mais doit démontrer ses allégations par une argumentation précise (<ref-ruling> consid. 3; <ref-ruling> consid. 3.2). Le Tribunal fédéral n'entre pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 2.3; <ref-ruling> consid. 10.1 et les arrêts cités).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Le recourant qui entend invoquer que les faits ont été établis de manière manifestement inexacte ne peut se limiter à contredire les constatations litigieuses par ses propres allégations ou par l'exposé de sa propre appréciation des preuves; il doit indiquer de façon précise en quoi ces constatations sont arbitraires au sens de l'art. 9 Cst. et sont susceptibles d'influer sur le sort de la cause. Une critique des faits qui ne satisfait pas à cette exigence est irrecevable (<ref-law>; <ref-ruling> consid. 1.3.1; <ref-ruling> consid. 2.3 et les références).
3.
Le recourant se plaint en premier lieu de la méthode de calcul appliquée pour établir le montant des contributions dues à l'entretien de son épouse.
3.1. Il reproche à l'autorité cantonale d'avoir appliqué à tort la méthode fondée sur le train de vie des parties durant l'union conjugale alors qu'elle aurait, selon lui, dû se fonder sur celle dite du minimum vital élargi avec répartition de l'excédent. Il rappelle que la méthode fondée sur le train de vie n'est pas adaptée au cas d'espèce dès lors que les époux dépensaient l'entier de leurs revenus pour couvrir leur train de vie. Il soulève également un grief de violation du droit d'être entendu (art. 29 al. 2 Cst.) faute pour la cour cantonale d'avoir suffisamment motivé le choix de la méthode appliquée.
3.2. En vertu des principes de la bonne foi et de l'épuisement des griefs (<ref-law>), le recours n'est ouvert qu'à l'encontre des décisions rendues par une autorité cantonale de dernière instance, ce qui suppose que les voies de droit cantonales aient été non seulement utilisées sur le plan formel, mais aussi épuisées sur le plan matériel. Lorsque l'autorité de dernière instance cantonale peut se limiter à examiner les griefs régulièrement soulevés, le principe de l'épuisement matériel des instances cantonales veut que les griefs soumis au Tribunal fédéral aient déjà été invoqués devant l'instance précédente (<ref-ruling> consid. 1.1 et les références; arrêts 5A_605/2018 du 7 décembre 2018 consid. 5.2; 4A_32/2018 du 11 juillet 2018 consid. 5.2.1-5.2.2).
3.3. En l'occurrence, il apparaît que le recourant remet en question pour la première fois le choix de la méthode de calcul des contributions d'entretien et la manière dont celle-ci a été appliquée par le Juge délégué. Il ne ressort en effet pas de ses écritures d'appel qu'il se serait plaint de la méthode de calcul appliquée par le premier juge dont le choix a été confirmé par le Juge délégué, seule la durée durant laquelle la contribution d'entretien devait être payée ayant été modifiée en appel. En conséquence, ce grief est irrecevable.
4.
Le recourant reproche au Juge délégué d'avoir considéré arbitrairement qu'il pouvait librement continuer à puiser dans sa fortune et qu'il convenait de la lui imputer comme source de revenus, ce alors qu'il ne disposait plus des mêmes ressources qu'avant et que les rares prélèvements privés qu'il faisait sur sa fortune servaient à éponger des dettes. Il estime par ailleurs que la cour cantonale a retenu arbitrairement que l'intimée n'avait, pour sa part, pas à puiser dans sa propre fortune.
4.1. Pour fixer le montant de la contribution d'entretien, le juge doit notamment tenir compte des revenus et de la fortune des époux. Si les revenus (du travail et de la fortune) suffisent à l'entretien des conjoints, la substance de la fortune n'est normalement pas prise en considération. Mais, dans le cas contraire, rien ne s'oppose, en principe, à ce que l'entretien soit assuré par la fortune, le cas échéant même par les biens propres (arrêts 5A_608/2019 du 16 janvier 2020 consid. 4.2.1 et les arrêts cités; 5A_524/2017 du 9 octobre 2017 consid. 5.1.3; 5A_170/2016 du 1 er septembre 2016 consid. 4.3.5).
Suivant la fonction et la composition de la fortune des époux, on peut ainsi attendre du débiteur d'aliments - comme du créancier - qu'il en entame la substance. En particulier, si elle a été accumulée dans un but de prévoyance pour les vieux jours, il est justifié de l'utiliser pour assurer l'entretien des époux après leur retraite, alors que tel ne serait en principe pas le cas lorsque les biens patrimoniaux ne sont pas aisément réalisables, qu'ils ont été acquis par succession ou investis dans la maison d'habitation (arrêts 5A_608/2019 précité; 5A_170/2016 précité; 5A_136/2016 du 12 septembre 2016 consid. 3).
Savoir si et dans quelle mesure il peut être exigé du débirentier qu'il entame sa fortune pour assurer l'entretien courant doit être apprécié au regard des circonstances concrètes. Sont notamment d'une importance significative le standard de vie antérieur, lequel peut éventuellement devoir être diminué, l'importance de la fortune et la durée pendant laquelle il est nécessaire de recourir à celle-ci (arrêts 5A_608/2019 précité; 5A_524/2017 précité; 5A_170/2016 précité 5A_25/2015 du 5 mai 2015 consid. 3.2).
En outre, pour respecter le principe d'égalité entre les époux, on ne saurait exiger d'un conjoint qu'il entame sa fortune que si on impose à l'autre d'en faire autant, à moins qu'il n'en soit dépourvu (arrêts 5A_608/2019 précité; 5A_170/2016 précité).
4.2. Le Juge délégué a retenu pour l'essentiel que, selon les constatations de l'expert, le financement du train de vie du recourant était assuré par le remboursement d'une créance qu'il détenait envers la société E._ SA. L'allégation du recourant selon laquelle les prélèvements effectués sur sa fortune en 2017 avaient pour but d'éponger des dettes personnelles n'avait pas été rendue vraisemblable alors qu'il aurait été en mesure de l'établir en produisant des pièces concernant ces prétendus remboursements. L'expert avait certes concédé qu'il était possible que les 300'000 fr. prélevés en 2017 aient servi à rembourser des dettes personnelles. Cette appréciation n'était toutefois fondée sur aucun élément concret. Au stade de la vraisemblance, le Juge délégué a donc considéré que le train de vie du recourant continuait à être assuré par des prélèvements sur sa fortune et la vente d'actifs. Il a par ailleurs constaté que sa fortune demeurait importante puisqu'il ressortait de l'extrait du " registre des propriétaires " que la société E._ SA était propriétaire d'immeubles pour une valeur fiscale estimée à 3'227'700 fr. et qu'il était lui-même propriétaire d'immeubles estimés fiscalement à 1'637'600 fr. La déclaration fiscale 2016 des parties faisait état d'immeubles et de terrains des époux pour une valeur fiscale de 1'644'000 fr., une fortune brute de 7'501'952 fr. et une fortune imposable de 3'063'000 fr. Partant, eu égard à l'importance de la fortune et à la durée limitée des mesures protectrices - l'intimée ayant allégué qu'une action en divorce avait été ouverte le 7 janvier 2019 par le recourant, fait non contesté par ce dernier - le recourant était en mesure de continuer en l'état à subvenir au train de vie de l'intimée qui demeurait relativement modeste.
4.3. L'argumentation du recourant sur ce point, outre qu'elle consiste en une reprise presque mot pour mot de son mémoire d'appel (cf. p. 6 ss), ne permet pas de démontrer un quelconque arbitraire dans la motivation du Juge délégué. En effet, le recourant affirme péremptoirement qu'il fait davantage d'apports que de prélèvements privés auprès de la société E._ SA, que ses sociétés ne réalisent aucun bénéfice, qu'il n'a rien retiré de ses sociétés entre 2014 et 2016 et que les 300'000 fr. prélevés en 2017 n'avaient pas servi à financer son train de vie mais à rembourser des dettes. Il ne se réfère toutefois à aucune pièce ou offre de preuve pour appuyer ses allégations. Par ailleurs, contrairement à ce qu'il soutient, le Juge délégué n'est pas parti du postulat qu'il pouvait puiser dans la substance de sa fortune comme bon lui semblait pour assurer l'entretien de l'intimée puisqu'il a précisément justifié ce mode de financement de la contribution d'entretien par le fait que les mesures protectrices étaient ordonnées pour une durée limitée et qu'il a au final supprimé toute contribution d'entretien en faveur de l'intimée à compter du 1 er mai 2019. Enfin, le recourant n'apporte aucun élément susceptible d'infirmer les constatations relatives à l'importance de sa fortune. Partant, c'est sans arbitraire que l'autorité cantonale a considéré que l'on pouvait raisonnablement exiger du recourant qu'il mette sa fortune à contribution pour assurer l'entretien de l'intimée jusqu'au 30 avril 2019.
Autre est la question de savoir si l'intimée doit également puiser dans ses avoirs pour subvenir à ses besoins. A cet égard, il est vrai que, selon la jurisprudence, on ne peut exiger d'un conjoint qu'il entame sa fortune que si on impose à l'autre d'en faire autant, à moins qu'il n'en soit dépourvu. La jurisprudence prévoit toutefois également qu'on ne peut en principe pas attendre d'un époux qu'il entame la substance de sa fortune lorsque les biens patrimoniaux ne sont pas aisément réalisables, qu'ils ont été acquis par succession ou investis dans la maison d'habitation. En l'occurrence, il ne ressort pas de l'arrêt entrepris que l'intimée disposerait d'une fortune autre que les deux biens immobiliers dont elle est propriétaire à... (V._). En effet, si le Juge délégué a retenu que l'intimée avait certes prélevé des montants sur les comptes de E._ SA pour un total évalué par le recourant à environ 400'000 fr., il a toutefois relevé que le premier juge avait considéré comme vraisemblable que la part de ce montant n'ayant pas servi à l'acquisition d'un appartement à... (V._) ait pu être utilisée pour les besoins du ménage, l'intimée contestant par ailleurs ne pas avoir bénéficié de l'accord du recourant pour effectuer ces retraits. Le recourant se réfère au rapport d'investigation du 7 juin 2018 de la police de sûreté vaudoise pour soutenir que seuls 63'348 fr. 91 se rapportent à des dépenses potentiellement dévolues au couple. Il ressort effectivement dudit rapport que des dépenses totalisant un montant de 63'348 fr. 91 ont pu être identifiées comme des paiements divers qui pourraient avoir bénéficié au couple. Cela signifie toutefois uniquement que l'affectation du solde n'a pas pu être identifiée mais n'exclut en revanche pas que ces retraits aient pu être utilisés pour les besoins du ménage. Partant, les constatations en ce sens du premier juge, confirmées par le Juge délégué, ne sont pas arbitraires. Il est par ailleurs admis que la somme retirée a été utilisée notamment pour financer au moins en partie l'achat d'un bien immobilier à... (V._), de sorte qu'il n'y avait rien d'arbitraire à considérer que l'intimée ne disposait vraisemblablement plus de liquidités. Quant au recourant, sa fortune se compose pour l'essentiel, aux dires de l'expert, des titres de la société E._ SA et de la valeur fiscale des vignes et des immeubles. S'agissant de la nature réalisable des titres, le recourant se contente d'affirmer, sans le démontrer, que la fonction même de cet élément de sa fortune empêche qu'on y porte atteinte et qu'aucun tiers ne serait intéressé par ce rachat. Pour ce qui est des vignes et des immeubles, il se borne là aussi à soutenir qu'il ne saurait être question de s'en prendre à leur substance au vu de leur fonction. Cette argumentation est toutefois en contradiction avec le fait que le train de vie du couple était déjà financé au moyen de prélèvements dans la fortune du recourant depuis la reprise de la vie commune en 2009, ce que le Juge délégué a constaté sur la base du rapport de l'expert et que le recourant ne remet pas valablement en cause. On ne perçoit au demeurant pas en quoi la vente d'une partie des titres de la société porterait atteinte à sa liberté économique, ce d'autant que le recourant se contente de soulever ce dernier grief sans le motiver plus avant et de manière conforme à l'<ref-law>. Dans ces circonstances et eu égard à la nature des biens composant la fortune de chacun des époux, c'est sans arbitraire qu'il n'a pas été exigé de l'intimée qu'elle réalise ses immeubles pour assurer son entretien, nonobstant le fait que le recourant doive mettre sa propre fortune à contribution.
5.
Le recourant se plaint d'arbitraire dans l'établissement des charges de l'intimée.
5.1. Il reproche en particulier au Juge délégué d'avoir intégré au budget de l'intimée des charges relatives à des loisirs que cette dernière ne pratique plus, considérant qu'elle pouvait affecter ce montant à d'autres dépenses de loisirs destinées à assurer le même train de vie. Il rappelle que seules les charges effectives et réellement acquittées peuvent être prises en considération dans les charges des parties. Il reproche également à la cour cantonale d'avoir retenu un loyer hypothétique à hauteur de 2'500 fr. dans les charges de l'intimée pour la période du 1 er novembre 2016 au 30 avril 2019 nonobstant le fait que cette dernière vivait chez des proches sans payer la moindre charge de loyer depuis mai 2017 à tout le moins. Par ailleurs, la manière dont ce montant avait été arrêté ne résultait pas de la motivation de l'arrêt querellé, ce qui constituait une violation de son droit d'être entendu. Il reproche enfin au Juge délégué d'avoir pris en compte certains postes de charges de l'intimée à double puisque la " RC ménage ", les frais de " téléphonie et informatique " et les montants retenus pour les " soins, coiffeur et esthétique " et pour la " garde-robe " étaient déjà inclus dans le montant de base OP. Quant à ce dernier montant, il aurait selon lui dû être arrêté à 850 fr. dans la mesure où l'intimée vit en colocation.
5.2. Seules les charges effectives, à savoir celles qui sont réellement acquittées, peuvent être prises en compte pour le calcul de la contribution d'entretien (<ref-ruling> consid. 3a et les références; arrêts 5A_889/2018 du 15 mai 2019 consid. 3.2.1; 5A_771/2018 du 28 mars 2019 consid. 3.2), à l'exclusion de dépenses hypothétiques dont on ne sait si elles existeront finalement - et à concurrence de quel montant - ni si elles seront en définitive assumées (arrêt 5A_751/2008 du 31 mars 2009 consid. 3.1).
5.3. Le recourant reproche au Juge délégué d'avoir arbitrairement tenu compte de charges qui n'étaient plus assumées par l'intimée, à savoir son abonnement de fitness et sa cotisation à F._. Dans la mesure où il est établi que l'intimée n'assume plus ces charges, il était effectivement arbitraire de continuer à les comptabiliser dans ses besoins mensuels dès lors qu'il n'apparaît pas qu'elle aurait démontré, au stade de la vraisemblance, affecter un montant équivalent à d'autres loisirs dans le cadre du maintien de son train de vie.
Pour ce qui est de la charge de loyer, le Juge délégué a motivé la prise en compte d'un loyer hypothétique en faveur de l'intimée par la seule confiance créée par les ordonnances précédentes du premier juge dans lesquelles il avait été admis que cette dernière pouvait être mise au bénéfice d'un tel loyer durant une période transitoire dans le cadre du maintien global de son train de vie. Il a toutefois estimé que cette situation ne pouvait perdurer au-delà de la reddition de l'arrêt entrepris dans la mesure où l'intimée vivait chez des proches sans payer de loyer depuis deux ans et n'avait entrepris aucune démarche concrète pour se trouver un logement autonome.
Il est vrai que le Tribunal de céans a déjà eu l'occasion de constater qu'il n'était pas arbitraire de tenir compte d'un loyer hypothétique pour une durée transitoire le temps que l'époux concerné trouve un logement (arrêt 5A_845/2012 du 2 octobre 2013 consid. 3.1.3). Cela étant, bien que la séparation des parties ait été réglementée par plusieurs ordonnances de mesures protectrices de l'union conjugale, la requête à l'origine de la présente procédure date du 16 mars 2018. Or, il ressort de l'état de fait cantonal que l'intimée séjourne chez des proches sans payer de charge de loyer à tout le mois depuis le mois de mai 2017. Partant, le premier juge, qui se déterminait sur cette question plus d'une année plus tard, et le Juge délégué en tant qu'il a confirmé l'ordonnance querellée sur ce point pour la période antérieure au 1 er mai 2019, ne pouvaient sans arbitraire considérer que la situation de logement de l'intimée était toujours transitoire, ce d'autant qu'il est admis que cette dernière n'avait entrepris aucune démarche pour se trouver un logement autonome durant cette période. En effet, hormis l'exception précitée qui ne concerne qu'une période transitoire, seuls les frais de logement effectifs ou raisonnables doivent être pris en compte et, en l'absence de telles charges, il appartient à la personne concernée de faire valoir ses frais de logement effectifs dès la conclusion d'un contrat de bail (arrêt 5A_461/2017 du 25 juillet 2017 consid. 3.3 et les références). Partant, c'est à juste titre que le recourant se plaint d'arbitraire en tant que le Juge délégué n'a supprimé la charge de loyer de l'intimée qu'à compter du 1 er mai 2019.
Par ailleurs, si le recourant ne peut pas remettre en question le choix de la méthode de calcul appliquée faute d'avoir épuisé ce moyen devant l'autorité précédente (cf. supra consid. 3), il apparaît que son grief de double prise en compte de certains postes de charges pour l'intimée échappe à cette sanction dans la mesure où il avait déjà été soulevé devant le Juge délégué. A cet égard, la cour cantonale a repris les charges telles qu'établies par le premier juge et les a arrêtées à 4'070 fr. 80 (abstraction faite du loyer hypothétique de 2'500 fr.). Or, pour parvenir à ce montant, le premier juge a non seulement établi de manière concrète certains postes de charges de l'intimée mais a ajouté en sus le montant mensuel de base du droit des poursuites qui comprend déjà certains de ces postes, à savoir notamment les frais pour les vêtements, les soins corporels et de santé et les assurances privées, ce qui conduit à un résultat arbitraire. Partant, le grief sur ce point doit être admis et la cause renvoyée à la cour cantonale afin qu'elle établisse à nouveau les charges concrètes de l'intimée pour la période comprise entre le 1er novembre 2016 et le 30 avril 2019.
6.
Le recourant reproche au Juge délégué de ne pas avoir imputé un revenu hypothétique supérieur à l'intimée.
6.1. S'agissant de l'éventuel revenu locatif que l'intimée peut réaliser à... (V._), le Juge délégué a considéré qu'il était admissible que l'un de ses appartements reste inhabité, afin de lui permettre d'y loger lors de ses séjours dans ce pays. Quant au produit d'une éventuelle location de l'autre appartement, la seule référence au site Internet Airbnb produite par le recourant en lien avec des objets dont on ignorait s'ils étaient comparables à l'appartement de l'intimée - et dont les charges étaient également inconnues - était insuffisante pour permettre de retenir que la location d'un appartement serait susceptible de fournir à l'intimée des revenus significatifs et supérieurs aux charges mensuelles du logement.
Pour ce qui est du revenu que l'intimée pouvait réaliser par le biais d'une activité salariée, le premier juge avait, dans son ordonnance du 2 juillet 2018, indiqué qu'on pouvait exiger de l'intimée qu'elle intensifie ses recherches et les étende à d'autres emplois moins qualifiés, sous peine de se voir imputer un revenu hypothétique d'ici au 30 novembre 2018. Dans son ordonnance sur renvoi du 30 janvier 2019, il avait relevé que l'intimée devait intensifier ses recherches et les étendre à d'autres emplois moins qualifiés à hauteur de 40% et qu'elle était en mesure de percevoir un revenu complémentaire d'au minimum 1'200 fr., en se référant à l'art. 10 CCNT (Convention collective nationale de travail pour les hôtels, restaurants et cafés), qui prévoyait un salaire minimal brut de 3'470 fr. pour une aide de cuisine sans formation. Il avait toutefois imparti à l'intimée un délai de trois mois à compter de la notification de l'ordonnance avant de tenir compte de ce revenu supplémentaire. Le Juge délégué a relevé que l'intimée avait fait des efforts sérieux pour trouver un emploi et qu'elle avait effectivement été engagée à 60% dès fin septembre 2018, étant précisé que son employeur n'était pas en mesure d'augmenter son taux d'activité. Dans ces circonstances, il a estimé que le premier juge n'avait pas mésusé de son pouvoir d'appréciation en accordant un délai d'adaptation supplémentaire de trois mois à compter de la notification de la décision attaquée, pour trouver un emploi complémentaire. Il était admissible de se fonder sur un salaire minimal d'aide de cuisine sans formation à plein temps, plutôt que sur un revenu moyen pour des professions ne nécessitant aucune formation professionnelle. Il était d'autant plus adéquat d'être prudent dans la quotité du revenu hypothétique imputé que la situation financière du recourant, au vu de sa fortune importante, était loin d'être difficile. Il s'ensuivait que le revenu de l'intimée devait être arrêté à 4'700 fr. (3'500 fr. [revenu effectif] + 1'200 fr. [revenu hypothétique]) à compter du 1 er mai 2019, ce qui lui permettait dès cette date de couvrir le montant de 4'070 fr. 80 nécessaire au maintien de son train de vie.
6.2. Le recourant soutient qu'un revenu hypothétique aurait dû être imputé à l'intimée à tout le moins pour la mise en location de l'un de ses appartements à... (V._). Il estime également que le délai d'adaptation octroyé à l'intimée avant de lui imputer un revenu hypothétique pour l'exercice d'une activité professionnelle à 100% est arbitrairement long. Selon lui, le Juge délégué avait confirmé arbitrairement le délai de 6 mois octroyé par le premier juge et le délai supplémentaire de 3 mois accordé dans la décision sur renvoi, alors même que le revenu hypothétique qui lui avait été imputé correspondait à une activité ne nécessitant aucune formation particulière. Le Juge délégué avait également apprécié de façon insoutenable les recherches d'emploi de l'intimée, qualifiant ses efforts pour trouver du travail de sérieux, alors même que celles-ci n'étaient pas personnalisées, étaient truffées de fautes d'orthographe et avaient été faites dans son seul domaine de compétence. L'autorité cantonale s'était arbitrairement fondée sur le salaire minimal d'aide de cuisine sans formation alors que l'intimée possédait de solides connaissances dans son domaine d'expertise, doublée d'une réelle expérience professionnelle. Il était au demeurant notoire que le revenu mensuel moyen pour des professions ne nécessitant aucune formation professionnelle particulière était de l'ordre de 4'500 fr. à Genève. La décision cantonale était d'autant plus arbitraire sur ce point qu'il y avait été considéré qu'il était adéquat d'être prudent dans la quotité du revenu hypothétique imputé à l'intimée au vu de la situation financière confortable de son époux, alors qu'il avait précisément démontré que celle-ci était au contraire plus que difficile.
6.3. Dans la mesure où, dans l'intervalle compris entre la reddition des deux ordonnances de première instance, l'intimée a effectivement trouvé un emploi à un taux de 60% chez un employeur qui n'était pas en mesure d'augmenter son taux d'activité, il n'apparaît pas arbitraire de lui avoir alloué un délai supplémentaire, qui plus est relativement bref, pour trouver un emploi complémentaire voire un autre emploi à un taux plus élevé. Les critiques du recourant quant à la qualité des recherches d'emploi de l'intimée et leur appréciation par le Juge délégué sont infondées dès lors que l'intimée a précisément été en mesure de trouver un emploi. Par ailleurs, en tant que le recourant reproche à la cour cantonale d'avoir arbitrairement retenu un salaire minimal d'aide de cuisine sans formation plutôt qu'un revenu dans le domaine de la vente ou du nettoyage par exemple, sans même chiffrer le revenu que l'intimée aurait pu réaliser en exerçant une telle activité, son grief ne répond quoi qu'il en soit pas aux réquisits de motivation de l'<ref-law>. Il en va de même en tant qu'il soutient que le revenu mensuel moyen pour des professions ne nécessitant aucune formation particulière s'élèverait notoirement à 4'500 fr. pour un plein temps à Genève sans indiquer sur quoi il fonde ce chiffre et en se méprenant à cet égard sur la notion de fait notoire (cf. sur cette notion: <ref-ruling> consid.1; <ref-ruling> consid. 4.1; <ref-ruling> consid. 3.4).
Pour ce qui concerne l'éventuel revenu que l'intimée pourrait tirer de la location de l'un de ses appartements à... (V._), le recourant ne prétend pas que le Juge délégué aurait arbitrairement violé la maxime inquisitoire applicable en mesures protectrices de l'union conjugale (<ref-law>) en ne requérant pas de l'intimée qu'elle établisse les revenus et charges de ses appartements. Il se contente en effet de reprocher à l'autorité cantonale de ne pas avoir imputé de revenu hypothétique à l'intimée correspondant au revenu qu'elle pouvait tirer de leur location, ce qui est insuffisant au regard de l'<ref-law>. Dans ces circonstances, c'est sans arbitraire que la cour cantonale a opposé au recourant que rien n'indiquait si l'extrait Airbnb qu'il avait produit concernait des objets comparables aux immeubles de l'intimée dont on ignorait les charges. Le grief du recourant sur ce point doit en conséquence être rejeté.
7.
Le recourant soulève en dernier lieu un grief d'application arbitraire de l'<ref-law> en vertu duquel l'allocation d'une contribution peut exceptionnellement être refusée en tout en partie lorsqu'elle s'avère manifestement inéquitable, en particulier parce que le créancier a commis une infraction pénale grave contre le débiteur ou un de ses proches.
7.1. En l'occurrence, il estime que le Juge délégué a méconnu de façon crasse le rapport de police du 7 juin 2018 duquel il ressortait sans équivoque que l'intimée avait lésé E._ SA nonobstant le fait qu'aucune mise en accusation formelle n'eût été prononcée. Dès lors que l'instruction ouverte contre l'intimée l'avait été également pour tentative d'assassinat, les actes reprochés à cette dernière étaient graves et auraient dû conduire, " afin de rétablir un certain équilibre ", à exclure toute allocation d'une quelconque contribution d'entretien.
7.2. L'<ref-law> est une disposition du chapitre III du Titre quatrième du Code civil qui a trait aux effets du divorce. Son application dans le cadre de mesures protectrices de l'union conjugale apparaît douteuse. En effet, selon la jurisprudence, lorsque, dans le cadre des mesures protectrices de l'union conjugale, on ne peut sérieusement compter sur une reprise de la vie commune, les critères applicables à l'entretien après le divorce doivent être pris en considération pour évaluer l'entretien et, en particulier, la question de la reprise ou de l'augmentation d'une activité lucrative. Il s'agit cependant d'une application analogique des éléments énumérés de façon non exhaustive par l'<ref-law>, l'obligation restant régie par l'<ref-law>. Cette disposition ne confère pas la possibilité de refuser ou de réduire la contribution pour des motifs d'équité, à l'instar de ce qui est prévu à l'<ref-law> (cf. arrêt 5P.522/2006 du 5 avril 2007 consid. 3). En revanche, les prétentions tendant à l'octroi d'une contribution d'entretien, à l'instar de toute prétention fondée sur le droit civil fédéral (<ref-ruling> consid. 5; <ref-ruling> consid. 2), sont soumises à la réserve de l'<ref-law>, aux termes duquel l'abus manifeste d'un droit n'est pas protégé par la loi (cf. arrêt 5P.522/2006 précité).
Quoi qu'il en soit, que l'on examine la question sous l'angle d'une violation de l'<ref-law> ou de l'<ref-law>, on ne discerne aucun arbitraire dans la décision du Juge délégué dès lors qu'il a décidé de suivre les conclusions du rapport d'investigation de la police de sûreté vaudoise et ne s'est par conséquent pas écarté des pièces au dossier comme le soutient le recourant. En effet, il ressort dudit rapport qu'aucun comportement pénalement répréhensible n'a pu être imputé à l'intimée nonobstant le fait que, dans le résultat, la société E._ SA - et non le recourant - a été financièrement lésée.
8.
En définitive, le recours est partiellement admis dans la mesure où il est recevable. L'arrêt cantonal est annulé et la cause est renvoyée à l'autorité cantonale pour instruction et nouvelle décision sur la question de la contribution due par le recourant à l'entretien de son épouse pour la période comprise entre le 1 er novembre 2016 et le 30 avril 2019. Elle devra ainsi établir à nouveau les charges de l'intimée pour la période concernée et réexaminer la période durant laquelle un loyer hypothétique pouvait raisonnablement être pris en compte dans les charges de l'intimée. Compte tenu du fait que le recourant n'obtient en définitive gain de cause que sur l'un de ses griefs, les frais judiciaires, arrêtés à 6'000 fr., sont mis pour trois quarts à sa charge et un quart à la charge de l'intimée (<ref-law>). Cette dernière, qui n'est pas assistée d'un avocat, versera en conséquence une indemnité de dépens réduite au recourant (<ref-ruling> consid. 4; art. 68 al. 1 et 2 LTF). Il appartiendra à la juridiction précédente de statuer à nouveau sur les frais et dépens de la procédure cantonale (art. 67 et 68 al. 5 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est partiellement admis, l'arrêt attaqué annulé et la cause renvoyée à l'autorité cantonale pour nouvelle décision au sens des considérants.
2.
Les frais judiciaires, arrêtés à 6'000 fr., sont mis à hauteur de 4'500 fr. à la charge du recourant et 1'500 fr. à la charge de l'intimée.
3.
L'intimée versera au recourant une indemnité de 1'500 fr. à titre de dépens réduits.
4.
Le présent arrêt est communiqué aux parties et au Juge délégué de la Cour d'appel civile du Tribunal cantonal du canton de Vaud.
Lausanne, le 24 février 2020
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
La Greffière : Hildbrand