Faits : A. A.a. Les époux A._, tous deux de nationalité suisse, se sont mariés en 1997 au Royaume-Uni. Deux enfants sont issus de cette union, à savoir C._, née en 1998, et D._, né en 2003. Les parties ont connu une première séparation entre 2005 et 2009, laquelle a fait l'objet d'une réglementation par convention du 8 novembre 2005 puis par prononcé du Président du Tribunal civil de l'arrondissement de l'Est vaudois (ci-après: président) du 20 avril 2006. Elles vivent à nouveau séparées vraisemblablement depuis le 18 août 2016. A.b. Par requête de mesures protectrices de l'union conjugale adressée au président le 22 septembre 2016, A.A._ a notamment conclu à ce qu'il ne soit pas astreint à contribuer à l'entretien de son épouse. Dans sa réponse du 1 er novembre 2016, B.A._ a conclu, à titre de " mesures superprotectrices de l'union conjugale ", à ce que A.A._ lui verse la somme de 20'000 fr. à valoir comme acompte sur les contributions d'entretien dues pour elle-même et son fils. A titre de mesures protectrices de l'union conjugale, elle a conclu à ce que A.A._ soit astreint à contribuer à son entretien à hauteur de 7'500 fr. par mois. A.c. Par ordonnance du 4 novembre 2016, le président a notamment ordonné à A.A._ de verser immédiatement à B.A._ un acompte de 20'000 fr. à valoir sur le montant des contributions d'entretien qui seraient éventuellement fixées ultérieurement. A.d. Par ordonnance du 9 mai 2017, confirmée par arrêt du 12 septembre 2017 de la Juge déléguée de la Cour d'appel civile du Tribunal cantonal vaudois (ci-après: Juge déléguée), le président a notamment astreint A.A._ à verser à B.A._, dès le 1 er novembre 2016, un acompte de 6'700 fr., à valoir sur le montant des contributions d'entretien qui seraient fixées par une ordonnance de mesures protectrices de l'union conjugale à intervenir, sous déduction de la somme de 20'000 fr. dont le paiement avait été ordonné par ordonnance du 4 novembre 2016. Le recours interjeté par A.A._ contre l'arrêt rendu le 12 septembre 2017 par la Juge déléguée a été déclaré irrecevable par arrêt du Tribunal fédéral du 31 mai 2018 (5A_813/2017). A.e. Le 16 mars 2018, A.A._ a adressé une nouvelle requête de mesures protectrices de l'union conjugale au président, concluant notamment à ce que le dispositif de l'ordonnance de mesures protectrices de l'union conjugale du 9 mai 2017 soit modifié en ce sens qu'il soit dispensé de toute contribution à l'entretien de son épouse à compter du 1 er avril 2017 et à ce qu'un revenu hypothétique, qui ne saurait être inférieur à 8'000 fr. brut par mois, soit imputé à B.A._ avec effet immédiat à compter de cette date. Dans ses déterminations du 9 avril 2018, B.A._ a notamment conclu à ce que A.A._ soit astreint à contribuer à son entretien à hauteur de 10'200 fr. par mois dès le 1 er septembre 2016 et à ce qu'aucun revenu hypothétique ne lui soit imputé. A.f. En cours d'instance, une expertise comptable a été mise en oeuvre à la requête de A.A._. Le rapport d'expertise a été déposé le 22 mai 2018. A.g. Le 7 juin 2018, la police de sûreté vaudoise a établi un rapport duquel il ressort notamment que B.A._ a prélevé, entre 2011 et 2014, un montant total de 240'000 fr. sur les comptes de E._ SA, l'intéressée ayant expliqué à cet égard qu'il s'agissait du remboursement des arriérés de pensions dus par A.A._ pour les années 2006 à 2009. Entendue comme prévenue par la police de sûreté, elle a indiqué qu'elle avait utilisé une partie de cet argent pour s'acheter un appartement à U._ (V._). La police de sûreté a relevé que B.A._ avait lésé la société E._ SA, sans toutefois qualifier ses agissements de pénalement répréhensibles. Il ressort également dudit rapport que A.A._ a déposé une plainte pénale contre son épouse pour tentative d'assassinat, estimant que celle-ci l'avait empoisonné avec du mercure. La police de sûreté a relevé que l'enquête n'avait pas permis de découvrir l'origine de cet empoisonnement, ni s'il était dû à l'intervention d'une tierce personne. A.h. Par ordonnance de mesures protectrices de l'union conjugale du 2 juillet 2018, la Présidente du Tribunal civil de l'arrondissement de l'Est vaudois (ci-après: la présidente) a rejeté la requête de mesures protectrices de l'union conjugale déposée le 16 mars 2018 par A.A._. Dite ordonnance a toutefois été annulée par arrêt du 25 septembre 2018 de la Cour d'appel civile du Tribunal cantonal vaudois (ci-après: Cour d'appel) et la cause renvoyée à l'autorité de première instance pour nouvelle décision au sens des considérants ensuite de l'appel interjeté le 13 juillet 2018 par A.A._. A.i. Par ordonnance de mesures protectrices de l'union conjugale du 30 janvier 2019, la présidente a notamment astreint A.A._ à contribuer à l'entretien de B.A._ à hauteur de 6'600 fr. par mois du 1 er novembre 2016 au 1 er mars 2017 (III), de 5'530 fr. au mois d'avril 2017 (IV), de 4'930 fr. au mois de mai 2017 (V), de 5'000 fr. au mois de juin 2017 (VI), de 460 fr. du 1 er juillet au 1 er septembre 2017 (VII), de 6'600 fr. du 1er octobre au 1er décembre 2017 (VIII), de 6'530 fr. au mois de janvier 2018 (IX), de 5'130 fr. au mois de février 2018 (X), de 5'580 fr. au mois de mars 2018 (XI), de 6'600 fr. du 1 er avril au 1 er septembre 2018 (XII), de 3'100 fr. du 1 er octobre 2018 jusqu'à l'issue d'un délai de trois mois à compter de la notification de la décision (XIII) et de 1'900 fr. à l'issue d'un délai de trois mois à compter de la notification de la décision (XIV), a rejeté, dans la mesure de leur recevabilité, toutes autres ou plus amples conclusions (XV), a arrêté les frais judiciaires à 17'846 fr. 50 (soit notamment 4'846 fr. 50 pour les frais d'expertise comptable), les a mis par 6'500 fr. à la charge de B.A._ et par 11'346 fr. 50 à la charge de A.A._, les a compensés partiellement avec les avances versées par A.A._, B.A._ étant la débitrice de A.A._ de la somme de 453 fr. 50 en remboursement des avances versées (XVI), et a dit que chaque partie supportait ses dépens (XVII). B. B.a. Par acte du 11 février 2019, A.A._ a fait appel de l'ordonnance du 30 janvier 2019, concluant principalement à la réforme des chiffres III à XV de son dispositif en ce sens qu'il soit dispensé de toute contribution à l'entretien de B.A._ à compter du 1 er novembre 2016. Il a en outre conclu à la réforme des chiffres XVI et XVII du dispositif de l'ordonnance entreprise en ce sens que l'intégralité des frais judiciaires soit mise à la charge de B.A._ et que celle-ci doive lui verser la somme de 60'000 fr. à titre de dépens. Subsidiairement, il a conclu à l'annulation de l'ordonnance et au renvoi de la cause au premier juge pour nouvelle décision. Dans sa réponse du 25 mars 2019, B.A._ a conclu au rejet des conclusions prises par A.A._. Elle a par ailleurs conclu à la réforme du chiffre XVII du dispositif de l'ordonnance entreprise en ce sens que A.A._ soit condamné à lui verser 100'000 fr. à titre de dépens (III). Elle a également pris des conclusions tendant à l'inscription d'une hypothèque légale, au séquestre d'un terrain à bâtir et à la restitution d'un compte jeunesse (IV à VI). Subsidiairement, elle a conclu " au renvoi de l'ordonnance " à l'autorité précédente pour " compléments d'instructions ". B.b. Par arrêt du 15 avril 2019, le Juge délégué de la Cour d'appel civile du Tribunal cantonal vaudois a partiellement admis l'appel principal et a déclaré l'appel joint irrecevable. Il a réformé le chiffre XIV de l'ordonnance attaquée en ce sens que A.A._ est dispensé de toute contribution à l'entretien de B.A._ à compter du 1 er mai 2019. Il a confirmé l'ordonnance entreprise pour le surplus. C. Par acte du 16 mai 2019, A.A._ interjette un recours en matière civile au Tribunal fédéral contre cet arrêt. Il conclut principalement à son annulation et à sa réforme en ce sens qu'aucune contribution d'entretien en faveur de B.A._ n'est mise à sa charge. Subsidiairement, il conclut à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'instance inférieure pour nouvelle décision au sens des considérants. Il a également assorti son recours d'une requête d'effet suspensif. L'intimée a conclu à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'instance inférieure pour nouveau jugement. L'autorité cantonale s'est référée aux considérants de son arrêt. Le recourant a répliqué par écriture du 5 février 2020 concluant à l'irrecevabilité des conclusions prises par l'intimée dans sa réponse tout comme des pièces produites à leur appui. D. Par ordonnance présidentielle du 5 juin 2019, l'effet suspensif a été accordé pour les contributions d'entretien dues jusqu'au 30 avril 2019.