Faits :
A.
A.a. Dame A._, née en 1954, et A._, né en 1955, se sont mariés en 1977.
Un enfant désormais majeur est issu de cette union.
Les époux sont séparés depuis mi-janvier 2004.
A.b. Les charges de A._, qui exerce en qualité de médecin-dentiste ont été arrêtées à 3'758 fr. 75 par mois. Son revenu est contesté.
Dame A._ est architecte de formation mais travaille actuellement en qualité de vendeuse dans un commerce à H._. Son revenu mensuel a été arrêté à 6'322 fr. 65 pour des charges mensuelles de 5'022 fr. 40.
A.c. Le 18 décembre 2007, A._ a introduit une requête unilatérale en divorce.
A.d. Statuant par ordonnance de mesures provisionnelles du 17 décembre 2008 sur la requête introduite le 26 septembre 2008 par A._, le Président du Tribunal civil de l'arrondissement de l'Est vaudois (ci-après: le Président du Tribunal d'arrondissement) a condamné ce dernier à contribuer à l'entretien de son épouse, à compter du 1 er octobre 2008, par le régulier versement d'une contribution mensuelle de 3'550 fr. et à assumer en outre les charges hypothécaires pour l'appartement et le studio de celle-ci.
Sur appel de l'époux, le montant de la contribution due a été ramené, par arrêt du 28 avril 2009 du Tribunal d'arrondissement, à 2'250 fr. par mois, intérêts hypothécaires des immeubles de l'épouse inclus.
Par arrêt du 20 juillet 2009, la Chambre des recours du Tribunal cantonal du canton de Vaud a rejeté le recours de l'épouse interjeté contre l'arrêt sur appel du 28 avril 2009 et maintenu cette décision.
A.e. Le 8 novembre 2012, A._ a déposé une requête de modification des mesures provisionnelles ordonnées au motif que sa vie professionnelle avait connu des changements, concluant à ce qu'il soit dispensé de toute contribution d'entretien en faveur de son épouse dès et y compris le 1 er novembre 2012, cette dernière étant tenue seule aux paiements des charges hypothécaires de ses propres immeubles. Il a déposé une requête de mesures superprovisionnelles dans le même sens le 19 février 2013.
Statuant par ordonnance du 25 février 2013 sur la requête de mesures superprovisionnelles, le Président du Tribunal d'arrondissement a notamment suspendu avec effet immédiat la contribution d'entretien due en faveur de dame A._.
A.f. Par ordonnance du 2 septembre 2013, le Président du Tribunal d'arrondissement a constaté que A._ avait remis son cabinet dentaire de B._ (VD) en avril 2009 afin de rejoindre sa concubine en Suisse allemande. En 2010, il avait travaillé en tant que médecin-dentiste remplaçant auprès de plusieurs cabinets dentaires. Il avait ouvert son nouveau cabinet dentaire à C._ (FR) où vit sa concubine, afin d'avoir son cabinet et son logement au même endroit. Depuis le 29 août 2011, il travaillait également les mardis, mercredis et jeudis pour le compte d'un cabinet tiers à D._ et percevait à ce titre 50% de commission sur son travail. Le Président du Tribunal d'arrondissement a ainsi considéré que la requête de modification des mesures provisionnelles déposée le 8 novembre 2012 par A._ était justifiée et a dispensé ce dernier de toute contribution d'entretien en faveur de son épouse dès et y compris le 1 er novembre 2012, cette dernière étant seule tenue au paiement des charges hypothécaires relatives à ses immeubles.
B.
Statuant par arrêt du 23 janvier 2014 sur l'appel interjeté par dame A._ contre cette décision, la Juge déléguée de la Cour d'appel civile du Tribunal cantonal vaudois (ci-après: Juge déléguée) a admis l'appel et réformé l'ordonnance entreprise en ce sens qu'elle a rejeté la requête de mesures provisionnelles déposée le 8 novembre 2012 par A._ et révoqué l'ordonnance de mesures superprovisionnelles rendue le 25 février 2013.
C.
Par acte du 28 février 2014, A._ exerce un recours en matière civile au Tribunal fédéral contre cette décision. Il conclut principalement à ce que la décision entreprise soit réformée en ce sens que l'appel formé par son épouse le 13 septembre 2013 est rejeté et que l'ordonnance rendue par le Président du Tribunal civil de l'arrondissement de l'Est vaudois est confirmée; subsidiairement il conclut à l'annulation de l'arrêt entrepris et au renvoi de la cause au Juge précédent pour nouvelle décision dans le sens des considérants. A l'appui de ses conclusions, il fait valoir que les preuves auraient été appréciées arbitrairement au sens de l'art. 9 Cst. ce qui aurait conduit à un calcul erroné de la contribution d'entretien due.
Invitées à se déterminer sur le recours, l'intimée a conclu à son rejet et l'autorité cantonale s'est référée aux considérants de l'arrêt entrepris.
D.
Par ordonnance présidentielle du 24 mars 2014, l'effet suspensif a été attribué au recours pour les contributions d'entretien dues jusqu'à la fin du mois de janvier 2014 et a été refusé pour les contributions d'entretien dues à compter du 1 er février 2014.

Considérant en droit :
1.
Le recours est dirigé contre une décision finale (<ref-law>) rendue en matière civile (<ref-law>). Dès lors que le litige soumis au Tribunal fédéral porte sur le montant de la contribution d'entretien due par le mari à son épouse, le recours a pour objet une décision rendue dans une affaire pécuniaire ( <ref-ruling>consid. 2), dont la valeur litigieuse atteint 30'000 fr. (art. 51 al. 1 let. a et al. 4, art. 74 al. 1 let. b LTF). Il a par ailleurs été déposé par une partie ayant pris part à la procédure devant l'autorité précédente et ayant un intérêt à l'annulation ou à la modification de l'arrêt entrepris (<ref-law>), dans le délai (<ref-law>) et dans la forme (<ref-law>) prévus par la loi, contre une décision prise sur recours par un tribunal supérieur statuant en dernière instance cantonale (art. 75 al. 1 et 2 LTF). Le recours en matière civile est donc en principe recevable.
2.
2.1. Dès lors que la décision attaquée porte sur des mesures provisionnelles (<ref-ruling> consid. 5.1 in fine ), seule peut être dénoncée la violation de droits constitutionnels (<ref-law>). Le Tribunal fédéral ne connaît de ce grief que si le recourant satisfait au principe d'allégation (<ref-law>), c'est-à-dire s'il soulève expressément ce moyen et l'expose de manière claire et détaillée (<ref-ruling> consid. 3.2 et les arrêts cités).
2.2. Lorsque la partie recourante se plaint d'arbitraire (art. 9 Cst.), elle ne peut se borner à critiquer la décision attaquée comme elle le ferait en instance d'appel, où l'autorité de recours dispose d'une libre cognition; elle ne saurait se contenter d'opposer son opinion à celle de la juridiction précédente, mais doit démontrer, par une argumentation précise, que cette décision se fonde sur une application du droit manifestement insoutenable (<ref-ruling> consid. 3; <ref-ruling> consid. 3.2). Pour que cette décision soit annulée, il ne suffit pas qu'une autre solution paraisse concevable, voire préférable, encore faut-il qu'elle se révèle arbitraire non seulement dans ses motifs, mais aussi dans son résultat (<ref-ruling> consid. 3.1 et les références citées). En matière de constatation des faits et d'appréciation des preuves, le Tribunal fédéral se montre réservé vu le large pouvoir qu'il reconnaît en ce domaine aux autorités cantonales (<ref-ruling> consid. 4b; <ref-ruling> consid. 9). Il n'intervient, pour violation de l'art. 9 Cst., que si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis sans raisons objectives de tenir compte des preuves pertinentes ou s'il a effectué, sur la base des éléments recueillis, des déductions insoutenables (<ref-ruling> consid. 4.3; <ref-ruling> consid. 1.4.3; <ref-ruling> consid. 2.1); encore faut-il que la correction du vice soit susceptible d'influer sur le sort de la cause. Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 2 et les arrêts cités).
3.
Le recourant conteste devoir une contribution d'entretien à son épouse. Il remet en cause uniquement les chiffres retenus par l'autorité cantonale au titre de ses propres revenus.
3.1. Pour établir le revenu du recourant, l'autorité cantonale s'est fondée, à l'instar de l'autorité de première instance, uniquement sur ses revenus à compter de mai 2011 estimant que c'était seulement à partir de cette date qu'il avait débuté une activité indépendante stable dans son nouveau cabinet de C._ et à D._. Elle a retenu que les comptes révisés de 2011 produits par le recourant laissaient apparaître un chiffre d'affaires de 151'476 fr. 75 pour son activité à C._ et de 70'552 fr. 85 pour celle déployée à D._, à savoir un total de 222'029 fr. 60 pour cette année-là. Concernant l'année 2012, la Juge déléguée a retenu un chiffre d'affaires de 137'195 fr. pour l'activité de D._ sur la base des pièces produites. S'agissant de l'activité exercée à C._, elle a en revanche refusé de retenir le chiffre d'affaires de 152'500 fr. allégué par le recourant. Elle a considéré que les pièces produites par l'époux pour attester ses dires ne permettaient pas de confirmer ce montant. Elle a donc retenu à titre de chiffre d'affaires les montants de 304'442 fr. 40 et 19'650 fr. correspondant aux versements au comptant effectués par le recourant sur deux comptes professionnels respectivement auprès de la Banque E._ et de la Banque F._, le recourant ayant indiqué que ses "recettes" se composaient notamment de ces versements. Elle y a également inclus les versements effectués par des particuliers sur le compte de la Banque E._ à hauteur de 45'618 fr. 85. Elle a finalement retenu un chiffre d'affaires total de 369'711 fr. 25 pour l'activité de C._. L'autorité cantonale a ainsi retenu un revenu brut de 222'029 fr. 60 et des charges à hauteur de 194'725 fr. 40, à savoir un bénéfice net de 27'304 fr. 20 (222'029 fr. 60 - 194'725 fr.) pour 2011 et un revenu brut de 506'906 fr. 25 (137'195 fr. + 369'711 fr. 25) pour des charges de 338'015 fr., à savoir un revenu net de 168'891 fr. 25 (506'906 fr. 25 - 338'015 fr.) pour 2012. Elle a ensuite arrêté le gain mensuel moyen arrondi de mai 2011 à décembre 2012 à 9'810 fr. ([27'304 fr. 20 + 168'891 fr. 25] : 20 mois). Enfin, sur la base du total des revenus des époux de 16'132 fr. 65 (9'810 fr. + 6'322 fr. 65) et de leurs minima vitaux de 8'781 fr. 15 (3'758 fr. 75 + 5'022 fr. 40), elle a obtenu un disponible mensuel de 7'351 fr. 50 (16'132 fr. 65 - 8'781 fr. 15). Elle a réparti le disponible à raison de la moitié, à savoir 3'675 fr. 75, pour chacun des époux et en a déduit un montant en faveur de l'épouse de 2'375 fr. une fois son solde disponible soustrait (3'675 fr. 75 - 1'300 fr. 25). Elle a donc considéré que la contribution d'entretien mensuelle de 2'250 fr. due par le recourant pouvait être maintenue.
3.2. L'intimée soutient, pour l'essentiel, que les pièces produites par le recourant en lien avec son activité à D._ pour l'année 2012 seraient lacunaires, confuses et ne pourraient être considérées comme une comptabilité valant pièce probante, de sorte qu'on ne pourrait considérer le chiffre d'affaires retenu par la Juge d'appel comme arbitraire. S'agissant de l'activité déployée à C._ pour la même année, elle estime que c'est à juste titre que la Juge d'appel s'est fondée sur les relevés de compte du recourant auprès de la Banque E._ et à la Banque F._, le seul agenda produit le 25 avril 2013 n'étant pas probant. Enfin, s'agissant du revenu global du recourant, l'intimée fait grief à la Juge d'appel de s'être fondée uniquement sur le bénéfice des années 2011 et 2012 et de ne pas avoir pris en considération le bénéfice net moyen pour la période de 2008 à 2012. Elle estime également que les amortissements excessifs effectués par le recourant auraient dû être ajoutés à son revenu et rappelle que l'entretien de l'épouse doit primer sur celui de la concubine. Malgré ses griefs, elle conclut toutefois que la Juge d'appel est arrivée au "même résultat", à savoir le maintien d'une contribution mensuelle en sa faveur de 2'250 fr. par une autre "systématique".
3.3.
3.3.1. S'agissant du revenu issu de l'activité déployée par le recourant à C._ en 2012, l'autorité cantonale l'a déterminé en se basant à la fois sur les versements effectués par des particuliers sur le compte professionnel de la Banque E._ du recourant, ainsi que sur ses propres versements intitulés "Bareinzahlung", "Einzahlung" ou encore "Einzahlungautomat" sur ses comptes auprès de la Banque E._ et de la Banque F._. Elle a ainsi obtenu un revenu brut total de 369'711 fr. 25 avant déduction des charges. Elle a relevé que ce chiffre d'affaires paraissait vraisemblable puisque l'agenda du recourant pour l'année 2012 était quasiment plein, que la clientèle avait vraisemblablement augmenté grâce aux frais de publicité de 25'095 fr. 35 investis entre 2011 et 2012 et que les frais liés à l'achat de matériel avaient doublé entre ces deux mêmes années. Le recourant soutient que cette façon de procéder serait arbitraire dans la mesure où les versements en cash sur son compte de la Banque E._ proviendraient des montants encaissés directement auprès de ses patients. Il semble ainsi se plaindre du fait que certains des montants qu'il aurait versés personnellement sur son compte auprès de la Banque E._ auraient été encaissés auprès de ses clients à D._ et qu'ils auraient par conséquent été pris en compte deux fois. Ce faisant, le recourant ne démontre toutefois pas de manière précise et en conformité avec le principe d'allégation (cf. supra consid. 2.1) quels seraient les versements effectués par ses soins sur ses comptes professionnels qui seraient issus de son activité à D._ en procédant par exemple à une comparaison avec son agenda ou en démontrant une corrélation entre les montants figurant sur les feuilles journalières et les relevés bancaires. Il ne s'en prend pas davantage à la motivation cantonale en tant qu'elle déduit la vraisemblance du chiffre d'affaires retenu pour l'activité à C._ également de l'augmentation des frais liés à la publicité et à l'achat de matériel. Il s'ensuit que les griefs du recourant liés au calcul de son revenu pour l'activité déployée en 2012 à C._ sont irrecevables.
3.3.2. S'agissant de son activité à D._, le recourant se plaint du fait que plusieurs montants figurant sur les feuilles journalières du cabinet de D._ ont été comptabilisés à double par l'autorité cantonale, de sorte que le revenu issu de cette activité aurait été déterminé de manière arbitraire. Cette critique est fondée. En effet, il apparaît que le montant de 137'195 fr. retenu à titre de chiffre d'affaires du recourant pour son activité à D._ a été obtenu selon le calcul figurant dans une note interne au dossier cantonal. Or, si l'on examine les montants ainsi additionnés on s'aperçoit effectivement qu'il y a eu une méprise. Les montants totaux figurant au fond de chacune des feuilles journalières ont été additionnés alors qu'il s'agissait souvent d'un total intermédiaire repris ensuite dans la recette totale de la semaine. En procédant de la sorte, certains montants ont effectivement été comptabilisés deux fois. L'intimée se méprend, quant à elle, lorsqu'elle soutient que le recourant allègue un chiffre d'affaires erroné de 88'000 fr. Ce montant correspond, comme l'expose le recourant, uniquement au montant qui a été comptabilisé à double et non au chiffre d'affaires total pour l'activité déployée à D._. Ainsi, une fois l'erreur de calcul corrigée, on obtient un chiffre d'affaires total de 186'390 fr. dont la moitié, à savoir 93'195 fr., revenant au recourant en vertu de l'accord convenu avec sa collègue. L'autorité cantonale s'est fondée uniquement sur les feuilles journalières produites pour déterminer le chiffre d'affaires lié à l'activité déployée à D._. Or, dans la mesure où le recourant admet lui-même que les feuilles journalières ne font état que des honoraires payés au comptant, il y a lieu de tenir également compte des honoraires encaissés pour ses services par le cabinet dentaire auprès de la Banque G._.
3.3.3. Cela étant, il apparaît que l'autorité cantonale a apprécié arbitrairement les moyens de preuve à sa disposition. Il y a dès lors lieu de lui renvoyer la cause, afin qu'elle détermine à nouveau le revenu du recourant pour l'activité déployée en 2012 à D._ en conformité avec le considérant qui précède. Une fois celui-ci établi, il conviendra de recalculer également la charge d'impôts du recourant en rapport avec son revenu de l'année 2012 corrigé. Enfin, il faudra déterminer si une contribution est due par le recourant à son épouse et cas échéant en calculer le montant selon la même méthode de calcul, non contestée par les parties.
4.
Vu ce qui précède, le recours doit être admis, la décision attaquée annulée et la cause renvoyée à l'autorité précédente pour complément d'instruction et nouvelle décision au sens des considérants. Les frais judiciaires, arrêtés à 2'500 fr., sont mis pour moitié à la charge de chacune des parties (<ref-law>). Les dépens sont compensés (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est partiellement admis, dans la mesure où il est recevable, la décision attaquée est annulée et la cause est renvoyée à l'autorité précédente pour complément d'instruction et nouvelle décision au sens des considérants.
2.
Les frais judiciaires, arrêtés à 2'500 fr., sont mis pour moitié à la charge de chacune des parties.
3.
Les dépens sont compensés.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Juge déléguée de la Cour d'appel civile.
Lausanne, le 6 août 2014
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : La Greffière :
von Werdt Hildbrand