Faits :
A.
A.a.
A.a.a. A._, né en 1960, et dame A._, née en 1967, se sont mariés en 1998. De cette union sont issus deux enfants: B._, né en 2000, et C._, née en 2004. Les parties se sont séparées dans le courant du premier trimestre de l'année 2010 au plus tard.
A.a.b. La situation financière actuelle des parties a été arrêtée comme suit en instance cantonale, étant précisé que A._ conteste ses propres charges et les revenus de son épouse:
A.a.b.a. A._, employé auprès de la société D._, réalise un revenu composé de prestations périodiques d'un montant mensuel net de 26'498 fr. (13 ème salaire et prestations accessoires inclus), auxquelles s'ajoute un bonus "Centre" annuel qui s'est élevé, en 2011, à 146'141 fr. brut. Il perçoit en outre une autre gratification, sous la forme d'unités d'actions assujetties à des restrictions (RSUP). Selon le décompte salaire de mars 2012, cette gratification a atteint le montant de 129'501 fr. 25, dont il pourrait bénéficier à la réalisation des actions, dans trois ans. Au début de l'année 2013, A._ a en revanche déjà touché un montant brut de 111'100 fr. à ce titre, correspondant au produit de réalisation de ses actions bloquées en 2010.
S'agissant de ses charges, d'un montant total de 18'654 fr. 50, celles-ci comprennent le montant de base LP de 1'200 fr., le loyer de 3'300 fr., le solde de primes d'assurance-maladie de 80 fr. (le reste étant pris en charge par l'employeur), le montant de 200 fr. à titre d'autres dépenses, les impôts de 11'074 fr. 50 et les pensions en faveur des enfants de 2'800 fr. au total.
Sur la base des seules prestations périodiques, le budget de l'époux présente donc un excédent de 7'843 fr. 50 par mois.
A.a.b.b. dame A._ n'exerce aucune activité lucrative. Ses charges, d'un montant total de 7'430 fr., comprennent le montant de base LP de 1'350 fr., un loyer hypothétique évalué, faute de pièces, à 1'980 fr. (déduction faite de la part de logement des enfants de 40%), la prime d'assurance-maladie de 300 fr., les frais de transport de 200 fr., le montant de 300 fr. à titre d'autres dépenses, et les impôts estimés à 3'300 fr.
Le budget de l'épouse présente donc un déficit de 7'430 fr. par mois.
A.b.
A.b.a. Statuant le 28 mars 2012, la Cour d'appel civil du Tribunal cantonal fribourgeois a partiellement admis le recours interjeté par dame A._ contre une ordonnance de mesures protectrices de l'union conjugale du 22 juin 2010. Elle a ainsi attribué la jouissance du domicile conjugal sis à E._ à l'épouse jusqu'au 31 août 2012, celle-ci étant tenue de s'acquitter des charges courantes de la maison et l'époux étant tenu de s'acquitter des intérêts et de l'amortissement hypothécaires. Elle a en outre condamné l'époux, du 15 mars 2010 au 31 août 2012, soit tant que l'épouse et les enfants demeuraient dans la maison familiale, à verser les montants de 875 fr. pour chacun des enfants et de 11'900 fr. pour l'épouse, puis du 1 er septembre 2012 au 31 décembre 2012, soit jusqu'à l'échéance du délai imparti à l'époux pour vendre ou louer la maison, à verser le montant de 1'400 fr. pour chacun des enfants et de 10'875 fr. pour l'épouse, et enfin, dès le 1 er janvier 2013, à verser les montants de 1'400 fr. pour chacun des enfants et de 13'775 fr. pour l'épouse.
A.b.b. Par arrêt 5A_323/2012 du 8 août 2012, le Tribunal fédéral a rejeté le recours en matière civile interjeté par A._ tendant en substance à verser des pensions inférieures à celles auxquelles la cour cantonale l'avait condamné.
B.
B.a. Par demande unilatérale du 12 octobre 2012 déposée devant le Tribunal civil de l'arrondissement de l'Est vaudois, A._ a ouvert action en divorce.
Par requête de mesures provisionnelles du 20 décembre 2012, il a conclu à ce que la pension mensuelle due pour l'entretien de sa famille soit fixée, à compter du 1 er janvier 2013, à 1'400 fr. en faveur de chaque enfant, allocations familiales éventuelles en sus, et à 7'120 fr. en faveur de son épouse.
Par détermination du 12 février 2013, précisée le 22 février 2013, dame A._ a conclu au rejet de la requête et, à titre reconventionnel, à ce que son époux soit condamné à contribuer à l'entretien des siens par le versement en ses mains, dès le 1 er janvier 2013, d'un montant fixe de 20'000 fr., allocations familiales en sus.
Le président du Tribunal civil de l'arrondissement de l'Est vaudois a considéré que les impôts courants de l'époux, de 11'074 fr. 50, étaient largement supérieurs à ceux estimés à 6'300 fr. par le Tribunal cantonal fribourgeois et constituaient dès lors un fait nouveau lui permettant d'entrer en matière sur la requête. Il a ensuite adapté les autres éléments de calcul, notamment le salaire de l'époux.
Par ordonnance de mesures provisionnelles du 14 août 2013, le président a confirmé le montant de la contribution d'entretien due aux enfants de 1'400 fr. par enfant, allocations familiales en sus (I), mais a modifié celle due à l'épouse en condamnant A._ à contribuer à l'entretien de dame A._ dès le 1 er janvier 2013 par le versement d'une contribution d'entretien mensuelle de 7'635 fr. (II) et par le versement de la moitié des revenus nets supplémentaires qui lui seront versés par son employeur à titre de prestations variables lorsqu'ils seront effectivement touchés, le débiteur étant astreint à renseigner son épouse et à lui présenter trimestriellement tous les décomptes y relatifs (III).
B.b. Par arrêt du 11 octobre 2013, la Juge déléguée de la Cour d'appel civile du Tribunal cantonal vaudois a rejeté l'appel interjeté contre cette ordonnance par A._.
C.
Par acte posté le 8 janvier 2014, A._ interjette un recours en matière civile devant le Tribunal fédéral contre cet arrêt. Il conclut, principalement, à sa réforme en demandant à ce que les chiffres II et III de l'ordonnance de mesures provisionnelles du 14 août 2013 soient remplacés en ce sens qu'il est condamné à contribuer à l'entretien de son épouse par le versement d'une pension mensuelle de 7'120 fr. dès le 1 er janvier 2013, et, subsidiairement, à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité cantonale pour nouvelle décision dans le sens des considérants. En substance, il se plaint d'arbitraire dans l'application du droit (cf. art. 9 Cst.).
Invitées à se déterminer, l'autorité cantonale a renoncé à le faire alors que l'intimée a conclu au rejet du recours.
Dans leur réplique et duplique, les parties ont persisté dans leurs conclusions respectives.

Considérant en droit :
1.
Le présent recours a été déposé en temps utile (<ref-law>) ainsi que dans la forme légale (<ref-law>), contre une décision finale (<ref-law>; <ref-ruling> consid. 2.2; <ref-ruling> consid. 4) rendue sur recours par une autorité cantonale supérieure de dernière instance (<ref-law>), dans une affaire matrimoniale (<ref-law>). Le litige porte sur la contribution pour l'entretien de l'épouse, allouée à titre provisionnel pour la durée de la procédure en divorce, à savoir une cause de nature pécuniaire dont la valeur litigieuse est supérieure à 30'000 fr. (art. 51 al. 1 let. a et al. 4, art. 74 al. 1 let. b LTF). Le recourant a en outre pris part à la procédure devant l'autorité précédente (<ref-law>) et, ayant succombé dans ses conclusions, a un intérêt à l'annulation ou à la modification de la décision attaquée (<ref-law>). Le recours en matière civile est en principe recevable au regard des dispositions qui précèdent.
2.
La décision attaquée porte sur des mesures provisionnelles au sens de l'<ref-law> (ATF <ref-ruling> consid. 5.1, 585 consid. 3.3).
Saisi d'un recours fondé sur l'<ref-law>, le Tribunal fédéral ne revoit l'application du droit fédéral que sous l'angle restreint de l'arbitraire. De jurisprudence constante, une décision est arbitraire lorsqu'elle est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et indiscuté, ou heurte de manière choquante le sentiment de la justice et de l'équité; il ne suffit pas qu'une autre solution paraisse concevable, voire préférable; pour que cette décision soit censurée, encore faut-il qu'elle se révèle arbitraire, non seulement dans ses motifs, mais aussi dans son résultat (<ref-ruling> consid. 2.4; <ref-ruling> consid. 2.2.2 et les références). Le justiciable qui se plaint d'une violation de l'art. 9 Cst. ne saurait se contenter de critiquer la décision attaquée comme il le ferait en instance d'appel, où l'autorité supérieure jouit d'une libre cognition; en particulier, il ne peut se borner à opposer son opinion à celle de l'autorité cantonale, mais doit, conformément au principe d'allégation (<ref-law>), démontrer par une argumentation précise que cette décision repose sur une application de la loi manifestement insoutenable (<ref-ruling> consid. 3 et les références).
3.
Les mesures protectrices de l'union conjugale demeurent en vigueur même au-delà de l'ouverture de la procédure de divorce. Une fois ordonnées, elles ne peuvent être modifiées par le juge des mesures provisionnelles qu'aux conditions de l'<ref-law> (<ref-ruling> consid. 3.2.2; arrêts 5A_562/2013 du 24 octobre 2013 consid. 3.1; 5A_535/2013 du 22 octobre 2013 consid. 3.1). Le juge prononce les modifications commandées par les faits nouveaux et rapporte les mesures prises lorsque les causes qui les ont déterminées n'existent plus. La modification des mesures provisoires ne peut être obtenue que si, depuis leur prononcé, les circonstances de fait ont changé d'une manière essentielle et durable, notamment en matière de revenus, à savoir si un changement significatif et non temporaire est survenu postérieurement à la date à laquelle la décision a été rendue, si les faits qui ont fondé le choix des mesures provisoires dont la modification est sollicitée se sont révélés faux ou ne se sont, par la suite, pas réalisés comme prévus (arrêts 5A_245/2013 du 24 septembre 2013 consid. 3.1; 5A_101/2013 du 25 juillet 2013 consid. 3.1; 5A_400/2012 du 25 février 2013 consid. 4.1; 5A_218/2012 du 29 juin 2012 consid. 3.3.2, publié in FamPra.ch 2012 p. 1099; 5A_511/2010 du 4 février 2011 consid. 2.1). En revanche, les parties ne peuvent pas invoquer, pour fonder leur requête en modification, une mauvaise appréciation des circonstances initiales, que le motif relève du droit ou de l'établissement des faits allégués sur la base des preuves déjà offertes; pour faire valoir de tels motifs, seules les voies de recours sont ouvertes (arrêts 5A_153/2013 du 24 juillet 2013 consid. 2.1; 5A_147/2012 du 26 avril 2012 consid. 4.2.1), car la procédure de modification n'a pas pour but de corriger le premier jugement, mais de l'adapter aux circonstances nouvelles (<ref-ruling> consid. 2.7.4 [au sujet de l'<ref-law>]).
Le fait revêt un caractère nouveau lorsqu'il n'a pas été pris en considération pour fixer la contribution d'entretien dans le jugement précédent (<ref-ruling> consid. 4.1.1; <ref-ruling> consid. 2.7.4; arrêt 5A_829/2012 du 7 mai 2013). Il n'est donc pas décisif qu'il ait été imprévisible à ce moment-là. On présume néanmoins que la contribution d'entretien a été fixée en tenant compte des modifications prévisibles, soit celles qui, bien que futures, sont déjà certaines ou fort probables (<ref-ruling> consid. 2.7.4; arrêt 5A_845/2010 du 12 avril 2011 consid. 4.1). Le moment déterminant pour apprécier si un fait nouveau s'est produit est la date du dépôt de la demande de modification (<ref-ruling> consid. 4.1.1; <ref-ruling> consid. 4b).
Lorsqu'il admet que les circonstances ayant prévalu lors du prononcé de mesures provisoires se sont modifiées durablement et de manière significative, le juge doit fixer à nouveau la contribution d'entretien, après avoir actualisé tous les éléments pris en compte pour le calcul dans le jugement précédent et litigieux devant lui (<ref-ruling> consid. 11.1.1; <ref-ruling> consid. 4.1.2; arrêts 5A_562/2013 du 24 octobre 2013 consid. 3.1; 5A_140/2013 du 28 mai 2013 consid. 4.1).
4.
Le recourant se plaint d'arbitraire dans l'application de l'<ref-law>, en tant que la juge déléguée n'a pas pris en compte dans ses charges les frais d'amortissement et les intérêts hypothécaires de la maison sise à E._ dont il était propriétaire et qu'il n'est pas parvenu à vendre dans le délai que lui avait imparti l'autorité cantonale fribourgeoise.
4.1. La juge déléguée a tout d'abord relevé que, dans son arrêt du 28 mars 2012, le Tribunal cantonal fribourgeois avait autorisé l'intimée à demeurer dans le domicile conjugal de E._ jusqu'au 31 août 2012 pour tenir compte du délai raisonnable dont celle-ci avait besoin pour se reloger. En évacuant le domicile conjugal à cette date, l'intimée avait respecté la décision judiciaire sans qu'on puisse lui reprocher d'avoir prolongé cette occupation par une quelconque manoeuvre. La juge déléguée a ensuite relevé que l'autorité fribourgeoise avait retenu que, dès le 1er septembre 2012, le recourant devait faire face à des frais de logement pour son propre appartement, par 3'300 fr., et pour la maison de E._, par 5'800 fr., et que cette dépense, clairement excessive, pouvait seulement être admise dans un court délai échéant au 31 décembre 2012 pour permettre au recourant de vendre ou de louer la maison. Même si une vente pouvait se révéler difficile, ce d'autant plus que l'intimée avait quitté le logement à la fin août 2012, il n'en demeurait pas moins que le recourant savait depuis le mois de mars 2012 qu'il devait vendre ou louer son immeuble et qu'il aurait en tout cas pu aisément le louer compte tenu de l'état du marché et de sa situation géographique.
Sur ces motifs, la juge déléguée a refusé de tenir compte des frais liés à la maison de E._ dans les charges du recourant.
4.2. En l'espèce, le recourant se borne à affirmer que la vente de la maison n'a pas pu avoir lieu à la fin de l'année 2012 et qu'il faudrait donc tenir compte de cet élément nouveau. Ce faisant, soit il se base sur un état de fait contraire à celui de l'arrêt attaqué sans en démontrer l'établissement arbitraire (comportement chicanier de l'intimée et mauvais entretien du bâtiment par celle-ci; efforts fournis sans ménagement par lui-même en vue de réaliser la vente), soit il réfute les critères retenus par la juge déléguée sans en démontrer l'appréciation arbitraire (état du marché immobilier et situation géographique de la maison).
Cette argumentation est appellatoire et le grief doit donc être déclaré irrecevable.
5.
Le recourant se plaint d'arbitraire dans l'application du droit, en tant que la juge déléguée n'a pas imputé un revenu hypothétique de 2'500 fr. à l'intimée obtenu soit par son activité de peintre dont elle cacherait les gains, soit par une activité que celle-ci pourrait effectuer auprès de l'entreprise F._. Il fonde principalement son argumentation sur le principe du clean break, applicable selon lui à la présente procédure.
5.1. La juge déléguée a considéré qu'aucun revenu hypothétique ne pouvait être imputé à l'intimée compte tenu du fait que celle-ci avait deux enfants, dont le plus jeune n'avait pas encore 10 ans, qu'elle n'avait pas exercé d'activité professionnelle durant la vie commune, qu'elle n'avait pas de formation suffisante pour trouver un emploi et que les moyens du recourant permettaient de couvrir l'ensemble des besoins de la famille.
5.2.
5.2.1. Même lorsqu'on ne peut plus sérieusement compter sur la reprise de la vie commune, l'<ref-law> demeure la cause de l'obligation d'entretien réciproque des époux (<ref-ruling> consid. 3.1; <ref-ruling> consid. 3.2). Tant que dure le mariage, les conjoints doivent donc contribuer, chacun selon leurs facultés (<ref-law>), aux frais supplémentaires engendrés par l'existence parallèle de deux ménages. Le montant de la contribution d'entretien se détermine en fonction des facultés économiques et des besoins respectifs des époux. Si leur situation financière le permet encore, le standard de vie antérieur, choisi d'un commun accord, doit être maintenu pour les deux parties. Le train de vie mené jusqu'à la cessation de la vie commune constitue la limite supérieure du droit à l'entretien. Il s'agit d'un principe général qui s'applique indépendamment de la méthode de fixation de la pension (méthode fondée sur les dépenses effectives; méthode de minimum vital élargi avec répartition de l'excédent [sur la distinction entre ces deux méthodes: cf. <ref-ruling> consid. 4.2.1.1]). Quand il n'est pas possible de conserver ce niveau de vie, les conjoints ont droit à un train de vie semblable (<ref-ruling> consid. 3b; <ref-ruling> consid. 20b et les références; arrêts 5A_36/2014 du 9 juillet 2014 consid. 4.1 et les références).
Pour fixer la contribution d'entretien, si le juge des mesures provisionnelles peut devoir modifier la convention conclue pour la vie commune afin de l'adapter en fonction du devoir de chacun des époux de participer, selon ses facultés, aux frais supplémentaires qu'engendre la vie séparée, il ne doit pas procéder à un "mini-procès" en divorce: il ne doit donc pas trancher, même sous l'angle de la vraisemblance, les questions de fond, objet du procès en divorce, en particulier celle de savoir si le mariage a influencé concrètement la situation financière du conjoint (<ref-ruling> consid. 2.2; <ref-ruling> consid. 3.1, précisant l'<ref-ruling>; arrêts 5A_502/2010 du 25 juillet 2011 consid. 3.2.1, publié in FamPra.ch 2011 p. 993; 5A_236/2011 du 18 octobre 2011 consid. 4.2.3; 5A_122/2011 du 6 juin 2011 consid. 4).
5.2.2. La capacité de pourvoir soi-même à son entretien est susceptible d'être limitée totalement ou partiellement par la charge que représente la garde des enfants. En principe, on ne peut exiger d'un époux la prise ou la reprise d'une activité lucrative à un taux de 50 % avant que le plus jeune des enfants n'ait atteint l'âge de 10 ans révolus, et de 100 % avant qu'il n'ait atteint l'âge de 16 ans révolus (arrêt 5A_319/2013 du 17 octobre 2013 consid. 2.3.3, publié in FamPra.ch 2014 p. 177; cf. aussi, <ref-ruling> consid. 3c). Ces lignes directrices sont toujours valables dès lors que la garde et les soins personnels sont dans l'intérêt des enfants en bas âge, ainsi que de ceux en âge de scolarité, et que les soins personnels représentent un critère essentiel lors de l'attribution de la garde. Elles ne sont toutefois pas des règles strictes; leur application dépend des circonstances du cas concret (<ref-ruling> consid. 4.2.2.2; arrêt 5A_241/2010 du 9 novembre 2010 consid. 5.4.3, publié in FamPra.ch 2011 p. 193), notamment de ce qui a été convenu durant la vie commune ou des capacités financières du couple (arrêt 5A_65/2013 du 4 septembre 2013 consid. 4.2.2). Le juge du fait tient compte de ces lignes directrices dans l'exercice du large pouvoir d'appréciation qui est le sien (<ref-ruling> consid. 4).
5.3. En l'espèce, en tant que le recourant prétend que l'intimée génère des gains par des expositions de peinture qu'elle organiserait, il se fonde sur des faits qui ne ressortent pas de l'arrêt attaqué, sans en dénoncer l'arbitraire par une argumentation conforme aux exigences du principe d'allégation (cf. supra consid. 2), ainsi que sur une pièce nouvelle (le profil Linkedln de l'intimée), irrecevable (cf. <ref-law>), dès lors qu'il prétend avoir produit celle-ci dans sa réponse sur demande reconventionnelle du 15 novembre 2013.
En tant que le recourant se borne à prétendre que l'intimée pourrait dans tous les cas obtenir un revenu hypothétique de 2'500 fr. en travaillant dans la restauration rapide, il ne démontre pas l'arbitraire de l'arrêt attaqué: par son argumentation, il n'attaque pas les critères retenus par la juge déléguée (en particulier l'âge de l'enfant cadet, le manque de formation de l'intimée et la capacité financière du recourant) et se prévaut d'une stricte application du principe du clean break qui, en tant que tel, ne joue pas de rôle dans le cadre des mesures provisionnelles (cf. supra consid. 5.2.1 2ème par., ainsi que l'arrêt 5A_860/2013 du 29 janvier 2014 consid. 6 in fine ).
Le grief d'arbitraire doit donc être rejeté, pour autant qu'il soit recevable.
6.
Le recourant reproche ensuite à la juge déléguée d'avoir appliqué la méthode du minimum vital élargi avec répartition de l'excédent pour fixer la contribution d'entretien due à l'intimée, et non celle basée sur les dépenses effectives permettant de maintenir le niveau de vie antérieur.
6.1. S'agissant de la méthode de calcul de la contribution d'entretien, la juge déléguée a retenu que le Tribunal cantonal fribourgeois avait appliqué celle du minimum vital élargi avec répartition par moitié de l'excédent au motif que le recourant n'avait pas prouvé son allégation selon laquelle il aurait effectué des rachats LPP à hauteur de 605'761 fr. dans les cinq ans précédant la séparation au moyen des seuls revenus de son travail, ni qu'il continuerait à épargner, et que rien n'indiquait que les contributions octroyées permettraient à l'intimée d'obtenir un niveau de vie supérieur à celui connu durant la vie commune. Elle a alors jugé que le recourant ne pouvait fonder sa requête en modification sur une mauvaise appréciation des circonstances initiales et tenter par ce biais de corriger le premier jugement. Elle a donc conclu que la méthode retenue précédemment n'ayant pas été valablement contestée par le recourant, celui-ci ne pouvait s'en prévaloir dans le cadre d'une procédure en modification.
S'agissant des éléments de calcul de la contribution d'entretien, la juge déléguée a considéré, sur la base des faits tels qu'établis en première instance le 14 août 2013, que le revenu du recourant - composé de prestations périodiques d'un montant mensuel net de 26'498 fr. ainsi que d'un bonus "Centre" annuel de 146'141 fr. brut en 2011 et d'une gratification octroyée sous la forme d'unités d'actions assujetties à restrictions réalisées tous les trois ans de 111'100 fr. en 2013 - avait augmenté depuis le prononcé des mesures protectrices de l'union conjugale. Elle a également retenu que les charges du recourant avaient augmenté depuis ce prononcé et s'élevaient désormais à 18'655 fr., contributions d'entretien des enfants comprises.
6.2. En l'espèce, au regard des exigences du principe d'allégation (cf. supra consid. 2), l'argumentation du recourant ne démontre pas l'arbitraire de la décision attaquée. En effet, se méprenant sur les conditions de l'<ref-law> (cf. supra consid. 3 1er par.), il tente de faire modifier la méthode de calcul retenue dans le jugement de mesures protectrices de l'union conjugale, en se prévalant de faits qu'il n'avait pas réussi à prouver lors de cette procédure. Par ailleurs, il prétend que la pension allouée permettrait à l'intimée de bénéficier d'un train de vie supérieur à celui qui était le sien durant la vie commune, toutefois toujours en se prévalant des dépenses effectives supportées durant cette période. A aucun moment, il n'invoque que le principe selon lequel le train de vie antérieur constitue la limite supérieure de l'entretien vaut aussi lorsque l'on applique la méthode du minimum vital élargi avec répartition de l'excédent (cf. supra consid. 5.2.1), de sorte que ce principe aurait été appliqué de manière arbitraire; a fortiori, il n'essaie même pas de démontrer que, même en se fondant sur cette méthode, tout excédent supérieur à celui alloué en 2012 lors de la première procédure, soit 6'345 fr., procurerait à l'intimée un niveau de vie supérieur à celui qui était le sien, compte tenu des dépenses comprises dans le minimum vital élargi du couple durant la vie commune, étant admis que celui-ci ne réalisait pas d'économies à cette période. Il n'invoque pas non plus la violation d'un droit constitutionnel en lien avec le fardeau de la preuve qu'aurait dû apporter l'intimée, qui s'est en l'occurrence bornée à invoquer la méthode de calcul de la pension et l'augmentation du revenu de son époux pour fonder son droit à l'augmentation de sa pension (cf. arrêts 5A_516/2013 du 2 avril 2014 consid. 3.3; 5A_205/2010 du 12 juillet 2010 consid. 4.2.2, publié in FamPra.ch 2010 p. 894; 5A_504/2008 du 20 novembre 2009 consid. 2.3).
Le grief tiré de la violation de l'art. 9 Cst. doit donc être rejeté, pour autant qu'il soit recevable.
7.
En conclusion, le recours est rejeté dans la mesure où il est recevable. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant qui succombe (<ref-law>). Celui-ci versera à l'intimée la somme de 2'000 fr. à titre de dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le recourant versera à l'intimée la somme de 2'000 fr. à titre de dépens.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Juge déléguée de la Cour d'appel civile.
Lausanne, le 28 juillet 2014
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : La Greffière :
von Werdt Achtari