Faits :
A.
A.a. A.X._, né en 1971, et B.X._, née en 1975, se sont mariés le 31 octobre 2008. De leur union sont issus C._, né en 2008, et D._, née en 2010.
A.b.
A.b.a. Les parties se sont séparées en 2011. Elles ont déposé diverses requêtes de mesures protectrices de l'union conjugale, en particulier sur le droit de visite du père, certaines décisions rendues ratifiant une transaction des parties sur ce point. Un droit de visite a pu être régulièrement exercé depuis le mois d'octobre 2012.
A.b.b. Différents rapports médicaux et sociaux ont été rendus. Ainsi, par certificat médical du 6 avril 2013, F._, pédiatre, a attesté qu'il suivait les enfants depuis leur naissance, confirmé que ceux-ci présentaient un développement " tout à fait excellent " et qu'ils étaient en parfaite sécurité au domicile de leur mère.
Dans un rapport d'évaluation du Service de la protection de la jeunesse (ci-après: SPJ), intervenu suite à des accusations du père selon lesquelles les enfants auraient été victimes d'abus sexuels au domicile de leur mère et du nouveau conjoint de celle-ci, l'assistant social a relevé qu'aucun élément ne laissait penser que les enfants auraient été abusés. En revanche, le père était encore très marqué par la séparation; il avait de la peine à séparer les problèmes conjugaux des questions relatives aux enfants. Ceux-ci n'étant toutefois pas en danger, l'assistant social a préconisé de maintenir le droit de visite.
Dans un document du 29 septembre 2013 intitulé " signalement d'un mineur en danger dans son développement " adressé au SPJ concernant l'enfant aîné, G._, psychologue assistante à la Policlinique de pédopsychiatrie d'Aigle, a exposé notamment que l'enfant était " fort inhibé, sur la retenue, observateur des mouvements d'autrui, passif et soumis dans la relation, évitant le conflit, avec peu d'initiative, mettant à distance les affects ", qu'elle avait débuté son investigation le 8 août 2013, et que les faits relatés au sujet de l'enfant l'avaient été par la mère selon laquelle celui-ci serait mis sous pression lors du droit de visite en étant obligé de prier et en entendant des propos négatifs du père envers elle. Son interprétation était que l'enfant présentait une inhibition, une mise en retrait pour éviter les conflits et une difficulté à construire son identité en raison de la peur de maltraitance susmentionnée.
B.
B.a.
B.a.a. Par requête de mesures provisionnelles et superprovisionnelles du 2 octobre 2013, B.X._ a conclu à la suspension immédiate du droit de visite jusqu'à la tenue d'une prochaine audience, précisant qu'elle ne s'opposait pas à l'exercice de ce droit au Point Rencontre. Elle a fait valoir que son époux adoptait depuis quelque temps un comportement alarmant, en proie à un délire mystique, persuadé que lui-même et les enfants allaient disparaître avant 2017. Elle a produit des courriels récents de plusieurs pages que lui avait adressés son époux. Dans l'un d'eux, celui-ci l'enjoignait à la pénitence, affirmant que celui qui a secondé la création errait sur terre jusqu'en 2017, date à laquelle il serait anéanti et les deux tiers de la population avec lui car " la tumeur du mal qui affecte l'humanité est à un stade très avancé ne permettant plus aucun espoir de guérison pour les 2/3 incroyants ", et que la seule solution pour échapper à ce sort était de se repentir de ses péchés par la prière ou la fréquentation d'églises. Dans un autre, il lui proposait de l'aider à s'exorciser pour le cas où elle renoncerait à cette première solution. B.X._ a également allégué que les enfants revenaient perturbés des rencontres avec leur père et tenaient des propos incohérents tels que " le diable habite la tête de maman " ou parlaient de la " fin du monde qui aura lieu en 2017".
Par ordonnance de mesures superprovisionnelles du 2 octobre 2013, le Président du Tribunal civil de l'arrondissement de l'Est vaudois a ordonné que le droit de visite s'exerce par l'intermédiaire du Point Rencontre deux fois par mois, pour une durée maximale de deux heures, à l'intérieur des locaux.
B.a.b. A.X._ a requis lui-même des mesures superprovisionnelles et provisionnelles le 3 octobre 2013 puis le 3 novembre 2013, tendant notamment à rétablir le droit de visite et à être autorisé à contacter ses enfants. Il a notamment allégué qu'il ne procédait à " aucun endoctrinement fanatique de [ses] enfants, mais juste une volonté de leur transmettre des valeurs Christiques comme de pardonner y compris à ses ennemis, de ne pas juger et de condamner les autres " et qu'il leur transmettait " simplement une espérance qui [avait] des conséquences positives dans la vie et dans l'interaction avec leur semblable. Leur transmettre la philosophie du néant du matérialisme [conduisait] tous ces jeunes à ne plus savoir quel sens donner à leur existence. L'impiété sans mesure de B.X._ [faisait] obstacle à cette volonté de transmission de la foi, de cette espérance et c'[était] pourquoi elle [poursuivait] l'instrumentalisation de la justice. Ceci n'[était] pas sans rappeler ce que les Pharisiens et les spécialistes de la loi [avaient] réalisé il y [avait] deux mille ans en instrumentalisant le pouvoir judiciaire de Ponce Pilate pour condamner un innocent venu témoigner de ce qu'[était] la Vérité ".
Le président a rejeté ces requêtes par décisions des 4 octobre et 4 novembre 2013.
B.a.c. Le 27 novembre 2013, A.X._ a adressé à la psychologue G._ une lettre recommandée de vingt-sept pages intitulée " état de l'Amour, état du monde ". Il y exposait qu'il détenait la vérité sur le bien et le mal et qu'il était dans son devoir de la partager. Il y discourait sur la Vierge Marie, la physique quantique, la genèse, l'adultère, l'expiation des péchés, l'avènement du Christ pour 2017, répétait que le " Grand Châtiment " serait suivi du " Grand Miracle ", et qualifiait le comportement de son épouse de " déclarations et actions haineuses d'une mère adultère obstinée dans le conflit ".
B.a.d. Une audience de mesures protectrices de l'union conjugale s'est tenue le 19 décembre 2013, au cours de laquelle les parties ont convenu de la mise en oeuvre d'une expertise pédopsychiatrique. B.X._ a produit plusieurs courriels de son époux où celui-ci discourait sur le péché de l'adultère, lui reprochait d'avoir une perception du bien et du mal conduisant " inévitablement au mal absolu qu'est le divorce, la haine, la séparation des enfants ", l'avertissait qu'elle choisissait " toute seule l'enfer si [elle poursuivait] dans [sa] direction de division sans repentir " et expliquait que la " Fin des Temps " était simplement un passage de la Bible auquel il croyait et qu'il transmettait uniquement aux enfants " le message d'amour et de pardon tel qu'il a été vécu par le Christ ".
B.a.e. Le 24 décembre 2013, A.X._ a adressé une lettre de trois pages à ses enfants. Il y racontait qu'un personnage nommé " L'Amour " devait combattre à l'aide du " Rosaire de Marie " le méchant " Pitch " qui, par ses mensonges, entraînait les enfants dans la nuit et la peur. Il continuait son récit en endossant le rôle du personnage Jack Frost et en expliquant que " l'Amour ", manifestement pour lui Dieu, lui avait donné un bâton en mains propres pour qu'il combatte le " méchant Pitch " par sa faiblesse, qui est l'absence d'amour. Il ajoutait ensuite ces propos: " Alors, papa, présent avec vous dans votre coeur, vous offre à vous deux, C._ et D._, la grosse somme d'argent qui appartient à papa et qui est cachée dans la maison à E._. Il offre à maman tout le reste de ses biens qui sont aussi dans la maison. Maman enverra les papiers à papa pour authentifier cet Acte d'Amour qui vient de l'Amour lui-même, pour se remettre dans la lumière de l'Amour ". Il terminait son récit en affirmant que, pour combattre l'égoïsme, Dieu envoyait à nouveau Jésus, son fils unique " que nous verrons tous ensemble en 2017", et qu'il fallait que les enfants gardent " le bébé Jésus dans [leur] poche sans jamais le perdre jusqu'à ce qu'il revienne dans environ quatre ans ", ce qu'il était un des seuls au monde à savoir.
A.X._ s'est à nouveau adressé à ses enfants par lettre du 11 janvier 2014. Il y expliquait qu'un dragon, qui avait beaucoup d'argent et de haine en lui, l'empêchait de les voir et de les aimer et qu'il devait aller le combattre, toujours avec ce même bâton que Dieu lui avait donné, qu'il considérait manifestement comme la prière. Il enjoignait les enfants à réciter la prière catholique " Je vous salue Marie " pour l'aider à combattre le dragon.
Par lettre du même jour adressé au Président du Tribunal civil, il a fait valoir que ses enfants étaient très perturbés, que B.X._ avait empêché tout contact avec eux malgré qu'il lui eût rappelé les notions de pardon et de réalité biblique de l'enfer et que les enfants étaient les victimes de la haine de son épouse, alors que lui-même ne voulait leur transmettre qu'amour et paix. Il disait n'avoir plus confiance en la justice qui donnait la préférence à une mère ayant des comportements sexuels déviants devant ses enfants plutôt qu'à un père qui a la foi, l'espérance et la charité, et que cette iniquité conduirait les " deux enfants innocents à la même déchéance que leur mère ".
B.a.f. Par lettre du 23 janvier 2014, la responsable du Point Rencontre a constaté que le père ne s'était pas rendu aux visites prévues les 21 décembre 2013, 4 et 18 janvier 2014, et que, sans nouvelles de lui depuis le 7 décembre 2013, le Point Rencontre renonçait à planifier de nouvelles dates de visite.
B.a.g. Par requête de mesures protectrices de l'union conjugale du 26 janvier 2014, A.X._ a requis que son droit de visite soit rétabli. Il répétait que son épouse avait abandonné " le droit chemin de vérité et de justice ", qu'elle s'était " égarée en s'engageant sur le chemin du Mal sans mesure ", qu'il l'encourageait " vivement à se remettre en filiation avec le Bien, la Vérité, l'Amour et la Justice pour le bien de ses enfants ", et il ajoutait que " seul un retour total et radical à Jésus-Christ, à son Père et à leur Esprit-Saint dans la miséricorde infinie de notre Sauveur [permettait] un rétablissement d'une authentique Paix du coeur. Toute autre voie [était] sans issue et [provoquerait] à terme un mal beaucoup plus grand ".
Par décision du 28 janvier 2014, le Président du Tribunal a rejeté cette requête.
B.a.h. Alors qu'un droit de visite au Point Rencontre était fixé dès le 1 er février 2014, A.X._ a informé son épouse par courriel du 1 er mars 2014 qu'il cesserait toute visite dès le 15 mars 2014 jusqu'à ce que son droit soit rétabli de manière usuelle, le mode actuel étant trop traumatisant pour les enfants. Il y développait un paragraphe sur le concept d'adultère au sens de l'Eglise catholique et expliquait à son épouse qu'elle pourrait s'en sortir en faisant appel à la miséricorde de Dieu.
B.a.i. Par décision du 24 janvier 2014, le Président du Tribunal a confirmé l'ordonnance de mesures superprovisionnelles du 2 octobre 2013 (cf. supra B.a.a), dit que l'exercice du droit de visite s'exercera par l'intermédiaire du Point Rencontre deux fois par mois pour une durée maximale de deux heures, à l'intérieur des locaux exclusivement, et ordonné la mise en oeuvre d'une expertise pédopsychiatrique des enfants, confiée à un pédopsychiatre à Vevey, la mission de l'expert consistant à évaluer les compétences parentales des deux parents, en particulier de faire toutes propositions utiles quant à l'attribution de l'autorité parentale et de la garde, ainsi qu'aux modalités d'exercice des relations personnelles.
B.b. Par arrêt du 28 mars 2014, le Juge délégué de la Cour d'appel civile du Tribunal cantonal vaudois a rejeté l'appel interjeté contre cette décision par A.X._.
C.
Par acte posté le 12 mai 2014, A.X._ interjette un recours en matière civile contre cet arrêt. Il conclut, principalement, à sa réforme en ce sens que l'ordonnance de mesures superprovisionnelles du 2 octobre 2013 est révoquée et la requête de mesures provisionnelles de B.X._ du 2 octobre 2013 rejetée, et, subsidiairement, à son annulation et au renvoi de la cause à l'autorité précédente pour nouvelle décision au sens des considérants. Il se plaint de la violation de l'art. 9 Cst. dans l'application des art. 273 s. et 303 CC, ainsi que de celle de l'art. 15 Cst.
Des observations n'ont pas été requises.

Considérant en droit :
1.
L'arrêt entrepris est une décision finale (<ref-law>; <ref-ruling> consid. 4) rendue en matière civile (<ref-law>), de nature non pécuniaire, prise sur recours par un tribunal supérieur statuant en dernière instance cantonale (art. 75 al. 1 et 2 LTF). Le recours a en outre été interjeté dans le délai (<ref-law>) et la forme (<ref-law>) prévus par la loi, par une partie ayant pris part à la procédure devant l'autorité précédente et ayant un intérêt digne de protection à l'annulation ou à la modification de la décision attaquée (<ref-law>). Au regard de ces dispositions, le recours est donc recevable.
2.
Dès lors que la décision attaquée porte sur la modification de mesures protectrices de l'union conjugale (<ref-law>), soit de mesures provisionnelles au sens de l'<ref-law> (<ref-ruling> consid. 5), le Tribunal fédéral dispose d'un pouvoir d'examen limité, seule la violation des droits constitutionnels pouvant être invoquée (<ref-ruling> consid. 3.2; <ref-ruling> consid. 2). Le Tribunal fédéral n'examine de tels griefs que s'ils ont été invoqués et motivés conformément au principe d'allégation (<ref-law>), à savoir expressément soulevés et exposés de manière claire et détaillée (<ref-ruling> consid. 2.2; <ref-ruling> précité; <ref-ruling> consid. 1.4.2). Les critiques de nature appellatoire sont irrecevables (ATF <ref-ruling> consid. 2).
3.
Le recourant se plaint de la violation de l'art. 9 Cst. dans l'application des art. 273 s. CC en tant que son droit de visite doit s'exercer de manière surveillée au Point Rencontre.
3.1. L'autorité cantonale a considéré que le signalement donné par la psychologue G._, plusieurs mois après les déclarations du Dr F._, attestait que l'évolution de l'enfant aîné n'était pas bonne et qu'il était vraisemblable qu'elle était en relation directe avec le comportement du père, qui apparaissait envahi par un mysticisme qui prenait le pas sur sa raison. Il résultait par ailleurs des pièces que, même lorsqu'il s'adressait à des tiers (autorité judiciaire, personnel médical), le recourant revenait sur des thèmes qui lui étaient chers, de sorte qu'on ne pouvait pas admettre qu'il était en mesure de faire la part des choses entre une éducation religieuse normale et ses convictions plus personnelles mettant en évidence des idées délirantes. Au stade de la vraisemblance, il paraissait inimaginable que le recourant parvînt à s'en tenir à un discours limité lorsqu'il s'agissait d'éduquer ses enfants dans la foi catholique, tant ses convictions religieuses, objectivement terrorisantes en ce qu'elles se référaient systématiquement à l'Apocalypse, au Jugement dernier ou à l'expiation des fautes, semblaient l'obséder. Son courrier du 24 décembre 2013 faisait référence directe à la fin du monde dès lors qu'il enjoignait les enfants à garder le " bébé Jésus " dans leur poche " jusqu'à ce qu'il revienne dans environ quatre ans ". En outre, dans celui du 11 janvier 2014, le recourant faisait croire à ses enfants qu'un dragon qui avait " beaucoup d'argent " l'empêchait de les voir, alors qu'il avait renoncé à se rendre au Point Rencontre, préférant ne pas rencontrer ses enfants tant que le droit de visite s'exerçait par ce biais. Il apparaissait ainsi comme une personne intransigeante, autoritaire et culpabilisante. Par ailleurs, le recourant ne parvenait pas à dissocier le conflit parental des questions relatives aux enfants, ce que le SPJ avait d'ailleurs déjà constaté en avril 2013, allant jusqu'à intégrer dans son récit de Noël des questions liées à la liquidation de son patrimoine (référence à une " grosse somme d'argent " et au fait que " maman enverra les papiers à papa pour authentifier cet Acte d'Amour "). Enfin, le recourant, qui ne semblait pas comprendre que les idées de fin du monde et de pénitence systématique pouvaient s'avérer traumatisantes, avait une attitude à l'évidence néfaste pour le développement des enfants qui faisait craindre le pire. Il se justifiait donc de protéger les enfants jusqu'aux conclusions de l'expertise pédopsychiatrique et de confirmer la décision du premier juge.
3.2.
3.2.1. Selon l'art. 179 al. 1 1 ère phr. CC - qui n'a pas été modifiée par la révision du Code civil du 21 juin 2013 entrée en vigueur le 1 er juillet 2014 -, à la requête d'un époux, le juge ordonne les modifications commandées par les faits nouveaux et rapporte les mesures prises lorsque les causes qui les ont déterminées n'existent plus.
Cette norme exige un fait nouveau et l'action en modification ne doit pas aboutir à recommencer la procédure de mesures protectrices; il faut au contraire un changement notable des circonstances qui impose impérativement, pour le bien de l'enfant, une modification de la réglementation adoptée dans le précédent jugement. Cependant, cela ne signifie pas que la modification de la réglementation du droit de visite doive être soumise à des exigences particulièrement strictes. Il suffit que le pronostic du premier juge sur les effets des relations personnelles entre le parent auquel la garde n'a pas été confiée et l'enfant se révèle erroné, et que le maintien de la réglementation actuelle risque de porter atteinte au bien de l'enfant. Ainsi, il faut surtout garder à l'esprit que le fait nouveau est important et suffisant pour modifier le jugement lorsqu'un tel changement apparaît comme nécessaire pour répondre au bien de l'enfant (en matière de divorce: cf. <ref-ruling> consid. 3; arrêts 5A_756/2013 du 9 janvier 2014 consid. 5.1.1; 5A_120/2013 du 23 mai 2013 consid. 2.1.1).
Si le juge admet l'existence d'un fait nouveau, et décide donc d'entrer en matière sur la requête en modification, les dispositions relatives aux effets de la filiation s'appliquent (cf. <ref-law>), à savoir l'<ref-law> pour le principe des relations personnelles et l'<ref-law> pour les limites de celles-ci.
3.2.2. Si les relations personnelles (<ref-law>) compromettent le développement de l'enfant, si les père et mère qui les entretiennent violent leurs obligations, s'ils ne se sont pas souciés sérieusement de l'enfant ou s'il existe d'autres justes motifs, le droit d'entretenir ces relations peut leur être retiré ou refusé (<ref-law>). Ce refus ou ce retrait ne peut être demandé que si le bien de l'enfant l'exige impérieusement et qu'il est impossible de trouver une réglementation du droit de visite qui sauvegarde ses intérêts: la règle a pour objet de protéger l'enfant, et non de punir les parents. Il existe un danger pour le bien de l'enfant si son développement physique, moral ou psychique est menacé par la présence, même limitée, du parent qui n'a pas l'autorité parentale. Conformément au principe de la proportionnalité, il importe en outre que ce danger ne puisse être écarté par d'autres mesures appropriées. Le retrait de tout droit à des relations personnelles constitue l' ultima ratioet ne peut être ordonné dans l'intérêt de l'enfant que si les effets négatifs des relations personnelles ne peuvent être maintenus dans des limites supportables pour l'enfant. En revanche, si le risque engendré pour l'enfant par les relations personnelles peut être limité grâce à la présence d'un tiers, le droit de la personnalité du parent non détenteur de l'autorité parentale, le principe de la proportionnalité et le sens des relations personnelles interdisent la suppression complète de ce droit (<ref-ruling> consid. 3b; arrêts 5A_505/2013 du 20 août 2013 consid. 2.3, publié in FamPra.ch 2013 p. 1045; 5A_586/2012 du 12 décembre 2012 consid. 4.2, publié in FamPra.ch 2013 p. 510). L'établissement d'un droit de visite surveillé, comme le refus ou le retrait du droit aux relations personnelles selon l'<ref-law>, nécessite des indices concrets de mise en danger du bien de l'enfant. Il ne suffit pas que ce dernier risque abstraitement de subir une mauvaise influence pour qu'un droit de visite surveillé soit instauré (<ref-ruling> consid. 3c; arrêts 5A_377/2009 du 3 septembre 2009 consid. 5.2, publié in SJ 2010 I p. 314 et in FamPra.ch 2010 p. 209; 5A_699/2007 du 26 février 2008 consid. 2.1, publié in FamPra.ch 2008 p. 695; 5C.58/2004 du 14 juin 2004 consid. 2.1.2).
Pour régler le droit de visite, le juge du fait dispose d'un pouvoir d'appréciation dont le Tribunal fédéral contrôle l'exercice dans le cadre de mesures provisionnelles selon l'<ref-law> avec une cognition limitée à l'arbitraire. Le Tribunal fédéral n'intervient que si le juge a abusé du pouvoir d'appréciation qui lui est accordé, ou s'il l'a excédé; tel est le cas lorsque la décision repose sur une appréciation insoutenable des circonstances, qu'elle est inconciliable avec les règles du droit et de l'équité, qu'elle omet de tenir compte de tous les éléments de fait propres à fonder la décision ou encore, lorsqu'elle prend au contraire en considération des circonstances qui ne sont pas pertinentes (<ref-ruling> consid. 2c; arrêt 5A_699/2007 du 26 février 2008 consid. 2.2, publié in FamPra.ch 2008 p. 695).
3.3. En l'espèce, le recourant ne démontre en rien l'arbitraire de la décision attaquée. En effet, il se base sur des rapports datant d'avril 2013 pour soutenir que l'évolution des enfants ne présente aucun problème, alors que l'autorité cantonale s'est fondée sur un rapport postérieur, de septembre 2013, rendu précisément à l'époque où le recourant a envoyé à l'intimée des courriers à la teneur alarmante, et émet de vagues hypothèses sur la façon dont se serait déroulé l'examen de la psychologue G._. Il soutient que l'autorité cantonale s'est avant tout fondée sur les déclarations de l'intimée relatées par cette thérapeute, alors qu'elle s'est au contraire principalement penchée sur ses propres écrits et son comportement pour apprécier la situation. Il se borne à présenter sa propre interprétation de ses courriers adressés aux enfants, pour soutenir que ceux-ci sont des " contes pour enfants dont le but est d'inculquer les valeurs nobles du Christianisme ", alors qu'on ne peut reprocher à l'autorité cantonale d'avoir versé dans l'arbitraire en les considérant comme objectivement terrorisants pour des enfants de cet âge et extrêmement radicaux. Enfin, il soutient que l'autorité cantonale aurait versé dans l'arbitraire en ne se basant pas uniquement sur les courriers adressés aux enfants, mais aussi sur ceux adressés à des tiers, alors qu'elle était parfaitement fondée à évaluer le comportement du recourant sur la base de ces écrits-là, ceux-ci étant pertinents pour cerner dans quelle mesure le mysticisme du recourant envahit complètement son rapport à autrui ainsi que sa compréhension du monde et de l'existence. C'est donc sans arbitraire que l'autorité cantonale a considéré vraisemblable que le recourant ne sait pas faire la part des choses entre une éducation religieuse adaptée à de jeunes enfants et l'inculcation de ses convictions personnelles concrètement susceptibles de porter atteinte au bien-être psychique de ceux-ci.
Au vu de ce qui précède, le grief de la violation de l'art. 9 Cst. dans l'application des art. 273 s. CC doit être rejeté, pour autant qu'il soit recevable.
4.
Le recourant se plaint encore de la violation de l'art. 9 Cst. dans l'application de l'<ref-law> et de celle de l'art. 15 Cst. Il affirme que l'autorité cantonale s'immisce dans l'éducation religieuse qu'il prodigue à ses enfants alors que cette éducation ne leur porterait aucun préjudice.
4.1. Aux termes de l'<ref-law>, les père et mère disposent de l'éducation religieuse de l'enfant. Il s'agit d'une composante de l'autorité parentale que conserve le parent qui se voit retirer le droit de garde seulement. La faculté des parents de décider de l'éducation religieuse de leurs enfants est une composante de leur propre liberté de conscience et de croyance, garantie par l'art. 15 al. 1 Cst. (<ref-ruling> consid. 1.2).
4.2. En l'espèce, l'autorité cantonale a précisément retenu que le discours du recourant et son prosélytisme mettaient en danger le bien-être des enfants, sans que celui-ci ne démontre l'arbitraire de cette appréciation. Elle devait par ailleurs tenir compte de ce bien-être pour régler les relations personnelles (cp. arrêt 5C.146/2003 du 23 septembre 2003 consid. 4, non publié aux <ref-ruling>).
Ainsi, les griefs soulevés par le recourant deviennent sans objet et doivent être rejetés, pour autant que recevables.
5.
En conclusion, le recours doit être rejeté, dans la mesure où il est recevable. Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant qui succombe (<ref-law>). Des dépens ne sont pas dus.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté, dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et au Juge délégué de la Cour d'appel civile du Tribunal cantonal du canton de Vaud.
Lausanne, le 18 août 2014
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : La Greffière :
von Werdt Achtari