Faits :
A.
A.a. B.X._, née en 1962, et A.X._, né en 1962, se sont mariés le 19 septembre 1986 à Lausanne. Trois enfants majeurs sont issus de leur union.
A.b. Statuant sur requête de l'épouse, le Président du Tribunal civil de l'arrondissement de Lausanne a rendu une ordonnance de mesures protectrices de l'union conjugale le 21 mars 2014, attribuant notamment la jouissance du domicile conjugal à l'épouse à charge pour elle d'en assumer l'intégralité des charges, y compris l'amortissement indirect et l'impôt foncier, ordonnant au mari de quitter le domicile conjugal d'ici au 30 avril 2014, en emportant ses effets personnels, et précisant qu'en cas de non-exécution de l'injonction précitée à l'échéance du délai fixé, l'épouse pourrait requérir l'assistance de la force publique pour obtenir le respect de cette injonction sur simple présentation de ladite ordonnance.
B.
B.a. A.X._ a fait appel de cette décision le 1 er avril 2014, concluant notamment à ce que le domicile conjugal lui soit attribué et à ce qu'ordre soit donné à son épouse de quitter les lieux dans un délai à fixer par la justice. Par requête du lendemain, il a sollicité l'octroi de l'effet suspensif à son appel.
B.b. Par décision du 8 avril 2014, la Juge déléguée de la Cour d'appel civile du Tribunal cantonal du canton de Vaud a rejeté la requête d'effet suspensif estimant que les arguments avancés par le requérant ne permettaient pas d'admettre l'existence d'un préjudice difficilement réparable à la suite de l'attribution du logement conjugal à son épouse et du délai qui lui a été imparti pour le quitter. Elle a en particulier retenu que le requérant n'avait pas rendu vraisemblable l'impossibilité, à ce stade, de se reloger, compte tenu de la situation.
C.
Par acte du 11 avril 2014, A.X._ forme un recours en matière civile au Tribunal fédéral contre cette décision et requiert en outre que l'effet suspensif soit attribué à son recours. Il soutient que la décision entreprise serait arbitraire au sens de l'art. 9 Cst. et requiert qu'elle soit réformée en ce sens que l'effet suspensif est attribué à son appel du 1 er avril 2014 jusqu'à droit définitif et exécutoire.
Des déterminations n'ont pas été requises.
D.
Par ordonnance présidentielle du 28 avril 2014, l'effet suspensif a été attribué au recours pour la durée de la procédure fédérale.

Considérant en droit :
1.
1.1. La décision querellée refuse de suspendre l'exécution d'une décision de mesures protectrices de l'union conjugale attribuant notamment la jouissance du domicile conjugal à l'épouse et fixant un délai au mari pour quitter les lieux en emportant ses affaires, décision contre laquelle ce dernier a fait appel. Il s'agit là d'une décision incidente en matière civile (<ref-law>; <ref-ruling> consid. 1 et les références).
L'autorité cantonale n'a pas statué sur recours mais en qualité d'instance cantonale unique sur l'effet suspensif requis dans le cadre d'une procédure d'appel; le recours en matière civile est cependant admissible en vertu de l'<ref-law> (<ref-ruling> consid. 1.1; <ref-ruling> consid. 2.2).
Le recours contre une décision incidente est soumis à la même voie de droit que celle qui est ouverte contre la décision principale (arrêts 5D_55/2011 du 23 septembre 2011 consid. 1.2; 5A_491/2007 du 15 novembre 2007 consid. 1.2). La cause pour laquelle l'effet suspensif est requis se rapporte en l'espèce à une procédure de mesures protectrices de l'union conjugale portant essentiellement sur l'attribution de la jouissance du domicile conjugal, contestée en appel. Partant, le litige a pour objet une affaire non pécuniaire, de sorte que le recours est recevable indépendamment de la valeur litigieuse (arrêt 5A_230/2013 du 19 juillet 2013 consid. 1 et les références). Le recours a en outre été interjeté en temps utile par une partie qui a succombé dans ses conclusions en instance cantonale, de sorte qu'il est également recevable au regard des art. 76 et 100 al. 1 LTF.
1.2. Hormis les décisions mentionnées à l'<ref-law>, une décision préjudicielle ou incidente peut être entreprise immédiatement si elle peut causer un préjudice irréparable (<ref-law>) ou si l'admission du recours peut conduire immédiatement à une décision finale qui permet d'éviter une procédure probatoire longue et coûteuse (<ref-law>).
En l'espèce, le recourant prétend que la décision lui cause un préjudice irréparable.
1.3. Le "préjudice irréparable" au sens de l'<ref-law> doit être de nature juridique et ne pas pouvoir être réparé ultérieurement par une décision finale favorable au recourant (arrêt 5D_211/2011 du 30 mars 2012 consid. 1.1 non publié aux <ref-ruling>). Un dommage économique ou de pur fait n'est pas considéré comme un dommage irréparable au sens de l'<ref-law> ( <ref-ruling> consid. 1.3.4; <ref-ruling> consid. 2.1 et 2.2).
Quand bien même le Tribunal fédéral examine d'office la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 et les références), il appartient à la partie recourante d'alléguer et d'établir la possibilité que la décision préjudicielle ou incidente lui cause un préjudice irréparable ( <ref-ruling>consid. 1.2 p. 429), à moins que celui-ci ne fasse d'emblée aucun doute ( <ref-ruling>consid. 4; <ref-ruling> consid. 2.3.1 in fine ).
1.4. S'agissant de la recevabilité du présent recours devant le Tribunal fédéral, le recourant fait valoir de manière toute générale que l'octroi ou le refus de mesures provisionnelles ainsi que le refus ou la restitution de l'effet suspensif sont susceptibles de provoquer un préjudice présumé irréparable sans motiver plus avant en quoi le refus de restituer l'effet suspensif à son appel lui causerait un préjudice irréparable en l'espèce. Pour tenter de démontrer le caractère arbitraire de la décision entreprise, le recourant allègue que le préjudice irréparable ou difficilement réparable consiste dans l'impossibilité pour lui de bénéficier du domicile conjugal du moins avant droit connu et de devoir déménager et se reloger, ainsi que dans le fait qu'il serait contraint de quitter le domicile alors qu'il est économiquement parlant le plus faible des deux conjoints, admettant cependant lui-même qu'il ne s'agit pas là d'un critère décisif. Ce faisant, il ne démontre, une fois encore, pas en quoi le fait de devoir déménager et se reloger au moins pour la durée de la procédure d'appel lui causerait un préjudice qui ne pourrait être réparé ultérieurement par une décision finale en sa faveur. Il ne prétend d'ailleurs pas ne pas être en mesure d'assumer un loyer avec son salaire, le fait que son loyer mensuel futur ait été estimé à 2'000 fr., à savoir 40% de son revenu, n'étant en soi pas suffisant pour démontrer que cette charge supplémentaire porterait atteinte à son minimum vital, ce qu'il ne prétend d'ailleurs pas. Il se contente à cet égard de soulever que les conjoints seraient traités de manière inégale s'agissant des conditions de logement dès lors que son épouse bénéficierait d'un logement dont elle a estimé les charges à 2'565 fr. 65 par mois. On ne perçoit une fois encore pas en quoi cet allégué serait de nature à démontrer l'existence d'un préjudice irréparable pour le recourant. Il s'en suit que le recourant n'est pas parvenu à démontrer que l'exécution immédiate de la décision allouant la jouissance du domicile conjugal à son épouse lui causerait un préjudice irréparable au sens de l'<ref-law>.
2.
En définitive, le recours doit être déclaré irrecevable aux frais de son auteur (<ref-law>). L'intimée n'ayant pas été invitée à déposer d'observations, aucun dépens n'est dû (<ref-law>).
Dans la mesure où l'effet suspensif a été octroyé au présent recours pour la durée de la procédure fédérale, il convient de fixer un nouveau délai au recourant pour quitter le domicile conjugal.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est irrecevable.
2.
Ordre est donné à A.X._ de quitter le domicile conjugal, sis ... d'ici au 20 juin 2014.
3.
Les frais judiciaires, arrêtés à 1'500 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Juge déléguée de la Cour d'appel civile du Tribunal cantonal du canton de Vaud.
Lausanne, le 21 mai 2014
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : La Greffière :
von Werdt Hildbrand