Faits: A. Mme A.X._ (1975) et M. B.X._ (1976) se sont mariés le 6 mai 2005. Deux enfants sont issus de leur union : C._, née en 2006, et D._, né en 2009. Le père a quitté le domicile familial à la fin du mois de mai 2010. A.a. Par prononcé de mesures protectrices de l'union conjugale du 6 juillet 2010, le Président du Tribunal civil de l'arrondissement de Lausanne a notamment attribué la garde des enfants à la mère, fixé le droit de visite du père à défaut d'entente entre les parents, et arrêté la contribution due par le père pour l'entretien des siens à 5'630 fr., dès le 1 er juin 2010. A.b. Le 4 novembre 2010, le père a requis la modification des mesures protectrices de l'union conjugale, concluant à ce que la garde des enfants lui soit confiée et à ce que la mère contribue à l'entretien des enfants, subsidiairement à l'extension de son droit de visite. Par convention partielle passée à l'audience du 6 décembre 2010, les parties sont convenues de mettre en oeuvre une expertise pédopsychiatrique des enfants, avec pour mission du Service universitaire de psychiatrie de l'enfant et de l'adolescent (ci-après: SUPEA) de faire toute proposition quant à l'attribution de la garde et aux modalités d'exercice du droit de visite. Dans l'attente du rapport d'expertise, le père a renoncé à solliciter la garde des enfants. Par prononcé du 19 janvier 2011, le Président du Tribunal d'arrondissement a étendu le droit de visite du père en semaine, libéré celui-ci du versement d'une contribution pour l'entretien de la mère et fixé à 1'500 fr. la contribution mensuelle pour l'entretien des enfants, dès le 1 er novembre 2010. A.c. Statuant sur l'appel de chaque partie le 22 mars 2011, le Juge délégué de la Cour d'appel civile du Tribunal cantonal du canton de Vaud a ratifié la convention passée à l'audience du 21 mars 2011 tendant notamment à la modification de l'exercice du droit de visite du père. Le SUPEA, qui a rendu un rapport d'expertise le 21 novembre 2011, préconise la garde partagée, qui est " la meilleure option afin de restaurer une certaine équité entre les parents " et aux fins que les parents " ne se sentent pas destitués dans leur rôle respectif qu'ils investissent beaucoup ". Les médecins de ce service ont relevé que les capacités éducatives des parents étaient adéquates et leurs désaccords mineurs concernant les modalités d'éducation. Le SUPEA a exposé n'avoir aucun argument pour privilégier l'une des parties, précisant encore que si les parents présentaient des désaccords, il en allait de leur responsabilité parentale de trouver une solution et de faire des compromis. Le SUPEA a encore ajouté que les enfants ne devaient pas être séparés. La mère a requis un complément d'expertise le 10 février 2012. Au cours de l'été 2012, le père a renoncé à exercer son droit de visite en semaine, exposant que les changements incessants de lieu de vie imposés aux enfants allaient à l'encontre de leur intérêt. B. Le 26 novembre 2012, la mère a déposé une demande unilatérale en divorce et conclu notamment à l'attribution de la garde des enfants, ainsi qu'au versement d'une contribution d'entretien en faveur d'elle-même et des enfants. De nombreux actes de procédure sont intervenus en cours de procédure, en particulier une requête de mesures provisionnelles de la mère du 14 décembre 2012. Le 22 mars 2013, le complément sollicité par la mère a été versé au dossier. Le SUPEA a confirmé que tant le père que la mère pouvaient répondre aux besoins de leurs enfants, qui présentent tous deux un développement psychoaffectif dans la norme. Le SUPEA a exposé n'avoir mis en évidence aucune " contre-indications à l'attribution de la garde alternée " parce que les enfants " semblent présenter des ressources psychoaffectives et des capacités pour pouvoir affronter les changements et les transitions qu'implique une garde alternée ". Les médecins du SUPEA ont précisé qu'il était dans l'intérêt des enfants de maintenir des liens significatifs avec leurs deux parents. Les médecins ont ajouté qu'ils pensaient qu'une " communication fonctionnelle entre les parents serait possible dans le scénario d'une garde partagée ", mais que si la situation conflictuelle perdurait, ils s'interrogeaient de savoir si " les répercussions chez les enfants seront nécessairement plus graves en garde partagée que dans l'actuel mode de garde". Le SUPEA a enfin exposé que si les parents ne pouvaient pas exercer la garde alternée dans des conditions de collaboration adéquates, des prises en charge à visée thérapeutique et guidance parentale étaient à envisager. La conciliation des parties, longuement tentée à l'audience de mesures provisionnelles du 2 juillet 2013, a échoué. B.a. Vu les nombreux actes de procédure, le Président du Tribunal d'arrondissement a exigé des parties le dépôt d'un mémoire reprenant l'ensemble des mesures provisionnelles requises. La mère a conclu à ce que la garde des enfants continue de lui être attribuée et au versement par le père d'une contribution de 5'600 fr. pour l'entretien d'elle-même et des enfants, dès le 1 er décembre 2011. Le père a conclu principalement à l'octroi de la garde des enfants et au versement par la mère d'une contribution pour l'entretien de ceux-ci, subsidiairement à l'instauration d'une garde partagée/alternée et au prononcé d'une mesure thérapeutique visant au rétablissement du dialogue et de la confiance entre les parents. B.b. Par ordonnance de mesures provisionnelles du 21 août 2013, le Président du Tribunal d'arrondissement a notamment attribué la garde des enfants conjointement à la mère et au père, astreint chacune des parties à supporter les frais d'entretien des enfants pour la période de garde et ordonné aux parties d'entreprendre un suivi thérapeutique. La mère a formé appel le 23 août 2013, concluant en substance à l'octroi de la garde des enfants et à la condamnation du père à contribuer à l'entretien des siens à concurrence de 5'600 fr. par mois. Par décision du 23 août 2013, le Juge délégué de la Cour d'appel civile du Tribunal cantonal a accordé l'effet suspensif à l'appel de la mère. Le 2 septembre 2013, le père a également fait appel et conclu à l'attribution de la garde des enfants, ainsi qu'à la condamnation de la mère à verser une contribution pour l'entretien de ceux-ci. A nouveau longuement tentée lors de l'audience d'appel du 8 octobre 2013, la conciliation a échoué. B.c. Statuant par arrêt du 10 octobre 2013, envoyé aux parties le 12 novembre 2013, le Juge délégué de la Cour d'appel civile du Tribunal cantonal a rejeté les appels des parents et confirmé l'ordonnance de mesures provisionnelles du 21 août 2013, sous réserve de l'injonction de suivi thérapeutique qui a été supprimée. C. Par acte du 15 novembre 2013, Mme A.X._ exerce un recours en matière civile au Tribunal fédéral tendant principalement à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité précédente, subsidiairement à la réforme de l'arrêt entrepris, en ce sens que la garde des enfants lui est attribuée, sous réserve du droit de visite du père, celui-ci étant astreint à contribuer à l'entretien d'elle-même et des enfants par le versement d'un montant indexé de 5'600 fr. par mois, dès le 1 er décembre 2012, et condamné à supporter les charges de l'ancien domicile conjugal. Au préalable, la mère sollicite l'effet suspensif à son recours. Invité à se prononcer sur l'effet suspensif, le père a conclu au rejet de la requête et l'autorité précédente a déclaré s'en remettre à justice. D. Par ordonnance du 27 novembre 2013, le Président de la IIe Cour de droit civil du Tribunal fédéral a octroyé l'effet suspensif au recours. Le 12 décembre 2013, le père a également interjeté un recours en matière civile au Tribunal fédéral (5A_950/2013), actuellement pendant. Invité à se déterminer sur le fond du recours, l'intimé conclut au rejet. Le Juge délégué expose ne pas avoir d'observations à formuler et se réfère aux considérants de son arrêt.