Faits : A. Le 12 décembre 2011, Z._ a ouvert action contre les hoirs de feu C.X._, soit ses frères A.X._ et B.X._, devant la Chambre patrimoniale du canton de Vaud. Les défendeurs doivent être condamnés à payer 1'550'000 fr. et 8'450 fr. avec intérêts au taux de 5% par an, respectivement dès le 19 novembre 2008 et le 27 août 2009. La demande fait état d'une reconnaissance de dette souscrite par la défunte; pour le surplus, elle ne contient aucune allégation sur l'origine de l'obligation. Après que l'instance eut été suspendue jusqu'à droit connu sur une procédure d'opposition à séquestre entreprise par les défendeurs, le juge instructeur a fixé un délai de réponse à la demande qui venait à échéance le 7 septembre 2012. Par mémoire du 6 septembre, les défendeurs ont excipé de l'incompétence du for et conclu à l'irrecevabilité de la demande; subsidiairement, ils ont sollicité un nouveau délai de réponse. Le demandeur a déposé un mémoire daté du 16 novembre 2012; dans la partie « en droit » de cette écriture, il a fait état d'une relation contractuelle - une relation de mandat - nouée avec la défunte, ayant pour objet une aide et des soins qu'il lui apportait à son domicile. Le demandeur a conclu au rejet de l'exception d'incompétence. Cette écriture n'a pas été transmise aux défendeurs. La Chambre patrimoniale a tenu audience le 23 mai 2013. Sans succès, elle a tenté la conciliation; par leurs conseils, les parties ont ensuite plaidé. Par jugement incident du 13 juin suivant, dont elle a communiqué l'expédition motivée le 27 août 2013, la Chambre patrimoniale a rejeté l'exception d'incompétence et admis la recevabilité de la demande. Elle a imparti un nouveau délai de réponse aux défendeurs. Elle s'est jugée compétente à raison du lieu de l'exécution du contrat que le demandeur prétend avoir conclu avec la défunte. B. Les défendeurs ont appelé du jugement. Dans sa réponse à l'appel, le demandeur a mentionné son mémoire du 16 novembre 2012, dont les défendeurs disent avoir ainsi appris l'existence. Par télécopie du 11 décembre 2013 au greffe de la Cour d'appel civil, ils ont demandé copie de cette écriture et annoncé le dépôt d'une réplique. Ils ont effectivement déposé leur réplique le 16 décembre, reçue le lendemain 17 par le greffe. Dans l'intervalle, le 13 décembre, la Cour d'appel avait statué sur l'appel; elle l'a rejeté et elle a confirmé le jugement incident. Elle a communiqué le dispositif de son arrêt le 16 décembre 2013 puis l'expédition complète le 6 janvier 2014. C. Agissant par la voie du recours en matière civile, les défendeurs requièrent le Tribunal fédéral d'accueillir l'exception d'incompétence et de déclarer la demande en justice irrecevable; des conclusions subsidiaires tendent à l'annulation de la décision attaquée et au renvoi de la cause à la Cour d'appel pour nouvelle décision. Le demandeur conclut principalement à l'irrecevabilité du recours et subsidiairement à son rejet. Les défendeurs ont déposé une réplique succincte; le demandeur n'a pas produit d'écriture supplémentaire. La Cour d'appel présente de brèves observations; elle dit avoir tenu compte, dans la motivation de son arrêt, de la réplique déposée le 16 décembre 2012 par les défendeurs.