Faits :
A.
Le 12 décembre 2011, Z._ a ouvert action contre les hoirs de feu C.X._, soit ses frères A.X._ et B.X._, devant la Chambre patrimoniale du canton de Vaud. Les défendeurs doivent être condamnés à payer 1'550'000 fr. et 8'450 fr. avec intérêts au taux de 5% par an, respectivement dès le 19 novembre 2008 et le 27 août 2009. La demande fait état d'une reconnaissance de dette souscrite par la défunte; pour le surplus, elle ne contient aucune allégation sur l'origine de l'obligation.
Après que l'instance eut été suspendue jusqu'à droit connu sur une procédure d'opposition à séquestre entreprise par les défendeurs, le juge instructeur a fixé un délai de réponse à la demande qui venait à échéance le 7 septembre 2012. Par mémoire du 6 septembre, les défendeurs ont excipé de l'incompétence du for et conclu à l'irrecevabilité de la demande; subsidiairement, ils ont sollicité un nouveau délai de réponse.
Le demandeur a déposé un mémoire daté du 16 novembre 2012; dans la partie « en droit » de cette écriture, il a fait état d'une relation contractuelle - une relation de mandat - nouée avec la défunte, ayant pour objet une aide et des soins qu'il lui apportait à son domicile. Le demandeur a conclu au rejet de l'exception d'incompétence.
Cette écriture n'a pas été transmise aux défendeurs.
La Chambre patrimoniale a tenu audience le 23 mai 2013. Sans succès, elle a tenté la conciliation; par leurs conseils, les parties ont ensuite plaidé.
Par jugement incident du 13 juin suivant, dont elle a communiqué l'expédition motivée le 27 août 2013, la Chambre patrimoniale a rejeté l'exception d'incompétence et admis la recevabilité de la demande. Elle a imparti un nouveau délai de réponse aux défendeurs. Elle s'est jugée compétente à raison du lieu de l'exécution du contrat que le demandeur prétend avoir conclu avec la défunte.
B.
Les défendeurs ont appelé du jugement.
Dans sa réponse à l'appel, le demandeur a mentionné son mémoire du 16 novembre 2012, dont les défendeurs disent avoir ainsi appris l'existence. Par télécopie du 11 décembre 2013 au greffe de la Cour d'appel civil, ils ont demandé copie de cette écriture et annoncé le dépôt d'une réplique. Ils ont effectivement déposé leur réplique le 16 décembre, reçue le lendemain 17 par le greffe.
Dans l'intervalle, le 13 décembre, la Cour d'appel avait statué sur l'appel; elle l'a rejeté et elle a confirmé le jugement incident. Elle a communiqué le dispositif de son arrêt le 16 décembre 2013 puis l'expédition complète le 6 janvier 2014.
C.
Agissant par la voie du recours en matière civile, les défendeurs requièrent le Tribunal fédéral d'accueillir l'exception d'incompétence et de déclarer la demande en justice irrecevable; des conclusions subsidiaires tendent à l'annulation de la décision attaquée et au renvoi de la cause à la Cour d'appel pour nouvelle décision.
Le demandeur conclut principalement à l'irrecevabilité du recours et subsidiairement à son rejet.
Les défendeurs ont déposé une réplique succincte; le demandeur n'a pas produit d'écriture supplémentaire.
La Cour d'appel présente de brèves observations; elle dit avoir tenu compte, dans la motivation de son arrêt, de la réplique déposée le 16 décembre 2012 par les défendeurs.

Considérant en droit :
1.
L'arrêt attaqué est une décision incidente relative à la compétence de la Chambre patrimoniale; il est susceptible du recours séparé prévu par l'<ref-law>. Contrairement à l'opinion du demandeur, ce recours séparé n'est pas soumis aux exigences de l'<ref-law>.
Les conditions de recevabilité du recours en matière civile sont par ailleurs satisfaites, notamment à raison de la valeur litigieuse.
2.
Les défendeurs font grief aux autorités précédentes d'avoir méconnu l'<ref-law>, relatif à la maxime des débats, en fondant le rejet de l'exception d'incompétence sur des faits - la conclusion et l'exécution d'un contrat de mandat entre le demandeur et feu C.X._ - qui n'avaient pas été valablement allégués dans le procès. Ils reprochent également à la Cour d'appel d'avoir violé leur droit d'être entendus (art. 29 al. 2 Cst. et 53 al. 1 CPC) en ne leur laissant pas la possibilité de déposer une réplique en appel.
3.
La Cour d'appel a reçu le mémoire d'appel des défendeurs puis elle l'a transmis au demandeur avec un délai de réponse, conformément à l'<ref-law>; elle a ensuite notifié la réponse aux défendeurs conformément à l'art. 136 let. c CPC. Elle n'a pas, et elle n'était pas tenue d'ordonner ou d'autoriser un deuxième échange d'écritures selon l'<ref-law>.
Néanmoins, dans les procédures judiciaires soumises à l'art. 29 al. 1er Cst., chaque partie jouit de par cette disposition d'un droit de réplique élargi, c'est-à-dire du droit de prendre position sur toutes les écritures de l'autorité précédente ou des adverses parties, indépendamment de la présence d'éléments nouveaux et importants dans ces documents. A la partie assistée d'un avocat, l'autorité peut se borner à transmettre « pour information » les écritures de l'autorité précédente ou des adverses parties; la partie destinataire et son conseil sont alors censés connaître leur droit de réplique et il leur incombe de déposer spontanément, s'ils le jugent utile, une prise de position sur ces écritures, ou de solliciter un délai à cette fin. Après la transmission d'écritures, l'autorité doit ajourner sa décision de telle manière que la partie destinataire dispose du temps nécessaire à l'exercice de son droit de réplique (<ref-ruling> consid. 2 p. 485; <ref-ruling> consid. 2.3.3 p. 157).
En l'espèce, la Cour d'appel a reçu la réponse à l'appel le 3 décembre 2013 et elle a statué le 13 suivant. Elle n'a tenu aucun compte du temps nécessaire d'abord à la transmission de cette réponse aux demandeurs, puis à la rédaction et à l'envoi d'une éventuelle réplique. Elle n'a non plus tenu aucun compte de l'annonce de cette réplique par les défendeurs, par télécopie du 11 décembre. La « réplique spontanée » des défendeurs est néanmoins mentionnée dans l'arrêt, ce qui est propre à faire croire faussement que les juges en avaient connaissance lors de leur décision. En réalité, les défendeurs se plaignent à bon droit d'une violation de leur droit à la réplique, ce qui entraîne l'annulation de la décision attaquée selon leurs conclusions subsidiaires.
4.
Dans leur mémoire d'appel puis dans leur réplique, les défendeurs ont soigneusement développé le moyen qu'ils prétendent tirer, contre le jugement incident, de l'<ref-law>; il s'agissait d'un élément important, voire essentiel de la contestation élevée contre ce jugement. Or, la Cour d'appel rejette ce moyen de manière seulement implicite, sans lui consacrer aucune discussion dans les motifs de sa décision. Celle-ci n'est donc pas motivée conformément à ce qu'exigent les <ref-law> et 112 al. 2 let. b LTF; elle doit être annulée également en raison de cette carence.
5.
A titre de partie qui succombe, le demandeur doit acquitter l'émolument à percevoir par le Tribunal fédéral et les dépens auxquels ses adverses parties peuvent prétendre.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est partiellement admis.
2.
La décision attaquée est annulée et la cause est renvoyée à la Cour d'appel civile pour nouvelle décision.
3.
Le demandeur acquittera un émolument judiciaire de 10'000 francs.
4.
Le demandeur versera une indemnité de 12'000 fr. aux défendeurs, créanciers solidaires, à titre de dépens.
5.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud.
Lausanne, le 28 mai 2014
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La présidente : Le greffier :
Klett Thélin