Faits :
A.
A.a. Le 17 août 2007, C.X._, née le 14 février 1944 et domiciliée à P._ (VD), a signé, en Italie, sur le papier à en-tête de l'hôtel où elle séjournait, une reconnaissance de dette manuscrite, dont la teneur est la suivante:
" RECONNAISSANCE DE DETTE
Madame C.X._ domiciliée à P._, reconnaît devoir par la présente à Monsieur Z._ domicilié à R._ la somme de CHF 1'850'000 (un million huit cent cinquante mille francs suisses), montant payable d'ici au 30 septembre 2007 au plus tard.
Ce montant est dû en raison de l'aide et de l'assistance qu'il m'a apportées au cours de ces cinq dernières années .".
A.b. Se fondant sur cette reconnaissance de dette, Z._ a introduit une poursuite contre C.X._. Celle-ci a fait opposition au commandement de payer qui lui a été notifié le 18 novembre 2008 (poursuite n° xxx). Le poursuivant a obtenu la mainlevée provisoire de l'opposition au commandement de payer par arrêt rendu sur recours par la Cour des poursuites et faillites du Tribunal cantonal vaudois le 27 août 2009, à concurrence de 1'850'000 fr. avec intérêts à 5% l'an dès le 19 novembre 2008, l'opposition étant maintenue pour le surplus.
A.c. En 2009, Z._ a ouvert une action en paiement contre C.X._ devant la Cour civile du Tribunal cantonal vaudois, concluant à ce que celle-ci lui paie le montant précité.
C.X._ est décédée le 4 septembre 2009. L'administration d'office de la succession ordonnée le 15 septembre 2009 (art. 554 al. 1 ch. 3 CC) a été levée le 8 juillet 2010.
Pour mettre fin au litige pendant devant la Cour civile, Z._ et les héritiers de C.X._, soit ses frères A.X._ et B.X._, ont passé une convention extrajudiciaire le 19 mai 2010, convenant d'un montant transactionnel de 300'000 fr. à verser par la succession à Z._, sans reconnaissance d'une quelconque obligation de part et d'autre, les parties se donnant quittance pour solde de tous comptes et de toutes prétentions.
A.d. Z._ a, par la suite, contesté la validité de cette transaction.
Sur requête de séquestre de Z._, le Juge de paix du district de Lausanne a ordonné, le 21 novembre 2011, le séquestre des biens de l'hoirie à concurrence de 1'555'375 fr., en indiquant comme cause de l'obligation l'arrêt rendu le 27 août 2009 par la Cour des poursuites et faillites du Tribunal cantonal vaudois. Le séquestre a été exécuté le 1er décembre 2011. La procédure d'opposition au séquestre a abouti le 30 mai 2012 à la révocation du séquestre, le recours que Z._ a interjeté au Tribunal fédéral ayant été retiré par lui. L'Office des poursuites du district de Lausanne a constaté la caducité du séquestre par décision du 6 août 2012. La plainte déposée par Z._ contre cette décision a été définitivement rejetée par la Cour des poursuites et faillites du Tribunal cantonal dans un arrêt rendu le 30 novembre 2012.
B.
Dans l'intervalle, le 12 décembre 2011, Z._ a ouvert une action en paiement (et en validation de séquestre) contre l'hoirie de feue C.X._ devant la Chambre patrimoniale du canton de Vaud, concluant à ce qu'elle soit condamnée à lui payer les sommes de 1'550'000 fr. avec intérêts à 5% l'an dès le 19 novembre 2008 et de 8'450 fr. avec intérêts à 5% l'an dès le 27 août 2009.
Dans sa demande, Z._ invoque dans la partie " en droit " de son mémoire qu'en vertu de l'art. 4 LDIP, l'action en validation de séquestre contre un débiteur à l'étranger peut être introduite en Suisse au for du séquestre (art. 105 al. 2 LTF).
Le juge délégué de la Chambre patrimoniale a admis, le 6 février 2012, que les héritiers, soit A.X._ et B.X._, tous deux domiciliés en Suède, sont défendeurs à la procédure.
Le 6 septembre 2012, les défendeurs ont formé une " requête incidente " tendant à faire prononcer l'irrecevabilité de l'action pour cause d'incompétence ratione loci.
Invité à se prononcer sur cette exception, le demandeur a répondu, dans la partie " en droit " de sa détermination du 16 novembre 2012, que la Convention de Lugano révisée du 30 octobre 2007 (RS 0.275.12; ci-après: CL ou Convention de Lugano) ne s'applique pas, que l'action en validation de séquestre doit être intentée au for " judiciaire " et que l'administration officielle de la succession qui représentait l'hoirie étant sise à Lausanne et lui-même étant domicilié en Suisse, la Chambre patrimoniale est donc compétente. Il a ajouté que, de plus, la reconnaissance de dette se fonde sur une convention orale, qui est un contrat de mandat, le montant étant dû en raison de l'aide et de l'assistance apportées à la défunte au cours des cinq dernières années, comme le texte de la reconnaissance de dette le précise, et que l'aide a été apportée par lui, domicilié en Suisse, à la défunte à son domicile de P._, de sorte que la Chambre patrimoniale est compétente localement sur la base du lieu de l'exécution de ce contrat (art. 31 CPC). Outre lesdits motifs, le demandeur, se prévalant de l'art. 5 par. 1 let. a et b CL, a affirmé que la convention passée avec les héritiers le 19 mai 2010 a été conclue en Suisse en application du droit suisse et que le lieu de l'obligation principale découlant de cette convention est également en Suisse (art. 105 al. 2 LTF).
Par jugement incident du 13 juin 2013, la Chambre patrimoniale a déclaré recevable la demande de Z._, admettant la compétence des juridictions suisses sur la base de l'art. 5 par. 1 let. b, 2e tiret, de la Convention de Lugano.
Saisie d'un appel des défendeurs, la Cour d'appel civile du Tribunal cantonal vaudois a rendu un premier arrêt le 13 décembre 2013 qui rejetait l'appel, décision qui a été annulée par arrêt du 28 mai 2014 rendu par le Tribunal fédéral (cause 4A_63/2014), cela pour violation du droit à la réplique des défendeurs et pour défaut de motivation du moyen des défendeurs tiré de la violation de l'art. 55 al. 1 CPC.
Statuant à nouveau par arrêt du 24 octobre 2014, la Cour d'appel civile du Tribunal cantonal vaudois a derechef rejeté l'appel des défendeurs et confirmé le jugement de première instance.
C.
Les défendeurs exercent un recours en matière civile au Tribunal fédéral contre cet arrêt. Ils concluent à l'admission de leur recours et à la réforme de l'arrêt attaqué en ce sens que la demande est déclarée irrecevable. Subsidiairement, ils concluent à l'annulation de l'arrêt et au renvoi de la cause à la cour cantonale pour nouvelle décision dans le sens des considérants. Ils invoquent la violation de l'art. 55 al. 1 CPC dans l'établissement des faits et l'absence d'allégation des faits déterminants, ce qui, selon eux, aurait dû conduire la cour cantonale à déclarer la demande irrecevable.
L'intimé propose le rejet du recours.

Considérant en droit :
1.
Interjeté en temps utile (art. 100 al. 1 LTF) par les défendeurs qui ont succombé dans leurs conclusions (art. 76 LTF) contre une décision incidente en matière de compétence à raison du lieu (art. 92 LTF), dans une affaire civile (art. 72 al. 1 LTF) dont la valeur litigieuse est supérieure à 30'000 fr. (art. 74 al. 1 let. b LTF), le recours est recevable au regard de ces dispositions. La décision a, par ailleurs, été rendue sur appel par le tribunal supérieur du canton (art. 75 LTF).
Les recourants contestant que le demandeur ait correctement présenté ses allégués relatifs à la compétence du tribunal qu'il a saisi, l'état de fait a été complété sur la base de la demande et de la détermination du demandeur du 16 novembre 2012 (art. 105 al. 2 LTF).
2.
Saisi d'un recours en matière civile, le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Il n'est donc limité ni par les arguments soulevés dans le recours, ni par la motivation retenue par l'autorité précédente; il peut admettre un recours pour d'autres motifs que ceux qui ont été invoqués et le rejeter en adoptant une argumentation différente de celle de l'autorité précédente (cf. <ref-ruling> consid. 1.1; <ref-ruling> consid. 3.1).
3.
3.1. Bien qu'elle ait déclaré la demande (simplement) recevable, la Chambre patrimoniale a en réalité tranché affirmativement la question de la compétence des juridictions suisses et, partant, techniquement rejeté l'exception de déclinatoire soulevée par les défendeurs. En effet, dans ses motifs, elle a considéré qu'elle est compétente en vertu de l'art. 5 par. 1 let. b, 2e tiret, CL, compte tenu du fait que le demandeur fonde ses prétentions sur un contrat de soins, dont il y a lieu de supposer que ceux-ci ont été fournis au domicile de la défunte à P._. Dans l'hypothèse où ces soins n'entreraient pas dans la notion de fourniture de services au sens de cette disposition, la Chambre a estimé que la compétence pourrait être tirée de l'art. 5 par. 1 let. a CL, qui prévoit un for en matière contractuelle au lieu d'exécution.
La Cour d'appel civile a rejeté l'appel des défendeurs et confirmé le jugement de la Chambre patrimoniale. Appliquant la théorie de la double pertinence, elle a considéré que les faits doublement pertinents sont présumés exacts au stade de l'examen de la compétence, qu'ils ne devront être prouvés qu'au moment où le tribunal statuera au fond, et qu'il serait donc excessivement formaliste d'exiger qu'ils soient allégués, dans une procédure limitée à la question de la compétence, de manière distincte dans la partie " faits ", et non dans la partie " droit " pour trois motifs: premièrement, puisque ces éléments n'ont pas à être prouvés à ce stade, il importe peu que le défendeur puisse se déterminer avec précision; deuxièmement, l'invocation du fondement juridique de la prétention relève du droit; troisièmement, les défendeurs n'ont jamais invoqué que la demande serait d'emblée spécieuse ou incohérente.
3.2. En substance, les défendeurs recourants reprochent à la cour cantonale d'avoir complété l'état de fait en violation de l'art. 55 CPC, d'avoir retenu des faits non allégués dans la demande, mais ressortant de la partie " droit " de la détermination du demandeur du 16 novembre 2012. Selon eux, la cour cantonale aurait admis l'existence de prétendus soins fournis par le demandeur à la défunte, principalement au domicile de celle-ci, alors qu'aucun allégué ne le précisait. Ils estiment qu'il appartenait au demandeur d'alléguer la cause de la reconnaissance de dette et le lieu d'exécution de l'obligation, en d'autres termes que la débitrice était domiciliée à P._ et que le lieu de la fourniture des soins et de l'aide apportée était P._.
Le demandeur et intimé fait valoir que c'est à juste titre que les juges cantonaux ont fait usage de la théorie des faits de double pertinence et qu'ils ont admis que les moyens de fait ont été apportés par lui à satisfaction de droit. Il soutient qu'il a suffisamment allégué les faits nécessaires dans sa demande et sa détermination précitée, qu'il a produit la reconnaissance de dette à l'appui de sa demande, que tous ces éléments permettent d'établir l'existence d'un contrat entre lui et la défunte, laquelle était domiciliée à P._ où s'exécutait le mandat, et qu'il ne s'agit pas de trancher cette question de fond au stade de la recevabilité.
4.
La cause est de nature internationale, puisque les défendeurs sont domiciliés en Suède (art. 1 al. 1 LDIP et art. 2 CPC). En effet, selon la jurisprudence, une cause est de nature internationale lorsqu'elle a une connexité suffisante avec l'étranger, ce qui est toujours le cas lorsque l'une des parties possède son domicile ou son siège à l'étranger, peu importe que ce soit le demandeur ou le défendeur, et indépendamment de la nature de la cause (arrêt 4A_443/2014 du 2 février 2015 consid. 3.1; à propos de l'aLFors, cf. <ref-ruling> consid. 2.3; en matière d'arbitrage international, cf. l'art. 176 al. 1 LDIP).
Il n'est plus contesté que la Convention de Lugano révisée du 30 octobre 2007, entrée en vigueur pour la Suisse le 1er janvier 2011 et pour la Suède le 1er janvier 2010, est applicable en l'espèce. Et seul le for contractuel demeure litigieux.
C'est la loi du for (lex fori) qui détermine si le juge doit établir d'office les faits pertinents pour l'appréciation de sa compétence ou s'il peut ou doit demander aux parties de lui fournir les preuves requises, les art. 25 et 26 CL ne contenant que quelques précisions quant à l'examen (d'office) de sa compétence par le juge (<ref-ruling> consid. 4.2 et les références).
5.
Avant d'examiner quelles sont les exigences d'allégation qui pèsent sur le demandeur, il s'impose de rappeler les principes jurisprudentiels développés sous le nom de " théorie de la double pertinence ".
5.1. Les faits déterminants pour l'examen de la compétence sont soit des faits " simples ", soit des faits " doublement pertinents " (arrêt 4A_28/2014 du 10 décembre 2014 consid. 4.2).
Les faits sont simples ( einfachrelevante Tatsachen ) lorsqu'ils ne sont déterminants que pour la compétence. Ils doivent être prouvés au stade de l'examen de la compétence, lorsque la partie défenderesse soulève l'exception de déclinatoire en contestant les allégués du demandeur (arrêts 4A_28/2014 déjà cité, consid. 4.2.1; 4A_113/2014 du 15 juillet 2014 consid. 2.3, non publié in <ref-ruling>; <ref-ruling> consid. 2.3 p. 34 s.; <ref-ruling> consid. 6.2.1 p. 34 s.; <ref-ruling> consid. 6.2 p. 298 s.; <ref-ruling> consid. 3b/bb p. 252).
Les faits sont doublement pertinents ou de double pertinence ( doppelrelevante Tatsachen ) lorsque les faits déterminants pour la compétence du tribunal sont également ceux qui sont déterminants pour le bien-fondé de l'action. C'est à ces faits que s'applique la théorie de la double pertinence.
5.2. Selon cette théorie, le juge saisi examine sa compétence sur la base des allégués, moyens et conclusions de la demande (der eingeklagte Anspruch und dessen Begründung), sans tenir compte des objections de la partie défenderesse (<ref-ruling> consid. 4 p. 487; arrêt 4A_630/2011 du 7 mars 2012 consid. 2.2, non publié in <ref-ruling>).
L'administration des preuves sur les faits doublement pertinents est renvoyée à la phase du procès au cours de laquelle est examiné le bien-fondé de la prétention au fond. Tel est notamment le cas lorsque la compétence dépend de la nature de la prétention alléguée, par exemple lorsque le for a pour condition l'existence d'un acte illicite ou d'un contrat (arrêts 4A_28/2014 déjà cité, consid. 4.2.2; 4A_113/2014 déjà cité, consid. 2.3; <ref-ruling> consid. 2.3 p. 34; <ref-ruling> consid. 6.2 p. 298 s.; <ref-ruling> consid. 3b/bb p. 252).
Autrement dit, au stade de l'examen et de la décision sur la compétence, phase qui a lieu d'entrée de cause (cf. art. 60 CPC), les faits doublement pertinents n'ont pas à être prouvés; ils sont censés établis sur la base des allégués, moyens et conclusions du demandeur.
Ainsi, le tribunal doit décider, en fonction des écritures du demandeur, si, par exemple, un acte illicite a été commis.
- Si tel n'est pas le cas, les conditions permettant de fonder la compétence du tribunal saisi ne sont pas remplies et la demande doit être déclarée irrecevable.
- Si tel est le cas, le tribunal saisi admet sa compétence. L'administration des moyens de preuve sur les faits doublement pertinents, soit sur l'acte illicite, aura lieu ultérieurement dans la phase du procès au fond, soit au cours des débats principaux.
- S'il se révèle alors que le fait doublement pertinent n'est pas prouvé, par exemple qu'il n'y a pas eu d'acte illicite, le tribunal rejette la demande, par un jugement revêtu de l'autorité de la chose jugée.
- S'il se révèle que le fait doublement pertinent est prouvé, par exemple que l'acte illicite a eu lieu, le tribunal examine alors les autres conditions de la prétention au fond.
En revanche, la localisation de l'acte illicite allégué, soit la question de savoir s'il a eu lieu en Suisse, est un fait simple, qui doit être prouvé au stade de l'examen de la compétence (cf. consid. 5.1. ci-dessus). En effet, la constatation portant sur le lieu où l'acte illicite a été commis est sans pertinence pour le bien-fondé de la prétention au fond (arrêt 4C.329/2005 du 5 mai 2006 consid. 2.2, non publié in <ref-ruling>).
Dans l'arrêt 4A_28/2014 du 10 décembre 2014, le Tribunal fédéral n'a pas entendu modifier ces principes qui sous-tendent la jurisprudence publiée, un changement de jurisprudence étant d'ailleurs soumis à des exigences strictes dont la réalisation n'y a pas été discutée (cf. <ref-ruling> consid. 3; <ref-ruling> consid. 6; arrêts 4A_546/2013 du 13 mars 2014 consid. 3; 5A_39/2014 du 12 mai 2014 consid. 3.2, non publié in <ref-ruling>). Il y a lieu de corriger l'erreur (cf. <ref-ruling> consid. 1.4 et 1.5) qui s'est glissée dans cet arrêt lorsqu'il y est dit que le " renvoi de l'administration des preuves au fond ne signifie évidemment pas qu'un rejet pour défaut de compétence ne puisse plus être prononcé " et " que le juge statuera sur la compétence... " (cf. ANDREAS BUCHER, Vers l'implosion de la théorie des faits doublement pertinents, in SJ 2015 II 67 ss). Certes, après l'administration des preuves sur les faits doublement pertinents, le tribunal peut se rendre compte que, contrairement à ce qu'il avait décidé d'entrée de cause dans sa décision admettant sa compétence, celle-ci n'est en réalité pas donnée. Toutefois, il ne peut et ne doit pas alors rendre un nouveau jugement sur sa compétence, puisqu'il ne saurait revenir sur la décision qu'il a prise d'entrée de cause à ce sujet; lorsque, par exemple, l'existence d'un acte illicite n'est pas établie, il doit rejeter la demande par un jugement au fond, lequel est revêtu de l'autorité de la chose jugée. Comme le relève BUCHER (op. cit., p. 72), " le défaut de la théorie... ... consiste en effet à autoriser le juge à constater sa compétence sans en vérifier toutes les conditions, et à renvoyer l'examen des faits doublement pertinents à la procédure au fond, sans tenir compte de l'incidence des mêmes faits sur l'application des règles de compétence ". Cette théorie est néanmoins justifiée dans son résultat, dès lors que le demandeur qui choisit d'introduire son action à un for spécial n'a pas un intérêt à pouvoir, en cas d'échec, la porter ensuite au for ordinaire ou à un autre for spécial (cf. en particulier ALEXANDER R. MARKUS, Internationales Zivilprozessrecht, 2014, ch. 597 p. 157).
L'application de la théorie de la double pertinence n'est pas régie par la Convention de Lugano, mais par la loi du for (ATF <ref-ruling> consid. 6.2 et la référence). L'arrêt de la Cour de justice de l'Union européenne du 28 janvier 2015 dans l'affaire C-375/13 Harald Kolassa contre Barclays Bank plc (cité par BUCHER, op. cit., p. 76) ne dit pas autre chose. Selon cet arrêt (point 65), " il n'y a pas lieu de procéder à une administration détaillée de la preuve en ce qui concerne les éléments de fait litigieux qui sont pertinents à la fois pour la question de la compétence et pour l'existence du droit invoqué; il est toutefois loisible à la juridiction saisie d'examiner sa compétence internationale à la lumière de toutes les informations dont elle dispose, y compris, le cas échéant, les contestations émises par le défendeur ". En d'autres termes, le juge national peut se baser sur les seuls allégués du demandeur, mais la Cour de justice n'interdit pas non plus au juge national de prendre en compte toutes les circonstances. En l'état, il n'y a pas lieu d'examiner plus avant les critiques de BUCHER à cet égard (op. cit., p. 75-76).
5.3. Il est fait exception à l'application de la théorie de la double pertinence en cas d'abus de droit de la part du demandeur, par exemple lorsque la demande est présentée sous une forme destinée à en déguiser la nature véritable ou lorsque les allégués sont manifestement faux. Dans ces situations d'abus, la partie adverse doit être protégée contre la tentative du demandeur de l'attraire au for de son choix (<ref-ruling> consid. 2.3; <ref-ruling> consid. 4 p. 488 et les références; arrêts 4A_28/2014 déjà cité, consid. 4.2.2; 4A_31/2011 du 11 mars 2011 consid. 2; 4A_630/2011 déjà cité, consid. 2.2).
La théorie de la double pertinence n'entre par ailleurs pas en ligne de compte lorsque la compétence d'un tribunal arbitral est contestée, car il est exclu de contraindre une partie à souffrir qu'un tel tribunal se prononce sur des droits et obligations litigieux s'ils ne sont pas couverts par une convention d'arbitrage valable. Ladite théorie n'est pas non plus applicable lorsque la question de l'immunité de juridiction est invoquée par un État (arrêt 4A_28/2014 consid. 4.2.2; <ref-ruling> consid. 5.1 p. 158; <ref-ruling> consid. 3b p. 387).
6.
Il y a lieu d'examiner désormais quelles sont les exigences auxquelles le demandeur doit satisfaire dans la présentation de ses allégués et de ses moyens sur les faits doublement pertinents afin que, dans sa décision rendue d'entrée de cause sur la compétence, le tribunal puisse admettre qu'il est compétent ratione loci.
6.1. En vertu de l'art. 60 CPC, le tribunal examine d'office si les conditions de recevabilité - dont fait partie la compétence à raison du lieu (art. 59 al. 2 let. b CPC) - sont remplies.
On ne peut pas déduire de l'obligation imposée au tribunal par cette disposition qu'il doive rechercher lui-même les faits justifiant la recevabilité de la demande. L'examen d'office ne dispense pas les parties de collaborer à l'établissement des faits, en alléguant ceux qui sont pertinents et en indiquant les moyens de preuve propres à les établir (cf. <ref-ruling> consid. 4.3 p. 281 s.).
Lorsque le demandeur choisit d'introduire son action à un for spécial, dont les conditions sont des faits doublement pertinents, le tribunal doit examiner d'office sa compétence d'entrée de cause, mais il le fait sur la base des seuls allégués et moyens du demandeur, sans tenir compte des contestations du défendeur et sans procéder à aucune administration de preuves. Il s'ensuit qu'il faut et qu'il suffit que le demandeur allègue correctement les faits doublement pertinents, c'est-à-dire de telle façon que leur contenu permette au tribunal d'apprécier sa compétence. Le tribunal doit en effet examiner si ces faits allégués (censés établis) sont concluants (schlüssig), c'est-à-dire s'ils permettent juridiquement d'en déduire le for invoqué par le demandeur (<ref-ruling> consid. 2.2; Markus, op. cit., ch. 598 p. 157; Urs H. Hoffmann-Nowotny, Doppelrelevante Tatsachen in Zivilprozess und Schiedsverfahren, 2010, ch.100 ss).
6.2. Comme le relèvent les défendeurs recourants, il est vrai que le demandeur s'est contenté d'alléguer l'existence d'une reconnaissance de dette et de la produire, sans préciser la cause de sa créance. Il n'a pas formellement allégué ni dans la partie " en fait " de sa demande, ni dans la partie " en fait " de sa détermination du 16 novembre 2012, ni dans des allégués aux débats principaux du 23 mai 2013, les faits relatifs à la cause de l'obligation et au lieu d'exécution de l'obligation. Toutefois, dès lors que ces éléments ressortent de la partie " en droit " de sa détermination du 16 novembre 2012, c'est-à-dire de ses moyens au sens de la jurisprudence (cf. consid. 5.2 in initio ci-dessus), le tribunal pouvait en tenir compte en vertu de son devoir d'examen d'office.
En conséquence, dès lors que la débitrice défunte était domiciliée à P._ - ce qui n'est pas contesté - et qu'il ressort des allégués et des moyens du demandeur que les soins ont été prodigués à celle-ci à son domicile, la Chambre patrimoniale pouvait considérer que ces derniers faits étaient censés établis et, partant, admettre sa compétence.
Il en découle que les griefs des recourants de violation de la maxime des débats (art. 55 al. 1 CPC), de violation de l'obligation incombant au demandeur de motiver ses allégués et de violation de la maxime éventuelle sont infondés.
7.
Au vu de ce qui précède, le recours doit être rejeté aux frais de ses auteurs (art. 66 al. 1 et 5 LTF). Les recourants seront également condamnés solidairement à verser une indemnité de dépens à l'intimé (art. 68 al. 1, 2 et 4 LTF), laquelle tient compte du fait que la réponse ne comporte que deux pages et demie.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 10'000 fr., sont mis solidairement à la charge des recourants.
3.
Les recourants verseront solidairement à l'intimé une indemnité de 2'000 fr. à titre de dépens.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Cour d'appel civile.
Lausanne, le 25 juin 2015
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente : Kiss
Le Greffier : Ramelet