Faits : A. A.a. Le 17 août 2007, C.X._, née le 14 février 1944 et domiciliée à P._ (VD), a signé, en Italie, sur le papier à en-tête de l'hôtel où elle séjournait, une reconnaissance de dette manuscrite, dont la teneur est la suivante: " RECONNAISSANCE DE DETTE Madame C.X._ domiciliée à P._, reconnaît devoir par la présente à Monsieur Z._ domicilié à R._ la somme de CHF 1'850'000 (un million huit cent cinquante mille francs suisses), montant payable d'ici au 30 septembre 2007 au plus tard. Ce montant est dû en raison de l'aide et de l'assistance qu'il m'a apportées au cours de ces cinq dernières années .". A.b. Se fondant sur cette reconnaissance de dette, Z._ a introduit une poursuite contre C.X._. Celle-ci a fait opposition au commandement de payer qui lui a été notifié le 18 novembre 2008 (poursuite n° xxx). Le poursuivant a obtenu la mainlevée provisoire de l'opposition au commandement de payer par arrêt rendu sur recours par la Cour des poursuites et faillites du Tribunal cantonal vaudois le 27 août 2009, à concurrence de 1'850'000 fr. avec intérêts à 5% l'an dès le 19 novembre 2008, l'opposition étant maintenue pour le surplus. A.c. En 2009, Z._ a ouvert une action en paiement contre C.X._ devant la Cour civile du Tribunal cantonal vaudois, concluant à ce que celle-ci lui paie le montant précité. C.X._ est décédée le 4 septembre 2009. L'administration d'office de la succession ordonnée le 15 septembre 2009 (art. 554 al. 1 ch. 3 CC) a été levée le 8 juillet 2010. Pour mettre fin au litige pendant devant la Cour civile, Z._ et les héritiers de C.X._, soit ses frères A.X._ et B.X._, ont passé une convention extrajudiciaire le 19 mai 2010, convenant d'un montant transactionnel de 300'000 fr. à verser par la succession à Z._, sans reconnaissance d'une quelconque obligation de part et d'autre, les parties se donnant quittance pour solde de tous comptes et de toutes prétentions. A.d. Z._ a, par la suite, contesté la validité de cette transaction. Sur requête de séquestre de Z._, le Juge de paix du district de Lausanne a ordonné, le 21 novembre 2011, le séquestre des biens de l'hoirie à concurrence de 1'555'375 fr., en indiquant comme cause de l'obligation l'arrêt rendu le 27 août 2009 par la Cour des poursuites et faillites du Tribunal cantonal vaudois. Le séquestre a été exécuté le 1er décembre 2011. La procédure d'opposition au séquestre a abouti le 30 mai 2012 à la révocation du séquestre, le recours que Z._ a interjeté au Tribunal fédéral ayant été retiré par lui. L'Office des poursuites du district de Lausanne a constaté la caducité du séquestre par décision du 6 août 2012. La plainte déposée par Z._ contre cette décision a été définitivement rejetée par la Cour des poursuites et faillites du Tribunal cantonal dans un arrêt rendu le 30 novembre 2012. B. Dans l'intervalle, le 12 décembre 2011, Z._ a ouvert une action en paiement (et en validation de séquestre) contre l'hoirie de feue C.X._ devant la Chambre patrimoniale du canton de Vaud, concluant à ce qu'elle soit condamnée à lui payer les sommes de 1'550'000 fr. avec intérêts à 5% l'an dès le 19 novembre 2008 et de 8'450 fr. avec intérêts à 5% l'an dès le 27 août 2009. Dans sa demande, Z._ invoque dans la partie " en droit " de son mémoire qu'en vertu de l'art. 4 LDIP, l'action en validation de séquestre contre un débiteur à l'étranger peut être introduite en Suisse au for du séquestre (art. 105 al. 2 LTF). Le juge délégué de la Chambre patrimoniale a admis, le 6 février 2012, que les héritiers, soit A.X._ et B.X._, tous deux domiciliés en Suède, sont défendeurs à la procédure. Le 6 septembre 2012, les défendeurs ont formé une " requête incidente " tendant à faire prononcer l'irrecevabilité de l'action pour cause d'incompétence ratione loci. Invité à se prononcer sur cette exception, le demandeur a répondu, dans la partie " en droit " de sa détermination du 16 novembre 2012, que la Convention de Lugano révisée du 30 octobre 2007 (RS 0.275.12; ci-après: CL ou Convention de Lugano) ne s'applique pas, que l'action en validation de séquestre doit être intentée au for " judiciaire " et que l'administration officielle de la succession qui représentait l'hoirie étant sise à Lausanne et lui-même étant domicilié en Suisse, la Chambre patrimoniale est donc compétente. Il a ajouté que, de plus, la reconnaissance de dette se fonde sur une convention orale, qui est un contrat de mandat, le montant étant dû en raison de l'aide et de l'assistance apportées à la défunte au cours des cinq dernières années, comme le texte de la reconnaissance de dette le précise, et que l'aide a été apportée par lui, domicilié en Suisse, à la défunte à son domicile de P._, de sorte que la Chambre patrimoniale est compétente localement sur la base du lieu de l'exécution de ce contrat (art. 31 CPC). Outre lesdits motifs, le demandeur, se prévalant de l'art. 5 par. 1 let. a et b CL, a affirmé que la convention passée avec les héritiers le 19 mai 2010 a été conclue en Suisse en application du droit suisse et que le lieu de l'obligation principale découlant de cette convention est également en Suisse (art. 105 al. 2 LTF). Par jugement incident du 13 juin 2013, la Chambre patrimoniale a déclaré recevable la demande de Z._, admettant la compétence des juridictions suisses sur la base de l'art. 5 par. 1 let. b, 2e tiret, de la Convention de Lugano. Saisie d'un appel des défendeurs, la Cour d'appel civile du Tribunal cantonal vaudois a rendu un premier arrêt le 13 décembre 2013 qui rejetait l'appel, décision qui a été annulée par arrêt du 28 mai 2014 rendu par le Tribunal fédéral (cause 4A_63/2014), cela pour violation du droit à la réplique des défendeurs et pour défaut de motivation du moyen des défendeurs tiré de la violation de l'art. 55 al. 1 CPC. Statuant à nouveau par arrêt du 24 octobre 2014, la Cour d'appel civile du Tribunal cantonal vaudois a derechef rejeté l'appel des défendeurs et confirmé le jugement de première instance. C. Les défendeurs exercent un recours en matière civile au Tribunal fédéral contre cet arrêt. Ils concluent à l'admission de leur recours et à la réforme de l'arrêt attaqué en ce sens que la demande est déclarée irrecevable. Subsidiairement, ils concluent à l'annulation de l'arrêt et au renvoi de la cause à la cour cantonale pour nouvelle décision dans le sens des considérants. Ils invoquent la violation de l'art. 55 al. 1 CPC dans l'établissement des faits et l'absence d'allégation des faits déterminants, ce qui, selon eux, aurait dû conduire la cour cantonale à déclarer la demande irrecevable. L'intimé propose le rejet du recours.