Faits : A. A.a. X._, ressortissant français né le 25 octobre 1948, qui a acquis la nationalité suisse par mariage, puis a divorcé et ne s'est plus remarié, a vécu ensuite environ dix-sept ans avec Z._ à V._ (Commune de W._, VD). Il est décédé le 17 novembre 2012 en Floride (Etats-Unis d'Amérique), étant officiellement domicilié à Dubaï (Emirats arabes unis). Aucun testament n'ayant été retrouvé, ses héritiers sont ses fils X.B._, né le 31 octobre 1970, domicilié à Lyon (France), et X.A._, né le 16 janvier 1979, domicilié à Madrid (Espagne). Le défunt avait écrit de nombreux livres de développement personnel et commercialisé divers produits et services; il avait aussi créé un site internet de développement personnel, dénommé le " Club F._ ". A son décès, il possédait de nombreux comptes bancaires en Suisse et était propriétaire de biens immobiliers au Portugal, au Brésil, à Dubaï, à Miami et en Suisse. A.b. X._ et Z._, ainsi que les enfants de celle-ci, ont vécu à V._, dans un chalet propriété de la société R._ SA, ce que l'administrateur de la société a confirmé. Z._ continue à vivre dans ce chalet, bien qu'elle soit enregistrée officiellement en résidence principale à une autre adresse dans la Commune de W._. Dame Z._ fait valoir qu'elle était la concubine du défunt et formait avec lui une société simple pour ce qui concernait les activités professionnelles de celui-ci. Les héritiers contestent la nature de la relation qui l'unissait au défunt. A.c. Les héritiers ont requis le bénéfice d'inventaire devant le Tribunal de district de Brigue, for successoral de nécessité. Le 22 avril 2013, les autorités de Dubaï ont ouvert la succession de feu X._, mais, selon un avis de droit de l'Institut suisse de droit comparé, elles ne devraient s'occuper que des biens figurant au nom du défunt et situés à Dubaï. Sur requête de Z._, la Juge déléguée de la Chambre patrimoniale du canton de Vaud a, après transaction en justice passée avec les héritiers, rendu des mesures provisionnelles aux fins notamment de conserver les biens de la succession. B. Le 20 septembre 2013, Z._ (demanderesse) a ouvert action contre X.B._ et X.A._, héritiers du défunt (défendeurs), devant la Chambre patrimoniale vaudoise. Elle conclut au fond à ce que la société simple formée par elle et le défunt soit dissoute et liquidée, à ce qu'un liquidateur soit immédiatement désigné pour procéder à la liquidation et à ce qu'il soit reconnu que les défendeurs, solidairement entre eux, lui doivent immédiat paiement de la somme minimale de 1'416'721 fr. 90, sous réserve de précision de cette conclusion en cours d'instance. Les défendeurs ont conclu à l'irrecevabilité de la demande, pour défaut de compétence internationale. Ayant limité la procédure à la question de sa compétence et statuant sans audience, la Chambre patrimoniale a déclaré la demande irrecevable, par jugement du 26 août 2014. Statuant par arrêt du 18 mai 2015, la Cour d'appel civile du Tribunal cantonal du canton de Vaud a admis l'appel de la demanderesse et réformé le jugement attaqué en ce sens que la demande est recevable, la cause étant retournée à la Chambre patrimoniale pour suivre à la procédure. C. Contre cet arrêt, les défendeurs exercent un recours en matière civile au Tribunal fédéral. Ils concluent à l'annulation de l'arrêt cantonal. L'intimée conclut à l'irrecevabilité du recours et, subsidiairement, à son rejet; plus subsidiairement, elle conclut à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants. Chaque partie a encore déposé des observations. La demande de sûretés en garantie des dépens formée par l'intimée a été rejetée par ordonnance présidentielle du 20 octobre 2015, vu l'art. 17 al. 1 de la Convention de La Haye du 1er mars 1954 relative à la procédure civile et l'art. 14 al. 1 de la Convention de La Haye du 25 octobre 1980 tendant à faciliter l'accès international à la justice. L'effet suspensif a été attribué au recours par décision présidentielle du 16 décembre 2015.