Citation: 4A_486/2020 E. A

A.a. B.A.________ est un horloger spécialisé dans la création de mouvements mécaniques à grandes complications. Jusqu'au début 2010, il travaillait en France comme gérant de l'entreprise D.________. Depuis plusieurs années, C.________, domiciliée en Allemagne, était en relations d'affaires avec B.A.________. En 2009, celui-ci cherchait des investisseurs afin de créer en Suisse une entreprise ayant pour but de produire et commercialiser des montres dotées des mécanismes qu'il avait inventés. C'est ainsi que C.________ et D.________ - à la tête de l'entreprise suisse E.________ SA - ont pris part à des discussions dans le cadre d'un projet intitulé Z.________. A.b. Par contrat du 10 février 2010, C.________, a prêté à B.A.________ et à son épouse A.A.________, encore domiciliés en France, une somme de 340'000 fr. sans intérêts, correspondant aux fonds propres nécessaires à l'acquisition d'une maison sise à la rue xxx, à Neuchâtel. Ce prêt devait être remboursé au moyen du produit de la vente de l'immeuble dont les époux A.________ étaient propriétaires en France. Le 18 février 2010, le montant de 340'000 fr. a été versé sur le compte de la Banque F.________ indiqué dans le contrat de prêt. B.A.________ et A.A.________ n'ont pas acquis la maison de la rue xxx. Par contrat de vente du 20 avril 2010, elle a été achetée par D.________ pour le prix de 1'300'000 fr. Le 12 avril 2010, un montant de 300'000 fr. avait été versé par les époux A.________ sur le compte de l'avocat neuchâtelois de D.________ et E.________ SA; il était mentionné que les époux D.________ en étaient les bénéficiaires et qu'il correspondait à un "acompte acquisition xxx". Début mai 2010, les époux A.________ se sont installés dans la maison de la rue xxx au bénéfice d'un bail passé avec D.________. A.c. D.________ s'est retiré du projet Z.________ quelques jours après avoir acquis la villa. Par la suite, un litige est survenu entre C.________, B.A.________ et D.________ concernant notamment la violation par ce dernier des droits d'auteur sur des mouvements de montres créés par B.A.________ et dont C.________ était la seule titulaire. Une transaction a été finalement passée entre les parties et a conduit au remboursement d'un montant de 168'000 fr. par D.________ à B.A.________, qui l'a ensuite reversé à C.________. A.d. Le 14 septembre 2010, H.________ SA a été fondée à Neuchâtel. B.A.________ n'a participé ni à l'acte de constitution ni au capital social de cette société. En revanche, il a été engagé par H.________ SA par contrat de travail du 16 septembre 2010. Celui-ci prévoyait que le lieu de travail de l'employé était à son domicile. A.e. Le 2 juin 2013, C.________ a résilié le prêt de février 2010 pour le 30 septembre 2013 ou le terme le plus proche et a réclamé le remboursement du solde encore dû par 172'000 fr. B.A.________ et A.A.________ ont formé opposition aux deux commandements de payer que C.________ leur avait fait notifier le 18 décembre 2013.