Faits : A. A.a. A l'arrière-plan du présent litige, on trouve plusieurs sociétés, liées (de diverses manières) les unes aux autres: a) A._ Sàrl, inscrite au registre du commerce le 16 mai 2008, puis déclarée en faillite le 10 juillet 2014, exerçait ses activités (exploitation de cabinets, vente de produits, services) dans le domaine du bien-être et de la santé. Ses associés gérants étaient H.X._, président, et son épouse, F.X._. Le 1er novembre 2008, la société a délégué la gestion de sa comptabilité générale et des salaires à B._ société coopérative (cf. infra). b) Z._ SA, dont les époux X._ étaient actionnaires (jusqu'en 2010), a pour but l'exploitation d'une pharmacie. De fin 2001 à mai 2010, H.X._ a été président de son conseil d'administration, puis, de juin à décembre 2010, M._ a repris cette fonction. c) B._ société coopérative (ci-après: B._) a notamment pour but de proposer des services visant à alléger les tâches administratives et comptables. A._ Sàrl bénéficiait d'un " compte dépôt " auprès de B._, qui affichait, au 16 août 2010, un solde en faveur de cette dernière de 485'271 fr.21. B._ détient (par le biais de la Holding C._) deux sociétés: - E._ SA, qui a pour but de financer des personnes morales ou physiques actives dans le domaine de la santé (en particulier des pharmacies). - D._ SA qui a notamment pour but le recouvrement de créances. Ces trois dernières sociétés (E._ SA, B._ et D._ SA) sont domiciliées au même endroit, ont le même organe de révision et, jusqu'en 2011, avaient le même président ou directeur général, soit M._, qui détenait une action de chacune de ces sociétés. A.b. Par contrat du 9 septembre 2008, E._ SA a accordé à A._ Sàrl un prêt d'un montant de 1'500'000 fr. La convention fixait les modalités de remboursement et elle prévoyait également des garanties. Selon le libellé du contrat, les époux X._ " transfèrent à [E._ SA] la propriété des parts sociales de [A._ Sàrl] à titre fiduciaire et en garantie du prêt ", et H.X._ " transfère à [E._ SA] la propriété des actions de [Z._ SA] à titre fiduciaire et en garantie du prêt ", un contrat de fiducie devant, dans les deux cas, régler l'usage que E._ SA pouvait faire des actions qui lui étaient confiées. A.c. Par courrier du 26 février 2010, E._ SA, par son président M._, a confirmé à H.X._ être d'accord avec l'"exécution de la garantie de prêt à [A._ Sàrl]" et informé que, "comme convenu", sa société compensait les dettes contractées par A._ Sàrl auprès de toutes ses sociétés, par la reprise des actions de Z._ SA déjà en la possession de E._ SA. Par convention du 12 mars 2010, rédigée par E._ SA, les époux X._ ont vendu à cette dernière société (acheteuse) l'intégralité des actions qui composent le capital de Z._ SA (société demanderesse), pour un prix fixé à 2'000'000 fr. S'agissant du prix de vente des actions, le chiffre 4 du contrat prévoit ce qui suit: " Calculé sur la base du bilan au 31 décembre 2009, le prix de vente du capital-actions est de CHF 2'000'000.00 (En lettres: deux millions de francs). Le prix de vente est exigible lors de la signature du présent contrat et du transfert des actions aux acheteurs. Il est acquitté par reprise de dette envers E._ d'un montant de CHF 2'000'000.00, correspondant au prix de vente fixé pour solde de tout compte. "