Citation: 2C_710/2017 E. A

A.a. B.X.________ et A.X.________ (ci-après: les contribuables) résident à St-Gingolph, dans le canton du Valais. Ils détiennent notamment l'entier du capital-actions de la société C.________ SA, de siège social à St-Gingolph et qui a pour but des prises de participation dans d'autres sociétés suisses ou étrangères, l'achat, la vente et la gestion de titres de participation, licences, brevets et de tout autre droit, ainsi que toutes activités financières dans ces domaines. A.b. Entre 2006 et 2007, les contribuables ont prêté à D.________ un montant de 8'778'068 fr., versé en cinq fois (trois versements en 2006 et deux en 2007, cf. art. 105 al. 2 LTF) et destiné à financer des projets immobiliers. Le 17 octobre 2007, les contribuables ont signé avec D.________ un contrat prévoyant que ce prêt était accordé à un taux d'intérêt de 5% l'an, que l'intérêt était dû dès versement des fonds et jusqu'à leur remboursement, que les parties se réuniraient au mois de décembre de chaque année pour fixer la date de paiement des intérêts et des remboursements et que l'anatocisme était prohibé. Le 20 janvier 2009, les contribuables et D.________ ont signé un autre accord, relatif à un prêt d'un million de francs accordé par les premiers au second, avec intérêts de 2,5% l'an dès octobre 2006. Au 31 décembre 2009, le prêt de 8'778'068 fr. était intégralement remboursé. Les intérêts, par 757'638 fr., demeuraient impayés. D.________ a remboursé le prêt d'un million de francs le 10 août 2010. A.c. Le 18 novembre 2010, les contribuables ont déposé une requête de mesures provisionnelles auprès du Tribunal cantonal du canton de Vaud, tendant à l'inscription de restrictions du droit d'aliéner sur des immeubles à Lausanne appartenant à D.________ et à l'interdiction pour celui-ci d'aliéner ou engager lesdits immeubles. Par décision du 3 février 2011, le Tribunal cantonal a rejeté cette requête. Il a notamment relevé que rien ne permettait de penser que D.________, qui avait déjà remboursé le prêt en capital de 8'778'068 fr., ne s'acquitterait pas des intérêts encore dus (montant de 757'368 fr.). Le 2 février 2012, les contribuables ont ouvert devant le Tribunal d'Hérens-Conthey une action contre D.________ tendant au paiement des intérêts par 757'368 fr. Celui-ci a pris des conclusions reconventionnelles à l'encontre des époux X.________, en exigeant le paiement de montants qu'il leur avait avancés en 2008, 2009 et 2010.