Faits :
A.
Les époux A.X._ et B.X._ sont domiciliés à A._. En 2005 et en 2006, ils ont obtenu du Service cantonal des contributions du canton du Valais, office de l'impôt anticipé (ci-après le Service cantonal) plusieurs remboursements d'impôt anticipé en relation avec des gains de loterie et de PMU, pour un montant total de 40'764.41 fr.
Dans le cadre d'une vaste enquête concernant un trafic portant sur des gains de loterie et de PMU, le Service cantonal a entendu A.X._ le 16 septembre 2007 en collaboration avec l'Administration fédérale des contributions (ci-après l'AFC). Lors de cette audition, les autorités fiscales ont demandé à A.X._ s'il estimait qu'il avait respecté la condition requise pour demander le remboursement de l'impôt anticipé prélevé sur les gains de loterie, à savoir avoir été propriétaire des billets au moment du tirage, ce à quoi l'intéressé a répondu:
"Non, je n'étais pas propriétaire puisque c'est mon fils qui a fait ça en mon nom, je n'ai jamais touché d'argent, c'est mon fils qui l'a touché par mon intermédiaire. Je ne voyais pas de mal là. A votre question je confirme que c'est mon fils qui a signé à ma place les demandes en remboursement. Je confirme sur le document que vous présentez que ce n'est pas ma signature mais celle de mon fils. Il trouvait que c'était légal. Je vous confirme que je lui ai remis l'intégralité de l'argent. Je ne sais pas pourquoi il est passé par moi, je ne me suis pas posé la question (...). Je savais que mon fils avait déjà présenté des demandes à son nom et qu'il avait récupéré l'I.A. Je ne m'explique pas pourquoi j'ai prêté mon nom".
Durant cette audition, A.X._ a également indiqué que lorsque des montants remboursés étaient crédités sur son compte, il en informait son fils, qui allait retirer l'argent correspondant avec la carte qu'il lui avait donnée; il a ajouté que s'il avait su que la personne qui demande le remboursement de l'impôt anticipé devait être le propriétaire du billet gagnant au moment du tirage, il n'aurait pas agi ainsi.
B.
Le 25 septembre 2008, l'AFC a notifié au Service cantonal une ordonnance de réduction provisoire portant sur la réduction d'un montant d'impôt anticipé de 40'764.40 fr., au motif que A.X._ et B.X._ ne remplissaient pas la condition du droit au remboursement qui exige que la personne qui demande le remboursement ait été propriétaire du billet de loterie au moment du tirage.
A la suite de cette ordonnance, le Service cantonal a rendu, le 8 octobre 2008, une décision de restitution, par laquelle elle a exigé des époux X._ la restitution du montant de 40'764.40 fr.
Le 27 octobre 2008, A.X._ et B.X._ ont recouru auprès de la Commission de recours en matière fiscale du canton du Valais (ci-après la Commission de recours), concluant à l'annulation de l'obligation de restitution mise à leur charge et à ce que celle-ci soit mise à la charge de leur fils C.X._. A l'appui de ces conclusions, ils exposaient qu'ils n'avaient jamais réalisé de gain de loterie, qu'ils avaient prêté à leur fils une carte d'un compte postal ouvert à leur nom et qu'ils l'avaient autorisé à utiliser ce compte, pensant lui rendre ainsi service pour l'achat de voitures. Ils affirmaient également que les demandes de remboursement avaient été remplies et signées par leur fils à leur insu, qu'ils avaient certes remarqué, à une reprise, l'existence d'un montant d'argent important sur un décompte postal, mais que leur fils les avaient rassurés et qu'ils n'avaient personnellement jamais profité de ces remboursements.
Par décision du 20 novembre 2013, la Commission de recours a confirmé que l'obligation de restitution devait être mise à la charge des époux X._ et a en conséquence rejeté leur recours.
C.
A l'encontre de cette décision, les époux X._ déclarent former "recours" au Tribunal fédéral, concluant à l'annulation de l'arrêt attaqué, sous suite de dépens.
Le Service cantonal s'est déterminé et a conclu au rejet du recours. L'AFC s'est ralliée au dispositif et aux considérants de la décision entreprise et a conclu au rejet du recours. La Commission de recours a déposé des observations sur le recours et a également conclu à son rejet.

Considérant en droit :
1.
1.1. La décision attaquée, qui a pour objet l'obligation de restituer un montant d'impôt anticipé, peut être déférée devant le Tribunal fédéral en vertu de l'art. 56 de la loi fédérale sur l'impôt anticipé (LIA; RS 642.21), applicable par renvoi de l'art. 58 al. 2 in fine LIA.
1.2. Les recourants, pourtant dûment représentés par un avocat, n'ont pas qualifié leur recours. Cette désignation incomplète ne saurait leur nuire, à condition que leur recours remplisse les exigences de la voie de droit ouverte (arrêt 2C_1104/2013 du 4 septembre 2014 consid. 2.1). En l'espèce, la cause relève du droit public (<ref-law>); la décision attaquée, qui est finale (<ref-law>), a été rendue par une autorité cantonale de dernière instance (art. 86 al. 1 let. d et al. 2 LTF; voir également art. 150 al. 2 de la loi fiscale valaisanne du 10 mars 1976 [LF; RSVS 642.1]), sans qu'aucune des exceptions prévues à l'<ref-law> ne soit réalisée. Le recours est donc en principe recevable comme recours en matière de droit public. Il a par ailleurs été déposé en temps utile (<ref-law>) et dans les formes prescrites (<ref-law>) par les recourants, qui ont participé à la procédure devant l'instance précédente, sont particulièrement atteints par la décision entreprise ont un intérêt digne de protection à son annulation ou à sa modification, de sorte qu'ils ont qualité pour recourir (cf. <ref-law>).
1.3. Les recourants concluent uniquement à l'annulation de l'arrêt attaqué, alors que des conclusions purement cassatoires ne sont en principe pas suffisantes (<ref-law>). Dès lors toutefois que l'on comprend clairement, à la lecture du mémoire, qu'ils entendent obtenir du Tribunal fédéral l'annulation de l'obligation de restituer un montant de 40'764.40 fr., il convient de ne pas se montrer trop formaliste et d'entrer en matière sur le recours (cf. <ref-ruling> consid. 1.3 p. 317; <ref-ruling> consid. 1.4.1 p. 414 s.).
2.
Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral (cf. art. 95 let. a et 106 al. 1 LTF), alors qu'il n'examine la violation de droits fondamentaux que si ce grief a été invoqué et motivé par le recourant, conformément au principe d'allégation (<ref-law>). L'acte de recours doit alors, sous peine d'irrecevabilité, contenir un exposé succinct des droits et principes constitutionnels violés et préciser en quoi consiste la violation (<ref-ruling> consid. 2.5 p. 314; <ref-ruling> consid. 2 p. 248). Par ailleurs, le Tribunal fédéral conduit son raisonnement en se fondant sur les faits constatés par l'autorité précédente (cf. <ref-law>), à moins que ces derniers n'aient été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 7.1 p. 51) - ou en violation du droit au sens de l'<ref-law> (cf. <ref-law>). En outre, aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (<ref-law>).
3.
Le litige porte sur le point de savoir si l'obligation de restituer le montant d'impôt anticipé de 40'764.40 fr. est conforme au droit en tant qu'elle a été mise à la charge des recourants.
3.1. En vertu de l'art. 1 er al. 1 LIA, la Confédération perçoit un impôt anticipé, notamment sur les gains faits dans les loteries. L'impôt anticipé sur les gains faits dans les loteries, à quoi sont assimilés les paris professionnels et autres opérations analogues aux loteries (sport-toto, etc.; cf. <ref-law>), a pour objet les lots en espèces effectivement payés dépassant le montant de 1'000 francs et provenant de loteries organisées en Suisse (<ref-law>).
Les personnes physiques ont droit au remboursement de l'impôt anticipé si elles étaient domiciliées en Suisse à l'échéance de la prestation imposable (<ref-law>). Si l'impôt anticipé a été perçu sur des gains faits dans les loteries, l'<ref-law> prévoit que l'ayant droit au sens des art. 22 à 28 peut demander le remboursement de l'impôt sur les gains faits dans les loteries s'il était propriétaire du billet de loterie au moment du tirage. Le terme "propriétaire" renvoie à la propriété au sens du droit civil (<ref-law>; MAJA BAUER-BALMELLI, Der Sicherungszweck der Verrechnungssteuer unter besonderer Berücksichtigung der Eträge aus Beteiligungsrechten, 2000, p. 141). Le remboursement est inadmissible dans tous les cas où il pourrait permettre d'éluder un impôt (<ref-law>). Il incombe au requérant de prouver qu'il était propriétaire des billets au moment du tirage (cf. arrêt 2A.242/2005 du 17 mars 2006 consid. 4.1).
Celui qui veut obtenir le remboursement de l'impôt anticipé doit présenter une demande écrite à l'autorité compétente (<ref-law>), en principe au plus tôt après l'expiration de l'année civile au cours de laquelle la prestation imposable est échue (cf. art. 29 al. 2 et 3 LIA). La demande doit être adressée sur formule officielle (art. 68 al. 1 de l'Ordonnance sur l'impôt anticipé [OIA]; RS 642.211), et une attestation concernant la déduction de l'impôt doit y être jointe si l'impôt a été déduit de gains faits dans des loteries (<ref-law>). Pour les personnes physiques, la demande en remboursement doit être adressée aux autorités fiscales du canton du domicile à l'expiration de l'année civile au cours de laquelle la prestation imposable est échue (cf. <ref-law>).
L'<ref-law> règle les obligations du requérant en relation avec la procédure de remboursement. L'<ref-law> prévoit que celui qui demande le remboursement de l'impôt anticipé doit renseigner en conscience l'autorité compétente sur tous les faits qui peuvent avoir de l'importance pour déterminer le droit au remboursement; il doit en particulier remplir complètement et exactement les formules de demandes et les questionnaires (let. a).
La Confédération, ou le canton pour le compte de la Confédération, rembourse l'impôt anticipé, conformément à la loi, au bénéficiaire de la prestation diminuée de l'impôt (<ref-law>). Les cantons adressent à la Confédération, qui les contrôle, les relevés des montants d'impôt anticipé qu'ils ont remboursés (art. 57 al. 1 et 2 LIA). Si le contrôle révèle que le remboursement a été accordé à tort, l'AFC ordonne, à titre provisoire, une réduction correspondante du montant réclamé par le canton dans un de ses prochains relevés (<ref-law>). Si une réduction à titre provisoire a été ordonnée, l'office cantonal de l'impôt anticipé peut demander la restitution de l'impôt à celui qui a bénéficié du remboursement (<ref-law>).
3.2. Selon la Commission de recours, le texte de l'<ref-law>, selon lequel l'ayant droit peut demander le remboursement de l'impôt anticipé "s'il était propriétaire du billet de loterie au moment du tirage" est clair et ne prête pas interprétation. Comme les recourants n'étaient pas propriétaires des billets de loterie au moment du tirage, ils n'étaient pas en droit de demander des remboursements d'impôt anticipé, de sorte que le Service cantonal était fondé à leur réclamer la restitution du montant total remboursé, soit de 40'764.40 fr. La Commission de recours a relevé qu'il n'incombait pas au Service cantonal de vérifier de manière approfondie les demandes de remboursement et que l'on ne pouvait dès lors pas lui imputer une part de responsabilité, nonobstant le point de vue contraire des intéressés. En outre, le fait que les montants remboursés aient été directement mis à la disposition de C.X._ n'était pas relevant.
Les recourants soutiennent que l'instruction a été mal faite et que des faits pertinents n'ont pas été analysés et retenus comme il se doit par la Commission de recours. Ils ajoutent qu'il a été établi qu'une convention de prête-nom a existé entre le recourant et son fils, par laquelle le premier a prêté son nom au second pour que celui-ci obtienne le remboursement de l'impôt anticipé. La Commission de recours aurait dû retenir d'office que cette convention constituait une simulation au sens de l'<ref-law> et elle aurait dû en déduire que l'obligation de restitution devait être mise à charge de leur fils C.X._, ce dernier ayant directement reçu le montant de 40'764.40 fr. en remboursement en vertu de l'acte qui a été réellement voulu par les parties. Les recourants en concluent que la procédure en restitution engagée contre eux était injustifiée et qu'elle doit en conséquence être annulée.
Sous le couvert d'une mauvaise administration des preuves, les recourants se plaignent en définitive d'une violation du droit, reprochant à la Commission de recours de n'avoir pas tenu compte de l'existence d'une convention de prête-nom et de ses conséquences juridiques. Ce point peut être revu librement par le Tribunal fédéral (<ref-law>).
3.3. Un acte est simulé au sens de l'<ref-law> lorsque les deux parties sont d'accord que les effets juridiques correspondant au sens objectif de leurs déclarations ne doivent pas se produire et qu'elles n'ont voulu créer que l'apparence d'un acte juridique à l'égard des tiers. Leur volonté véritable tend soit à ne produire aucun effet juridique, soit à produire un autre effet que celui de l'acte apparent; dans ce dernier cas, les parties entendent en réalité conclure un second acte dissimulé. Juridiquement inefficace d'après la volonté réelle et commune des parties, le contrat simulé est nul tandis que le contrat dissimulé - que, le cas échéant, les parties ont réellement conclu - est valable si les dispositions légales auxquelles il est soumis quant à sa forme et à son contenu ont été observées (<ref-ruling> consid. 5c/cc p. 68 s.; <ref-ruling> consid. 2a p. 384 s.;<ref-ruling> consid. 4a p. 342; arrêt 5A_260/2013 du 9 septembre 2013 consid. 3.3.2.1).
En matière fiscale, la simulation a le plus souvent pour but d'éviter une imposition ( MARKUS REICH, Steuerrecht, 2e éd. 2012, p. 144). La nullité par le droit civil déploie alors également ses effets en matière fiscale ( PETER LOCHER, Grenzen der Rechtsfindung im Steuerrecht, p. 195) : les autorités fiscales sont légitimées à soumettre l'acte dissimulé à la norme fiscale pertinente et à lui donner ainsi plein effet sur le plan du droit fiscal ( MARKUS REICH, op. cit., p. 144; LAURENCE CORNU, Théorie de l'évasion fiscale et interprétation économique. Les limites imposées par les principes généraux du droit, 2014, p. 301). Les auteurs d'un acte simulé ne peuvent toutefois pas invoquer leur simulation pour échapper aux conséquences des apparences qu'ils ont créées; un tel résultat constituerait un abus de droit (arrêt 2A.549/2004 du 24 janvier 2005 consid. 2.4, in StE 2005 B 26.3. Nr. 6; cf. également arrêt A.908/1984 du 18 avril 1986 consid. 2, in Archives 58, p. 516 et RDAF 1991, p. 126; DANIELLE YERSIN, in Commentaire romand, Impôt fédéral direct, n° 48 ad Remarques préliminaires).
3.4. En l'espèce, il est établi que les recourants n'étaient pas propriétaires des billets de loterie qui ont fait l'objet de demandes de remboursement au moment du tirage, que A.X._ a accepté que son fils utilise son nom pour obtenir le remboursement de l'impôt anticipé, apparemment en relation avec un trafic portant sur des gains de loterie et de PMU, et que les remboursements ont été effectués sur un compte postal dont les recourants étaient titulaires. Les recourants ont ainsi activement participé à présenter une situation fausse aux autorités fiscales et à ce que cette présentation aboutisse à un remboursement injustifié de l'impôt anticipé. Ce n'est qu'au moment où ils se sont vu réclamer la restitution de ce montant qu'ils ont tenté d'exciper de l'existence d'une simulation pour se soustraire à cette obligation légale. Dans un tel contexte, le fait que les recourants invoquent la simulation pour échapper aux conséquences des apparences qu'ils ont sciemment contribué à créer constitue un abus de droit. Au demeurant, la question de savoir à quoi le montant remboursé a été affecté, respectivement à qui il a été mis à disposition, n'entre pas en considération. Il est ainsi sans importance que ce soit C.X._ qui ait directement et exclusivement profité des montants remboursés, comme les recourants l'allèguent. On relèvera finalement que ces derniers sont malvenus de reprocher aux autorités fiscales de n'avoir pas procédé à des vérifications quant à l'identité des propriétaires figurant sur les demandes de remboursement, alors qu'ils ont participé à ce que des informations erronées leur soient transmises de manière crédible, en violation de l'<ref-law>.
3.5. Les recourants semblent finalement reprocher au Service cantonal de ne pas avoir exigé de C.X._ la production d'une procuration lorsqu'il a rempli une demande de restitution (recte: de remboursement) qu'il a signée au nom de son père, en présence du responsable dudit Service (arrêt attaqué, p. 5). Ce grief, formulé de manière peu compréhensible, est de toute manière irrecevable, dès lors qu'il repose sur des faits qui ne sont pas établis par l'arrêt attaqué, de sorte que le Tribunal fédéral ne peut en tenir compte (<ref-law> et supra consid. 2).
Il découle de ce qui précède que la Commission de recours n'a pas violé le droit fédéral en refusant d'annuler la décision de restitution de l'impôt anticipé mise à la charge des recourants. Le recours est par conséquent rejeté.
Succombant, les recourants doivent supporter les frais judiciaires, solidairement entre eux (<ref-law>). Il n'y a pas lieu d'allouer des dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, d'un montant de 3'000 fr., sont mis à la charge des recourants, solidairement entre eux.
3.
Le présent arrêt est communiqué au mandataire des recourants, à la Commission cantonale de recours en matière fiscale du canton du Valais, au Service cantonal des contributions du canton du Valais, Office de l'impôt anticipé, et à l'Administration fédérale des contributions.
Lausanne, le 17 octobre 2014
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Zünd
La Greffière : Vuadens