Faits : A. Les époux A.X._ et B.X._ sont domiciliés à A._. En 2005 et en 2006, ils ont obtenu du Service cantonal des contributions du canton du Valais, office de l'impôt anticipé (ci-après le Service cantonal) plusieurs remboursements d'impôt anticipé en relation avec des gains de loterie et de PMU, pour un montant total de 40'764.41 fr. Dans le cadre d'une vaste enquête concernant un trafic portant sur des gains de loterie et de PMU, le Service cantonal a entendu A.X._ le 16 septembre 2007 en collaboration avec l'Administration fédérale des contributions (ci-après l'AFC). Lors de cette audition, les autorités fiscales ont demandé à A.X._ s'il estimait qu'il avait respecté la condition requise pour demander le remboursement de l'impôt anticipé prélevé sur les gains de loterie, à savoir avoir été propriétaire des billets au moment du tirage, ce à quoi l'intéressé a répondu: "Non, je n'étais pas propriétaire puisque c'est mon fils qui a fait ça en mon nom, je n'ai jamais touché d'argent, c'est mon fils qui l'a touché par mon intermédiaire. Je ne voyais pas de mal là. A votre question je confirme que c'est mon fils qui a signé à ma place les demandes en remboursement. Je confirme sur le document que vous présentez que ce n'est pas ma signature mais celle de mon fils. Il trouvait que c'était légal. Je vous confirme que je lui ai remis l'intégralité de l'argent. Je ne sais pas pourquoi il est passé par moi, je ne me suis pas posé la question (...). Je savais que mon fils avait déjà présenté des demandes à son nom et qu'il avait récupéré l'I.A. Je ne m'explique pas pourquoi j'ai prêté mon nom". Durant cette audition, A.X._ a également indiqué que lorsque des montants remboursés étaient crédités sur son compte, il en informait son fils, qui allait retirer l'argent correspondant avec la carte qu'il lui avait donnée; il a ajouté que s'il avait su que la personne qui demande le remboursement de l'impôt anticipé devait être le propriétaire du billet gagnant au moment du tirage, il n'aurait pas agi ainsi. B. Le 25 septembre 2008, l'AFC a notifié au Service cantonal une ordonnance de réduction provisoire portant sur la réduction d'un montant d'impôt anticipé de 40'764.40 fr., au motif que A.X._ et B.X._ ne remplissaient pas la condition du droit au remboursement qui exige que la personne qui demande le remboursement ait été propriétaire du billet de loterie au moment du tirage. A la suite de cette ordonnance, le Service cantonal a rendu, le 8 octobre 2008, une décision de restitution, par laquelle elle a exigé des époux X._ la restitution du montant de 40'764.40 fr. Le 27 octobre 2008, A.X._ et B.X._ ont recouru auprès de la Commission de recours en matière fiscale du canton du Valais (ci-après la Commission de recours), concluant à l'annulation de l'obligation de restitution mise à leur charge et à ce que celle-ci soit mise à la charge de leur fils C.X._. A l'appui de ces conclusions, ils exposaient qu'ils n'avaient jamais réalisé de gain de loterie, qu'ils avaient prêté à leur fils une carte d'un compte postal ouvert à leur nom et qu'ils l'avaient autorisé à utiliser ce compte, pensant lui rendre ainsi service pour l'achat de voitures. Ils affirmaient également que les demandes de remboursement avaient été remplies et signées par leur fils à leur insu, qu'ils avaient certes remarqué, à une reprise, l'existence d'un montant d'argent important sur un décompte postal, mais que leur fils les avaient rassurés et qu'ils n'avaient personnellement jamais profité de ces remboursements. Par décision du 20 novembre 2013, la Commission de recours a confirmé que l'obligation de restitution devait être mise à la charge des époux X._ et a en conséquence rejeté leur recours. C. A l'encontre de cette décision, les époux X._ déclarent former "recours" au Tribunal fédéral, concluant à l'annulation de l'arrêt attaqué, sous suite de dépens. Le Service cantonal s'est déterminé et a conclu au rejet du recours. L'AFC s'est ralliée au dispositif et aux considérants de la décision entreprise et a conclu au rejet du recours. La Commission de recours a déposé des observations sur le recours et a également conclu à son rejet.