Faits :
A.
A.A._ et B.A._ sont mariés et domiciliés dans le canton du Valais. De 2002 à 2013, A.A._ a occupé la fonction de président d'une fédération sportive internationale.
B.
Le 18 décembre 2012, les contribuables ont déposé leur déclaration d'impôt pour la période fiscale 2012, faisant état d'un revenu imposable de 337'545 fr. et d'une fortune imposable de 9'515'027 francs. A cette occasion, ils ont déclaré avoir perçu, à titre de donation, des montants de 5'000'000 EUR et de 25'000 USD et ont joint une convention de donation non datée, relative au don de 5'000'000 EUR.
Par décision du 18 août 2016, le Service cantonal des contributions du canton du Valais (ci-après: le Service des contributions) a taxé les contribuables, ajoutant à leur revenu un montant de 6'000'000 fr. (correspondant, au taux de l'époque, au montant de 5'000'000 EUR) et portant ainsi le revenu imposable à 6'340'075 fr. pour l'impôt fédéral direct (ci-après: IFD) et à 6'337'548 fr. pour les impôts cantonal et communal (ci-après: ICC). Quant à la fortune imposable, il l'a arrêtée à 9'526'518 francs. Le Service des contributions a rejeté la réclamation des époux A._ du 16 septembre 2016, par décision sur réclamation du 17 août 2017. Ceux-ci ont contesté ce prononcé le 18 septembre 2017 auprès de la Commission de recours en matière fiscale du canton du Valais (ci-après: la Commission de recours) qui, par décision du 14 novembre 2019, a rejeté le recours.
C.
Agissant par la voie du recours en matière de droit public, A.A._ et B.A._ demandent en substance au Tribunal fédéral, sous suite de frais et dépens, de réformer la décision de la Commission de recours du 14 novembre 2019 en déduisant de leur revenu le montant de 5'000'000 EUR reçu à titre de donation; subsidiairement d'annuler la décision précitée et de renvoyer la cause à l'autorité précédente ou au Service des contributions pour nouvelle décision.
La Commission de recours renonce à se déterminer. Le Service des contributions et l'Administration fédérale des contributions concluent tous deux au rejet du recours.

Considérant en droit :
1.
Le recours est dirigé contre une décision finale (<ref-law>), rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF) dans une cause de droit public (<ref-law>) ne tombant pas sous le coup de l'une des exceptions prévues à l'<ref-law>. Il est donc en principe recevable comme recours en matière de droit public s'agissant des deux catégories d'impôts (cf. <ref-law> [RS 642.11], art. 73 al. 1 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes [LHID; RS 642.14]; <ref-ruling> consid. 1.3 p. 188 s.). Le recours a en outre été déposé en temps utile (<ref-law>) et dans les formes requises (<ref-law>) par les contribuables destinataires de l'acte attaqué (<ref-law>), de sorte qu'il convient d'entrer en matière.
2.
Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law> (<ref-ruling> consid. 4.4.3 p. 156). Le recourant ne peut critiquer les constatations de fait ressortant de la décision attaquée que si celles-ci ont été effectuées en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte, c'est-à-dire arbitraire, et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>; <ref-ruling> consid. 6 p. 358). Conformément à l'<ref-law>, le recourant doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. Le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (<ref-ruling> consid. 6.3 p. 375). Par ailleurs, aucun fait nouveau ni preuve nouvelle ne peut en principe être présenté devant le Tribunal fédéral (<ref-law>).
3.
3.1. Les conventions internationales en matière de double imposition ne contiennent que des règles visant à limiter les pouvoirs d'imposition des Etats mais ne fondent pas l'imposition elle-même. Par conséquent, il convient d'abord de s'assurer de l'existence d'un droit (interne) d'imposition, puis, le cas échéant, de vérifier que ce droit d'imposition n'est pas limité par une disposition conventionnelle visant à restreindre ou éliminer une éventuelle double imposition internationale (<ref-ruling> consid. 5.1 p. 259 et les références).
3.2. L'<ref-law> (<ref-law>; art. 12 de la loi fiscale valaisanne du 10 mars 1976 [LF/VS; RSVS 642.1]) exprime, pour l'imposition du revenu des personnes physiques, le concept de l'accroissement du patrimoine, respectivement de l'imposition du revenu global net. En application de la clause générale de l'<ref-law> et de la liste exemplative des art. 17 à 23 LIFD (art. 13 à 19 LF/VS), sont ainsi considérés comme revenus imposables tous les revenus du contribuable, qu'ils soient uniques ou périodiques (<ref-ruling> consid. 5.1 p. 404). Constituent des revenus exonérés les gains en capital réalisés lors de l'aliénation d'éléments de la fortune privée (<ref-law>; <ref-law>; art. 12 al. 3 LF/VS) et les différents cas de figure énumérés exhaustivement à l'<ref-law> (art. 20 LF/VS; cf. <ref-ruling> consid. 5.1 p. 404 et les références). Il s'agit d'exceptions qui, dans un système caractérisé par un impôt général sur le revenu, doivent être interprétées restrictivement (<ref-ruling> consid. 5.3 p. 404 s. et les références). Parmi cette liste figurent en particulier les dévolutions de fortune ensuite d'une succession, d'un legs, d'une donation ou de la liquidation du régime matrimonial (<ref-law>; art. 7 al. 4 let. c LHID; art. 20 let. a LF/VS).
3.3. Les donations sont donc exonérées de l'impôt direct sur le revenu (<ref-law>; art. 7 al. 4 let. c LHID; art. 20 let. a LF/VS), afin d'éviter une double imposition avec l'impôt sur les donations, que pratiquement tous les cantons prélèvent et qui est de leur compétence exclusive (cf. arrêt 2C_44/2018 du 31 janvier 2020 consid. 6.1 et les références, destiné à la publication; cf. consid. 3.3 ci-dessous s'agissant du canton du Valais). En droit civil, la donation est, selon les termes de la loi, la disposition entre vifs par laquelle une personne cède tout ou partie de ses biens à une autre, sans contre-prestation correspondante (<ref-law>). La notion fiscale de donation ne se recoupe pas forcément entièrement avec celle du droit civil; elle peut en effet comporter des particularités en raison du but de la loi ou pour des motifs pratiques (<ref-ruling> consid. 2b/aa p. 500; arrêt 2C_44/2018 du 31 janvier 2020 consid. 7.1, destiné à la publication). Les critères de l'acte d'attribution entre vifs, de la gratuité et de l' animus donandi sont toutefois communs (<ref-ruling> consid. 2b/aa p. 500; arrêt 2C_44/2018 du 31 janvier 2020 consid. 7.1 et les références, destiné à la publication). Le critère, objectif, de la gratuité de l'attribution est réalisé lorsque le donataire ne fournit pas pour le don de contre-prestation en faveur du donateur. Le critère, subjectif, de l' animus donandi signifie que le donateur doit avoir la conscience et la volonté d'effectuer une attribution à titre gratuit en faveur du donataire (<ref-ruling> consid. 2b/aa p. 500 et les références; arrêt 2C_44/2018 du 31 janvier 2020 consid. 7.1 et les références, destiné à la publication). Il n'y a notamment pas de volonté de donner lorsqu'est attendue une contre-prestation ou lorsque la prestation n'est pas effectuée librement, mais en vertu d'une obligation juridique (arrêt 2C_44/2018 du 31 janvier 2020 consid. 7.1 et les références, destiné à la publication).
3.4. Dans le canton du Valais, les donations sont taxées conformément aux art. 111 ss LF/VS. Ainsi, pour la fortune mobilière, l'assujettissement à l'impôt est fondé lorsque le donateur était domicilié dans le canton au moment du transfert de propriété. L'impôt, qui est perçu auprès du bénéficiaire de l'attribution imposable (art. 118 al. 1 LF/VS), est de 25% lorsqu'il n'existe pas de lien de parenté entre le donateur et le donataire (art. 116 al. 1 let. d LF/VS).
3.5. En matière fiscale, les règles générales du fardeau de la preuve ancrées à l'<ref-law>, destinées à déterminer qui doit supporter les conséquences de l'échec de la preuve ou de l'absence de preuve d'un fait, ont pour effet que l'autorité fiscale doit établir les faits qui justifient l'assujettissement et qui augmentent la taxation, tandis que le contribuable doit prouver les faits qui diminuent la dette ou la suppriment (<ref-ruling> consid. 8.3.1 p. 449 et les références). Ainsi, si les preuves recueillies par l'autorité fiscale apportent suffisamment d'indices révélant l'existence d'éléments imposables, il appartient au contribuable d'établir l'exactitude de ses allégations et de supporter le fardeau de la preuve du fait qui justifie son exonération (arrêt 2C_44/2018 du 31 janvier 2020 consid. 4.2 et les références, destiné à la publication).
4.
4.1. En l'occurrence, il ressort de l'arrêt entrepris que, en relation avec la libéralité en cause, les recourants ont fait l'objet d'une procédure pénale pour blanchiment d'argent, qui a abouti à une ordonnance de classement le 18 août 2014. La Commission de recours a mentionné l'audition du recourant, intervenue dans le cadre de la procédure pénale précitée. A cette occasion, le recourant a affirmé avoir rencontré diverses personnes influentes en Azerbaïdjan, notamment issues du gouvernement. L'une d'elles a déclaré vouloir lui faire un cadeau, ce que le recourant aurait refusé à maintes reprises. Plusieurs jours après, certaines de ces personnes sont venues chercher la recourante à son hôtel pour la conduire dans un banque où elle a signé un contrat de donation pour un montant de 5'000'000 EUR. Les membres du gouvernement ont déclaré au recourant qu'il avait fait beaucoup pour son sport. La Commission de recours a en outre constaté qu'à la suite de la démission du recourant de son poste de président de la fédération sportive internationale concernée, l'Azerbaïdjan a cessé d'honorer un contrat de sponsoring qui venait d'être renouvelé pour une période de cinq ans.
4.2. Sur le vu des éléments de fait qui précèdent, mais également du montant important de la donation, du fait que les recourants avaient déjà obtenu une autre donation en 2010 (pour un montant de 1'500'000 EUR) et de la politique diplomatique à travers le sport poursuivie par l'Azerbaïdjan, l'autorité précédente a jugé qu'il n'existait pas suffisamment d'indices pour retenir un caractère libéral du versement, élément qu'il appartenait aux recourants de démontrer.
4.3. Pour leur part, les recourants sont d'avis que le montant reçu est totalement indépendant de l'activité de président de la fédération sportive internationale du recourant, l'argent ayant d'ailleurs été versé sur le compte de la recourante. Ils relèvent que les organes de la fédération sportive internationale dont le recourant était président ont confirmé l'absence de liens. Les recourants estiment au demeurant qu'aucune qualification de revenu prévue par la loi ne peut concerner le montant reçu. Pour eux, tous les éléments plaident en faveur d'une donation, un contrat ayant été signé, le donateur ayant effectué le versement et aucune contre-prestation n'ayant existé en lien avec ce versement. Les recourants considèrent ainsi avoir apporté le preuve de l'existence d'une donation et affirment que c'est à l'administration fiscale de démontrer que le contrat de donation n'a pas de force probante. Ils ajoutent que, lors de la précédente donation en 2010, le Service des contributions n'avait rien trouvé à redire sur ce mode de procéder et avait accepté la qualification au titre de donation du montant reçu. Aux dires des recourants, le fait que le recourant ait démissionné de son poste de président en 2012 démontre qu'il n'existait aucun engagement de sa part en lien avec l'Azerbaïdjan.
4.4. Le litige porte donc sur le point de savoir si le montant de 5'000'000 EUR reçu par les recourants en 2012 doit être considéré comme une donation, et imposé à ce titre, s'il y a lieu, par le canton, ou comme un revenu de cette période fiscale, soumis aux dispositions de la LIFD et de la LHID (ainsi que des dispositions relatives à l'impôt sur le revenu de la LF/VS). Il convient par ailleurs de relever que, durant la même période fiscale, les recourants ont également perçu un montant de 25'000 USD. Il ne se justifie toutefois pas de qualifier cette prestation, l'autorité précédente n'ayant pas examiné cette question et le Tribunal fédéral ne pouvant procéder à une reformatio in peius (<ref-law>; arrêt 2C_179/2019 du 2 octobre 2019 consid. 5.3.1 et les références).
5.
5.1. En premier lieu, il convient de mentionner que, dans la mesure où les recourants font référence à des éléments de fait qui n'ont pas été retenus par l'autorité précédente, notamment en relation avec les prétendues déclarations des organes de la fédération sportive, ceux-ci ne sauraient être pris en compte par le Tribunal fédéral (cf. <ref-law>; consid. 2 ci-dessus).
5.2. Comme l'a déjà jugé le Tribunal fédéral (arrêt 2C_44/2018 du 31 janvier 2020 consid. 4.3, destiné à la publication), sur le principe, les sommes reçues par les recourants constituent des revenus imposables, à tout le moins au titre de la clause générale de l'<ref-law> (<ref-law>; art. 12 al. 1 LF/VS), dès lors qu'elles sont venues accroître leur patrimoine. Ces montants ne peuvent être exonérés que s'ils tombent sous le coup d'une exception. Ainsi, devant les autorités cantonales, le fardeau de la preuve de l'existence d'une donation, qui conduirait à l'exonération de l'impôt sur le revenu, incombait aux recourants. Ceux-ci ont produit un contrat de donation et expliqué les circonstances ayant conduit à la conclusion de ce contrat. L'appréciation de ces éléments ne concerne plus le fardeau de la preuve, mais l'établissement des faits et en particulier l'appréciation des preuves (cf. <ref-ruling> consid. 4.1.2 p. 62). Or, le Tribunal fédéral ne revoit cet établissement que sous l'angle de l'arbitraire et uniquement si un grief motivé conformément aux conditions posées par l'<ref-law> a été soulevé (cf. consid. 2 ci-dessus). En l'espèce, les recourants ne se plaignent pas d'établissement inexact des faits de la part de la Commission de recours.
5.3. On peut malgré tout relever que c'est sans arbitraire que l'autorité précédente a jugé que les faits à sa disposition ne permettaient pas d'admettre l'existence d'une donation. Certes, les recourants ont produit un contrat de donation. Toutefois, ce contrat, qui est rédigé en azéri et en anglais, est soumis au droit azerbaïdjanais, comme le prévoit ses chiffres 6.1 et 6.2 (cf. <ref-law>; <ref-law> [RS 291]), si bien qu'on ne saurait d'emblée faire référence à la notion de donation prévue par le CO. En tout état de cause, même en application de la jurisprudence relative à la donation, un tel contrat n'exclut pas l'absence d' animus donandi de la part du donateur. Or, le recourant n'a donné aucune explication quant au lien l'unissant, lui et sa femme, aux représentants du gouvernement d'Azerbaïdjan. Il a uniquement affirmé que c'était à travers son poste de président d'une fédération sportive internationale qu'il avait lié des liens avec ces personnes. En outre, que les recourants aient ou non considéré la prestation reçue comme une donation importe peu en droit fiscal. Ce qui est déterminant c'est la conscience et la volonté qu'avait le donateur. Le fait que le recourant n'ait pas eu d'engagements envers celui-ci n'est ainsi, de ce point de vue, pas pertinent. Ainsi, les éléments relevés sans arbitraire par la Commission de recours, pris dans leur ensemble, tendent à démontrer que le donateur n'était pas désintéressé, mais visait à obtenir quelque chose du recourant, qui occupait une situation privilégiée dans une fédération sportive internationale. Il sied ici de relever que la contre-prestation n'a pas besoin d'être directe ou concrète. Le simple fait d'attendre le moment venu pour demander quelque chose suffit (MARGARETA BADDELEY, in Commentaire romand, Code des obligations I, 2e éd. 2012, n. 28 ad <ref-law>).
En premier lieu, le contrat de donation prévoit expressément que tous les autres engagements entre les parties deviennent caduques à la suite de la signature (cf. chiffre 5.1; <ref-law>). Cela laisse ainsi supposer l'existence d'accords préalables et exclut tout arbitraire dans le fait de ne pas retenir de cas de donation. En outre, le fait que l'Azerbaïdjan ait cessé d'honorer un contrat de sponsoring après que le recourant a quitté son poste de président de la fédération sportive ne peut qu'interpeller. En effet, comme l'a retenu la Commission de recours, c'est le recourant lui-même qui avait signé ce contrat de sponsoring et l'Azerbaïdjan a cessé de l'honorer, dès que celui-ci a démissionné de la présidence, alors même que le contrat durait depuis cinq ans et venait d'être renouvelé pour une période de cinq ans. L'autorité précédente a jugé sans arbitraire qu'il s'agissait là d'un indice plaidant en faveur d'un intérêt de l'Azerbaïdjan à ce que le recourant occupe la présidence de la fédération sportive, intérêt perdu avec sa démission, qui ne justifiait plus le versement régulier des fonds promis à travers le contrat de sponsoring. Par ailleurs, que ce soit la recourante et non le recourant qui ait reçu l'argent n'est pas déterminant, le donateur sachant pertinemment qu'en procédant de la sorte, il atteignait également le recourant. Au contraire, vouloir remercier le recourant pour les services qu'il a rendus en faveur du développement de son sport en Azerbaïdjan en versant une importante somme d'argent à une tierce personne, fût-elle la femme de celui-ci, constitue un acte pour le moins singulier. C'est d'ailleurs également le cas de l'acceptation par l'épouse d'une donation qui aurait été expressément refusée par son mari. Finalement, on peut certes déplorer qu'en 2010, le Service des contributions ne se soit pas déjà posé la question de la nature de la précédente donation de 1'500'00 EUR. Cependant, notamment en raison du principe de l'étanchéité des exercices fiscaux (cf. arrêt 2C_258/2017 du 2 juillet 2018 consid. 6.8.1 et les références, non publié in <ref-ruling>), ce fait n'a aucune incidence sur la présente cause, dans la mesure où les éléments à disposition permettent de retenir, dans le cas d'espèce, l'absence d' animus donandi du donateur lors de la donation intervenue durant la période fiscale 2012.
5.4. Sur le vu des éléments qui précèdent, c'est à juste titre que l'autorité précédente a retenu que la prestation de 5'000'000 EUR reçue en 2012 par les recourants ne constituait pas une donation et ne réunissait par conséquent pas les conditions de l'<ref-law>, respectivement 20 let. a LF/VS pour être exonérée de l'impôt sur le revenu. Dans la mesure où le montant en cause, en application du droit interne, est à imposer auprès des recourants, tous deux résidents suisses, au titre du revenu, c'est à ce pays qu'il revient le droit de procéder à l'imposition, la convention du 23 février 2006 entre le Conseil fédéral suisse et le Gouvernement de la République d'Azerbaïdjan en vue d'éviter les doubles impositions en matière d'impôts sur le revenu et sur la fortune (RS 0.672.916.41; ci-après: CDI CH-AZ) prévoyant d'ailleurs une telle imposition (art. 21 al. 1 CDI CH-AZ).
6.
Sur le vu des considérants qui précèdent, le recours est à rejeter, aussi bien en ce qu'il concerne l'IFD que l'ICC. Succombant, les recourants doivent supporter les frais judiciaires, solidairement entre eux (art. 66 al. 1 et 5 LTF). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté en tant qu'il concerne l'impôt fédéral direct de la période fiscale 2012.
2.
Le recours est rejeté en tant qu'il concerne les impôts cantonal et communal de la période fiscale 2012.
3.
Les frais judiciaires, arrêtés à 11'500 fr., sont mis à la charge des recourants, solidairement entre eux.
4.
Le présent arrêt est communiqué au mandataire des recourants, au Service cantonal des contributions et à la Commission cantonale de recours en matière fiscale du canton du Valais, ainsi qu'à l'Administration fédérale des contributions.
Lausanne, le 8 juin 2020
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Tissot-Daguette