Faits : A. A.A._ et B.A._ sont mariés et domiciliés dans le canton du Valais. De 2002 à 2013, A.A._ a occupé la fonction de président d'une fédération sportive internationale. B. Le 18 décembre 2012, les contribuables ont déposé leur déclaration d'impôt pour la période fiscale 2012, faisant état d'un revenu imposable de 337'545 fr. et d'une fortune imposable de 9'515'027 francs. A cette occasion, ils ont déclaré avoir perçu, à titre de donation, des montants de 5'000'000 EUR et de 25'000 USD et ont joint une convention de donation non datée, relative au don de 5'000'000 EUR. Par décision du 18 août 2016, le Service cantonal des contributions du canton du Valais (ci-après: le Service des contributions) a taxé les contribuables, ajoutant à leur revenu un montant de 6'000'000 fr. (correspondant, au taux de l'époque, au montant de 5'000'000 EUR) et portant ainsi le revenu imposable à 6'340'075 fr. pour l'impôt fédéral direct (ci-après: IFD) et à 6'337'548 fr. pour les impôts cantonal et communal (ci-après: ICC). Quant à la fortune imposable, il l'a arrêtée à 9'526'518 francs. Le Service des contributions a rejeté la réclamation des époux A._ du 16 septembre 2016, par décision sur réclamation du 17 août 2017. Ceux-ci ont contesté ce prononcé le 18 septembre 2017 auprès de la Commission de recours en matière fiscale du canton du Valais (ci-après: la Commission de recours) qui, par décision du 14 novembre 2019, a rejeté le recours. C. Agissant par la voie du recours en matière de droit public, A.A._ et B.A._ demandent en substance au Tribunal fédéral, sous suite de frais et dépens, de réformer la décision de la Commission de recours du 14 novembre 2019 en déduisant de leur revenu le montant de 5'000'000 EUR reçu à titre de donation; subsidiairement d'annuler la décision précitée et de renvoyer la cause à l'autorité précédente ou au Service des contributions pour nouvelle décision. La Commission de recours renonce à se déterminer. Le Service des contributions et l'Administration fédérale des contributions concluent tous deux au rejet du recours.