Citation: 9C_240/2024 E. A

A.a. A.________ est contribuable du canton du Valais. Il est employé auprès de la Banque B.________, sise à U.________ et est affilié à la Fondation complémentaire de prévoyance du groupe B.________ (ci-après: la Fondation de prévoyance). A.b. Entre 2015 et 2017, le contribuable a procédé à trois reprises à des rachats auprès de la Fondation de prévoyance, soit 318'000 fr. en 2015, 460'000 fr. en 2016 et 300'000 fr. en 2017. Dans ses déclarations fiscales qu'il a déposées avec son épouse, le contribuable a notamment fait valoir, respectivement pour les années 2016 et 2017, les montants de 460'000 fr. et de 300'000 fr. en tant que cotisations déductibles à des institutions de prévoyance professionnelle (rachat d'année d'assurance). Admettant la déduction des sommes revendiquées par le contribuable, le Service cantonal des contributions du canton du Valais (ci-après: l'Administration fiscale) a fixé le revenu net imposable des contribuables pour l'impôt fédéral direct (ci-après: IFD) à 250'877 fr. et à 232'039 fr. pour les impôts cantonaux et communaux (ci-après: ICC) de la période fiscale 2016 (bordereau du 11 janvier 2018). Pour la période fiscale 2017, le revenu imposable a été fixé à 232'175 fr. pour l'IFD et à 232'101 fr. pour les ICC (bordereau du 4 octobre 2018). A.c. Le 30 août 2018, A.________ a effectué un retrait de prestations en capital à hauteur de 500'000 fr. Le 5 décembre 2019, l'Administration fiscale a informé le contribuable que ce retrait avait été effectué en violation du délai de blocage de l'art. 79b al. 3 LPP (RS 831.40). Les rachats admis durant cette période allaient, à concurrence de 500'000 fr., être corrigés et supprimés des taxations des années 2016 (à hauteur de 200'000 fr.) et 2017 (à hauteur de 300'000 fr.). Par courrier du 10 décembre 2019, le contribuable a sollicité le maintien des décisions de taxation le concernant. Il a notamment fait valoir que le couple s'était séparé et qu'une requête commune en divorce avait été déposée. Les époux s'étaient mis d'accord sur une garde partagée de leurs enfants et le contribuable avait été contraint de réduire son taux d'activité, ce qui avait entraîné une diminution de ses revenus. Il avait donc décidé de procéder à un retrait en capital LPP à hauteur de 500'000 fr. pour procéder au remboursement partiel de la dette hypothécaire de la villa familiale. Par ailleurs, un collaborateur de l'Administration fiscale auquel il s'était adressé pour se renseigner préalablement sur le traitement fiscal du retrait lui avait indiqué par téléphone que ce retrait allait être imposé et qu'il n'y aurait pas de "rattrapage" sur les trois années précédant celui-ci. Le contribuable a par la suite adressé diverses correspondances à l'Administration fiscale, réitérant son désaccord avec la correction d'imposition envisagée. A.d. Par décisions du 12 décembre 2019, confirmées sur réclamation le 25 octobre 2022, l'Administration fiscale a procédé à un rappel d'impôt pour les périodes fiscales 2016 et 2017. Elle a fixé, pour l'année 2016, le revenu imposable IFD à 450'877 fr. et celui des ICC à 432'039 fr. Pour l'année 2017, le revenu imposable a été fixé à 532'175 fr. pour l'IFD et à 532'101 fr. pour les ICC.