Citation: 9C_368/2023 E. A

A.a. A.________ (ci-après: le contribuable) est un homme d'affaires actif dans le commerce d'oeuvres d'art. Au cours des années 2005 à 2008, il était domicilié dans le canton de Genève. Dans ses déclarations d'impôt pour les années 2005 à 2008, A.________ a indiqué qu'il exerçait une activité lucrative dépendante à plein temps auprès de la société B.________ SA, dont il était l'actionnaire unique. Il n'y a pas fait état d'éléments de revenus, de fortune ou de dettes liées à des sociétés offshore, de l'existence d'une activité lucrative indépendante ou d'un établissement stable à l'étranger. Le contribuable a été taxé de manière correspondante pour l'impôt fédéral direct (ci-après: IFD) et les impôts cantonaux et communaux (ci-après: ICC) des années 2005 à 2008 (pour l'année 2008, décisions du 14 octobre 2009 de l'Administration fiscale cantonale genevoise [ci-après: l'Administration fiscale], entrées en force). A.b. En janvier 2015, deux sociétés appartenant à C.________ ont déposé une dénonciation pénale contre le contribuable auprès des autorités de la Principauté de Monaco pour les chefs d'escroquerie et faux en écriture. A la suite de cette dénonciation, la Principauté de Monaco a formé une demande d'entraide auprès des autorités pénales suisses, sollicitant divers actes, dont des perquisitions et des séquestres d'avoirs et de documents. Faisant suite à une requête de l'Administration fiscale du 8 avril 2015, le Ministère public de la République et canton de Genève l'a autorisée à prendre connaissance de la procédure pénale genevoise impliquant le contribuable, par courrier du 9 juin 2015. Au printemps 2015, plusieurs articles de presse ont rapporté qu'une plainte pour escroquerie avait été déposée à l'encontre du contribuable devant la justice monégasque par C.________ et des sociétés lui appartenant. Selon ces coupures de presse, le contribuable était accusé d'avoir surfacturé des tableaux de maître au plaignant et à ses sociétés au travers de la société D.________ Ltd, tout en percevant directement des commissions correspondant à 2 % du prix de vente de ces tableaux. Par courrier du 9 avril 2015, le contribuable, ainsi que D.________ Ltd, se sont adressés spontanément à l'Administration fiscale en lui indiquant qu'à la suite des différents articles parus dans la presse, ils souhaitaient transmettre "toutes les informations [...] permettant de se convaincre [qu'ils n'étaient] pas assujettis fiscalement à titre personnel en Suisse". A.c. Par courrier du 14 avril 2015, l'Administration fiscale a informé A.________ de l'ouverture d'une procédure en rappel d'impôt et en soustraction portant sur les années 2005 à 2008. Divers entretiens ont eu lieu entre le contribuable accompagné de ses mandataires et l'Administration fiscale, dont le 30 novembre 2015. A cette occasion, A.________ a notamment indiqué qu'il était actif dans le commerce d'oeuvres d'art depuis 1997, qu'il n'avait pas déclaré des commissions pour un montant d'environ 5'000'000 fr. perçues entre 2005 et 2008, ni des comptes bancaires qu'il détenait auprès de divers établissements bancaires. Il a également précisé qu'il n'avait pas établi de factures pour ces commissions et qu'il n'existait pas de contrats écrits relatifs aux ventes d'oeuvres d'art. C'était lui-même qui achetait et vendait ces oeuvres pour le compte de D.________ Ltd et E.________ Ltd, sociétés dont il était l'ayant droit économique. En outre, la grande majorité, voire la totalité des oeuvres d'art qu'il détenait était entreposée hors de son domicile, aux Ports Francs de Genève. A.d. A la suite d'une requête de l'Administration fédérale des contributions (ci-après: l'AFC), le Chef du Département fédéral des finances l'a autorisée, par courrier du 13 mars 2017, à mener une enquête fiscale spéciale au sens des art. 190 et ss LIFD (RS 642.11) à l'encontre de A.________, D.________ Ltd (sise à Hong-Kong) et E.________ Ltd (sise aux Iles Vierges britanniques). L'AFC a notamment procédé à des perquisitions et des séquestres. A.e. Le 13 décembre 2018, l'Administration fiscale cantonale a remis au contribuable des bordereaux de rappel d'impôt et d'amende pour l'IFD et les ICC de la période fiscale 2008, qui faisaient suite à des bordereaux établis précédemment pour les années 2005 à 2008. Le contribuable a formé une réclamation. Reprenant notamment à son compte certains éléments du rapport du 13 mai 2020 de la Division des affaires pénales et enquêtes de l'AFC (ci-après: DAPE), l'Administration fiscale a statué sur réclamation le 4 août 2020; elle a réduit ou augmenté les prestations appréciables en argent et annulé les bordereaux d'amende pour l'IFD et les ICC 2005. En particulier, pour l'année 2008, elle a fixé l'IFD à 12'275'399 fr et les ICC à 36'388'932 fr. 20. La quotité des amendes pour cette période, tant pour l'IFD que pour les ICC, a été fixée à 1,5 fois le montant des impôts soustraits.