Citation: 2C_937/2019 E. A

A.a. A.A.________, né en 1967 et domicilié à D.________, est architecte. Il a fondé le bureau d'architecture A.A.________ et F.________, devenu G.________ SA dès le 1er janvier 2008. En parallèle, le contribuable était actif dans l'immobilier. Il a créé différentes sociétés, regroupées dans H.________ SA, de siège social à E.________, et s'associa notamment à I.________ dans diverses opérations, celui-ci agissant comme bailleur de fonds. Il a entre autres réalisé la promotion "J.________" à D.________, financée en partie par I.________, et a prévu différents contrats de courtage non exclusifs afin de trouver de futurs acquéreurs. Au travers de la société K.________, de siège social en Grande-Bretagne, dont il était propriétaire, I.________ a incité plusieurs de ses clients à acquérir les biens de la promotion. Suite à la vente de plusieurs appartements, ladite société a adressé à A.A.________ deux factures pour des commissions liées à ces transactions, la première datée du 5 janvier 2006 pour un montant de 348'000 fr. et la seconde, datée du 8 janvier 2007, pour un montant de 150'000 fr. (art. 105 al. 2 LTF). Le montant de 498'000 fr. fut versé sur un compte bancaire de K.________ Holding le 23 avril 2014. Le contribuable était notamment propriétaire de la parcelle n° ***1 du ban de D.________, qu'il avait obtenue par avancement d'hoirie en 2007 et sur laquelle il a fait construire un chalet nommé "L.1.________" ou "L.2.________". Celui-ci fut loué à plusieurs reprises à des tiers au cours des périodes fiscales concernées par l'entremise des sociétés M.________ SA, de siège social en Suisse, et N.________ Ltd, de siège à Jersey. Il a été vendu en 2014 pour plus de dix millions de francs. A.b. Le contribuable a régulièrement déposé ses déclarations d'impôts cantonaux, communaux (ICC) et d'impôt fédéral direct (IFD), soit le 26 octobre 2007 pour l'année 2006, le 4 décembre 2008 pour l'année 2007, le 29 janvier 2010 pour l'année 2008 et le 4 février 2011 pour l'année 2009. Le 9 août 2011 et les jours suivants, le Service cantonal des contributions du canton du Valais (ci-après : le Service cantonal), Inspectorat fiscal, a procédé à un contrôle des comptes de la société en nom collectif A.A.________ et F.________ pour les années fiscales 2005 à 2008. Les mêmes jours, le Service cantonal, Inspectorat fiscal, a procédé au contrôle des comptes du contribuable s'agissant des périodes fiscales 2005 à 2009. Dans son rapport du 15 septembre 2014, l'expert relevait notamment qu'il y avait lieu de reprendre, s'agissant de la promotion "J.________" à D.________, la provision non justifiée pour les commissions de vente de 348'000 fr. et de 150'000 fr. sur l'année 2007 au motif que celles-ci avaient été comptabilisées sans que la preuve de leur paiement n'ait été remise. En ce qui concernait le chalet "L.1.________", l'expert proposait la reprise de 24'000 fr. sur l'année 2009 au titre de loyer non déclaré, ayant constaté que seul un loyer de 24'000 fr. avait été déclaré alors que le compte bancaire du contribuable faisait état de l'encaissement de deux fois 24'000 fr. Il était en outre proposé de reprendre par estimation un montant de 24'000 fr. pour cette même année, puisque le contribuable n'avait pas donné suite aux demandes de renseignements du fisc relatives aux baux à loyer et aux liens avec la société N.________ Ltd sise à Jersey. En outre, l'expert a considéré que le chalet "L.1.________" appartenait de façon prépondérante à la fortune commerciale du contribuable, compte tenu de locations à des tiers et du fait que celui-ci n'avait pas pu démontrer qu'il utilisait ce bien comme domicile principal. Il a également souligné le caractère insolite de la constitution des sociétés en Suisse et offshore pour seulement, au dire du contribuable, quelques locations. Selon lui, les rendements relatifs à ce chalet devaient être considérés comme revenus de l'activité lucrative indépendante. L'expert proposait ainsi, en sus de reprises désormais non litigieuse, les reprises suivantes sur les revenus indépendants : pour l'année 2006, 115'300 fr. de locations requalifiées, pour 2007, 498'000 fr. de frais non justifiés commercialement et pour 2009, 48'000 fr. de locations non déclarées et 24'000 fr. de locations requalifiées. Il proposait également comme "reprises sur les différentes rubriques des déclarations d'impôts", sous la rubrique "locations requalifiées" : -111'700 fr. pour 2006, 489 fr. pour 2007, 3'556 fr. pour 2008 et - 19'328 fr. pour 2009.