Citation: 2C_831/2019 E. A

A.a. A.________, ressortissant britannique et canadien, né en 1970, est actuellement domicilié au Canada. Entre 1994 et 2004, le contribuable était employé et domicilié à Londres où il a été taxé. Entre 2005 et 2007, il était établi à Malte. Depuis 2008, il ne dispose plus de domicile fixe et séjourne alternativement au Canada, en Angleterre, à Malte ou en Suisse où il possède plusieurs biens immobiliers. A.b. En mai 2006, le père du contribuable lui a cédé en nue-propriété le chalet "B.________", sis à E.________ sur une parcelle d'une surface de 949 m2, en se réservant un droit d'usufruit sur ce bien qu'il avait acheté en novembre 2001 pour 2'200'000 fr. Suite aux travaux effectués, la valeur fiscale de celui-ci est passée de 961'410 fr. à 1'361'410 fr. Entre 2006 et 2012, le contribuable et son père conclurent chaque année un contrat de location portant sur ce chalet pour une durée de six à huit semaines, le loyer étant fixé à 12'000 fr. pour l'année 2006, à 20'000 fr. pour l'année 2007, à 25'000 fr. pour l'année 2008, à 26'500 fr. pour l'année 2009, à 28'000 fr. pour l'année 2010, à 32'500 fr. pour l'année 2011 et à 26'000 fr. pour l'année 2012. Ces contrats précisaient que le père du contribuable avait la priorité absolue pour l'occupation du chalet et que toute utilisation par le contribuable devait être approuvée par ses parents. De 2006 à 2012, le contribuable a sous-loué le chalet "B.________" à la société H.________ Ltd, de siège à Malte, qui avait débuté son activité commerciale en 2005 et dont il était le fondateur et directeur unique. Le loyer fut fixé à 12'000 fr. pour l'année 2006, à 27'000 fr. pour les années 2007 et 2008 et à 26'000 fr. pour les années 2009 à 2012. A.c. Par acte authentique du 11 mai 2006, le contribuable acquit pour le prix de 1'900'000 fr., des immeubles en PPE à E.________, dans un immeuble en construction portant le nom de "C.________", destinés à des activités commerciales et à l'exploitation d'un centre de bien-être (SPA de luxe) et de fitness avec ses activités accessoires. En raison de dissensions avec le promoteur qui donnèrent lieu à une procédure judiciaire, les locaux acquis ne purent être équipés d'installations de climatisation, de ventilation et de production d'eau chaude avant la fin de l'année 2012, suite à la conclusion d'une transaction extra-judiciaire ratifiée par le Tribunal de G.________ le 13 novembre 2012. En 2006, le contribuable a fondé la société I.________ SA, de siège à F.________, dans le but d'aménager et de procéder à la mise en exploitation du SPA et du fitness dans l'immeuble "C.________". Il en était l'administrateur et actionnaire avec signature individuelle. Cette même année, il a également créé la société J.________ SA, de siège à F.________, afin qu'elle gère et exploite le centre de bien-être et le fitness précités. Celle-ci resta inactive de 2006 à 2009, l'exploitation n'ayant pu commencer que durant l'hiver 2012/2013. En décembre 2010, le contribuable a fondé la société K.________ Sàrl, avec siège à F.________, pour l'exploitation de la galerie d'art contemporain "D.________" située dans l'immeuble "C.________". Dès décembre 2011, I.________ SA loua les locaux de "C.________" à la société K.________ Sàrl pour un loyer de 35'000 fr., puis de 40'000 fr. dès octobre 2012. Les loyers ne furent jamais versés.