Faits : A. A.a. A._, ressortissant britannique et canadien, né en 1970, est actuellement domicilié au Canada. Entre 1994 et 2004, le contribuable était employé et domicilié à Londres où il a été taxé. Entre 2005 et 2007, il était établi à Malte. Depuis 2008, il ne dispose plus de domicile fixe et séjourne alternativement au Canada, en Angleterre, à Malte ou en Suisse où il possède plusieurs biens immobiliers. A.b. En mai 2006, le père du contribuable lui a cédé en nue-propriété le chalet "B._", sis à E._ sur une parcelle d'une surface de 949 m2, en se réservant un droit d'usufruit sur ce bien qu'il avait acheté en novembre 2001 pour 2'200'000 fr. Suite aux travaux effectués, la valeur fiscale de celui-ci est passée de 961'410 fr. à 1'361'410 fr. Entre 2006 et 2012, le contribuable et son père conclurent chaque année un contrat de location portant sur ce chalet pour une durée de six à huit semaines, le loyer étant fixé à 12'000 fr. pour l'année 2006, à 20'000 fr. pour l'année 2007, à 25'000 fr. pour l'année 2008, à 26'500 fr. pour l'année 2009, à 28'000 fr. pour l'année 2010, à 32'500 fr. pour l'année 2011 et à 26'000 fr. pour l'année 2012. Ces contrats précisaient que le père du contribuable avait la priorité absolue pour l'occupation du chalet et que toute utilisation par le contribuable devait être approuvée par ses parents. De 2006 à 2012, le contribuable a sous-loué le chalet "B._" à la société H._ Ltd, de siège à Malte, qui avait débuté son activité commerciale en 2005 et dont il était le fondateur et directeur unique. Le loyer fut fixé à 12'000 fr. pour l'année 2006, à 27'000 fr. pour les années 2007 et 2008 et à 26'000 fr. pour les années 2009 à 2012. A.c. Par acte authentique du 11 mai 2006, le contribuable acquit pour le prix de 1'900'000 fr., des immeubles en PPE à E._, dans un immeuble en construction portant le nom de "C._", destinés à des activités commerciales et à l'exploitation d'un centre de bien-être (SPA de luxe) et de fitness avec ses activités accessoires. En raison de dissensions avec le promoteur qui donnèrent lieu à une procédure judiciaire, les locaux acquis ne purent être équipés d'installations de climatisation, de ventilation et de production d'eau chaude avant la fin de l'année 2012, suite à la conclusion d'une transaction extra-judiciaire ratifiée par le Tribunal de G._ le 13 novembre 2012. En 2006, le contribuable a fondé la société I._ SA, de siège à F._, dans le but d'aménager et de procéder à la mise en exploitation du SPA et du fitness dans l'immeuble "C._". Il en était l'administrateur et actionnaire avec signature individuelle. Cette même année, il a également créé la société J._ SA, de siège à F._, afin qu'elle gère et exploite le centre de bien-être et le fitness précités. Celle-ci resta inactive de 2006 à 2009, l'exploitation n'ayant pu commencer que durant l'hiver 2012/2013. En décembre 2010, le contribuable a fondé la société K._ Sàrl, avec siège à F._, pour l'exploitation de la galerie d'art contemporain "D._" située dans l'immeuble "C._". Dès décembre 2011, I._ SA loua les locaux de "C._" à la société K._ Sàrl pour un loyer de 35'000 fr., puis de 40'000 fr. dès octobre 2012. Les loyers ne furent jamais versés. La dissolution de la société K._ Sàrl fut prononcée par le Tribunal de G._ le 11 avril 2016 et celle des sociétés I._ SA et J._ SA le 27 mai 2016. B. B.a. Par décisions du 2 septembre 2008, le Service cantonal des contributions du canton du Valais (ci-après : le Service cantonal) procéda à la taxation définitive du contribuable pour l'année 2006, retenant un revenu imposable nul et une fortune imposable de 3'112'000 fr. Le contribuable éleva réclamation contre ce prononcé. B.b. Le 10 janvier 2013, le Service cantonal, Inspectorat fiscal, procéda à un contrôle des comptes du contribuable pour les années fiscales 2005 à 2012. Selon le rapport d'expertise daté du 10 mars 2014, le contribuable n'exerçait aucune activité lucrative en Suisse et n'avait touché aucune rémunération en qualité de membre d'une société suisse. Il ne pouvait être imposé en Suisse que par le biais d'un rattachement économique limité à ses biens immobiliers suisses. L'expertise révélait que le chalet "B._" était exploité sous la forme hôtelière par la société du contribuable, H._ Ltd. Celle-ci le proposait à la location à partir de 60'000 fr. la semaine. Or la société ne déclarait aucun revenu en Suisse. De plus, le montant provenant des locations déclaré par le contribuable en 2007, de 7'000 fr., était nettement inférieur aux valeurs locatives pratiquées dans la région, arrêtées par l'expert à 180'000 fr. Pour l'espace commercial dans l'immeuble "C._", l'expert proposait de retenir un loyer annuel de 26'667 fr. à partir du 1 er septembre 2007 et de 80'000 fr. (prix de revient capitalisé à 4%) de 2008 à 2012 pour la mise à disposition des locaux par l'intéressé à sa société I._ SA. L'expert proposait les reprises suivantes : pour le poste "Bénéfice d'exploitation du Chalet "B._", solde à imposer" : 43'000 fr. pour l'année 2007 et 50'000 fr. pour chacune des années 2008 à 2012. Pour le poste "Immeuble "C._" loyer net estimé" : 26'667 fr. pour l'année 2006 et 80'000 fr. pour chacune des années 2007 à 2012. Après avoir soumis le rapport d'expertise au contribuable et donné l'occasion à celui-ci de se prononcer, le Service cantonal l'a taxé définitivement pour les années fiscales 2006 à 2012 pour l'impôt fédéral direct (IFD) et les impôts cantonal et communal (ICC) par décisions du 12 juin 2014. Le contribuable a formé réclamation contre ces décisions, en contestant les reprises effectuées par le Service cantonal. B.c. Le 20 mars 2015, le Service cantonal a rendu deux décisions de demande de sûretés, remplaçant deux premières décisions du 12 février 2015, la première en garantie du paiement de l'ICC 2005 à 2015 pour un montant de 268'174.35 fr. et l'autre en garantie de l'acquittement de l'IFD 2005 à 2015 pour un montant de 97'333 fr. Ces décisions ont été confirmées sur recours le 23 mars 2016 par la Commission de recours en matière fiscale du canton du Valais (ci-après : la Commission de recours). B.d. Le 25 mai 2018, après divers échanges d'écriture, le Service cantonal, Commission d'impôt des personnes physiques, a rejeté les réclamations élevées par le contribuable à l'encontre des décisions de taxation du 12 juin 2014. Le 13 juin 2019, la Commission de recours a admis partiellement le recours interjeté par le contribuable contre la décision sur réclamation précitée. Elle a confirmé les reprises de 50'000 fr. opérées par le Service cantonal en lien avec l'immeuble "B._". En revanche, elle a annulé les reprises effectuées pour les années fiscales 2006 à 2010 concernant l'immeuble "C._", après avoir constaté que celui-ci n'avait pas pu être exploité avant la saison 2012/2013, pour des raisons indépendantes de la volonté du propriétaire, puisque la commune de F._ avait refusé d'accorder l'autorisation d'exploiter le SPA, le centre de bien-être et le lounge le "D._". Pour l'année fiscale 2011, la Commission de recours a réduit la reprise effectuée en lien avec cet immeuble de 80'000 fr. à 35'000 fr. La taxation 2012 était confirmée. Le revenu net imposable en matière d'impôt cantonaux, communaux et fédéraux était fixé à 17'000 fr. pour l'année 2006, 41'432 fr. pour 2007, 38'900 fr. pour 2008, 38'900 fr. pour 2009, 39'700 fr. pour 2010, 74'700 fr. pour 2011 et à 45'200 pour 2012. C. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral, sous suite de frais et dépens, de réformer le jugement précité de la Commission de recours dans le sens des griefs du recours tant pour l'ICC que l'IFD, en particulier, en annulant la reprise en lien avec le revenu du chalet "B._" et celle sur le revenu "C._". Subsidiairement, il requiert l'annulation de ce jugement, tant pour l'ICC que l'IFD, et le renvoi de la cause à l'autorité précédente ou au Service cantonal pour procéder au sens des considérants et nouvelle décision. La Commission de recours renonce à déposer des observations détaillées et conclut au rejet du recours, en renvoyant à l'arrêt attaqué. L'Administration fédérale des contributions conclut au rejet du recours.