Faits :
A.
A.a. A._, ressortissant britannique et canadien, né en 1970, est actuellement domicilié au Canada.
Entre 1994 et 2004, le contribuable était employé et domicilié à Londres où il a été taxé. Entre 2005 et 2007, il était établi à Malte. Depuis 2008, il ne dispose plus de domicile fixe et séjourne alternativement au Canada, en Angleterre, à Malte ou en Suisse où il possède plusieurs biens immobiliers.
A.b. En mai 2006, le père du contribuable lui a cédé en nue-propriété le chalet "B._", sis à E._ sur une parcelle d'une surface de 949 m2, en se réservant un droit d'usufruit sur ce bien qu'il avait acheté en novembre 2001 pour 2'200'000 fr. Suite aux travaux effectués, la valeur fiscale de celui-ci est passée de 961'410 fr. à 1'361'410 fr.
Entre 2006 et 2012, le contribuable et son père conclurent chaque année un contrat de location portant sur ce chalet pour une durée de six à huit semaines, le loyer étant fixé à 12'000 fr. pour l'année 2006, à 20'000 fr. pour l'année 2007, à 25'000 fr. pour l'année 2008, à 26'500 fr. pour l'année 2009, à 28'000 fr. pour l'année 2010, à 32'500 fr. pour l'année 2011 et à 26'000 fr. pour l'année 2012. Ces contrats précisaient que le père du contribuable avait la priorité absolue pour l'occupation du chalet et que toute utilisation par le contribuable devait être approuvée par ses parents.
De 2006 à 2012, le contribuable a sous-loué le chalet "B._" à la société H._ Ltd, de siège à Malte, qui avait débuté son activité commerciale en 2005 et dont il était le fondateur et directeur unique. Le loyer fut fixé à 12'000 fr. pour l'année 2006, à 27'000 fr. pour les années 2007 et 2008 et à 26'000 fr. pour les années 2009 à 2012.
A.c. Par acte authentique du 11 mai 2006, le contribuable acquit pour le prix de 1'900'000 fr., des immeubles en PPE à E._, dans un immeuble en construction portant le nom de "C._", destinés à des activités commerciales et à l'exploitation d'un centre de bien-être (SPA de luxe) et de fitness avec ses activités accessoires. En raison de dissensions avec le promoteur qui donnèrent lieu à une procédure judiciaire, les locaux acquis ne purent être équipés d'installations de climatisation, de ventilation et de production d'eau chaude avant la fin de l'année 2012, suite à la conclusion d'une transaction extra-judiciaire ratifiée par le Tribunal de G._ le 13 novembre 2012.
En 2006, le contribuable a fondé la société I._ SA, de siège à F._, dans le but d'aménager et de procéder à la mise en exploitation du SPA et du fitness dans l'immeuble "C._". Il en était l'administrateur et actionnaire avec signature individuelle. Cette même année, il a également créé la société J._ SA, de siège à F._, afin qu'elle gère et exploite le centre de bien-être et le fitness précités. Celle-ci resta inactive de 2006 à 2009, l'exploitation n'ayant pu commencer que durant l'hiver 2012/2013.
En décembre 2010, le contribuable a fondé la société K._ Sàrl, avec siège à F._, pour l'exploitation de la galerie d'art contemporain "D._" située dans l'immeuble "C._".
Dès décembre 2011, I._ SA loua les locaux de "C._" à la société K._ Sàrl pour un loyer de 35'000 fr., puis de 40'000 fr. dès octobre 2012. Les loyers ne furent jamais versés.
La dissolution de la société K._ Sàrl fut prononcée par le Tribunal de G._ le 11 avril 2016 et celle des sociétés I._ SA et J._ SA le 27 mai 2016.
B.
B.a. Par décisions du 2 septembre 2008, le Service cantonal des contributions du canton du Valais (ci-après : le Service cantonal) procéda à la taxation définitive du contribuable pour l'année 2006, retenant un revenu imposable nul et une fortune imposable de 3'112'000 fr. Le contribuable éleva réclamation contre ce prononcé.
B.b. Le 10 janvier 2013, le Service cantonal, Inspectorat fiscal, procéda à un contrôle des comptes du contribuable pour les années fiscales 2005 à 2012.
Selon le rapport d'expertise daté du 10 mars 2014, le contribuable n'exerçait aucune activité lucrative en Suisse et n'avait touché aucune rémunération en qualité de membre d'une société suisse. Il ne pouvait être imposé en Suisse que par le biais d'un rattachement économique limité à ses biens immobiliers suisses. L'expertise révélait que le chalet "B._" était exploité sous la forme hôtelière par la société du contribuable, H._ Ltd. Celle-ci le proposait à la location à partir de 60'000 fr. la semaine. Or la société ne déclarait aucun revenu en Suisse. De plus, le montant provenant des locations déclaré par le contribuable en 2007, de 7'000 fr., était nettement inférieur aux valeurs locatives pratiquées dans la région, arrêtées par l'expert à 180'000 fr. Pour l'espace commercial dans l'immeuble "C._", l'expert proposait de retenir un loyer annuel de 26'667 fr. à partir du 1 er septembre 2007 et de 80'000 fr. (prix de revient capitalisé à 4%) de 2008 à 2012 pour la mise à disposition des locaux par l'intéressé à sa société I._ SA.
L'expert proposait les reprises suivantes : pour le poste "Bénéfice d'exploitation du Chalet "B._", solde à imposer" : 43'000 fr. pour l'année 2007 et 50'000 fr. pour chacune des années 2008 à 2012. Pour le poste "Immeuble "C._" loyer net estimé" : 26'667 fr. pour l'année 2006 et 80'000 fr. pour chacune des années 2007 à 2012.
Après avoir soumis le rapport d'expertise au contribuable et donné l'occasion à celui-ci de se prononcer, le Service cantonal l'a taxé définitivement pour les années fiscales 2006 à 2012 pour l'impôt fédéral direct (IFD) et les impôts cantonal et communal (ICC) par décisions du 12 juin 2014. Le contribuable a formé réclamation contre ces décisions, en contestant les reprises effectuées par le Service cantonal.
B.c. Le 20 mars 2015, le Service cantonal a rendu deux décisions de demande de sûretés, remplaçant deux premières décisions du 12 février 2015, la première en garantie du paiement de l'ICC 2005 à 2015 pour un montant de 268'174.35 fr. et l'autre en garantie de l'acquittement de l'IFD 2005 à 2015 pour un montant de 97'333 fr. Ces décisions ont été confirmées sur recours le 23 mars 2016 par la Commission de recours en matière fiscale du canton du Valais (ci-après : la Commission de recours).
B.d. Le 25 mai 2018, après divers échanges d'écriture, le Service cantonal, Commission d'impôt des personnes physiques, a rejeté les réclamations élevées par le contribuable à l'encontre des décisions de taxation du 12 juin 2014.
Le 13 juin 2019, la Commission de recours a admis partiellement le recours interjeté par le contribuable contre la décision sur réclamation précitée. Elle a confirmé les reprises de 50'000 fr. opérées par le Service cantonal en lien avec l'immeuble "B._". En revanche, elle a annulé les reprises effectuées pour les années fiscales 2006 à 2010 concernant l'immeuble "C._", après avoir constaté que celui-ci n'avait pas pu être exploité avant la saison 2012/2013, pour des raisons indépendantes de la volonté du propriétaire, puisque la commune de F._ avait refusé d'accorder l'autorisation d'exploiter le SPA, le centre de bien-être et le lounge le "D._". Pour l'année fiscale 2011, la Commission de recours a réduit la reprise effectuée en lien avec cet immeuble de 80'000 fr. à 35'000 fr. La taxation 2012 était confirmée. Le revenu net imposable en matière d'impôt cantonaux, communaux et fédéraux était fixé à 17'000 fr. pour l'année 2006, 41'432 fr. pour 2007, 38'900 fr. pour 2008, 38'900 fr. pour 2009, 39'700 fr. pour 2010, 74'700 fr. pour 2011 et à 45'200 pour 2012.
C.
Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral, sous suite de frais et dépens, de réformer le jugement précité de la Commission de recours dans le sens des griefs du recours tant pour l'ICC que l'IFD, en particulier, en annulant la reprise en lien avec le revenu du chalet "B._" et celle sur le revenu "C._". Subsidiairement, il requiert l'annulation de ce jugement, tant pour l'ICC que l'IFD, et le renvoi de la cause à l'autorité précédente ou au Service cantonal pour procéder au sens des considérants et nouvelle décision.
La Commission de recours renonce à déposer des observations détaillées et conclut au rejet du recours, en renvoyant à l'arrêt attaqué. L'Administration fédérale des contributions conclut au rejet du recours.

Considérant en droit :
1.
1.1. La Commission de recours a rendu un seul arrêt valant tant pour l'ICC que pour l'IFD du recourant, ce qui est en principe admissible, dès lors qu'il ressort clairement dudit arrêt et du recours que le litige porte sur les deux catégories d'impôts (cf. <ref-ruling> consid. 1.3.1 p. 262 s.; arrêt 2C_576/2016 du 6 mars 2017 consid. 1.1, non publié in <ref-ruling>).
1.2. L'arrêt attaqué, qui réforme partiellement la décision sur réclamation du Service cantonal du 25 mai 2018 relative aux bordereaux ICC et IFD 2006 à 2012, est une décision finale (<ref-law>), rendue par une autorité judiciaire supérieure de dernière instance cantonale (art. 86 al. 1 let. d et al. 2 LTF; art. 150 al. 2 et art. 219a al. 1 de la loi fiscale valaisanne du 10 mars 1976 [LF/VS; RS/VS 642.1]), dans une cause de droit public (<ref-law>) qui ne tombe pas sous le coup des exceptions de l'<ref-law>. La voie du recours en matière de droit public est donc en principe ouverte (cf. également les art. 146 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct [LIFD; RS 642.11] et 73 al. 1 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes [LHID; RS 642.14]).
1.3. Déposé en temps utile (<ref-law>) et dans les formes requises (<ref-law>) par le contribuable destinataire de l'acte attaqué qui a un intérêt digne de protection à son annulation ou à sa modification, de sorte qu'il faut lui reconnaître la qualité pour recourir (<ref-law>), le présent recours est recevable.
2.
Dans un grief de nature formelle, qu'il y a lieu d'examiner en premier lieu (<ref-ruling> consid. 3 p. 563), le recourant reproche à la juridiction cantonale d'avoir violé son droit d'être entendu (art. 29 al. 2 Cst.) en ne donnant arbitrairement pas suite à sa proposition de produire, au besoin, tous les contrats signés par la société H._ Ltd avec toutes les pièces de dépenses justificatives. Le recourant précise avoir déjà produit dans sa réplique du 28 novembre 2018, à titre d'exemple, trois contrats conclus entre ladite société et des clients et avoir renoncé à les remettre tous pour ne pas "inonder l'autorité intimée sous les documents". Il fait également valoir un défaut de motivation de l'arrêt attaqué concernant l'absence de prise en considération des comptes de ladite société. En outre, il conteste que les revenus de 12'900 euros et de 2'998.50 fr. n'auraient pas été comptabilisés et reproche à l'autorité précédente de ne pas l'avoir interpellé sur ce point, alors qu'il aurait aisément pu démontrer ces faits.
2.1. Le droit d'être entendu comprend en particulier le droit pour le justiciable de participer à l'administration des preuves, d'en prendre connaissance, de se déterminer à leur propos et d'obtenir qu'il soit donné suite à ses offres de preuves pertinentes, lorsque cela est de nature à influer sur la décision à rendre (<ref-ruling> consid. 3.2 p. 67; <ref-ruling> consid. 2.3 p. 222). L'autorité peut cependant renoncer à procéder à des mesures d'instruction lorsque les preuves administrées lui ont permis de former sa conviction et que, procédant d'une manière non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, elle a la certitude que ces dernières ne pourraient l'amener à modifier son opinion (<ref-ruling> consid. 6.3.1 p. 299 et les arrêts cités).
Le refus d'une mesure probatoire par appréciation anticipée des preuves ne peut être remis en cause devant le Tribunal fédéral qu'en invoquant l'arbitraire (art. 9 Cst.) de manière claire et détaillée (<ref-law>; cf. arrêt 2C_201/2019 du 16 avril 2019 consid. 3.1 et les références). Il n'y a arbitraire (art. 9 Cst.) dans l'appréciation des preuves que si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a fait des déductions insoutenables (cf. <ref-ruling> consid. 6 p. 358; <ref-ruling> consid. 2.3 p. 266).
Le droit d'être entendu implique également pour l'autorité l'obligation de motiver sa décision. Selon la jurisprudence, il suffit que le juge mentionne, au moins brièvement, les motifs qui l'ont guidé et sur lesquels il a fondé sa décision, de manière à ce que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause. L'autorité n'a pas l'obligation d'exposer et de discuter tous les faits, moyens de preuve et griefs invoqués par les parties, mais peut au contraire se limiter à l'examen des questions décisives pour l'issue du litige. Dès lors que l'on peut discerner les motifs qui ont guidé la décision de l'autorité, le droit à une décision motivée est respecté même si la motivation présentée est erronée. La motivation peut d'ailleurs être implicite et résulter des différents considérants de la décision (<ref-ruling> consid. 3.2.1 p. 564 s. et les arrêts cités).
Le Tribunal fédéral peut exceptionnellement réparer une violation du droit d'être entendu s'il dispose d'un libre pouvoir de cognition et qu'il n'en résulte aucun préjudice pour le justiciable (<ref-ruling> consid. 4.3 p. 55; arrêt 2D_1/2019 du 22 juillet 2019 consid. 6.1).
2.2.
2.2.1. En l'espèce, dans le cadre d'une appréciation anticipée des preuves, la Commission de recours a examiné les preuves requises par le recourant qui portaient sur l'édition du dossier fiscal par le Service cantonal, ainsi que sur la vision locale de l'immeuble "C._". Elle ne s'est en revanche pas prononcée sur la requête visant, au besoin, à produire tous les contrats signés par H._ Ltd avec toutes les dépenses justificatives, que le recourant indique avoir formulée dans sa réplique du 26 novembre 2018. En cela, la motivation de la décision attaquée est insuffisante et constitue déjà en soi une violation du droit d'être entendu.
2.2.2. Dans l'examen au fond, l'autorité précédente a retenu que les comptes de la société H._ Ltd, à laquelle le recourant a sous-loué le chalet "B._", n'étaient pas transparents. Selon elle, ces comptes étaient laconiques et ne contenaient aucune donnée claire sur le nombre de locations effectuées et des différents postes de revenus. Elle reprochait en particulier à cette société de n'avoir "jamais déposé [...] l'intégralité des contrats de location conclus par la société, ni les factures produites à cet effet pour les années concernées".
Dans ces circonstances, la Commission de recours ne pouvait pas sans arbitraire, et d'ailleurs sans adopter un comportement contraire à la bonne foi, ne pas donner suite à l'offre de preuves du recourant qui consistait justement à produire l'ensemble des contrats en cause, ainsi que les pièces justificatives relatives aux dépenses; de tels moyens étaient au vu de l'arrêt entrepris à l'évidence pertinents.
2.2.3. Au demeurant, la Commission de recours donne un grand poids aux montants de 12'900 euros et de 2'998.50 fr. qui selon elle ne figuraient pas dans la déclaration fiscale du recourant pour l'année 2010, ni ne ressortaient clairement des comptes de la société H._ Ltd. Il ne ressort pas de l'arrêt attaqué que le recourant aurait été appelé à se prononcer sur ces éléments dans les procédures antérieures. Dans leur prise de position sur le présent recours, les autorités cantonales ne prétendent pas que tel aurait été le cas. Dans ces circonstances, le droit du recourant de se prononcer sur ces éléments de preuve n'a pas été respecté.
2.2.4. Concernant le grief d'un défaut de motivation de l'arrêt querellé relatif au refus de prendre en considération les comptes de la société H._ Ltd, il faut relever que la Commission de recours indique que ces comptes étaient peu probants et peu clairs, notamment en raison de l'absence de données précises sur le nombre des locations effectuées et de l'existence d'un résultat régulièrement déficitaire en dépit d'un chiffre d'affaires annuel d'environ 400'000 fr. En l'occurrence, l'autorité précédente indique pour quels motifs elle considère que les comptes sont selon elle peu convaincants. La motivation était en cela suffisante puisqu'elle permettait au recourant de contester cette argumentation à bon escient.
En revanche, et bien que l'on puisse douter que le recours soit suffisamment motivé sur ce point sous l'angle de l'<ref-law>, il faut constater que dans son arrêt, la Commission de recours semble attribuer le revenu perçu par la société H._ Ltd au recourant, par une approche en transparence fiscale (sur cette question, cf. <ref-ruling> consid. 5.1.4 p. 77 s. et les références citées). Or l'arrêt attaqué ne contient aucune explication sur le refus de reconnaître à la société précitée la qualité de sujet fiscal indépendant; à cet égard, un manque de clarté dans les comptes de la société ne saurait, à lui seul, suffire. Sur ce point, l'arrêt querellé n'est pas motivé à suffisance.
2.3. Sur le vu de ces éléments, la Commission de recours a violé le droit d'être entendu du recourant en ce qu'il confère le droit de se prononcer sur les preuves administrées, de faire administrer des preuves pertinentes, d'obtenir une décision motivée et prohibe l'arbitraire dans l'appréciation anticipée des preuves. Ces vices ne peuvent pas être guéris devant le Tribunal fédéral. Le recours, tant en matière d'IFD que d'ICC, est par conséquent admis pour ce motif, sans qu'il soit nécessaire d'examiner les autres griefs soulevés par le recourant.
3.
Les considérants qui précèdent conduisent à l'admission du recours en matière de droit public et à l'annulation de l'arrêt attaqué. La cause est renvoyée à la Commission de recours pour nouvelle décision au sens des considérants.
Les frais judiciaires sont mis à la charge du canton du Valais qui succombe et dont l'intérêt patrimonial est en cause (<ref-law>). Le recourant, qui est représenté par un mandataire professionnel a droit à des dépens (<ref-law>), qu'il convient de mettre à la charge du canton du Valais (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis en tant qu'il concerne l'IFD 2006 à 2012. L'arrêt rendu le 13 juin 2019 par la Commission de recours en matière fiscale du canton du Valais est annulé. La cause est renvoyée à l'autorité précédente pour nouvelle décision dans le sens des considérants.
2.
Le recours est admis en tant qu'il concerne l'ICC 2006 à 2012. L'arrêt rendu le 13 juin 2019 par la Commission de recours en matière fiscale du canton du Valais est annulé. La cause est renvoyée à l'autorité précédente pour nouvelle décision dans le sens des considérants.
3.
Les frais judiciaires, arrêtés à 4'000 fr., sont mis à la charge du canton du Valais.
4.
Le canton du Valais versera au recourant une indemnité de 4'500 fr. à titre de dépens.
5.
Le présent arrêt est communiqué au mandataire du recourant, au Service cantonal des contributions du canton du Valais, à la Commission cantonale de recours en matière fiscale du canton du Valais et à l'Administration fédérale des contributions.
Lausanne, le 8 juin 2020
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : de Chambrier