Faits :
A.
A.a. A.A._, né en 1967 et domicilié à D._, est architecte. Il a fondé le bureau d'architecture A.A._ et F._, devenu G._ SA dès le 1er janvier 2008.
En parallèle, le contribuable était actif dans l'immobilier. Il a créé différentes sociétés, regroupées dans H._ SA, de siège social à E._, et s'associa notamment à I._ dans diverses opérations, celui-ci agissant comme bailleur de fonds. Il a entre autres réalisé la promotion "J._" à D._, financée en partie par I._, et a prévu différents contrats de courtage non exclusifs afin de trouver de futurs acquéreurs.
Au travers de la société K._, de siège social en Grande-Bretagne, dont il était propriétaire, I._ a incité plusieurs de ses clients à acquérir les biens de la promotion. Suite à la vente de plusieurs appartements, ladite société a adressé à A.A._ deux factures pour des commissions liées à ces transactions, la première datée du 5 janvier 2006 pour un montant de 348'000 fr. et la seconde, datée du 8 janvier 2007, pour un montant de 150'000 fr. (<ref-law>). Le montant de 498'000 fr. fut versé sur un compte bancaire de K._ Holding le 23 avril 2014.
Le contribuable était notamment propriétaire de la parcelle n° ***1 du ban de D._, qu'il avait obtenue par avancement d'hoirie en 2007 et sur laquelle il a fait construire un chalet nommé "L.1._" ou "L.2._". Celui-ci fut loué à plusieurs reprises à des tiers au cours des périodes fiscales concernées par l'entremise des sociétés M._ SA, de siège social en Suisse, et N._ Ltd, de siège à Jersey. Il a été vendu en 2014 pour plus de dix millions de francs.
A.b. Le contribuable a régulièrement déposé ses déclarations d'impôts cantonaux, communaux (ICC) et d'impôt fédéral direct (IFD), soit le 26 octobre 2007 pour l'année 2006, le 4 décembre 2008 pour l'année 2007, le 29 janvier 2010 pour l'année 2008 et le 4 février 2011 pour l'année 2009.
Le 9 août 2011 et les jours suivants, le Service cantonal des contributions du canton du Valais (ci-après : le Service cantonal), Inspectorat fiscal, a procédé à un contrôle des comptes de la société en nom collectif A.A._ et F._ pour les années fiscales 2005 à 2008. Les mêmes jours, le Service cantonal, Inspectorat fiscal, a procédé au contrôle des comptes du contribuable s'agissant des périodes fiscales 2005 à 2009. Dans son rapport du 15 septembre 2014, l'expert relevait notamment qu'il y avait lieu de reprendre, s'agissant de la promotion "J._" à D._, la provision non justifiée pour les commissions de vente de 348'000 fr. et de 150'000 fr. sur l'année 2007 au motif que celles-ci avaient été comptabilisées sans que la preuve de leur paiement n'ait été remise.
En ce qui concernait le chalet "L.1._", l'expert proposait la reprise de 24'000 fr. sur l'année 2009 au titre de loyer non déclaré, ayant constaté que seul un loyer de 24'000 fr. avait été déclaré alors que le compte bancaire du contribuable faisait état de l'encaissement de deux fois 24'000 fr. Il était en outre proposé de reprendre par estimation un montant de 24'000 fr. pour cette même année, puisque le contribuable n'avait pas donné suite aux demandes de renseignements du fisc relatives aux baux à loyer et aux liens avec la société N._ Ltd sise à Jersey. En outre, l'expert a considéré que le chalet "L.1._" appartenait de façon prépondérante à la fortune commerciale du contribuable, compte tenu de locations à des tiers et du fait que celui-ci n'avait pas pu démontrer qu'il utilisait ce bien comme domicile principal. Il a également souligné le caractère insolite de la constitution des sociétés en Suisse et offshore pour seulement, au dire du contribuable, quelques locations. Selon lui, les rendements relatifs à ce chalet devaient être considérés comme revenus de l'activité lucrative indépendante.
L'expert proposait ainsi, en sus de reprises désormais non litigieuse, les reprises suivantes sur les revenus indépendants : pour l'année 2006, 115'300 fr. de locations requalifiées, pour 2007, 498'000 fr. de frais non justifiés commercialement et pour 2009, 48'000 fr. de locations non déclarées et 24'000 fr. de locations requalifiées. Il proposait également comme "reprises sur les différentes rubriques des déclarations d'impôts", sous la rubrique "locations requalifiées" : -111'700 fr. pour 2006, 489 fr. pour 2007, 3'556 fr. pour 2008 et - 19'328 fr. pour 2009.
B.
Le 26 février 2015, le Service cantonal a procédé à la taxation définitive du contribuable pour les années fiscales 2006 à 2009, en se basant sur le rapport de l'inspectorat fiscal du 15 septembre 2014.
Le 10 juillet 2018, après divers échanges d'écriture avec le contribuable, notamment relatifs à la question de la prescription, le Service cantonal a admis partiellement la réclamation formée par celui-ci à l'encontre des décisions de taxation précitées du 26 février 2015. Il a toutefois confirmé la reprise de 498'000 fr. de frais non justifiés commercialement pour l'année 2007, ainsi que la qualification commerciale des revenus provenant de l'immeuble "L.1._".
Par arrêt du 13 juin 2019, la Commission de recours en matière fiscale du canton du Valais (ci-après: la Commission de recours) a partiellement admis le recours du contribuable, aussi bien pour ce qui concerne l'ICC que l'IFD, dans la mesure où il concluait à l'attribution du chalet "L.1._" à sa fortune privée et l'a rejeté pour le surplus. La Commission de recours a renvoyé l'affaire au Service cantonal pour nouvelles décisions dans le sens des considérants.
C.
A.A._ (ci-après: le recourant) et le Service cantonal ont tous deux formé recours en matière de droit public contre le jugement précité (causes 2C_960/2019 pour le premier et 2C_937/2019 pour le second).
Le recourant conclut, sous suite de frais et dépens, à l'annulation de l'arrêt précité de la Commission de recours, à la déduction de son revenu des montants de 348'000 fr. et de 150'000 fr., ainsi qu'au renvoi du dossier aux autorités de taxation pour qu'elles émettent de nouveaux bordereaux communaux, cantonaux et fédéraux dans le sens des considérants. Subsidiairement, il demande l'annulation de cet arrêt et le renvoi du dossier aux autorités de taxation pour instruction complémentaire et nouvelle décision.
Le Service cantonal demande au Tribunal fédéral, sous suite de frais, de confirmer la décision sur réclamation du 10 juillet 2018. Subsidiairement, il requiert le renvoi de la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants.
Chaque partie conclut au rejet du recours de l'autre partie, le recourant retenant une telle conclusion dans la mesure où le recours du Service cantonal est recevable. L'Administration fédérale des contributions conclut au rejet du recours interjeté par A.A._ et ne s'est pas déterminée sur le recours déposé par le Service cantonal. La Commission de recours ne s'est pas prononcée.

Considérant en droit :
I. Recevabilité
1.
Le Tribunal fédéral examine d'office sa compétence (<ref-law>) et contrôle librement la recevabilité des recours portés devant lui (<ref-ruling> consid. 2 p. 59).
1.1. Les deux recours déposés devant la Cour de céans sont dirigés contre le même arrêt cantonal. Ils concernent des faits de même nature et portent sur des questions juridiques connexes. Il se justifie par conséquent de joindre les causes et de les traiter en un seul arrêt (cf. <ref-law> et 24 PCF [RS 273]; cf. <ref-ruling> consid. 1.2 in fine p. 296).
1.2. La Commission de recours a rendu un seul arrêt valant tant pour l'ICC que pour l'IFD du recourant, ce qui est en principe admissible, dès lors qu'il ressort clairement dudit arrêt que le litige porte sur les deux catégories d'impôts. Dans ces circonstances, le dépôt d'un seul recours pour l'ICC et l'IFD est également admis (cf. <ref-ruling> consid. 1.3.1 p. 262 s.; arrêt 2C_576/2016 du 6 mars 2017 consid. 1.1, non publié in <ref-ruling>).
1.3. Les recours sont dirigés contre une décision rendue dans une cause de droit public (cf. <ref-law>), par une autorité judiciaire cantonale supérieure de dernière instance (cf. art. 86 al. 1 let. d et al. 2 LTF; art. 150 al. 2 et 219a de la loi fiscale valaisanne du 10 mars 1976 [LF; RS/VS 642.1]; cf. notamment arrêts 2C_285/2019 du 9 mars 2020 consid. 1.2) sans qu'aucune des exceptions prévues à l'<ref-law> ne soit réalisée. Même si elle admet partiellement le recours de l'intéressé et renvoie l'affaire au Service cantonal pour nouvelle décision, la décision attaquée doit être assimilée à une décision finale, puisqu'elle ne laisse aucune latitude à l'administration dans la décision qu'elle devra rendre (cf. <ref-ruling> consid. 1.2 p. 148; <ref-ruling> consid. 1.1 p. 143). Il en découle que la voie du recours en matière de droit public est en principe ouverte (cf. art. 146 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct [LIFD; RS 642.11] et 73 al. 1 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes [LHID; RS 642.14]; arrêt 2C_137/2019 du 23 janvier 2020 consid. 2).
1.4. Le recourant a participé à la procédure devant l'instance précédente, est particulièrement atteint par la décision entreprise en tant que contribuable et a un intérêt digne de protection à son annulation ou à sa modification. Il a ainsi qualité pour recourir (cf. <ref-law>). Son recours a en outre été déposé en temps utile (<ref-law>) et dans les formes requises (<ref-law>).
1.5. Le recours du Service cantonal a également été déposé en temps utile (<ref-law>) et dans les formes requises (<ref-law>), étant précisé que ladite autorité a qualité pour recourir en application du droit fédéral (cf. <ref-law>; <ref-law> et 89 al. 2 let. d LTF).
Dans son recours, le Service cantonal demande à titre principal la confirmation de sa décision sur réclamation sans s'en prendre à l'arrêt attaqué. Il découle toutefois de la motivation du recours, à la lumière de laquelle les conclusions doivent être interprétées (cf. <ref-ruling> consid. 1.3 p. 317; arrêt 2C_281/2019 du 26 septembre 2019 consid. 2.2), que le Service cantonal critique l'arrêt de l'autorité précédente et demande implicitement son annulation (partielle). Le recours est ainsi recevable.
II. Pouvoir d'examen du Tribunal fédéral
2.
2.1. Le Tribunal fédéral examine librement la violation du droit fédéral (<ref-law>) et applique le droit d'office (<ref-law>). Il vérifie librement la conformité du droit cantonal harmonisé et de son application par les instances cantonales aux dispositions de la LHID, à moins que les dispositions de cette loi ne laissent une certaine marge de manoeuvre aux cantons. Le Tribunal fédéral peut admettre le recours pour d'autres motifs que ceux invoqués par le recourant, comme il peut le rejeter en opérant une substitution de motifs (cf. <ref-ruling> consid. 3 p. 415; <ref-ruling> consid. 2.2 p. 540; arrêt 2C_1083/2017 du 4 juin 2019 consid. 2.1 non publié in <ref-ruling>).
2.2. Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits constatés par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law>. Selon l'<ref-law>, le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire - ou en violation du droit au sens de l'<ref-law> et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-ruling> consid. 6 p. 358; <ref-ruling> consid. 1.6 p. 377 s.). Conformément à l'<ref-law>, la partie recourante doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. A défaut, il n'est pas possible de tenir compte d'un état de fait qui diverge de celui qui est contenu dans l'acte attaqué (<ref-ruling> consid. 5.1 p. 356; <ref-ruling> consid. 6.2 p. 288).
III. Objet du litige
3.
Le litige porte sur les décisions de taxations des années 2006 à 2009, aussi bien en matière d'ICC que d'IFD. Il porte essentiellement sur la déduction des montants de 348'000 fr. et de 150'000 fr. à titre de frais ou de provisions justifiés par l'usage commercial, pour l'année fiscale 2007, ainsi que sur l'appartenance à la fortune commerciale ou à la fortune privée du chalet "L.1._".
IV. Prescription
4.
Avant de traiter les griefs soulevés par les parties à l'encontre de l'arrêt attaqué, il convient de vérifier la question de la prescription du droit de taxer, que le Tribunal fédéral examine d'office (<ref-ruling> consid. 3.2 p. 171).
4.1. Selon l'art. 120 al. 1 première phrase LIFD, le droit de procéder à la taxation se prescrit par cinq ans à compter de la fin de la période fiscale. La prescription ne court cependant pas ou est suspendue pendant les procédures de réclamation, de recours ou de révision (<ref-law>). Par ailleurs, un nouveau délai de prescription commence à courir lorsque l'autorité prend une mesure tendant à fixer ou faire valoir la créance d'impôt et en informe le contribuable ou une personne solidairement responsable avec lui du paiement de l'impôt (<ref-law>). Selon la jurisprudence du Tribunal fédéral, toutes les mesures des autorités tendant à la fixation de la prétention fiscale et portées à la connaissance du contribuable, de mêmes que de simples lettres ou injonctions, interrompent le délai de prescription (<ref-ruling> consid. 3.3 p. 68; <ref-ruling> consid. 3.4.3 p. 281; <ref-ruling> consid. 2c p. 3; arrêts 2C_810/2017 du 16 août 2018 consid. 4.1; 2C_1098/2014 du 1er décembre 2015 consid. 5.1). Le Tribunal fédéral a notamment mentionné comme acte interruptif de la prescription l'annonce ou l'accomplissement d'un contrôle des livres (ATF <ref-ruling> consid. 2c p. 3; arrêt 2C_810/2017 du 16 août 2018 consid. 4.1).
Enfin, la prescription du droit de procéder à la taxation est acquise dans tous les cas quinze ans après la fin de la période fiscale (<ref-law>).
4.2. En l'occurrence, il ressort de l'arrêt attaqué que le Service cantonal a pris des mesures tendant à fixer ou à faire valoir la créance d'impôt en procédant en août 2011 à des contrôles des comptes de la société en nom collectif et du recourant pour les périodes fiscales 2005 à 2008, respectivement 2005 à 2009. Les prescriptions ont ainsi été interrompues pour les années fiscales en cause à ce moment, voire au moment où ces contrôles ont été annoncés au contribuable. Indépendamment d'éventuels autres actes interruptifs, la prescription du droit de taxer aurait alors été acquise au plus tôt en août 2016. Les décisions de taxation ont été prononcées pour lesdites années le 26 février 2015 et les procédures de réclamations et de recours qui ont suivi ont suspendu le cours de la prescription (<ref-law>). La prescription relative du droit de taxer n'est ainsi pas acquise pour les années fiscales 2006 à 2009 et il en va de même de la prescription absolue de quinze ans. Les parties ne font d'ailleurs pas valoir que ce serait le cas.
Les considérations développées pour l'IFD sont transposables au domaine de l'ICC (cf. <ref-law> et 129 LF/VS; arrêt 2C_728/2015 du 1er avril 2016 consid. 10).
V. Impôt fédéral direct
5.
Dans un motif d'ordre formel, le recourant soulève le grief de violation de son droit d'être entendu, en reprochant à l'autorité précédente d'avoir refusé d'entendre les parties, ainsi que des témoins qui auraient été selon lui en mesure de prouver le caractère commercialement justifié des commissions en cause.
En l'occurrence, savoir si une offre de preuve ou un élément porté à la connaissance de l'autorité est pertinent, de sorte que l'autorité en n'y donnant pas suite, a violé le droit d'être entendu, se confond avec le grief d'arbitraire dans l'appréciation des preuves (cf. arrêt 8C_715/2018 du 11 juillet 2019 consid. 3.2.3), qui sera examiné ci-après (cf. infra consid. 7).
6.
Le litige porte tout d'abord sur le caractère commercialement justifié des montants de 348'000 fr. et de 150'000 fr. portés en déduction du revenu 2007 du recourant.
6.1. Selon l'art. 27 al. 1 et 2 let. a LIFD, les contribuables exerçant une activité lucrative indépendante peuvent déduire les frais qui sont justifiés par l'usage commercial ou professionnel, dont font notamment partie les amortissements et les provisions au sens des articles 28 et 29 LIFD. A l'instar du revenu imposable, qui se détermine d'après les revenus acquis durant la période de calcul (ancien <ref-law> [RO 1991 1184]), les déductions prévues par l'<ref-law> sont soumises au principe de périodicité et ne sont admises que lorsqu'elles trouvent leur cause dans des événements ayant lieu durant la période de calcul (arrêt 2C_627/2014 du 8 janvier 2015 consid. 6.1 et les références citées). Ces charges peuvent être comptabilisées, soit à la date de la facture, soit à celle du paiement, selon la méthode comptable choisie. Si la méthode de la facturation est appliquée, la dépense est déductible à la date de l'établissement de la facture par le cocontractant. Dans la méthode de l'encaissement, c'est le moment du règlement de celle-ci par l'indépendant qui est déterminant. Ces principes peuvent être atténués par le principe de la périodicité (YVES NOËL, in Commentaire romand, LIFD, 2017, n° 46 ad <ref-law>).
6.2. Selon la jurisprudence, sont justifiées par l'usage commercial les dépenses qui apparaissent comme acceptables du point de vue commercial. La justification commerciale d'une dépense dépend de son contexte. Sa nécessité effective pour l'entreprise n'est pas déterminante. Il suffit qu'il existe un rapport de causalité objectif entre la dépense et le but économique de l'entreprise. Le lien de causalité existe lorsque la dépense aurait été consentie par un gestionnaire ordinaire faisant preuve de la diligence objective requise par le droit commercial. Tel n'est pas le cas des dépenses qui ne servent qu'à l'entretien ou au propre plaisir de l'actionnaire ou de l'entrepreneur. Dans ce cas, la société ou l'entreprise grève indûment son compte de résultats en prenant à sa charge des dépenses privées sous couvert de frais commerciaux (cf. arrêt 2C_484/2019 du 6 novembre 2019 consid. 7.1 et les références citées).
7.
Le recourant se plaint de constatation et d'appréciation arbitraire des faits en lien avec la reprise des montants de 348'000 et 150'000 fr. Il reproche à l'autorité précédente d'avoir retenu que la preuve du caractère commercialement justifié des commissions liées à ces montants n'aurait pas été apportée et, comme susmentionné, d'avoir refusé ses offres de preuve sur ce point.
7.1. Procédant à une appréciation anticipée des preuves, la Commission de recours a relevé que les parties avaient déjà eu l'occasion d'exposer leur position par écrit et que le recourant avait déposé le 26 avril 2019 de nombreuses pièces qui avaient permis d'établir ses allégués. Relevant que tous les éléments nécessaires figuraient au dossier, elle a estimé que l'audition des parties et celle des nombreux témoins proposés par le recourant serait superflue et inutile pour l'instruction de la présente cause. Sur le fond, l'autorité précédente, examinant la question sous l'angle de l'<ref-law>, a retenu que les éléments de preuve apportés par le recourant ne suffisaient pas à démontrer le caractère commercialement justifié des frais en question.
7.2. En matière d'appréciation des preuves et d'établissement des faits, il n'y a arbitraire que lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (cf. <ref-ruling> consid. 6.3 p. 375; <ref-ruling> consid. 2.3 p. 266; <ref-ruling> consid. 2.1 p. 9).
7.3. En ce qui concerne le fardeau de la preuve et selon le principe général de l'<ref-law> (RS 210), il appartient à l'autorité fiscale d'établir les faits qui justifient l'assujettissement et qui augmentent la taxation, tandis que le contribuable doit prouver les faits qui diminuent la dette fiscale ou la suppriment (cf. <ref-ruling> consid. 3.5 p. 252; <ref-ruling> consid. 4c) aa) p. 266). C'est partant au contribuable qui fait valoir une dépense d'apporter la preuve de son existence, ainsi que de sa justification commerciale (cf. arrêts 2C_484/2019 du 6 novembre 2019 consid. 7.2 et les autres références; 2C_760/2017 du 15 juin 2018 consid. 7.1; 2C_132/2010 du 17 août 2010 consid. 3.5).
7.4. Il ressort des faits de l'arrêt attaqué que le recourant a justifié les commissions en cause en produisant deux factures, ainsi qu'un courrier de la société K._ daté du 9 avril 2019. Contrairement à ce que soutient le recourant, l'autorité précédente pouvait de façon soutenable considérer que la production de ces éléments ne suffisait pas à démontrer le caractère commercialement justifié des charges en cause.
Les deux factures précitées ont été établies par la société K._, les 5 janvier 2006 et 8 janvier 2007, pour des montants de respectivement 348'000 et 150'000 fr. Toutes deux ont été payées après plus de sept ans, en 2014. Ces factures sont liées à des ventes immobilières qui ont toutes été conclues en 2005 (cf. contrats de vente immobilière produits par le recourant devant l'instance précédente; <ref-law>). Il découle de ces éléments que quelle que soit la méthode de comptabilité choisie, les commissions facturées le 5 janvier 2006 et payée en 2014 ne pouvaient pas être portées en déduction du revenu 2007. Le principe de périodicité confirme ce qui précède, dans la mesure où il n'a pas été établi que les frais en cause avaient été engagés durant la période 2007. Le même constat s'imposerait si l'on devait traiter ces charges comme des provisions au sens de l'<ref-law> (cf. arrêts 2C_455/2017 du 17 septembre 2018 consid. 6.2; 2C_637/2012 du 4 août 2012 consid. 6.1). La Commission de recours a ainsi confirmé à juste titre, bien que pour d'autres motifs, que les commissions de 348'000 fr. ne pouvaient pas être portées en déduction du revenu 2007 du recourant. Par ailleurs, il ne ressort pas de l'arrêt attaqué et le recourant ne prétend pas que ce montant aurait été comptabilisé en 2006, année également litigieuse.
Les offres de preuve apportées par le contribuable n'étant pas de nature à influer sur le sort de la décision à rendre en ce qui concerne la déductibilité de ce montant, on ne peut pas reprocher à l'autorité précédente d'avoir arbitrairement apprécié, de façon anticipée, les preuves sur ce point.
7.5. En revanche, en application de la méthode de la facturation (visiblement prise en compte dans le présent cas), on ne peut pas exclure que les commissions comprises dans la seconde facture du 8 janvier 2007, portant sur un montant de 150'000 fr, soient déductibles du revenu 2007 de l'intéressé, à condition toutefois que celles-ci soient justifiés commercialement et qu'une facturation à cette date pour des ventes intervenues en 2005 puisse être légitimée sous l'angle du principe de la périodicité.
A cet égard, la Commission de recours a considéré que le recourant n'avait pas démontré le caractère commercialement justifié de ces charges, en lui reprochant en particulier de ne pas avoir produit, par exemple, des correspondances, des échanges de courriel ou des éléments permettant de prouver le travail effectué par la société. De façon contradictoire sur ce point, elle a refusé d'administrer les preuves requises par le recourant en relevant que celui-ci avait prouvé ses allégations (cf. supra consid. 7.1).
La Commission de recours pouvait certes sans arbitraire refuser d'entendre les parties: il n'existe pas de droit à être entendu oralement (<ref-ruling> consid. 5.3 p. 148; <ref-ruling> consid. 2.1 p. 428 s.) et celles-ci ont eu l'occasion de s'exprimer par écrit dans les procédures de réclamation et de recours. En outre, elle pouvait retenir de façon également soutenable que si le recourant avait établi que le chalet "L.1._" constituait son domicile principal, des mesures d'instruction supplémentaires seraient inutiles sur ce point. En revanche, elle ne pouvait pas écarter l'audition des témoins proposés par le recourant - sans fournir d'explication supplémentaire -, dans la mesure où, selon le recourant, ceux-ci, et en particulier, O._ auraient été en mesure d'établir la nécessité commerciale des commissions, la raison du retard dans leur paiement et l'existence d'un conflit entre le recourant et I._. L'audition des acheteurs concernés par les commissions d'un montant total de 150'000 fr. aurait également pu confirmer le rôle joué par I._ et sa société dans les transactions en cause.
Cela étant, il faut constater que le montant de 150'000 fr. comprenait également une commission pour une vente immobilière conclue entre I._ et le recourant. Or, on peut fortement douter que la commission versée à ce titre soit justifiée commercialement dans la mesure où I._ est le propriétaire de la société K._ et qu'il était partie prenante au projet immobilier en cause. On ne voit donc pas en quoi ladite société aurait été utile à la recherche de cet acheteur. Le recourant ne l'explique aucunement. Au vu de l'issue du litige, cette question peut toutefois être laissée ouverte.
Sur le vu de ce qui précède, l'autorité précédente, dans son appréciation anticipée des preuves, a arbitrairement retenu que les éléments au dossier étaient suffisants pour trancher la question du caractère justifié de la commission de 150'000 fr. Le droit d'être entendu du recourant a ainsi été violé. Au demeurant, et bien que celui-ci ne l'invoque pas expressément, on peut également relever un manque de motivation de l'arrêt attaqué sur ce point.
Il convient donc de renvoyer la cause à l'autorité précédente, afin soit qu'elle donne suite aux offres de preuve du recourant, soit, en cas de refus, qu'elle explique de façon précise pour quelle raison elle y renonce. Sur ce point, concernant la justification commerciale d'une déduction, il faut rappeler qu'il n'appartient pas au recourant de démontrer que lesdites commissions étaient indispensables à son entreprise, mais uniquement qu'il existe un rapport de causalité objectif entre celles-ci et les ventes effectuées (cf. supra consid. 6.2). Il faut également relever que le salaire du courtier immobilier rémunère son succès, à savoir la conclusion d'une vente, et non l'étendue de l'activité déployée par celui-ci et que la commission correspond en règle générale à un pourcentage du prix de vente obtenu (cf. arrêt 4A_334/2018 du 20 mars 2019 consid. 5.1 et les références citées).
8.
L'objet du litige porte également sur l'attribution à la fortune privée ou commerciale du chalet "L.1._".
8.1. La fortune commerciale comprend, aux termes de l'<ref-law>, tous les éléments de fortune qui servent, entièrement ou de manière prépondérante, à l'exercice de l'activité lucrative indépendante. Pour déterminer s'il y a lieu d'attribuer un bien à la fortune privée ou commerciale, il convient d'apprécier dans chaque cas l'ensemble des circonstances. Ainsi que cela ressort de la définition légale de cette notion, c'est la fonction technique et économique de cet élément qui constitue le critère d'attribution déterminant; c'est par conséquent en première ligne la fonction effective et actuelle des biens en cause dans l'entreprise qui est déterminante. L'attribution d'immeubles (ou d'une partie de ceux-ci) à la fortune commerciale ou à la fortune privée du contribuable doit également se faire sur la base de leur fonction technique et économique globale. Les propriétés extérieures de l'immeuble, l'origine des fonds qui ont contribué à son financement, le motif d'acquisition ou de revente, les relations civiles de propriété et le traitement comptable sont d'autres critères d'attribution. Les simples projets et intentions qui existaient au moment de l'acquisition du bien en cause ne sont, en revanche, pas à prendre en considération (cf. <ref-ruling> consid. 3.2 s. p. 422 s.; arrêt 2C_1083/2018 du 24 avril 2019 consid. 4.1 et les autres références citées).
Il est en règle générale admis que les immeubles acquis par les commerçants professionnels d'immeubles font partie de leur fortune commerciale. Il se peut toutefois également qu'un commerçant d'immeubles achète occasionnellement un immeuble avec l'intention de l'occuper lui-même ou dans un but privé, puis réalise un gain lors de son aliénation. Dans de telles circonstances, exceptionnelles, il se justifie de considérer la vente comme un acte d'administration de la fortune privée et de ne pas soumettre le gain réalisé à l'impôt fédéral direct (cf. arrêts 2C_996/2012 du 19 avril 2013 consid. 5.1; 2A.677/2004 du 3 novembre 2005 consid. 3.2).
Selon la jurisprudence, les actifs de la fortune commerciale du commerçant d'immeubles ou de titres demeurent commerciaux malgré l'écoulement du temps. Dans le même ordre d'idées, il a aussi été jugé que l'appartenance d'un bien à la fortune commerciale ou privée n'est pas modifiée par une dévolution successorale. Les actifs de la fortune commerciale du de cujus demeurent commerciaux auprès de ses héritiers. Ces derniers peuvent décider de les affecter à la fortune commerciale de leur propre activité indépendante ou de les conserver en leur qualité de biens commerciaux même s'ils n'exercent pas eux-mêmes une activité indépendante; ils peuvent également choisir de les transférer dans leur fortune privée par une déclaration expresse de volonté à l'adresse du fisc ou encore les aliéner (cf. arrêt 2C_1081/2013 du 2 juin 2014 consid. 5.4 et les références citées).
8.2. En l'occurrence, il n'est plus contesté que le chalet "L.1._" constituait le domicile principal du recourant durant les années en cause. En revanche, est litigieuse la question de savoir si l'immeuble sur lequel ce chalet a été construit appartenait à la fortune commerciale ou privée du père du recourant lorsque celui-ci l'a remis à son fils dans le cadre d'un avancement d'hoirie, étant entendu que le recourant ne prétend pas avoir annoncé un transfert dans sa fortune privée au fisc.
8.3. Le Service cantonal s'en prend à la constatation et à l'appréciation des faits opérées par la Commission de recours. Il estime que celle-ci a versé dans l'arbitraire en considérant que la parcelle n° ***1 serait passée par voie d'héritage de C.A._ à B.A._, puis à A.A._, sans jamais quitter la fortune privée de l'un ou l'autre.
8.4. Dans l'arrêt attaqué, la Commission de recours indique que ladite parcelle, sur lequel le chalet "L.1._" a été construit, a été cédée au recourant par son père, B.A._, le 19 avril 2007 par avancement d'hoirie et relève que ce bien avait été reçu en héritage par ce dernier de son propre père, C.A._, lequel n'était pas un professionnel de l'immobilier. Elle relève également que si B.A._ avait requis un permis de construire pour ce terrain, il n'y avait réalisé aucune construction. L'autorité précédente en déduit que ce bien appartenait à la fortune privée de B.A._, qu'il a été transmis en tant que tel au recourant et relève que son appartenance à la fortune privée n'a pas été modifiée par la suite.
8.5. Dans sa prise de position, le recourant fait tout d'abord valoir que le grief de constatation arbitraire des faits par le Service cantonal n'est pas suffisamment motivé. En outre, il estime que la qualité de professionnel de l'immobilier de son père n'a pas été établie et souligne que, quoiqu'il en soit, la parcelle n° ***1 n'est jamais entrée dans la fortune commerciale de celui-ci.
8.6. En l'espèce, il ressort des faits de l'arrêt entrepris, que B.A._, le père du recourant, était un professionnel de l'immobilier et que la parcelle n° ***1 était née d'une modification des limites des parcelles n° ***2, que les enfants de B.A._ détenaient en copropriété, et n° ***3 (appartenant à un tiers; <ref-law>), intervenue le 22 septembre 2004. Toujours selon les faits retenus dans l'arrêt attaqué, la parcelle n° ***1 a été vendue à cette même date à B.A._ par les propriétaires des parcelles précitées. Ces faits, qui ne sont par ailleurs pas remis en question par le recourant sous l'angle de l'arbitraire, lient le Tribunal fédéral. Sur le vu de ces éléments, rappelant que le bien immobilier en cause est le chalet "L.1._" sis sur la parcelle n° ***1 du ban de D._, l'autorité précédente ne pouvait pas retenir, sans verser dans l'arbitraire, que "B.A._ avait lui-même reçu en héritage ce bien de son père, C.A._". La transmission de la parcelle n° ***2 entre les membres de la famille A._ est à distinguer de celle de la parcelle n° ***1. Le fait que B.A._ n'ait pas lui-même fait construire le chalet en cause ne change rien à ce qui précède. La motivation du recours du Service cantonal, qui invoque l'arbitraire et relève ce qui précède, est sur ce point suffisante.
Cela étant, ce constat ne permet pas d'affirmer que la parcelle n° ***1 appartenait à la fortune commerciale du père du recourant, comme le retient le Service cantonal. Certes, l'achat de ce bien par B.A._, en qualité de professionnel de l'immobilier, laisse présumer une telle appartenance. Toutefois, de telles circonstances n'empêchent pas que le professionnel en question ait acheté ce bien dans un but privé (cf. supra consid. 8.1). La Commission de recours ne s'est pas prononcée sur ce point ni n'a retenu d'éléments de fait permettant de trancher cette question. Conformément à l'<ref-law>, il n'appartient pas au Tribunal fédéral de statuer en première instance sur la base d'éléments nouveaux. Le recours du Service cantonal doit ainsi être admis, l'arrêt attaqué annulé dans la mesure où il conclut que le chalet "L.1._" appartient à la fortune privée du recourant et la cause renvoyée à l'autorité précédente pour qu'elle instruise la question de savoir si le père du recourant a acquis la parcelle n° ***1 en septembre 2004 dans un but privé.
9.
Sur le vu de l'ensemble de ce qui précède, le recours du recourant est partiellement admis. L'arrêt attaqué est annulé dans la mesure où il confirme la reprise de 150'000 fr. pour l'année fiscale 2007. Le recours est rejeté pour le surplus. La cause est renvoyée à l'autorité précédente pour éventuelle instruction complémentaire sur ce point et nouvelle décision dans le sens des considérants.
Le recours du Service cantonal est admis. L'arrêt querellé est annulé dans la mesure où il retient que le chalet "L.1._" appartient à la fortune privée du recourant. La cause est renvoyée à l'autorité précédente pour instruction complémentaire dans le sens des considérants et nouvelle décision.
VI. Droit cantonal et communal
10.
Les art. 8 al. 1 et 2 et <ref-law>, art. 14 al. 2 et 23 al. 1 LI/VS ont la même teneur que les art. 18 al. 2 et 27 LIFD. Il peut donc être renvoyé aux considérants relatifs à l'IFD, en ce qui concerne le caractère commercialement justifié des charges en question et la qualification de l'immeuble en cause. Le recours du recourant est ainsi admis partiellement et celui du Service cantonal admis en ce qui concerne l'ICC 2006 à 2009.
VII. Frais et dépens
11.
Les frais de la présente procédure seront fixés de manière globale pour les deux causes. Le recourant succombe dans la première cause (2C_937/2019) et obtient partiellement gain de cause dans la seconde (2C_960/2019). Il s'ensuit que le canton du Valais, qui agit dans l'exercice de ses attributions officielles et dont l'intérêt patrimonial est en jeu, supportera une part limitée des frais de la procédure fédérale (art. 66 al. 1 et 4 LTF; cf. arrêt 2C_12/2017 du 23 mars 2018 consid. 11 non publié aux <ref-ruling>), le solde étant à la charge du recourant (<ref-law>). Celui-ci, qui obtient partiellement gain de cause, a droit à des dépens réduits qui seront supportés par le canton du Valais dans la même mesure (art. 68 al. 1 et 2 LTF). Aucun dépens ne sera alloué au Service cantonal (<ref-law>).
La cause est également renvoyée à l'autorité précédente pour nouvelle décision sur les frais et dépens des procédures cantonales.

Par ces motifs, le Tribunal fédéral prononce :
1.
Les causes 2C_937/2019 et 2C_960/2019 sont jointes.
2.
Le recours de A.A._ (cause 2C_960/2019) est admis partiellement et l'arrêt attaqué annulé dans la mesure où il porte sur la reprise de 150'000 fr. pour l'année fiscale 2007, aussi bien pour ce qui concerne l'IFD que l'ICC. Il est rejeté pour le surplus.
3.
Le recours du Service cantonal des contributions du Canton du Valais (cause 2C_937/2019) est admis, aussi bien pour ce qui concerne l'IFD que l'ICC des années fiscales 2006 à 2009. L'arrêt querellé est annulé dans la mesure où il porte sur l'appartenance à la fortune privée de l'immeuble "L.1._".
4.
Les causes sont renvoyées à l'autorité précédente pour qu'elle procède au sens des considérants et rende une nouvelle décision.
5.
Les frais judiciaires, arrêtés à 4'000 fr., sont mis à raison de 2'700 fr. à la charge du recourant et de 1'300 fr. à la charge du canton du Valais.
6.
Le canton du Valais versera au recourant une indemnité de 1'800 fr. à titre de dépens.
7.
Le présent arrêt est communiqué au mandataire du recourant, au Service cantonal des contributions et à la Commission cantonale de recours en matière fiscale du canton du Valais, ainsi qu'à l'Administration fédérale des contributions.
Lausanne, le 8 juin 2020
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : de Chambrier