Faits :
A.
A._, précédemment domicilié à B._ et actuellement à C._, exerce l'activité d'agent général d'assurances. Dès 2011, il s'est associé avec D._ et E._ en vue de la réalisation de la promotion immobilière "Résidence des Alpes" (ci-après: la promotion immobilière), sur la parcelle n o 295 à Monthey.
Le 15 novembre 2016, le Service cantonal des contributions du canton du Valais (ci-après: le Service cantonal) a procédé à l'expertise de la promotion immobilière pour les années 2011 à 2014. Dans son rapport daté du 15 mai 2017, l'expert fiscal proposait de fixer la part de A._ au résultat de la promotion immobilière à 1'776'020 fr. et prévoyait l'imposition de ce bénéfice en 2013. Le rapport fixait également des bénéfices supplémentaires de 155'000 fr. pour 2013 et de 131'000 fr. pour 2014, à la suite de la revente à des tiers de propriétés par étage (PPE), que le contribuable s'était vu attribuer en pleine propriété à l'issue de la promotion immobilière.
B.
B.a. Le 29 mai 2017, le Service cantonal a procédé à la taxation définitive de A._ en matière d'impôt fédéral direct (ci-après: IFD) et d'impôts cantonal et communal (ci-après: ICC) pour les périodes fiscales 2011 à 2014 (taxation d'office pour 2014).
Le 28 juin 2017, le contribuable a élevé réclamation contre ces décisions. Il a contesté l'imposition de l'intégralité du résultat de la promotion immobilière sur l'année 2013, en faisant valoir que le bénéfice relatif à la vente d'une PPE (n o *****) opérée en 2014 devait être imposé cette même année. Le contribuable a par ailleurs allégué qu'il avait déployé une activité accessoire de commerçant de titres dès 2012. Selon des documents émanant de la Banque cantonale du Valais, ces opérations avaient généré des pertes à hauteur de 27'378 fr. en 2012, de 437'504 fr. en 2013 et de 500'711 fr. en 2014, qui auraient dû être déduites de son revenu imposable. Il a en outre déposé sa déclaration fiscale pour l'année 2014.
S'ensuivirent un échange de correspondances, une entrevue le 18 août 2017 et un entretien téléphonique le 10 juillet 2018 entre le contribuable et l'autorité fiscale. La Commission d'impôt des personnes physiques du Service cantonal (ci-après: la Commission d'impôt) s'est réunie en séance le 25 juillet 2018 et a rendu sa décision sur réclamation le 17 septembre 2018. Elle a admis partiellement la réclamation du contribuable. Elle a procédé à une répartition des bénéfices de la promotion immobilière sur les périodes fiscales 2011 à 2014, en tenant compte des dates d'inscription du transfert de propriété au registre foncier et a refusé la déduction des pertes sur le commerce de titres. Elle a fixé le revenu net de l'activité lucrative indépendante à 974'382 fr. pour 2011, 461'332 fr. pour 2012, 252'308 fr. pour 2013 et 166'998 fr. pour 2014.
B.b. Contre ce prononcé, le contribuable a formé un recours auprès de la Commission cantonale de recours en matière fiscale du canton du Valais (ci-après: la Commission cantonale de recours), en concluant à la déduction des pertes réalisées sur l'activité de commerce de titres et à l'imposition des bénéfices de la promotion immobilière en 2013, sous déduction des provisions AVS correspondantes.
Par décision du 12 décembre 2019, la Commission cantonale de recours a partiellement admis le recours, tant en matière d'IFD que d'ICC. Elle a confirmé le refus de déduction des pertes sur le commerce de titres. S'agissant de l'imposition des bénéfices de la promotion immobilière, elle a par contre renvoyé la cause au Service cantonal pour qu'il les répartisse en fonction de la date de l'acte authentique de chacune des ventes réalisées et en tenant compte d'une provision pour cotisations correspondante.
C.
Contre la décision de la Commission cantonale de recours du 12 décembre 2019, A._ forme un recours en matière de droit public auprès du Tribunal fédéral. Il conclut, sous suite de frais et dépens, principalement à la réforme de la décision entreprise, tant en matière d'IFD que d'ICC, en ce sens que les pertes subies sur le commerce de titres soient déduites de son revenu imposable et que le bénéfice de la promotion immobilière soit taxé de manière conforme à l'imposition de ses partenaires. Subsidiairement, il demande l'annulation de la décision querellée et le renvoi de la cause à la Commission cantonale de recours ou au Service cantonal pour nouvelle décision.
La Commission cantonale de recours renonce à déposer des observations détaillées et conclut au rejet du recours. Le Service cantonal ne s'est pas déterminé dans le délai imparti. L'Administration fédérale des contributions se rallie au dispositif et aux considérants de la décision attaquée. Le contribuable a déposé des observations, tout en maintenant ses conclusions.
Considérant en droit :
I. Recevabilité et cognition
1.
1.1. La décision attaquée concerne l'IFD et les ICC des périodes fiscales 2011 à 2014. Comme ces domaines relèvent du droit public et qu'aucune des exceptions prévues à l'art. 83 LTF n'est réalisée, la voie du recours en matière droit public est ouverte sur la base de l'art. 82 let. a LTF (cf. aussi art. 146 LIFD [RS 642.11] pour l'IFD et 73 al. 1 LHID [RS 642.14] pour les ICC).
1.2. La Commission cantonale de recours a rendu un seul arrêt valant tant pour l'IFD que pour les ICC, ce qui est en principe admissible (ATF 135 II 260 consid. 1.3.1 p. 262 ss), dès lors qu'il ressort clairement dudit arrêt que le litige porte sur les deux catégories d'impôts (cf. ATF 135 II 260 consid. 1.3.1 p. 262). Dans ces circonstances, on ne peut pas reprocher au recourant d'avoir formé les mêmes griefs et pris des conclusions valant pour les deux catégories d'impôts dans son recours devant le Tribunal fédéral (cf. ATF 135 II 260 consid. 1.3.3 p. 264).
1.3. Dans son dispositif, l'instance précédente renvoie la cause au Service cantonal pour nouvelle décision au sens des considérants. Il s'agit donc d'un arrêt de renvoi, qui constitue en principe une décision incidente (ATF 138 I 143 consid. 1.2 p. 148), contre laquelle le recours au Tribunal fédéral n'est ouvert qu'aux conditions des art. 92 et 93 LTF, à moins que l'autorité à laquelle l'affaire est renvoyée n'ait aucune marge de manoeuvre (cf. ATF 138 I 143 consid. 1.2 p. 148; 135 V 141 consid. 1.1 p. 143). En l'espèce, la Commission cantonale de recours a ordonné au Service cantonal de répartir les bénéfices découlant de la promotion immobilière sur les périodes fiscales 2011 à 2014 en fonction de la date de chacune des ventes. Une fois les bénéfices répartis conformément à la décision de la Commission cantonale de recours, le Service cantonal devra uniquement recalculer l'impôt. Il n'a partant aucune marge de manoeuvre. Il s'ensuit que la décision attaquée doit être qualifiée de décision finale au sens de l'art. 90 LTF, qui peut faire directement l'objet d'un recours en matière de droit public.
1.4. Le recourant conclut, s'agissant de la promotion immobilière, à ce que le bénéfice soit "imposé de manière conforme aux autres partenaires". Des conclusions claires et précises sont un élément essentiel dans une procédure judiciaire (arrêts 4A_482/2017 du 17 juillet 2018 consid. 1.3; 4A_402/2011 du 19 décembre 2011 consid. 1.2). Les conclusions prises devant le Tribunal fédéral, si elles ne doivent pas forcément être chiffrées en matière d'imposition, doivent être suffisamment précises pour permettre de déterminer ce que conteste le contribuable et surtout de quelle façon il demande à être imposé (cf. art. 42 al. 2 LTF). La conclusion concernant la promotion immobilière ne remplit pas ces exigences. Les conclusions peuvent toutefois s'interpréter selon le principe de la confiance, à la lumière de la motivation du recours (ATF 137 II 313 consid. 1.3 p. 317; 136 V 131 consid. 1.2 p. 136). Comme l'on peut comprendre de la motivation que le recourant souhaite être imposé comme l'avait proposé initialement l'expert en 2013, il convient d'admettre à titre exceptionnel cette conclusion.
1.5. Sous réserve de ce qui précède, le recours a été déposé dans les formes prescrites (art. 42 LTF), par le destinataire de l'arrêt attaqué, qui a un intérêt digne de protection à son annulation ou à sa modification (art. 89 al. 1 LTF). Il a par ailleurs été formé en temps utile (art. 100 al. 1 LTF et art. 1 al. 1 de l'ordonnance du Conseil fédéral du 20 mars 2020 sur la suspension des délais dans les procédures civiles et administratives pour assurer le maintien de la justice en lien avec le coronavirus [COVID-19], en vigueur jusqu'au 19 avril 2020 [R0 2020 849]). Il convient donc d'entrer en matière.
2.
2.1. Saisi d'un recours en matière de droit public, le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Conformément à l'art. 106 al. 2 LTF, le Tribunal fédéral ne connaît toutefois de la violation des droits fondamentaux ainsi que de celle de dispositions de droit cantonal que si le grief a été invoqué et motivé par le recourant, à savoir exposé de manière claire et détaillée (ATF 144 II 313 consid. 5.1 p. 319; 142 I 99 consid. 1.7.2 p. 106). S'agissant du droit cantonal harmonisé, le Tribunal fédéral en vérifie librement la conformité aux dispositions de la LHID et son application par les instances cantonales, sauf si cette loi laisse une certaine marge de manoeuvre aux cantons, auquel cas l'examen du Tribunal fédéral est limité à celui de la violation de droits constitutionnels dûment invoqués, en particulier l'arbitraire (ATF 144 II 313 consid. 5.3 p. 319; 134 II 207 consid. 2 p. 209 s.).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (cf. art. 105 al. 1 LTF; ATF 142 I 155 consid. 4.4.3 p. 156), hormis dans les cas visés à l'art. 105 al. 2 LTF.
II. Objet du litige
3.
Le litige porte, d'une part, sur la déduction du revenu imposable des pertes subies par le recourant dans le cadre de son activité de commerce de titres et, d'autre part, sur le moment d'imposition des bénéfices issus de la promotion immobilière auquel le recourant a participé avec deux partenaires, ainsi que des ventes subséquentes.
III. Griefs formels
4.
Invoquant l'art. 29 al. 2 Cst., le recourant dénonce plusieurs violations de son droit d'être entendu sous l'angle du droit à l'administration des preuves et du droit à une décision motivée, certaines commises par l'autorité de première instance, ce que l'autorité de recours aurait à tort nié, et d'autres par l'autorité de recours elle-même.
4.1. Le droit d'être entendu garanti par l'art. 29 al. 2 Cst. comprend notamment le droit pour l'intéressé de s'exprimer sur les éléments pertinents avant qu'une décision ne soit prise touchant sa situation juridique, d'avoir accès au dossier, de produire des preuves pertinentes, d'obtenir qu'il soit donné suite à ses offres de preuves pertinentes, de participer à l'administration des preuves essentielles ou à tout le moins de s'exprimer sur son résultat, lorsque cela est de nature à influer sur la décision à rendre (ATF 145 I 167 consid. 4.1 p. 170 s.; 142 III 48 consid. 4.1.1 p. 52 ss; 140 I 285 consid. 6.3.1 p. 298 s. et les arrêts cités).
Le droit d'être entendu garanti à l'art. 29 al. 2 Cst. comprend aussi l'obligation pour l'autorité de motiver ses décisions, afin que le justiciable puisse les comprendre et exercer ses droits de recours à bon escient. Pour satisfaire à cette exigence, il suffit que l'autorité mentionne au moins brièvement les motifs qui l'ont guidée et sur lesquels elle a fondé sa décision. Elle n'a pas l'obligation d'exposer et de discuter tous les faits, moyens de preuve et griefs invoqués par les parties, mais peut au contraire se limiter à ceux qui, sans arbitraire, peuvent être tenus pour pertinents (ATF 142 II 154 consid. 4.2 p. 157).
Le droit d'être entendu est une garantie de nature formelle, dont la violation entraîne en principe l'annulation de la décision attaquée, indépendamment des chances de succès du recours sur le fond (ATF 144 I 11 consid. 5.3 p. 17; 137 I 195 consid. 2.2 p. 197). Selon la jurisprudence, sa violation peut cependant être réparée lorsque la partie lésée a la possibilité de s'exprimer devant une autorité de recours jouissant d'un plein pouvoir d'examen (ATF 145 I 167 consid. 4.4 p. 174; 142 II 218 consid. 2.8.1 p. 226 et les arrêts cités). Toutefois, une telle réparation doit rester l'exception (ATF 142 II 218 consid. 2.8.1 p. 226).
4.2. Le recourant se plaint tout d'abord de ce que l'autorité de première instance a refusé son audition et n'a pas motivé ce refus. Cette (double) violation du droit d'être entendu n'aurait à tort pas été reconnue par la Commission cantonale de recours, qui n'aurait, en outre, pas pu la réparer.
4.2.1. La Commission cantonale de recours a admis que la Commission d'impôt n'avait pas entendu le recourant sans motiver son refus. Elle a toutefois considéré que le droit d'être entendu du recourant n'avait pas été méconnu en ce qui concerne le refus d'audition et que la violation du devoir de motivation avait été réparée devant elle, car elle-même avait expliqué que le recourant ne disposait pas d'un droit à être entendu oralement et avait par ailleurs pu exprimer de manière détaillée son point de vue au cours de la procédure.
4.2.2. Le recourant n'expose pas en quoi la Commission cantonale de recours aurait violé l'art. 29 al. 2 Cst. en retenant ce qui précède, de sorte que sa critique ne répond pas aux exigences de l'art. 106 al. 2 LTF (cf. infra supra 2.1). Au demeurant, la position de la Commission cantonale de recours est conforme à l'art. 29 al. 2 Cst., qui ne garantit pas un droit à être entendu oralement (ATF 140 I 68 consid. 9.6.1 p. 76; 134 I 140 consid. 5.3 p. 148; 130 II 425 consid. 2.1 p. 428), ainsi qu'à la loi sur l'impôt fédéral direct (cf. art. 115 LIFD) et à la loi fiscale valaisanne du 10 mars 1976 (LF/VS; RS/VS 642.1; art. 124 LF VS), qui ne vont pas plus loin sur ce point (cf. arrêt 2C_124/2016 du 31 janvier 2017 consid. 4.1). Ayant motivé le refus d'audition, la Commission cantonale de recours a en outre valablement réparé la violation du devoir de motivation par l'autorité de première instance.
4.3. Le recourant reproche à la Commission cantonale de recours d'avoir refusé de donner suite à ses offres de preuve, à savoir, d'une part, l'audition de F._, fiduciaire qui l'avait représenté lors du contrôle fiscal de la promotion immobilière, et, d'autre part, la production par le Service cantonal d'informations relatives à l'imposition des bénéfices de la promotion immobilière auprès des deux autres promoteurs.
4.3.1. L'autorité peut renoncer à procéder à des mesures d'instruction lorsque les preuves administrées lui ont permis de former sa conviction et que, procédant d'une manière non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, elle a la certitude que ces dernières ne pourraient l'amener à modifier son opinion (ATF 145 I 167 consid. 4.1 p. 170 s.; 140 I 285 consid. 6.3.1 p. 299 et les arrêts cités). Le refus d'une mesure probatoire par appréciation anticipée des preuves ne peut être remis en cause devant le Tribunal fédéral qu'en invoquant l'arbitraire (art. 9 Cst.) de manière claire et détaillée (art. 106 al. 2 LTF; cf. arrêt 2C_201/2019 du 16 avril 2019 consid. 3.1). Il n'y a arbitraire (art. 9 Cst.) dans l'appréciation des preuves que si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a fait des déductions insoutenables (cf. ATF 142 II 355 consid. 6 p. 358; 140 III 264 consid. 2.3 p. 266).
4.3.2. En l'occurrence, la Commission cantonale de recours a refusé l'audition de F._ en relevant qu'elle ne voyait pas quel élément supplémentaire pourrait amener cette audition.
Le recourant avait sollicité l'audition de F._, afin que celui-ci confirme qu'il avait annoncé à l'expert fiscal par oral les pertes liées au commerce de titres lors du contrôle de la promotion immobilière.
Dans l'examen au fond, la Commission cantonale de recours a fortement douté de l'existence de cet échange oral (décision entreprise, p. 10 consid. 4e1). Pour autant, son refus de procéder à l'audition de F._ n'apparaît pas arbitraire. En effet, le point de savoir si l'échange oral entre la fiduciaire et l'expert a eu lieu n'est pas pertinent, car le refus de la déduction des pertes subies sur le commerce de titres ne repose pas sur l'absence de discussion entre l'expert et la fiduciaire à ce sujet (cf. infra consid. 7). Partant, la Commission cantonale de recours pouvait renoncer à l'audition requise sans violer l'art. 29 al. 2 Cst.
Pour le surplus, en tant le recourant évoque le fait que la Commission cantonale de recours se serait fondée dans son raisonnement sur un document qui ne lui aurait pas été soumis pour retenir que l'échange en cause n'avait pas eu lieu, il est relevé qu'il ne développe pas de grief sur ce point qui répondrait aux exigences de l'art. 106 al. 2 LTF. La Cour de céans constate en outre que le document relatif à la séance du 25 juillet 2018, auquel se réfère la Commission cantonale de recours dans son jugement (p. 10 consid. 4e1), figure au dossier (cf. art. 105 al. 2 LTF) et qu'on ne voit pas ce qui empêchait le recourant de le consulter et la Commission cantonale de recours de s'en servir.
4.3.3. S'agissant de la production par le Service cantonal des informations au sujet de l'imposition de la promotion immobilière auprès des deux partenaires du recourant, la Commission cantonale de recours a relevé, pour refuser cette demande, que la manière dont ces deux personnes avaient été imposées n'importait pas pour la résolution du litige. Le recourant prétend au contraire qu'il serait déterminant de connaître l'imposition de ses partenaires, afin de démontrer la différence de traitement qu'il aurait subie.
Ainsi qu'il sera vu ci-après, le recourant entend faire valoir l'égalité de traitement dans l'illégalité (cf. infra consid. 8). Pour être exigée, l'égalité de traitement dans l'illégalité suppose, notamment, que l'autorité fiscale ait une pratique illégale constante (ATF 139 II 49 consid. 7.1 p. 61). Or, le recourant ne démontre pas que la preuve d'une imposition différenciée et illégale de ses deux partenaires permettrait d'établir une pratique constante de l'autorité fiscale et on ne voit pas que tel puisse être le cas (cf. infra consid. 8.5). Partant, c'est sans arbitraire que la Commission cantonale de recours a renoncé à demander au Service cantonal plus d'informations au sujet de cette imposition. Elle n'a donc pas violé le droit d'être entendu du recourant.
4.4. Le recourant relève enfin que la Commission cantonale de recours aurait violé son droit d'être entendu en ne répondant pas à son argument selon lequel il fallait, pour qualifier l'activité de commerce de titres, considérer de manière consolidée cette activité et celle relative au commerce d'immeubles, admise en tant qu'activité lucrative indépendante.
En l'espèce, la Commission cantonale de recours a exposé en détail pour quels motifs elle considérait que l'activité du recourant relative au commerce de titres ne pouvait pas être qualifiée d'activité lucrative indépendante, contrairement à celle relative au commerce d'immeubles. De manière implicite, mais claire, elle a ainsi rejeté l'argument du recourant selon lequel les deux activités devaient être considérées comme un tout. Sa motivation satisfait aux exigences de l'art. 29 al. 2 Cst. Savoir si ce raisonnement est correct relève du fond et sera examiné ci-après.
4.5. Sur le vu de ce qui précède, le grief tiré de la violation de l'art. 29 al. 2 Cst. est rejeté.
5.
Se prévalant de l'art. 143 al. 1 LIFD, le recourant fait valoir, s'agissant de l'imposition des bénéfices de la promotion immobilière, que la Commission cantonale de recours a procédé à une reformatio in peius sans l'en informer au préalable, en violation de cette disposition. Il relève que l'imposition au moment de la signature de l'acte authentique de vente peut avoir des incidences fiscales négatives par rapport à l'imposition au moment de l'inscription au registre foncier telle que l'avait fixée la Commission d'impôt, car cela anticiperait certaines ventes et créerait des intérêts de retard plus élevés.
5.1. Conformément à l'art. 143 al. 1 LIFD, la commission cantonale de recours prend sa décision après instruction du recours. Après avoir entendu le contribuable, elle peut également modifier la taxation au désavantage de ce dernier. L'obligation, pour l'autorité de recours qui envisage de procéder à une reformatio in peius de la décision attaquée, d'avertir le recourant de son intention et de lui donner l'occasion de s'exprimer résulte directement de la garantie constitutionnelle du droit d'être entendu (ATF 122 V 166 consid. 2a p. 167; cf. arrêt 2C_484/2019 du 6 novembre 2019 consid. 5.1).
5.2. En l'occurrence, dans sa décision du 17 septembre 2018, la Commission d'impôt a retenu que les bénéfices de la promotion immobilière et des ventes ultérieures d'immeubles (2013 et 2014) étaient imposables l'année fiscale des dates d'inscription des transferts de propriété au registre foncier. Elle a noté (art. 105 al. 2 LTF) que les ventes totalisaient ainsi 608.88 millièmes en 2011 (part de bénéfice de 1'081'381 fr.), 287.91 millièmes en 2012 (part de bénéfice de 511'332 fr.), 71.68 millièmes en 2013 (part de bénéfice de 127'308 fr.) et 31.53 millièmes en 2014 (part de bénéfice de 55'998 fr.) et recalculé l'impôt sur cette base.
Il ne résulte pas de la décision entreprise et il n'est pas allégué que la Commission cantonale de recours aurait informé le recourant de son intention de se distancier de cette position et de retenir la date de conclusion des contrats de vente. Comme le relève le recourant, il est vrai que, dans la mesure où les contrats de vente auraient été conclus à des périodes fiscales antérieures aux inscriptions au registre foncier, le jugement de la Commission cantonale de recours serait susceptible d'aboutir à une reformatio in peius (cf. arrêt 2C_1009/2017 du 28 septembre 2018 consid. 8.2 sur la même problématique du moment de l'imposition des bénéfices issus de la vente d'immeubles et l'interdiction de la reformatio in peius devant le Tribunal fédéral). Cela étant, de simples suppositions ne suffisent pas à admettre que l'on est en présence d'une refo rmatio in peius. Or, en l'espèce, le recourant se contente d'affirmer que la décision de la Commission cantonale de recours peut avoir des incidences fiscales négatives. Il ne le démontre toutefois nullement. Ainsi, il n'établit pas en quoi cette décision modifie concrètement et pour chaque période fiscale à son désavantage les taxations telles qu'établies par la Commission d'impôt. Sa critique tirée de la violation de l'art. 143 al. 1 LIFD est donc rejetée.
IV. Grief relatif à l'établissement des faits
6.
Le recourant fait grief à la Commission cantonale de recours d'avoir passé sous silence des faits déterminants.
6.1. Selon l'art. 97 al. 1 LTF, le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire - ou en violation du droit au sens de l'art. 95 LTF et si la correction du vice est susceptible d'influer sur le sort de la cause (ATF 145 V 188 consid. 2 p. 190; 142 II 355 consid. 6 p. 358; 139 II 373 consid. 1.6 p. 377 s.). Conformément à l'art. 106 al. 2 LTF, le recourant doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. A défaut, il n'est pas possible de tenir compte d'un état de fait qui diverge de celui qui est contenu dans l'acte attaqué (ATF 145 V 188 consid. 2 p. 190; 137 II 353 consid. 5.1 p. 356).
6.2. Le recourant reproche à la Commission cantonale de recours d'avoir ignoré la discussion entre l'expert du Service cantonal et la fiduciaire, au cours de laquelle celle-ci aurait exposé l'activité de commerce de titres et les pertes subies dans ce contexte.
Le grief ne peut qu'être rejeté, dès lors que l'éventuelle discussion entre l'expert et la fiduciaire n'est pas propre à influer sur l'issue du litige, ainsi qu'il a déjà été relevé (cf. supra consid. 4.3.2).
6.3. Le recourant reproche aussi à la Commission cantonale de recours d'avoir tu la correspondance dans laquelle le taxateur du Service cantonal indiquait qu'en cas de non-acceptation par le contribuable du refus de la déduction des pertes sur le commerce de titres, les bénéfices de la promotion immobilière seraient répartis différemment.
Le recourant n'explique pas l'incidence de cette correspondance sur l'issue du litige et on ne la discerne pas, étant relevé que la Commission cantonale de recours ne s'est pas fondée sur la position du taxateur pour déterminer le moment d'imposition des bénéfices de la promotion immobilière ou se prononcer sur la déduction des pertes sur le commerce de titres. Le grief est donc rejeté.
V. Impôt fédéral direct
7.
Le recourant fait grief à la Commission cantonale de recours d'avoir confirmé le refus de déduction des pertes subies en lien avec le commerce de titres. Selon lui, l'instance précédente aurait retenu à tort que les pertes de 2012 et 2013 n'avaient pas été comptabilisées et qu'on ne pouvait, pour 2014, qualifier son activité d'activité lucrative indépendante.
7.1. L'impôt sur le revenu a pour objet tous les revenus uniques ou périodiques, excepté les gains en capital réalisés lors de l'aliénation d'éléments de la fortune privée (art. 16 al. 1 et al. 3 LIFD). Sont imposables tous les revenus provenant de l'exploitation d'une entreprise commerciale, industrielle, artisanale, agricole ou sylvicole, de l'exercice d'une profession libérale ou de toute autre activité lucrative indépendante (art. 18 al. 1 LIFD).
Les contribuables exerçant une activité lucrative indépendante peuvent déduire les frais qui sont justifiés par l'usage commercial ou professionnel, dont font notamment partie les pertes effectives sur des éléments de la fortune commerciale, à condition qu'elles aient été comptabilisées (art. 27 al. 1 et 2 let. b LIFD). Les personnes physiques dont le revenu provient d'une activité lucrative indépendante et les personnes morales doivent joindre à leur déclaration: a) les comptes annuels signés (bilan, compte de résultats) concernant la période fiscale; ou b) en cas de tenue d'une comptabilité simplifiée en vertu de l'art. 957 al. 2 CO: un relevé des recettes et des dépenses, de l'état de la fortune ainsi que des prélèvements et apports privés concernant la période fiscale (art. 125 al. 2 LIFD; cf. arrêts 2C_729/2019 du 7 juillet 2020 consid. 6.2; 2C_630/2018 du 7 août 2018 consid. 4.2; 2C_189/2016 du 13 février 2017 consid. 6.4.4; 2C_87/2015 du 23 octobre 2015 consid. 6.5). Les exigences auxquelles doivent répondre les pièces comptables requises par l'art. 125 al. 2 LIFD dépendent des circonstances du cas d'espèce, en particulier du type d'activité et de l'ampleur de cette dernière. Dans tous les cas, elles doivent être propres à garantir une saisie complète et fiable du revenu et de la fortune liés à l'activité lucrative indépendante et pouvoir être contrôlées dans des conditions raisonnables par les autorités fiscales (arrêts 2C_189/2016 du 13 février 2017 consid. 6.4.4; 2C_87/2015 du 23 octobre 2015 consid. 6.5). Cette exigence est d'autant plus importante lorsque le contribuable entend alléguer des faits de nature à éteindre ou à diminuer sa dette fiscale (ATF 121 II 257 consid. 4c/aa p. 266), ce qu'il lui incombe de prouver (ATF 133 II 153 consid. 4.3 p. 158).
7.2. En l'occurrence, il résulte de la décision querellée que le recourant n'a fourni aucun document comptable au sujet de son activité de commerce de titres et des pertes y relatives avant la période fiscale 2014. Il n'a pas produit un relevé des recettes et des dépenses, de l'état de la fortune ainsi que des prélèvements et apports privés. Selon la décision entreprise, il n'a même pas indiqué dans ses déclarations fiscales 2011 à 2013 de revenus ou pertes en lien avec une activité lucrative indépendante.
Le recourant ne prétend pas le contraire, mais souligne avoir, par le biais de sa fiduciaire, annoncé à l'expert chargé du contrôle de la promotion immobilière l'existence des pertes sur le commerce de titres. Il relève en outre que les relevés bancaires qu'il avait fournis dans le cadre de la réclamation démontraient l'ampleur des pertes subies et que les autorités les avaient du reste pris en compte pour nier le caractère profitable de l'activité de commerce de titres.
Le fait que l'autorité fiscale puisse observer que des pertes ont été subies sur la base de relevés bancaires fournis par le contribuable ne signifie pas encore que ces pertes ont été comptabilisées comme l'exige l'art. 27 al. 1 let. b LIFD. Or, à cet égard, ni une simple annonce orale que des pertes auraient été subies dans le cadre d'une activité de commerce de titres, ni la production de relevés bancaires ne permettent de considérer que les pertes ont été comptabilisées au sens de l'art. 27 al. 1 let. b LIFD et de l'art. 125 al. 2 LIFD. Le défaut de comptabilisation suffit à exclure la déduction des pertes, sans qu'il ne soit nécessaire d'examiner les autres conditions de l'art. 27 al. 1 let. b LIFD (cf. arrêts 2C_630/2018 du 7 août 2018 consid. 4.2; 2C_87/2015 du 23 octobre 2015 consid. 6.6). Toutefois, on peut relever en l'espèce qu'ainsi qu'il sera vu ci-après, le refus de la déduction des pertes subies par le recourant s'impose également, car l'activité ne peut être qualifiée d'activité lucrative indépendante (cf. infra consid. 7.3).
7.3. Pour la période fiscale 2014, le jugement entrepris retient que le recourant a annoncé une perte de 369'711 fr. dans sa déclaration d'impôt et a produit un compte d'exploitation. Se pose donc la question de savoir si l'activité de commerce de titres peut être considérée comme une activité lucrative indépendante, autorisant le recourant à déduire les pertes subies de son revenu imposable, ou si elle doit être considérée comme la simple gestion de la fortune privée.
7.3.1. On entend par activité lucrative indépendante toute activité entreprise par une personne à ses propres risques, avec la mise en oeuvre de travail et de capital, dans une organisation librement choisie dans le but d'obtenir un gain (ATF 125 II 113 consid. 5b, p. 120 s.; 122 II 446 consid. 3c p. 450). Une telle activité peut être exercée à titre principal ou accessoire, de manière durable ou temporaire. Pour déterminer si l'on se trouve en présence d'une activité lucrative indépendante, il convient de se fonder sur l'ensemble des circonstances du cas; les différents critères ne doivent pas être examinés de manière isolée, et peuvent être réalisés avec une intensité variable (ATF 125 II 113 consid. 5b p. 120 s.; 122 II 446 consid. 3a p. 449).
La jurisprudence considère que valent comme indices d'une activité lucrative indépendante dépassant la simple administration de la fortune privée le caractère systématique et/ou planifié des opérations, la fréquence élevée des transactions, la courte durée de possession des biens avant leur (re) vente, la relation étroite entre l'activité indépendante (accessoire) supposée et la formation et/ou la profession (principale) du contribuable, l'utilisation de connaissances spécialisées, l'engagement de fonds étrangers d'une certaine importance pour financer les opérations, le réinvestissement du bénéfice réalisé ou encore la constitution d'une société de personnes. Chacun de ces indices peut conduire, en concours avec les autres voire même - exceptionnellement - isolément s'il revêt une intensité particulière, à la reconnaissance d'une activité lucrative indépendante (à propos du commerce d'immeubles, cf. ATF 125 II 113 consid. 3c p. 118 et 6a p. 124; à propos du commerce de titres, cf. ATF 122 II 446 consid. 3b p. 449 s.). En matière de commerce de titres, la manière de procéder systématique et planifiée, ainsi que l'utilisation de connaissances techniques spéciales ont une importance moindre; en revanche, il faut donner plus de poids aux critères du volume des transactions et de l'engagement de fonds étrangers importants (arrêt 2C_868/2008 du 23 octobre 2009 consid. 2.7, repris notamment in arrêts 2C_375/2015 du 1er décembre 2015 consid. 2.2, in RDAF 2016 II 88; 2C_1255/2012 du 26 juin 2013 consid. 7.3 et les arrêts cités; cf. aussi la circulaire no 36 du 27 juillet 2012 de l'Administration fédérale des contributions relative au commerce professionnel de titres, qui, en tant que directive administrative, ne lie pas le Tribunal fédéral, mais dont celui-ci ne s'écarte pas sans motif pertinent [arrêt 2C_375/2015 du 1er décembre 2015 consid. 3.2, in RDAF 2016 II 88]).
7.3.2. Pour être qualifiée d'indépendante, il est dans tous les cas décisif que l'activité dans son ensemble soit orientée vers l'obtention d'un gain (ATF 125 II 113 consid. 3c p. 118 s.), ce qui s'évalue selon un critère subjectif et un critère objectif (ATF 143 V 177 consid. 4.2.2 p. 186; arrêts 2C_188/2015 du 23 octobre 2015 consid. 2.2; 2C_186/2014 du 4 septembre 2014 consid. 2, in RDAF 2015 II 131; spécifiquement en lien avec le commerce de titres: arrêts 2C_389/2018 du 9 mai 2019 consid. 2.2; 2C_375/2015 du 1er décembre 2015 consid. 7.1, in RDAF 2016 II p. 88). Le critère subjectif est rempli en présence d'une intention de réaliser un profit. Pour que le critère objectif soit considéré comme réalisé, l'activité doit être profitable dans la durée (ATF 143 V 177 consid. 4.2.2 p. 186; arrêt 2C_375/2015 du 1er décembre 2015 consid. 2.2, in RDAF 2016 II p. 88).
La jurisprudence reconnaît qu'il est dans l'ordre des choses qu'une activité entreprise en vue d'en tirer un revenu connaisse une période de démarrage au cours de laquelle les charges excèdent les produits ou sont tout juste couvertes par ceux-ci. C'est également un fait d'expérience qu'une activité longtemps bénéficiaire peut, à un moment donné, devenir déficitaire. Tant que ces situations ont un caractère passager et qu'il existe une perspective d'amélioration ou de redressement à terme raisonnable, elles ne font pas perdre à l'activité en question son caractère lucratif. En revanche, si ces situations perdurent, la constatation s'impose que l'activité n'a pas ou n'a plus de justification économique, et il appartient à celui qui l'exerce d'en tirer les conséquences en cessant ou en réorientant son activité. S'il persiste en revanche dans l'exercice de cette activité en y engageant des moyens financiers propres dont il dispose par ailleurs et qu'aucun investisseur ne consentirait raisonnablement à engager, il opère alors un choix qui échappe à des critères de rationalité économique (arrêts 2C_307/2010 du 27 août 2010 consid. 2.2; 2A.40/2003 du 12 septembre 2003 consid. 2.3). L'activité n'est dans ce cas plus exercée en vue d'atteindre un profit; elle relève du hobby ou du passe-temps (cf. arrêt 2C_375/2015 du 1er décembre 2015 consid. 7.4.1, in RDAF 2016 II p. 88, avec une série d'exemples). Les dépenses consacrées à l'activité ne peuvent alors, pour cette raison même, plus être considérées comme engagées en vue de se procurer un revenu; elles relèvent de l'emploi du revenu (ou de la fortune) privé et, comme telles, ne sont pas déductibles (arrêts 2C_307/2010 du 27 août 2010 consid. 2.2; 2A.40/2003 du 12 septembre 2003 consid. 2.3).
7.3.3. En l'espèce, selon les faits de la décision entreprise, qui lient le Tribunal fédéral (art. 105 al. 1 LTF), le recourant, employé en tant qu'agent général d'assurances, a déployé à partir de 2012 une importante activité dans le commerce de titres. Il a ainsi opéré environ 100 opérations boursières en 2012, 300 en 2013 et 400 en 2014. Avant 2014, il n'a toutefois tenu aucune comptabilité relative à ces opérations. Celles-ci se sont soldées par des pertes de 27'378 fr. en 2012, 437'504 fr. en 2013 et 500'711 fr. en 2014. Au cours des périodes suivantes, qui peuvent être prises en compte lors de la détermination du caractère profitable d'une activité (cf. arrêts 2C_375/2015 du 1 er décembre 2015 consid. 7.4.3; 2A.126/2007 du 19 septembre 2007 consid. 2.3), le recourant a encore subi des pertes de 412'956 fr. en 2015 et 124'212 fr. en 2016. Toujours selon la décision entreprise, le recourant a choisi exclusivement un produit financier, à savoir les "knock-out options", des produits dérivés sophistiqués à haut risque. Malgré les pertes subies, le recourant n'a, selon ses propres indications, cessé son activité qu'en 2016.
Sur le vu de ces éléments, il n'apparaît pas que le recourant ait jamais exercé une activité professionnelle en lien avec le commerce de titres. Le recourant, qui ne disposait pas de connaissances particulières, a en effet investi dans un unique produit financier à haut risque et n'a pas tenu de comptabilité avant 2014. Ces deux éléments évoquent le pari financier à titre de hobby plutôt que l'activité entreprise en vue d'en tirer un revenu. En outre, le recourant a subi des pertes considérables au cours de toutes les périodes durant lesquelles il a pratiqué ce type d'investissements. Cinq années consécutives de pertes, de plusieurs centaines de milliers de francs à compter de la deuxième année, permettent de confirmer que le commerce de titres auquel s'adonnait le recourant n'était pas propre à générer un profit durable. Par conséquent, c'est à bon droit que la Commission cantonale de recours a nié la qualification d'activité lucrative indépendante s'agissant du commerce de titres.
7.3.4. C'est en vain que le recourant argue que l'ampleur des opérations, la nature des investissements effectués, leur caractère systématique et les montants conséquents investis démontrent une activité lucrative indépendante. En effet, le défaut de profitabilité de l'activité exclut cette qualification, quelles que soient au demeurant les autres caractéristiques de l'activité entreprise (cf. arrêt 2C_375/2015 du 1er décembre 2015 consid. 7.4.3).
7.3.5. Par ailleurs, le recourant ne peut rien déduire de la circulaire no 36 de l'Administration fédérale des contributions (citée supra 7.3.1). Contrairement à ce qu'il prétend, cette circulaire n'énonce pas des critères cumulatifs pour qu'une opération soit considérée comme privée, mais énumère cinq critères qui, remplis cumulativement, permettent d'exclure la qualification de commerçant professionnel de titres (cf. ch. 3 de la circulaire no 36; cf. arrêt 2C_1255/2012 du 26 juin 2013 consid. 7.4). Or, que ces critères soient ou non remplis n'enlèvent rien à l'absence de profit réalisé. Une activité peut être qualifiée de privée sans remplir tous ces critères. La circulaire précise du reste que ces critères constituent un examen préalable pour les autorités et que lorsque le cas n'est pas réglé par cet examen, il y a lieu d'apprécier juridiquement l'activité d'après l'ensemble des circonstances (cf. ch. 3 et 4 de la circulaire; arrêt 2C_1255/2012 du 26 juin 2013 consid. 7.4), comme l'exige la jurisprudence.
7.3.6. Le recourant fait enfin valoir qu'il faut examiner de manière consolidée ses activités dans l'immobilier et dans le commerce de titres. En considérant les deux catégories d'investissements, l'activité indépendante serait profitable.
Le recourant ne peut être suivi. Une activité peut être orientée vers l'obtention d'un gain et présenter les caractéristiques d'une activité lucrative indépendante tandis qu'une autre relèvera du hobby et on ne saurait pour juger de la profitabilité de l'une se référer à l'autre. En l'espèce, l'activité de commerce de titres est distincte des activités de promoteur immobilier du recourant. Celui-ci ne saurait partant compenser fiscalement les bénéfices générés par l'activité immobilière qu'il a exercée avec les pertes subies lors de la gestion de ses titres.
7.4. Sur le vu de ce qui précède, la Commission cantonale de recours n'a pas violé le droit fédéral en confirmant le refus de déduction des pertes liées au commerce de titres du revenu imposable du recourant.
8.
Le recourant se plaint du moment d'imposition retenu par la Commission cantonale de recours pour les bénéfices issus de la promotion immobilière.
8.1. A titre liminaire, il convient de souligner qu'il est clair et au reste non contesté que l'activité de promoteur immobilier du recourant, exercée en association avec deux partenaires, relève d'une activité lucrative indépendante accessoire de commerce d'immeubles, de sorte que les gains réalisés par ce biais sont imposables (cf. art. 18 al. 1 et 2 LIFD).
8.2. La Commission cantonale de recours devait uniquement se prononcer sur le moment de l'imposition de ces gains. Elle a relevé, à juste titre, qu'un revenu est réalisé et partant imposable lorsqu'une prestation est faite au contribuable ou que ce dernier acquiert une prétention ferme sur laquelle il a effectivement un pouvoir de disposition (ATF 113 Ib 23 consid. 2e p. 26; 105 Ib 238 consid. 4b et 4c p. 242 ss). En outre, la jurisprudence constante du Tribunal fédéral retient que la conclusion du contrat de vente, y compris d'un immeuble, donne en principe naissance à un droit ferme générateur d'un revenu imposable, dans la mesure où son exécution ne paraît pas incertaine (ATF 105 Ib 238 consid. 4b et 4c p. 242 ss; arrêts 2C_1009/2017 du 28 septembre 2018 consid. 8.1; 2C_683/2013 du 13 février 2014 consid. 6.4.1). Se fondant sur ces principes, l'instance précédente a retenu que l'autorité inférieure avait méconnu le droit fédéral en prenant en compte la date d'exécution du contrat au lieu de la conclusion en répartissant le bénéfice de la promotion immobilière en fonction de la date d'inscription des ventes au registre foncier. Elle lui a donc renvoyé la cause pour qu'elle répartisse le bénéfice en fonction de la date de l'acte authentique de chacune des ventes.
8.3. Le recourant ne conteste pas, à juste titre, la conformité au droit fédéral de la solution retenue par la Commission cantonale de recours. Il demande toutefois à ce que cette solution ne soit pas appliquée dans son cas, pour des motifs d'égalité de traitement.
8.4. Le principe de la légalité de l'activité administrative prévaut en principe sur celui de l'égalité de traitement. En conséquence, le justiciable ne peut généralement pas se prétendre victime d'une inégalité devant la loi lorsque celle-ci est correctement appliquée à son cas, alors qu'elle aurait été faussement, voire pas appliquée du tout, dans d'autres cas. Cela présuppose cependant, de la part de l'autorité dont la décision est attaquée, la volonté d'appliquer correctement à l'avenir les dispositions légales en question. Le citoyen ne peut prétendre à l'égalité dans l'illégalité que s'il y a lieu de prévoir que l'administration persévérera dans l'inobservation de la loi (ATF 146 I 105 consid. 5.3.1 p. 112; 139 II 49 consid. 7.1 p. 61; 127 I 1 consid. 3a p. 2 s.; 122 II 446 consid. 4a p. 451 s.); en principe, si l'autorité ne s'exprime pas sur ses intentions futures, le Tribunal fédéral présume qu'elle se conformera à la loi à l'avenir (cf. ATF 146 I 105 consid. 5.3.1 p. 112; 115 Ia 81 consid. 2 p. 83). Il est également nécessaire que l'autorité n'ait pas respecté la loi selon une pratique constante, et non pas dans un ou quelques cas isolés (ATF 146 I 105 consid. 5.3.1 p. 112), et, enfin, qu'aucun intérêt public ou privé prépondérant n'impose de donner la préférence au respect de la légalité (ATF 139 II 49 consid. 7.1 p. 61).
8.5. En l'espèce, les conditions pour que prévale le principe d'égalité de traitement sur le principe de la légalité ne sont pas réunies.
Tout abord, on ne saurait voir dans la proposition de l'expert fiscal d'imposer la promotion immobilière en une seule fois en 2013, dont le recourant se prévaut, la démonstration d'une pratique constante de l'autorité fiscale. Ainsi, quand bien même les partenaires du recourant auraient bénéficié de cette proposition, le recourant ne pourrait pas pour autant revendiquer le même traitement. De même, le fait que la Commission d'impôt ait retenu encore un autre moment d'imposition que la Commission cantonale de recours ne démontre pas une pratique illégale constante, s'agissant d'un cas d'application isolé. Au reste, elle a adopté une position différente de l'expert, démentant une pratique illégale généralisée du fisc valaisan s'agissant du moment de l'imposition des bénéfices issus de la vente d'immeubles. Le recourant n'indique pas d'autres éléments qui fourniraient des indices d'une pratique illégale constante.
Ensuite, la Commission cantonale de recours a relevé qu'il résultait de la détermination du 16 janvier 2019 du Service cantonal que celui-ci n'entendait pas poursuivre une pratique illégale, si tant est qu'il en existait une, mais souhaitait au contraire voir appliquée la jurisprudence du Tribunal fédéral. En tant que le recourant affirme que ce courrier n'est pas explicite, il ne fait qu'opposer sa propre appréciation à celle de l'autorité précédente, ce qui n'est pas admissible s'agissant de l'appréciation des preuves (cf. art. 105 al. 1 LTF; cf. supra consid. 6.1). A défaut d'indications contraires claires, il y a lieu de partir du principe que l'autorité respectera à l'avenir la loi.
8.6. Il suit de ce qui précède que la décision entreprise doit être confirmée en tant qu'elle retient comme moment d'imposition des bénéfices issus de la promotion immobilière et des ventes subséquentes la conclusion des contrats de vente.
9.
Le recourant considère que traiter différemment son activité de commerce d'immeubles (imposition des bénéfices) et celle relative au commerce de titres (refus de déduction des pertes) viole le principe de l'imposition selon la capacité contributive énoncé à l'art. 127 al. 2 Cst.
9.1. Selon l'art. 127 al. 2 Cst., dans la mesure où la nature de l'impôt le permet, les principes de l'universalité, de l'égalité de traitement et de la capacité économique doivent, en particulier, être respectés. En vertu des principes de l'égalité d'imposition et de l'imposition selon la capacité contributive, les contribuables qui sont dans la même situation économique doivent supporter une charge fiscale semblable; lorsqu'ils sont dans des situations de faits différentes qui ont des effets sur leur capacité économique, leur charge fiscale doit en tenir compte et être adaptée. Ainsi, d'après le principe de la proportionnalité de la charge fiscale à la capacité contributive, chaque citoyen doit contribuer à la couverture des dépenses publiques compte tenu de sa situation personnelle et en proportion de ses moyens (ATF 145 II 206 consid. 2.4.2 p. 211; 144 II 313 consid. 6.1 p. 320; 142 II 197 consid. 6.1 p. 205; 141 II 338 consid. 3.2 p. 341 et les arrêts cités).
9.2. En l'espèce, le recourant est traité de la même manière que tout contribuable gérant une fortune commerciale et une fortune privée. Il ne prétend pas le contraire. La déduction des pertes n'est possible que sur la fortune commerciale (art. 27 al. 1 let. b LIFD), car l'art. 16 al. 3 LIFD exclut l'imposition des gains en capital provenant d'éléments de la fortune privée et donc à l'inverse la prise en compte de pertes sur ces mêmes éléments (cf. YVES NOËL, in Commentaire romand de la LIFD, 2e éd. 2017, no 33 ad art. 27). On ne voit pas en quoi le système prévu par le législateur fédéral (et qui ne peut donc de toute façon pas être invalidé par le Tribunal fédéral, cf. art. 190 Cst.) méconnaît le principe de la capacité contributive et le recourant ne l'expose pas. Son grief est donc rejeté.
10.
Les considérants qui précèdent conduisent au rejet du recours en matière d'impôt fédéral direct.
VI. Impôts cantonal et communal
11.
En droit fiscal harmonisé, la notion de revenu imposable, ainsi que celle de pertes commerciales déductibles sont identiques à celles de la LIFD (art. 7 al. 1, 8 et 10 al. 1 let. c LHID; art. 12, 14 et 23 al. 1 let. b de la loi fiscale valaisanne du 10 mars 1976 [LF; RS/VS 642.1]). La notion d'activité lucrative indépendante doit être interprétée de la même manière qu'en droit fédéral (arrêt 2C_868/2008 du 23 octobre 2009 consid. 2.1). De même, le moment auquel le bénéfice lié à la vente d'un immeuble doit être imposé est régi par les mêmes principes qu'en droit fédéral (arrêt 2C_1009/2017 du 28 septembre 2018 consid. 10.1).
Partant, les considérations développées pour l'IFD trouvent à s'appliquer aux ICC, tant en ce qui concerne la déduction des pertes sur le commerce de titres que s'agissant du moment de l'imposition des bénéfices de la promotion immobilière. Le recours est donc aussi rejeté en ce qui concerne les impôts cantonal et communal.
VII. Conclusion, frais et dépens
12.
Le recours est rejeté tant en matière d'impôt fédéral direct que d'impôts cantonal et communal. Le recourant, qui succombe, doit supporter les frais judiciaires (art. 66 al. 1 LTF). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté en tant qu'il porte sur l'impôt fédéral direct.
2.
Le recours est rejeté en tant qu'il porte sur les impôts cantonal et communal.
3.
Les frais judiciaires, arrêtés à 6'000 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué au mandataire du recourant, au Service cantonal des contributions et à la Commission cantonale de recours en matière fiscale du canton du Valais, ainsi qu'à l'Administration fédérale des contributions.
Lausanne, le 5 janvier 2021
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
La Greffière : Kleber