Faits :
A.
X._, domicilié à A._ (Valais), a constitué la société anonyme X._ Constructions Intégrales SA (ci-après: la société), sise à Sion, le 10 mars 1995. La société avait pour but l'achat, la construction, la location, la vente, l'échange, la promotion, la gestion, l'administration et l'exploitation d'installations hôtelières, de commerces et de parahôtelleries, ainsi que la construction et l'exploitation d'installations sportives et touristiques. Son capital-actions de 100'000 fr. a été détenu entièrement par X._ jusqu'au mois de juin 2006, date à laquelle ce dernier a vendu ses actions à B._ pour un montant de 5'000'000 fr. A la suite de cette vente, la raison sociale est devenue B._ Constructions SA, puis, en janvier 2011, C._ SA.
Depuis la constitution de la société jusqu'à son aliénation, X._ en était salarié et actionnaire.
B.
Du 27 mai au 4 juin 2008, le Service des contributions du canton du Valais (ci-après: le Service des contributions) a procédé à un contrôle des comptes des exercices 2001 à 2006 de la société X._. Le rapport d'expertise du 26 juin 2008 établi à la suite de ce contrôle préconisait d'effectuer des reprises pour un montant total de 4'008'957 fr. Dans ses bordereaux d'impôt fédéral direct (ci-après: IFD) et d'impôts cantonal et communal (ICC) des périodes 2001 à 2006, la Commission cantonale d'impôt des personnes morales du canton du Valais a suivi les conclusions du rapport d'expertise et a modifié le bénéfice net de la société. Parmi les reprises effectuées figuraient un bénéfice non comptabilisé sur la construction de la villa de X._ de 126'889 fr. (période fiscale 2003) ainsi que des parts privées de l'usage de véhicules de luxe à hauteur de 9'600 fr. par année pour les périodes fiscales 2003, 2004 et 2005.
A l'encontre de ces bordeaux, la société a formé une réclamation qui a été rejetée par décision du 2 octobre 2008. Saisi d'un recours contre ce prononcé, la Commission cantonale de recours en matière d'impôt du canton du Valais (ci-après: la Commission de recours) l'a partiellement admis par décision du 26 octobre 2011, confirmée en dernière instance par le Tribunal fédéral (cause 2C_645/2012 et 2C_646/2012 du 13 février 2013). Dans cet arrêt, le Tribunal fédéral a notamment confirmé la reprise de 126'889 fr. à titre de bénéfice non comptabilisé sur la villa s'agissant de la période fiscale 2003, ainsi que les reprises effectuées en relation avec l'usage par X._ à des fins privées des véhicules de haut standing acquis par la société (14'330 fr. pour 2003; 16'830 fr. pour 2004 et 19'390 fr. pour 2005).
C.
Le 4 juin 2008 et le 29 octobre 2010, le Service des contributions, Inspectorat fiscal, a procédé à un contrôle des comptes de X._ portant sur les exercices 2004 à 2008. Le rapport d'expertise du 24 janvier 2011 préconisait d'effectuer des reprises pour un montant total de 4'878'761 fr. Parmi les objets figurant dans le rapport, le Service des contributions proposait une reprise de 141'000 fr. à titre de bénéfice réalisé sur la vente du terrain des "D._", sis à Sion. Le 25 mars 2011, sur la base du rapport d'expertise, le Service des contributions, Section des personnes physiques, a ouvert une procédure en rappel d'impôts pour l'année 2003B. Le rappel d'impôts 2003B ainsi que les taxations ordinaires des années 2004 et 2005 ont été notifiés au contribuable le 30 mars 2011. X._ a élevé réclamation contre ces prononcés le 21 avril 2011.
Par décision sur réclamation du 9 juillet 2013, la Commission d'impôts des personnes physiques a partiellement admis la réclamation de l'intéressé. Sur la base des reprises opérées au niveau de la société, confirmées en dernière instance par le Tribunal fédéral (cause 2C_645/2012 et 2C_646/2012 du 13 février 2013), l'autorité cantonale a notamment retenu un "bénéfice non comptabilisé sur villa" de 126'889 fr., ainsi que des "parts privées véhicules" de 14'330 fr. pour 2003, de 16'380 fr. pour 2004 et de 19'390 fr. pour 2005. Elle a également suivi les conclusions du rapport d'expertise du 24 janvier 2011 s'agissant d'une reprise, pour la période fiscale 2005, de 141'000 fr. à titre de bénéfice réalisé sur la vente du terrain des "D._".
Par décisions de taxation définitives du 18 juillet 2013, le Service des contributions a fixé le revenu net imposable du contribuable en matière d'impôts cantonaux et communaux et en matière d'impôt fédéral direct pour l'année 2003 à 253'416 fr., respectivement à 253'239 fr. pour l'année 2004 à 689'300 fr., respectivement à 697'820 fr., et pour l'année 2005 à 501'761 fr., respectivement à 501'291 fr.
X._ a formé un recours contre la décision sur réclamation du 9 juillet 2013 auprès de la Commission de recours, qui l'a rejeté par décision du 23 septembre 2015.
D.
Agissant par la voie du recours en matière de droit public, X._ conclut, sous suite de frais et dépens, à l'annulation du jugement du 23 septembre 2015 et au renvoi de la cause à cette autorité pour complément et mise en oeuvre des moyens requis. Subsidiairement, il demande au Tribunal fédéral de réformer le jugement attaqué dans le sens des griefs invoqués, en particulier d'annuler la reprise sur la villa et de réduire les reprises sur le terrain des "D._" et les frais de véhicules. Plus subsidiairement, il requiert l'annulation du jugement attaqué et le renvoi de la cause à cette autorité pour nouvelle décision.
Le Service des contributions, l'Administration fédérale des contributions et la Commission de recours concluent au rejet du recours.
Considérant en droit :
1.
La Commission de recours a rendu une seule décision valant pour les deux catégories d'impôts (ICC et IFD), ce qui est admissible, dès lors que la question juridique à trancher est réglée de la même façon en droit fédéral et dans le droit cantonal harmonisé (cf. ATF 135 II 260 consid. 1.3.1 p. 262 s.). Dans ces circonstances, on ne peut reprocher au recourant d'avoir formé les mêmes griefs et pris des conclusions valant pour les deux catégories d'impôts dans son recours devant le Tribunal fédéral (cf. ATF 135 II 260 consid. 1.3.2 p. 263 s.). Par souci d'unification par rapport à d'autres cantons dans lesquels deux décisions sont rendues, la Cour de céans a toutefois ouvert deux dossiers, l'un concernant l'IFD (2C_86/2016), l'autre l'ICC (2C_85/2016). Comme l'état de fait est identique et que les questions juridiques se recoupent, les deux causes seront néanmoins jointes et il sera statué dans un seul arrêt (cf. art. 71 LTF et 24 PCF [RS 273]).
2.
Le recours est dirigé contre une décision finale (cf. art. 90 LTF) rendue dans une cause de droit public (cf. art. 82 let. a LTF), par une autorité cantonale supérieure de dernière instance (cf. art. 86 al. 1 let. d et al. 2 LTF; art. 150 al. 2 de la loi fiscale valaisanne du 10 mars 1976 [LF; RS/VS 642.1]) sans qu'aucune des exceptions prévues à l'art. 83 LTF ne soit réalisée, de sorte que la voie du recours en matière de droit public est en principe ouverte (cf. aussi art. 73 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes [LHID; RS 642.14]). Le recourant a participé à la procédure devant l'instance précédente, est particulièrement atteint par la décision entreprise en tant que contribuable et a un intérêt digne de protection à son annulation ou à sa modification. Il a ainsi qualité pour recourir (cf. art. 89 al. 1 LTF). Déposé en temps utile, compte tenu des féries (art. 46 al. 1 let. c et art. 100 al. 1 LTF) et dans les formes requises (cf. art. 42 al. 1 et 2 LTF), le recours est en principe recevable.
3.
Dans un premier grief de nature formelle, qu'il convient d'examiner en premier lieu (cf. ATF 138 I 232 consid. 5.1 p. 237), le recourant se plaint d'une violation de son droit d'être entendu au sens de l'art. 29 al. 2 Cst.
3.1. Compris comme l'un des aspects de la notion générale de procès équitable au sens de l'art. 29 Cst., le droit d'être entendu garantit notamment au justiciable le droit de s'expliquer avant qu'une décision ne soit prise à son détriment, d'avoir accès au dossier, de prendre connaissance de toute argumentation présentée au tribunal et de se déterminer à son propos, dans la mesure où il l'estime nécessaire, que celle-ci contienne ou non de nouveaux éléments de fait ou de droit, et qu'elle soit ou non concrètement susceptible d'influer sur le jugement à rendre (ATF 142 III 48 consid. 4.1.1 p. 52 s.; 139 II 489 consid. 3.3 p. 496; 139 I 189 consid. 3.2 p. 191 s.; 138 I 484 consid. 2.1 p. 485 s.; 138 I 154 consid. 2.3.3 p. 157; 137 I 195 consid. 2.3.1 p. 197).
La jurisprudence a également déduit du droit d'être entendu garanti par l'art. 29 al. 2 Cst. le droit pour le justiciable de fournir des preuves quant aux faits de nature à influer sur le sort de la décision (ATF 140 I 285 consid. 6.3.1 p. 299; 135 I 279 consid. 2.3 p. 282). D'après l'art. 115 LIFD, les offres de preuves du contribuable doivent être acceptées, à condition qu'elles soient propres à établir des faits pertinents pour la taxation.
Le droit de faire administrer des preuves suppose que le fait à prouver soit pertinent, que le moyen de preuve proposé soit nécessaire pour constater ce fait et que la demande soit présentée selon les formes et délais prescrits (cf. ATF 134 I 140 consid. 5.3 p. 148). Cette garantie constitutionnelle n'empêche pas l'autorité de mettre un terme à l'instruction lorsque les preuves administrées lui ont permis de former sa conviction et que, procédant d'une manière non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, elle a la certitude qu'elles ne pourraient l'amener à modifier son opinion (ATF 140 I 285 consid. 6.3.1 p. 298 s. et les arrêts cités). Le refus d'une mesure probatoire par appréciation anticipée des preuves ne peut être remis en cause devant le Tribunal fédéral qu'en invoquant l'arbitraire (art. 9 Cst.) de manière claire et détaillée (art. 106 al. 2 LTF; cf. arrêt 2C_500/2015 du 23 octobre 2015 consid. 2.1).
3.2. En l'occurrence, le recourant reproche à l'instance précédente d'avoir refusé de procéder aux auditions de E._, paysagiste, et de B._, nouvel actionnaire de la société X._ (devenue société C._ SA). Le recourant voulait démontrer que la situation relative à la construction de sa villa n'était pas encore définitivement réglée. Ainsi, en l'absence de décompte final, l'instance précédente ne pouvait pas considérer que le contribuable avait obtenu une prestation appréciable en argent de la part de la société X._ sur la construction de la villa.
S'agissant d'abord de la requête visant à auditionner E._, le recourant soutient que son témoignage aurait permis d'éclaircir la situation s'agissant des aménagements extérieurs. Or, dans la mesure où le recourant ne prétend pas avoir pris à sa charge le coût de ces aménagements, en contrepartie de quoi la société aurait renoncé à exiger une prétention due en lien avec la construction de la villa, on voit mal en quoi ce fait aurait pu être pertinent pour l'issue du litige. Quant au témoignage de B._, le recourant soutient qu'il aurait pu permettre d'obtenir des précisions au sujet de la convention du 5 mars 2014, par laquelle le recourant s'était engagé à verser un montant global de 1'200'000 fr. à la société C._ SA "en liquidation de toutes autres prétentions mutuelles". D'après l'intéressé, le témoin aurait pu confirmer que, contrairement à ce qu'ont retenu les juges précédents, la convention en cause visait en particulier la villa, de sorte que les prétentions que la société C._ SA pouvaient faire valoir à l'égard du recourant en lien avec la construction de sa villa auraient été réglées par le versement du montant prévu par la convention. En l'occurrence, il n'est pas insoutenable de considérer, comme l'a fait la décision entreprise, que le témoin requis n'aurait pas été en mesure d'apporter les éléments de fait supplémentaires invoqués par le recourant. En effet, on voit mal comment l'actionnaire de la société C._ SA qui, en 2014, a convenu de fixer un montant forfaitaire afin de régler un certain nombre de litiges l'opposant au recourant, aurait pu apporter des détails précis et chiffrés à propos d'un différend remontant à 2003. La fixation d'un montant forfaitaire pour le règlement de plusieurs litiges mentionnés "à titre exemplatif et non à titre exhaustif", comme le précise la convention en question (cf. arrêt attaqué, p. 20), laisse supposer le contraire. Dans ces conditions, la Commission de recours pouvait sans arbitraire considérer qu'il n'était pas indispensable de donner suite à la requête d'audition du recourant.
Pour le reste, en tant que le recourant se plaint de ce qu'il n'aurait pas pu faire valoir sa position de façon circonstanciée, son grief, à supposer qu'il soit suffisamment motivé sous l'angle de l'art. 106 al. 2 LTF, tombe à faux. D'une part, l'intéressé a eu tout loisir de faire valoir sa position dans le cadre de la procédure de recours sur le plan cantonal. D'autre part, sur la base des pièces figurant au dossier, les juges précédents pouvaient, sans arbitraire, considérer que l'état de fait était suffisamment établi.
3.3. La juridiction cantonale n'a donc pas procédé à une appréciation anticipée des preuves arbitraire ni, par conséquent, violé le droit d'être entendu du recourant, en refusant de donner suite à ses offres de preuve.
4.
S aisi d'un recours en matière de droit public, le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), à moins que ces faits n'aient été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire (cf. pour cette notion: ATF 136 III 552 consid. 4.2 p. 560; arrêt 2C_122/2012 du 1er novembre 2012 consid. 3.1) - ou en violation du droit (art. 105 al. 2 LTF). La partie recourante qui entend s'écarter des constatations de l'autorité précédente doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'art. 105 al. 2 LTF seraient réalisées et la correction du vice susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF). A défaut, il n'est pas possible de tenir compte d'un état de fait qui diverge de celui contenu dans la décision attaquée. En particulier, le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (cf. ATF 137 II 353 consid. 5.1 p. 356).
I. Impôt fédéral direct
5.
Sur le fond, le litige porte d'abord sur deux reprises fiscales effectuées au titre de prestations appréciables en argent.
5.1. Selon l'art. 20 al. 1 let. c LIFD, est imposable au titre de rendement de la fortune mobilière les dividendes, les parts de bénéfice, les excédents de liquidation et tous autres avantages appréciables en argent provenant de participations en tout genre. Il y a avantage appréciable en argent: 1) lorsqu'une société fait une prestation sans obtenir de contre-prestation correspondante; 2) que cette prestation est accordée à un actionnaire ou à une personne le ou la touchant de près; 3) qu'elle n'aurait pas été accordée à de telles conditions à un tiers et que 4) la disproportion entre la prestation et la contre-prestation est manifeste, de telle sorte que les organes de la société savaient ou auraient pu se rendre compte de l'avantage qu'ils accordaient (ATF 140 II 88 consid. 4.1 p. 92 s.; 138 II 57 consid. 2.2 p. 59; arrêt 2C_445/2015 et 2C_446/2015 du 26 août 2016 consid. 6.3.1).
Selon la jurisprudence, il y a aussi avantage appréciable en argent lorsque des produits qui auraient dû être comptabilisés dans le chef d'une personne morale ne le sont pas, ou que cette dernière renonce à réaliser un revenu en faveur de l'actionnaire ou d'un proche (cf. notamment arrêts 2C_377/2014 du 26 mai 2015 consid. 9.4 à 9.4.3; 2C_88/2011 du 3 octobre 2011 consid. 2.2 à 2.2.3, traduit in RDAF 2012 II 131; 2A.347/2002 du 2 juin 2003 consid. 4.2; 2A.102/1994 du 12 octobre 1995 consid. 3a, in RDAF 1996 p. 87; 2A.248/1994 du 4 avril 1995 consid. 7, in RDAF 1996 p. 172).
Un avantage appréciable en argent au sens de l'art. 20 al. 1 let. c LIFD représente, du point de vue de la société distributrice, un élément du bénéfice imposable en vertu de l'art. 58 al. 1 let. b dernier tiret LIFD (distributions dissimulées de bénéfice et avantages à des tiers non justifiés par l'usage commercial) ou de l'art. 58 let. al. 1 let. c LIFD (produits non comptabilisés). Cette figure conduit ainsi à une reprise tant au niveau de l'impôt sur le revenu pour le bénéficiaire de l'avantage qu'à celui de l'impôt sur le bénéfice pour la société distributrice, ce qui concrétise la double imposition économique voulue par le législateur (ATF 136 I 65 consid. 5.4 p. 76 s.; 136 I 49 consid. 5.4 p. 60 s.; arrêt 2C_445/2015 et 2C_446/2015 du 26 août 2016 consid. 6.3.4).
5.2. Il appartient à l'autorité fiscale de démontrer l'existence d'éléments créant ou augmentant la charge fiscale, alors que le contribuable supporte le fardeau de la preuve des éléments qui réduisent ou éteignent son obligation fiscale (cf. ATF 133 II 153 consid. 4.3 p. 158; arrêt 2C_795/2015 du 3 mai 2016 consid. 2.3). Dans le domaine des prestations appréciables en argent, les autorités fiscales doivent apporter la preuve que la société a fourni une prestation et qu'elle n'a pas obtenu de contre-prestation ou une contre-prestation insuffisante. Si les preuves recueillies par l'autorité fiscale fournissent suffisamment d'indices révélant l'existence d'une telle disproportion, il appartient alors au contribuable d'établir l'exactitude de ses allégations contraires (ATF 138 II 57 consid. 7.1 p. 66; 133 II 153 consid. 4.3 p. 158 précité; arrêt 2C_927/2013 21 mai 2014 consid. 5.4, in RDAF 2014 II 463). Par ailleurs, une fois qu'un fait est tenu pour établi, la question du fardeau de la preuve ne se pose plus (ATF 137 III 226 consid. 4.3 p. 235; 128 III 22 consid. 2d p. 25).
5.2.1. Le recourant conteste d'abord la reprise de 126'889 fr., à titre de prestation appréciable en argent sur la construction de sa villa.
En l'occurrence, la Commission de recours a retenu qu'en 2000 le recourant avait acquis en copropriété avec sa compagne une parcelle sise sur le territoire de la commune de A._. Le 20 août 2000, les deux copropriétaires avaient conclu avec la société X._ un contrat d'entreprise générale en vue de la construction sur cette parcelle d'une villa individuelle au prix forfaitaire de 2'600'000 fr. Lors de l'achèvement de la construction, en 2003, aucune facture ni décompte de plus ou de moins-value n'avait été établi. Au 31 décembre 2003, le compte de construction auprès de la société indiquait un coût total de 2'473'111 fr. Le recourant avait effectué des versements à hauteur de 1'414'000 fr. A la même date, le solde de 1'059'111 fr. (= 2'473'111./. 1'414'000) avait été débité du compte-courant actionnaire. Aucun bénéfice n'avait ainsi été comptabilisé pour la réalisation de la villa. Par décision du 26 octobre 2011, la Commission de recours avait estimé que la différence entre le prix convenu de 2'600'000 fr. et le coût total de construction de 2'473'111 fr., soit 126'889 fr., constituait une distribution dissimulée de bénéfice et a réintégré ce montant dans le bénéfice imposable de la société pour la période fiscale 2003. Cette décision a été confirmée en dernière instance par le Tribunal fédéral (2C_645/2012 et 2C_646/2012). Dans la décision entreprise, les juges précédents ont repris ce raisonnement s'agissant de l'imposition du recourant. Ils ont considéré que le montant de 126'889 fr. constituait une prestation octroyée par la société X._ au contribuable en raison de sa qualité d'actionnaire et en l'absence de toute contre-prestation correspondante. Dès lors que ce montant avait été repris au niveau de la société, une reprise du même montant devait également être effectuée auprès du recourant.
Le recourant conteste l'absence de contre-prestation équivalente. D'après l'intéressé, la différence entre le prix convenu (2'600'000 fr.) et le coût total de construction (2'473'111 fr.) due à la société a été réglée par convention du 5 mars 2014, laquelle aurait "englobé la finalisation de cette affaire". Par cette argumentation, le recourant se limite à opposer sa propre interprétation des faits à celle retenue dans l'arrêt entrepris. Sur ce point, les juges précédents avaient en effet retenu que dite convention ne contenait "aucune indication relative au détail du montant de 1'200'000 fr.", ne réglant "pas expressément le solde de la villa de 126'889 fr.". Dans la mesure où le recourant n'indique pas en quoi l'appréciation des faits et des preuves opérée par la Commission de recours serait insoutenable, sa critique est irrecevable (cf. supra consid. 4). Ainsi, le recourant, qui ne conteste pas avoir perçu un solde de 126'889 fr. sur la construction de sa villa, ne parvient pas à démontrer l'existence d'une contre-prestation équivalente en faveur de la société. Or, du moment que l'administration fiscale a établi l'absence de contre-prestation équivalente, il incombait à l'intéressé d'établir l'exactitude de ses allégations contraires (cf. consid. 5.2). La Commission de recours n'a partant pas violé le droit fédéral en retenant que la société avait accordé une prestation appréciable en argent à son actionnaire. L'avantage obtenu par le recourant était en outre reconnaissable par les parties et ne s'expliquait que par la position d'actionnaire unique du contribuable. La décision entreprise doit ainsi être confirmée sur ce point.
5.2.2. Le recourant conteste ensuite le montant des reprises effectuées en relation avec l'usage à des fins privées des véhicules de haut standing acquis par la société. Il fait valoir pour seul argument qu'il détient d'autres véhicules à titre privé (Hummer, Toyota Hilux et une Mercedes SLK), ce qui, d'après l'intéressé, aurait dû entraîner une réduction de la part privée retenue par l'autorité fiscale. En tant qu'elle s'appuie sur un élément de fait qui ne ressort pas de l'arrêt attaqué, sans que le recourant n'expose en quoi les faits auraient été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (cf. art. 97 al. 1 LTF; cf. supra consid. 4), cette allégation, du reste nullement étayée, est irrecevable. Pour le reste, le recourant ne conteste pas la qualification de prestations appréciables en argent en lien avec l'utilisation privée de véhicules professionnels. A juste titre, dans la mesure où tous les éléments caractéristiques de prestations appréciables en argent sont réunies en l'espèce. En effet, le contribuable a profité d'avantages appréciables en argent sans contre-prestations équivalentes en faveur de la société puisqu'aucune part privée n'a été comptabilisée. Il en résulte ainsi une disproportion manifeste, reconnaissable par les parties, qui ne peut s'expliquer que par la position d'actionnaire unique qu'avait le contribuable au sein de la société. La décision entreprise doit partant également être confirmée sur ce point.
6.
Enfin, le recourant conteste le montant de la reprise de 141'000 fr. sur la vente du terrain des "D._". Il reproche à l'instance précédente de n'avoir pas tenu compte des intérêts hypothécaires versés en 2001 et en 2002 en déduction du gain réalisé. Il se plaint également de ce que la Commission de recours ne s'est pas prononcée sur cette question. L'intéressé y voit un déni de justice.
6.1. Selon la jurisprudence, l'autorité qui ne traite pas un grief relevant de sa compétence, motivé de façon suffisante et pertinente pour l'issue du litige commet un déni de justice formel proscrit par l'art. 29 al. 1 Cst. (ATF 135 I 6 consid. 2.1 p. 9; 117 Ia 116 consid. 3a p. 117 et les références). De même, la jurisprudence a déduit du droit d'être entendu de l'art. 29 al. 2 Cst. l'obligation pour l'autorité de motiver sa décision, afin que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause (ATF 142 I 135 consid. 2.1 p. 145; 138 I 232 consid. 5.1 p. 237; 136 V 351 consid. 4.2 p. 355). La motivation d'une décision est suffisante lorsque l'autorité mentionne, au moins brièvement, les motifs qui l'ont guidée et sur lesquels elle a fondé son raisonnement. L'autorité ne doit toutefois pas se prononcer sur tous les moyens des parties; elle peut se limiter aux questions décisives (ATF 142 II 154 consid. 4.2 p. 157; 137 II 266 consid. 3.2 p. 270; 136 I 229 consid. 5.2 p. 236). La motivation peut pour le reste être implicite et résulter des différents considérants de la décision (cf. arrêts 2C_931/2015 du 12 octobre 2016 consid. 2.1; 1C_167/2015 18 août 2015 consid. 3).
En l'occurrence, la décision entreprise porte uniquement sur les "décisions de taxation fiscales contestées et relatives aux périodes 2003, 2004 et 2005". On comprend ainsi a contrario que la Commission de recours ne se prononce pas sur les périodes fiscales 2001 et 2002 dans la mesure où elles sortent de l'objet du litige. La question de savoir si le raisonnement de la Commission de recours est conforme au droit sera examiné ci-après. Le grief relatif au déni de justice doit partant être écarté.
6.2. Sur le fond, le litige revient à se demander si le refus par les autorités fiscales de déduire du bénéfice réalisé en 2005 sur la vente du terrain des "D._" (arrêté à 141'000 fr.) les intérêts hypothécaires versés par le contribuable en 2001 et 2002 est conforme au droit.
L'art. 27 al. 1 LIFD dispose que les contribuables exerçant une activité lucrative indépendante peuvent déduire les frais qui sont justifiés par l'usage commercial ou professionnel. Les intérêts des dettes commerciales font notamment partie de ces frais (art. 27 al. 2 let. d LIFD). Le Tribunal fédéral a rappelé que les déductions prévues à l'art. 27 LIFD étaient soumises au principe de périodicité, ce qui impliquait qu'elles n'étaient déductibles d'une période fiscale que lorsqu'elles trouvaient leur cause dans des événements ayant eu lieu durant cette période (ATF 137 II 353 consid. 6.1 p. 359; arrêt 2C_627/2014 et 2C_628/2014 du 8 janvier 2015 consid. 6.1).
Dans la décision entreprise, la Commission de recours a retenu que, s'agissant de la période fiscale 2005, le recourant avait réalisé un bénéfice de 141'000 fr. sur la vente du terrain des "D._", sis à Sion. L'autorité précédente a également confirmé la prise en compte, à titre de déduction, des intérêts hypothécaires versés par le recourant pour les années 2003, 2004 et 2005. Devant le Tribunal fédéral, le recourant reproche à l'instance précédente de n'avoir tenu compte des intérêts hypothécaires versés en 2001 et en 2002. Il soutient que ces intérêts étaient tombés dans la brèche fiscale liée au passage du système praenumerando bisannuel au système postnumerando annuel, de sorte que l'autorité de taxation ne les aurait jamais admis en déduction de ses revenus 2001 et 2002. Or, comme l'a retenu implicitement la Commission de recours (cf. supra consid. 6.1), en vertu du principe de périodicité, il n'est pas possible de faire valoir une déduction dans la période fiscale 2005 portant sur des frais hypothécaires versés en 2001 et en 2002. Le recourant n'allègue au demeurant pas avoir subi de pertes durant ces périodes fiscales, lesquelles auraient pu être reportées en vertu de l'art. 31 al. 1 LIFD (anciennement art. 211 LIFD; cf. aussi art. 27 al. 2 let. b LIFD). La décision de la Commission de recours doit partant également être confirmée sur ce point.
7.
Il résulte de ce qui précède que le recours doit être rejeté, dans la mesure où il est recevable, en tant qu'il porte sur l'impôt fédéral direct pour les périodes fiscales 2003 à 2005.
II. Impôts cantonal et communal
8.
La notion de prestation appréciable en argent au sens de l'art. 20 al. 1 let. c LIFD est identique à celle prévue aux art. 7 al. 1 LHID et 16 al. 1 let. c LF. Partant, les considérations développées pour l'IFD trouvent à s'appliquer à l'ICC s'agissant des périodes fiscales sous examen. La même règle s'applique en ce qui concerne le principe de périodicité ainsi que les déductions admises, les art. 9 ss LHID et 23 ss LF contenant des règles analogues à celles prévues aux art. 27 ss LIFD. Il suffit donc de renvoyer, s'agissant des impôt cantonal et communal, aux considérants relatifs à l'impôt fédéral direct.
Dans ces conditions, il y a lieu de rejeter également le recours, dans la mesure où il est recevable, en ce qu'il concerne les impôts cantonal et communal pour les périodes fiscales 2003 à 2005.
9.
Les considérants qui précèdent conduisent au rejet du recours dans la mesure où il est recevable, tant en matière d'impôt fédéral direct que d'impôts cantonal et communal. Succombant, le recourant doit supporter les frais judiciaires (art. 66 al. 1 LTF). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).
Par ces motifs, le Tribunal fédéral prononce :
1.
Les causes 2C_85/2016 et 2C_86/2016 sont jointes.
2.
Le recours est rejeté dans la mesure où il est recevable en tant qu'il concerne l'impôt fédéral direct des périodes fiscales 2003, 2004 et 2005.
3.
Le recours est rejeté dans la mesure où il est recevable en tant qu'il concerne l'impôt cantonal et communal des périodes fiscales 2003, 2004 et 2005.
4.
Les frais judiciaires, arrêtés à 7'500 fr., sont mis à la charge du recourant.
5.
Le présent arrêt est communiqué au recourant, au Service cantonal des contributions du canton du Valais, à la Commission cantonale de recours en matière fiscale du canton du Valais et à l'Administration fédérale des contributions.
Lausanne, le 14 novembre 2016
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
La Greffière : McGregor