Faits:
A.
A.X._ (ci-après: le contribuable ou le recourant) est membre de l'hoirie de A.X._ et B.X._. Celle-ci détenait 100 actions de la société anonyme Immeuble Y._ SA, sise à Sion, dont le capital-actions était de 200'000 fr. (200 actions d'une valeur nominale de 1'000 fr.). L'autre moitié du capital-actions était détenue par la société anonyme X._ SA, également sise à Sion.
La société Immeuble Y._ SA était propriétaire de la parcelle no *** de la commune de Sion (magasin de 1'365 m2, habitation de 604 m2 et place de 187 m2).
Par convention de vente d'actions du 22 juin 2004, l'hoirie A.X._ et B.X._ a cédé à la société anonyme Z._ SA, sise à Saxon, ses actions de la société Immeuble Y._ SA au prix de 1'300'000 fr. (soit 13'000 fr. par action).
Par convention de la même date, la société X._ SA, a de son côté également cédé ses actions de la société précitée à Z._ SA, au prix de 1'250'000 fr. (soit 12'500 fr. par action).
S'agissant du paiement du prix de vente, les deux conventions prévoyaient l'inscription d'une cédule hypothécaire d'un montant de 2'600'000 fr. sur l'immeuble appartenant à la société Immeuble Y._ SA, contre le versement par la banque C._ de 2'550'000 fr. Ce montant a été utilisé de la manière suivante:
Remboursement du c/c débiteur B.X._ Fr. 352'560 Paiement du solde du prix de vente à l'hoirie Fr. 947'440 Paiement à X._ SA Fr. 1'250'000
A.X._ détenait 26 actions de la société Immeuble Y._ SA. Le prix de vente des actions détenues par l'hoirie ayant été fixé à 13'000 fr. par action, la part de A.X._ se montait à 338'000 fr.
Le 13 juin 2005, A.X._ a déposé sa déclaration d'impôt pour la période 2004. A titre de revenu de la fortune mobilière, il a indiqué un montant de 522 fr.
Par décision de taxation du 31 août 2005, la Commission d'impôt de district pour la commune de Sion a estimé que la vente des actions de la société Immeuble Y._ SA à Z._ SA réalisait les conditions d'une liquidation partielle indirecte. Elle a ainsi soumis à l'impôt sur le revenu le bénéfice réalisé par le contribuable dans le cadre de cette vente, bénéfice qu'elle a arrêté à 312'000 fr. (soit 338'000 fr. ./. 26'000 fr. correspondant à la valeur nominale des actions cédées). En y ajoutant les 522 fr. indiqués par le contribuable, le revenu de la fortune mobilière se montait à 312'522 fr. Compte tenu des autres revenus et des déductions, le revenu net imposable du contribuable s'élevait à 398'901 fr. pour l'impôt cantonal et communal (ci-après: ICC) et à 397'161 fr. pour l'impôt fédéral direct (IFD).
B.
A l'encontre de ce prononcé, le contribuable a formé une réclamation, en concluant à ce que le bénéfice réalisé lors de la vente des actions soit soumis à l'impôt sur les gains immobiliers plutôt qu'à l'impôt sur le revenu.
La réclamation a été rejetée par décision de la Commission d'impôt de district du 6 juillet 2006.
Le recours interjeté par le contribuable contre cette décision a été rejeté le 24 mars 2010 par la Commission de recours en matière fiscale du canton du Valais (ci-après: la Commission de recours ou l'autorité précédente).
C.
A l'encontre de ce prononcé, A.X._ a interjeté un recours en matière de droit public au Tribunal fédéral. Principalement, il a soutenu que la vente des actions de la société Immeuble Y._ SA était, s'agissant d'une société immobilière, uniquement imposable au titre de l'impôt (cantonal et communal) sur les gains immobiliers. Subsidiairement, il a prétendu que les conditions légales et jurisprudentielles de la liquidation partielle indirecte n'étaient pas réunies et, à supposer qu'elles le soient, il a contesté - plus subsidiairement - l'assiette du revenu imposable.
Par arrêt du 31 mai 2012 (cause 2C_906/2010), le Tribunal fédéral a admis le recours, annulé la décision attaquée et renvoyé la cause à la Commission de recours pour qu'elle statue à nouveau dans le sens des considérants. La question de l'imposition au titre des gains immobiliers ne se posait que sur le plan cantonal et communal et, à cet égard, il fallait d'abord examiner - comme pour l'IFD - si le transfert de la participation dans la société prétendument immobilière réalisait les conditions d'une liquidation partielle indirecte et était de ce fait imposable au titre du revenu.
S'agissant de l'IFD, le Tribunal de céans a considéré que les deux premières conditions d'une liquidation partielle indirecte au sens de l'art. 20a al. 1 let. a de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD; RS 642.11) - applicable en vertu de l'<ref-law> - étaient en l'espèce réalisées: d'une part, A.X._ détenait, avec les autres membres de l'hoirie de A.X._ et B.X._, une participation de plus de 20% dans la société Immeuble Y._ SA, participation faisant partie de sa fortune privée; d'autre part, cette participation avait été cédée à la société Z._ SA, passant ainsi dans la fortune commerciale. Le litige portait en revanche sur la réalisation des deux autres conditions de l'<ref-law>: celle de la distribution dans les cinq ans suivant la vente de la substance non nécessaire à l'exploitation et celle de la participation du vendeur à l'opération. A cet égard, l'autorité précédente avait considéré qu'il y avait eu distribution avec la participation des vendeurs dès lors que ceux-ci avaient consenti, dans la convention de vente d'actions du 22 juin 2004, à ce que l'immeuble de la société Immeuble Y._ SA serve à garantir - moyennant l'inscription d'une cédule hypothécaire - le prêt bancaire avec lequel la société Z._ SA avait financé l'opération. Or, la question de savoir si le fait que la société objet du transfert avait mis ses biens à disposition comme sûretés d'un prêt accordé à l'acquéreur constituait une distribution au sens de l'<ref-law> devait être tranchée en se demandant si, au regard de l'ensemble des circonstances, un tiers y aurait consenti. Il fallait donc procéder à une comparaison avec ce qui aurait été convenu entre des personnes indépendantes ("dealing at arm's length"). Il n'y avait en outre distribution (effective) à concurrence de la valeur des biens mis à disposition comme sûretés que si ladite valeur avait été dûment amortie ou aurait dû l'être, la seule probabilité de réalisation des biens en question n'étant pas suffisante. En l'occurrence, l'autorité précédente avait admis l'existence d'une distribution sans procéder à la comparaison venant d'être décrite, de sorte qu'il convenait d'annuler la décision attaquée et de lui renvoyer le dossier pour qu'elle procède de la sorte et statue à nouveau. La Commission de recours devait notamment tenir compte du fait - s'il était avéré - que les intérêts de l'emprunt de Z._ SA avaient été payés par la société Immeuble Y._ SA. Elle devait déterminer, en examinant les rapports entre les deux sociétés, par qui ces charges avaient été en définitive supportées.
S'agissant de l'ICC, la question de l'imposition au titre du revenu d'une liquidation partielle indirecte se posait dans les mêmes termes que pour l'IFD, du moment que l'autorité précédente s'était basée sur la jurisprudence fédérale qui avait été codifiée à l'<ref-law>. Il convenait donc ici aussi d'annuler la décision attaquée et de renvoyer la cause à la Commission de recours pour qu'elle se prononce à nouveau - en procédant notamment à la comparaison précitée - sur la réalisation des conditions d'une liquidation partielle indirecte.
Au vu de l'issue du litige, le Tribunal fédéral n'a pas examiné la question de l'assiette de l'impôt.
D.
Le 21 novembre 2012, la Commission de recours a rendu une nouvelle décision par laquelle elle a rejeté le recours de A.X._. A la suite de l'arrêt du Tribunal de céans du 31 mai 2012, elle avait requis du Service cantonal des contributions du canton du Valais l'édition des dossiers des sociétés Z._ SA et Immeuble Y._ SA. La Commission de recours en a tiré les données comptables concernant ces deux sociétés. Au regard de ses fonds propres (exercices 2004 à 2006) et de ses résultats bénéficiaires (exercices 2003 à 2008), la société Immeuble Y._ SA apparaissait comme saine. En revanche, l'examen des bilans de Z._ SA (exercices 2003 à 2008 et, s'agissant des fonds propres, bilan au 30 septembre 2009) révélait un fort endettement. Les exercices 2003 et 2004, ainsi que 2006 à 2008 étaient déficitaires. La comparaison des montants enregistrés dans les postes "intérêts et frais bancaires" des deux sociétés indiquait sans équivoque que les intérêts du prêt de 2'550'000 fr. consenti par la banque C._ à Z._ SA avaient été payés par Immeuble Y._ SA pour les exercices 2004 et 2005. La Commission de recours s'est référée en outre à une écriture de la Commission d'impôt des personnes morales du 28 septembre 2006. Au vu de ce qui précède, elle a conclu que la société Z._ SA était "une coquille vide" qui ne disposait pas elle-même des ressources financières lui permettant d'assumer les obligations liées à l'achat des actions d'Immeuble Y._ SA. Il était dès lors "évident" qu'un tiers n'aurait pas accepté de mettre son immeuble à la disposition de Z._ SA pour qu'il serve à garantir - moyennant la constitution d'une cédule hypothécaire de 2'600'000 fr. - un emprunt de cette dernière. En outre, compte tenu du fait que Z._ SA se trouvait dans l'impossibilité d'assurer le service de la dette déjà la première année, il fallait admettre que le montant de la garantie de 2'600'000 fr. aurait dû être amorti selon les règles du droit commercial. C'était ainsi ce montant qui avait fait l'objet de la distribution (effective) et qui devait être imposé comme liquidation partielle indirecte, conformément à la décision du 24 mars 2010, laquelle devait être confirmée, tant pour l'IFD que pour l'ICC.
E.
A l'encontre de ce prononcé, qui lui a été notifié le 26 avril 2013, A.X._ forme un recours en matière de droit public au Tribunal fédéral. Il conclut, sous suite de frais et dépens, à son annulation et à ce que le dossier soit retourné à l'autorité précédente pour qu'elle rende une nouvelle décision dans le sens des considérants. A titre préliminaire, il se plaint d'une violation de son droit d'être entendu. Principalement, il dénonce une mauvaise application des règles sur la liquidation partielle indirecte, en faisant valoir que les conditions de l'imposition ne sont pas réunies; pour le cas où le Tribunal de céans devait admettre le contraire, il conteste en outre l'assiette de l'imposition, telle qu'elle a été définie par la Commission de recours.
L'autorité précédente et le Service cantonal des contributions du canton du Valais concluent au rejet du recours. L'Administration fédérale des contributions, Division principale de l'impôt fédéral direct, de l'impôt anticipé, des droits de timbre, se rallie à la Commission de recours pour ce qui est des conditions de l'imposition, mais propose de fixer l'assiette de l'impôt à 48'790 fr., en se référant à sa circulaire no 14 du 6 novembre 2007.
Le recourant s'est déterminé sur ces prises de position dans une écriture datée du 21 octobre 2013.

Considérant en droit:
1.
Le présent litige porte sur le revenu imposable, au titre tant de l'IFD que de l'ICC. La Commission de recours a rendu une seule décision valant pour les deux catégories d'impôts, ce qui est admissible (cf. <ref-ruling> consid. 1.3.1 p. 262). Dans ces circonstances, on ne peut reprocher au recourant d'avoir pris des conclusions valant pour les deux impôts dans son recours devant le Tribunal fédéral (cf. <ref-ruling> consid. 1.3.2 p. 263). Par souci d'unification par rapport à d'autres cantons dans lesquels deux décisions sont rendues, la Cour de céans a toutefois ouvert deux dossiers, l'un concernant l'ICC (2C_499/2013), l'autre l'IFD (2C_500/2013). Comme l'état de fait est identique et que les questions juridiques se recoupent, les deux causes seront néanmoins jointes et il sera statué dans un seul arrêt (cf. <ref-law> et 24 PCF [RS 273]).
2.
2.1. La décision attaquée concerne le revenu imposable de la période fiscale 2004. Comme ce domaine relève du droit public et qu'aucune des exceptions prévues à l'<ref-law> n'est réalisée, la voie du recours en matière de droit public est ouverte sur la base de l'<ref-law>. L'<ref-law> confirme du reste l'existence de cette voie de droit pour l'IFD. S'agissant de l'ICC, l'imposition du revenu étant une matière harmonisée aux art. 7 ss de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (LHID; RS 642.14), la voie du recours en matière de droit public est aussi réservée par l'<ref-law> (cf. <ref-ruling> ss).
2.2. Déposé en temps utile (cf. <ref-law>), le recours est dirigé contre une décision finale (cf. <ref-law>) rendue par une autorité cantonale supérieure de dernière instance (cf. art. 86 al. 1 let. d et al. 2 LTF; art. 150 al. 2 de la loi fiscale valaisanne du 10 mars 1976 [LF; RS/VS 642.1]). Par ailleurs, il a été interjeté par le contribuable destinataire de la décision attaquée et qui a un intérêt digne de protection à son annulation ou sa modification (cf. <ref-law>). Il convient donc d'entrer en matière.
3.
A titre préliminaire, le recourant se plaint de violation de son droit d'être entendu au sens de l'art. 29 Cst. Il reproche à la Commission de recours d'avoir statué à nouveau, après l'édition des dossiers fiscaux des sociétés Z._ SA et Immeuble Y._ SA, sans lui avoir offert la possibilité de se déterminer sur ces nouveaux éléments.
3.1. Ce grief doit être examiné en premier lieu. En effet, compte tenu du caractère formel du droit d'être entendu, si la violation devait être avérée, elle entraînerait l'annulation de la décision attaquée quelles que soient les chances de succès du recours sur le fond (cf. <ref-ruling> consid. 2.2 p. 197; <ref-ruling> consid. 2.6.1 p. 285).
3.2. Compris comme l'un des aspects de la notion générale de procès équitable au sens des art. 29 ss Cst., le droit d'être entendu garantit notamment le droit pour une partie de prendre connaissance du dossier, de s'exprimer sur les éléments pertinents avant qu'une décision ne soit prise touchant sa situation juridique (<ref-ruling> consid. 2.2 p. 255) et de participer à l'administration des preuves essentielles ou à tout le moins de s'exprimer sur son résultat, lorsque cela est de nature à influer sur la décision à rendre (<ref-ruling> consid. 2.1 p. 127; <ref-ruling> consid. 3.2 p. 270 ; <ref-ruling> consid. 2.3 p. 282). Dans les procédures judiciaires, ce droit existe que la cause soit ou non soumise à l'art. 6 § 1 CEDH, l'art. 29 Cst. devant, sous cet angle, être interprété de la même manière (<ref-ruling> consid. 2.3.3 p. 157; <ref-ruling> consid. 4.4 à 4.6 p. 103 ss).
Lorsque le Tribunal fédéral annule la décision attaquée et renvoie la cause à l'autorité précédente, la procédure reprend devant celle-ci dans l'état où elle se trouvait lors du prononcé de ladite décision. Les écritures que les parties avaient déposées jusque-là conservent leur validité. L'autorité à laquelle la cause a été renvoyée ne doit ainsi pas nécessairement effectuer un nouvel échange d'écritures. Elle n'est pas tenue de le faire en particulier si elle n'a pas à procéder à des investigations supplémentaires, mais doit seulement trancher des questions juridiques déjà soulevées auparavant (arrêt 8C_668/2012 du 26 février 2013 consid. 5.1). En revanche, s'il y a lieu de compléter l'instruction, elle doit donner aux parties la possibilité de s'exprimer sur le résultat de ces mesures, conformément aux règles énoncées ci-dessus.
3.3. En l'occurrence, la cause a été renvoyée à la Commission de recours pour qu'elle se prononce à nouveau sur la question de savoir si le fait que la société Immeuble Y._ SA avait mis son immeuble à disposition comme sûreté d'un prêt accordé à Z._ SA constituait une distribution au sens de l'<ref-law>, en examinant si, au regard de l'ensemble des circonstances, un tiers y aurait consenti. Afin de procéder à cette comparaison avec ce qui aurait été convenu entre des personnes indépendantes, l'autorité précédente a demandé la production des dossiers fiscaux des deux sociétés en cause. Avant de statuer derechef en se fondant essentiellement sur les éléments comptables qui en ressortaient, la Commission de recours devait informer le recourant de ce que ces pièces avaient été versées au dossier et lui donner la possibilité d'en prendre connais- sance et de s'exprimer à leur propos. Or, tel n'a pas été le cas selon les allégations du recourant, qui ne sont pas contestées. Le droit d'être entendu de ce dernier a donc été violé et cette violation ne peut être réparée devant le Tribunal de céans, du moment que le pouvoir d'examen de celui-ci est moins étendu que celui de la juridiction cantonale (cf. <ref-law>; <ref-ruling> consid. 4 p. 84; <ref-ruling> consid. 2.3.2 p. 197 s. ; <ref-ruling> consid. 2.6.1 p. 285). La décision attaquée doit en conséquence être annulée et la cause renvoyée à la Commission de recours pour qu'elle statue à nouveau après avoir permis au recourant d'exercer son droit d'être entendu.
3.4. Le recours doit ainsi être admis tant pour l'ICC (cause 2C_499/2013) que pour l'IFD (cause 2C_500/2013), sans qu'il y ait lieu d'examiner les autres griefs soulevés par le recourant.
3.5. Il convient toutefois de relever que, comme l'Administration fédérale des contributions l'indique dans sa détermination, l'autorité précédente ne semble pas avoir tenu compte, pour la délimitation de l'assiette de l'impôt, de la circulaire no 14 du 6 novembre 2007, intitulée "Vente de droits de participation de la fortune privée à la fortune commerciale d'un tiers («liquidation partielle indirecte») ". Les directives que l'Administration fédérale des contributions adresse aux administrations fiscales cantonales afin d'assurer une taxation et une perception correctes et uniformes n'ont certes pas force de loi et ne lient ni les administrés, ni les tribunaux (<ref-ruling> consid. 5.4.3. p. 543; <ref-ruling> consid. 8.1 p. 315 et les références). Toutefois, du moment qu'elles tendent à une application uniforme et égale du droit, ces derniers ne s'en écartent que dans la mesure où elles ne restitueraient pas le sens exact de la loi (arrêt 2C_95/2011 du 11 octobre 2011 consid. 2.3, in Archives 81 p. 71, RDAF 2012 II p. 72, RF 66/2011 p.963, Pra 2012 no 87 p. 583). En l'occurrence, en cas de distribution présentant les caractéristiques d'une liquidation partielle indirecte, la circulaire en question définit le rendement imposable comme la plus petite des valeurs suivantes (proportionnellement à la quote-part représentée par la participation vendue) : le produit de la vente, le montant des distributions, les réserves susceptibles d'être distribuées selon le droit commercial et la substance non nécessaire à l'exploitation (ch. 5.1.1). Lorsqu'il s'agira pour l'autorité précédente, le cas échéant, de définir dans sa nouvelle décision l'assiette de l'impôt, il conviendra qu'elle prenne en considération ces règles ou se détermine tout au moins par rapport à elles.
4.
Au vu de l'issue du litige, les frais seront mis à la charge du canton du Valais (cf. art. 66 al. 1 et 4 LTF), qui supportera également les dépens dus au recourant (cf. <ref-law>). Les frais et dépens seront fixés en tenant compte du fait que le recours est admis pour un motif formel (cf. arrêt 2C_560/2012 du 21 janvier 2013 consid. 5 et références).

Par ces motifs, le Tribunal fédéral prononce:
1.
Les causes 2C_499/2013 et 2C_500/2013 sont jointes.
2.
Le recours est admis en ce qui concerne l'ICC (cause 2C_499/2013).
3.
Le recours est admis en ce qui concerne l'IFD (cause 2C_500/2013).
4.
La décision attaquée est annulée et la cause renvoyée à l'autorité précédente pour qu'elle statue à nouveau dans le sens des considérants.
5.
Les frais judiciaires, arrêtés à 2'500 fr., sont mis à la charge du canton du Valais.
6.
Le canton du Valais versera au recourant une indemnité de 2'500 fr. à titre de dépens.
7.
Le présent arrêt est communiqué aux mandataires du recourant, au Service cantonal des contributions et à la Commission cantonale de recours en matière fiscale du canton du Valais, ainsi qu'à l'Administration fédérale des contributions, Division principale de l'impôt fédéral direct, de l'impôt anticipé, des droits de timbre.
Lausanne, le 18 décembre 2013
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
Le Greffier: Vianin