Faits: A. A.X._ (ci-après: le contribuable ou le recourant) est membre de l'hoirie de A.X._ et B.X._. Celle-ci détenait 100 actions de la société anonyme Immeuble Y._ SA, sise à Sion, dont le capital-actions était de 200'000 fr. (200 actions d'une valeur nominale de 1'000 fr.). L'autre moitié du capital-actions était détenue par la société anonyme X._ SA, également sise à Sion. La société Immeuble Y._ SA était propriétaire de la parcelle no *** de la commune de Sion (magasin de 1'365 m2, habitation de 604 m2 et place de 187 m2). Par convention de vente d'actions du 22 juin 2004, l'hoirie A.X._ et B.X._ a cédé à la société anonyme Z._ SA, sise à Saxon, ses actions de la société Immeuble Y._ SA au prix de 1'300'000 fr. (soit 13'000 fr. par action). Par convention de la même date, la société X._ SA, a de son côté également cédé ses actions de la société précitée à Z._ SA, au prix de 1'250'000 fr. (soit 12'500 fr. par action). S'agissant du paiement du prix de vente, les deux conventions prévoyaient l'inscription d'une cédule hypothécaire d'un montant de 2'600'000 fr. sur l'immeuble appartenant à la société Immeuble Y._ SA, contre le versement par la banque C._ de 2'550'000 fr. Ce montant a été utilisé de la manière suivante: Remboursement du c/c débiteur B.X._ Fr. 352'560 Paiement du solde du prix de vente à l'hoirie Fr. 947'440 Paiement à X._ SA Fr. 1'250'000 A.X._ détenait 26 actions de la société Immeuble Y._ SA. Le prix de vente des actions détenues par l'hoirie ayant été fixé à 13'000 fr. par action, la part de A.X._ se montait à 338'000 fr. Le 13 juin 2005, A.X._ a déposé sa déclaration d'impôt pour la période 2004. A titre de revenu de la fortune mobilière, il a indiqué un montant de 522 fr. Par décision de taxation du 31 août 2005, la Commission d'impôt de district pour la commune de Sion a estimé que la vente des actions de la société Immeuble Y._ SA à Z._ SA réalisait les conditions d'une liquidation partielle indirecte. Elle a ainsi soumis à l'impôt sur le revenu le bénéfice réalisé par le contribuable dans le cadre de cette vente, bénéfice qu'elle a arrêté à 312'000 fr. (soit 338'000 fr. ./. 26'000 fr. correspondant à la valeur nominale des actions cédées). En y ajoutant les 522 fr. indiqués par le contribuable, le revenu de la fortune mobilière se montait à 312'522 fr. Compte tenu des autres revenus et des déductions, le revenu net imposable du contribuable s'élevait à 398'901 fr. pour l'impôt cantonal et communal (ci-après: ICC) et à 397'161 fr. pour l'impôt fédéral direct (IFD). B. A l'encontre de ce prononcé, le contribuable a formé une réclamation, en concluant à ce que le bénéfice réalisé lors de la vente des actions soit soumis à l'impôt sur les gains immobiliers plutôt qu'à l'impôt sur le revenu. La réclamation a été rejetée par décision de la Commission d'impôt de district du 6 juillet 2006. Le recours interjeté par le contribuable contre cette décision a été rejeté le 24 mars 2010 par la Commission de recours en matière fiscale du canton du Valais (ci-après: la Commission de recours ou l'autorité précédente). C. A l'encontre de ce prononcé, A.X._ a interjeté un recours en matière de droit public au Tribunal fédéral. Principalement, il a soutenu que la vente des actions de la société Immeuble Y._ SA était, s'agissant d'une société immobilière, uniquement imposable au titre de l'impôt (cantonal et communal) sur les gains immobiliers. Subsidiairement, il a prétendu que les conditions légales et jurisprudentielles de la liquidation partielle indirecte n'étaient pas réunies et, à supposer qu'elles le soient, il a contesté - plus subsidiairement - l'assiette du revenu imposable. Par arrêt du 31 mai 2012 (cause 2C_906/2010), le Tribunal fédéral a admis le recours, annulé la décision attaquée et renvoyé la cause à la Commission de recours pour qu'elle statue à nouveau dans le sens des considérants. La question de l'imposition au titre des gains immobiliers ne se posait que sur le plan cantonal et communal et, à cet égard, il fallait d'abord examiner - comme pour l'IFD - si le transfert de la participation dans la société prétendument immobilière réalisait les conditions d'une liquidation partielle indirecte et était de ce fait imposable au titre du revenu. S'agissant de l'IFD, le Tribunal de céans a considéré que les deux premières conditions d'une liquidation partielle indirecte au sens de l'art. 20a al. 1 let. a de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD; RS 642.11) - applicable en vertu de l'art. 205b LIFD - étaient en l'espèce réalisées: d'une part, A.X._ détenait, avec les autres membres de l'hoirie de A.X._ et B.X._, une participation de plus de 20% dans la société Immeuble Y._ SA, participation faisant partie de sa fortune privée; d'autre part, cette participation avait été cédée à la société Z._ SA, passant ainsi dans la fortune commerciale. Le litige portait en revanche sur la réalisation des deux autres conditions de l'art. 20a al. 1 let. a LIFD: celle de la distribution dans les cinq ans suivant la vente de la substance non nécessaire à l'exploitation et celle de la participation du vendeur à l'opération. A cet égard, l'autorité précédente avait considéré qu'il y avait eu distribution avec la participation des vendeurs dès lors que ceux-ci avaient consenti, dans la convention de vente d'actions du 22 juin 2004, à ce que l'immeuble de la société Immeuble Y._ SA serve à garantir - moyennant l'inscription d'une cédule hypothécaire - le prêt bancaire avec lequel la société Z._ SA avait financé l'opération. Or, la question de savoir si le fait que la société objet du transfert avait mis ses biens à disposition comme sûretés d'un prêt accordé à l'acquéreur constituait une distribution au sens de l'art. 20a al. 1 let. a LIFD devait être tranchée en se demandant si, au regard de l'ensemble des circonstances, un tiers y aurait consenti. Il fallait donc procéder à une comparaison avec ce qui aurait été convenu entre des personnes indépendantes ("dealing at arm's length"). Il n'y avait en outre distribution (effective) à concurrence de la valeur des biens mis à disposition comme sûretés que si ladite valeur avait été dûment amortie ou aurait dû l'être, la seule probabilité de réalisation des biens en question n'étant pas suffisante. En l'occurrence, l'autorité précédente avait admis l'existence d'une distribution sans procéder à la comparaison venant d'être décrite, de sorte qu'il convenait d'annuler la décision attaquée et de lui renvoyer le dossier pour qu'elle procède de la sorte et statue à nouveau. La Commission de recours devait notamment tenir compte du fait - s'il était avéré - que les intérêts de l'emprunt de Z._ SA avaient été payés par la société Immeuble Y._ SA. Elle devait déterminer, en examinant les rapports entre les deux sociétés, par qui ces charges avaient été en définitive supportées. S'agissant de l'ICC, la question de l'imposition au titre du revenu d'une liquidation partielle indirecte se posait dans les mêmes termes que pour l'IFD, du moment que l'autorité précédente s'était basée sur la jurisprudence fédérale qui avait été codifiée à l'art. 20a LIFD. Il convenait donc ici aussi d'annuler la décision attaquée et de renvoyer la cause à la Commission de recours pour qu'elle se prononce à nouveau - en procédant notamment à la comparaison précitée - sur la réalisation des conditions d'une liquidation partielle indirecte. Au vu de l'issue du litige, le Tribunal fédéral n'a pas examiné la question de l'assiette de l'impôt. D. Le 21 novembre 2012, la Commission de recours a rendu une nouvelle décision par laquelle elle a rejeté le recours de A.X._. A la suite de l'arrêt du Tribunal de céans du 31 mai 2012, elle avait requis du Service cantonal des contributions du canton du Valais l'édition des dossiers des sociétés Z._ SA et Immeuble Y._ SA. La Commission de recours en a tiré les données comptables concernant ces deux sociétés. Au regard de ses fonds propres (exercices 2004 à 2006) et de ses résultats bénéficiaires (exercices 2003 à 2008), la société Immeuble Y._ SA apparaissait comme saine. En revanche, l'examen des bilans de Z._ SA (exercices 2003 à 2008 et, s'agissant des fonds propres, bilan au 30 septembre 2009) révélait un fort endettement. Les exercices 2003 et 2004, ainsi que 2006 à 2008 étaient déficitaires. La comparaison des montants enregistrés dans les postes "intérêts et frais bancaires" des deux sociétés indiquait sans équivoque que les intérêts du prêt de 2'550'000 fr. consenti par la banque C._ à Z._ SA avaient été payés par Immeuble Y._ SA pour les exercices 2004 et 2005. La Commission de recours s'est référée en outre à une écriture de la Commission d'impôt des personnes morales du 28 septembre 2006. Au vu de ce qui précède, elle a conclu que la société Z._ SA était "une coquille vide" qui ne disposait pas elle-même des ressources financières lui permettant d'assumer les obligations liées à l'achat des actions d'Immeuble Y._ SA. Il était dès lors "évident" qu'un tiers n'aurait pas accepté de mettre son immeuble à la disposition de Z._ SA pour qu'il serve à garantir - moyennant la constitution d'une cédule hypothécaire de 2'600'000 fr. - un emprunt de cette dernière. En outre, compte tenu du fait que Z._ SA se trouvait dans l'impossibilité d'assurer le service de la dette déjà la première année, il fallait admettre que le montant de la garantie de 2'600'000 fr. aurait dû être amorti selon les règles du droit commercial. C'était ainsi ce montant qui avait fait l'objet de la distribution (effective) et qui devait être imposé comme liquidation partielle indirecte, conformément à la décision du 24 mars 2010, laquelle devait être confirmée, tant pour l'IFD que pour l'ICC. E. A l'encontre de ce prononcé, qui lui a été notifié le 26 avril 2013, A.X._ forme un recours en matière de droit public au Tribunal fédéral. Il conclut, sous suite de frais et dépens, à son annulation et à ce que le dossier soit retourné à l'autorité précédente pour qu'elle rende une nouvelle décision dans le sens des considérants. A titre préliminaire, il se plaint d'une violation de son droit d'être entendu. Principalement, il dénonce une mauvaise application des règles sur la liquidation partielle indirecte, en faisant valoir que les conditions de l'imposition ne sont pas réunies; pour le cas où le Tribunal de céans devait admettre le contraire, il conteste en outre l'assiette de l'imposition, telle qu'elle a été définie par la Commission de recours. L'autorité précédente et le Service cantonal des contributions du canton du Valais concluent au rejet du recours. L'Administration fédérale des contributions, Division principale de l'impôt fédéral direct, de l'impôt anticipé, des droits de timbre, se rallie à la Commission de recours pour ce qui est des conditions de l'imposition, mais propose de fixer l'assiette de l'impôt à 48'790 fr., en se référant à sa circulaire no 14 du 6 novembre 2007. Le recourant s'est déterminé sur ces prises de position dans une écriture datée du 21 octobre 2013.