Faits: A. X._, né en 1944 et domicilié dans la commune de A._, a travaillé à titre indépendant en qualité de carreleur jusqu'en 2005, où il a mis un terme à son activité lucrative. Son épouse, née en 1950, exploite depuis 2003 un commerce de carrelage, sanitaire et mobilier de salles de bains à B._. Par acte authentique du 14 décembre 2004, X._ a acquis la parcelle n° xxx sise sur le territoire de la commune de A._, d'une superficie de 824 m3, pour un montant de CHF 82'000.-. Dès 2005 et jusqu'en 2009, il a entrepris la construction d'un chalet d'habitation (chalet yyy) sur cette parcelle. Le prix de revient de la construction, y compris le coût du terrain, s'est élevé à CHF 651'034.-. Par acte authentique du 10 janvier 2008, X._ a acquis une parcelle bâtie d'une grange et d'un couvert, sise également sur le territoire de la commune de A._, pour la somme de CHF 150'000.-. Par acte de vente inscrit au registre foncier le 17 décembre 2009, X._ a vendu le chalet yyy à des tiers pour un montant de CHF 780'000.-. Par bordereau d'impôt sur les gains immobiliers du 5 octobre 2010, le Service cantonal des contributions du canton du Valais (ci-après le Service cantonal) a retenu un gain immobilier imposable de CHF 128'966.- et réclamé à X._ un impôt de CHF 21'073.75 à ce titre. Cette taxation a été annulée par décision du 17 février 2011. Le 27 octobre 2010, les époux X._ ont déposé leur déclaration en matière d'impôts cantonal et communal (ci-après ICC) et d'impôt fédéral direct (ci-après IFD), qui ne mentionnait aucun montant au titre de revenu d'une activité indépendante du mari. B. Par procès-verbal de taxation du 18 décembre 2010, la Commission communale d'impôts a considéré que le gain réalisé par X._ lors de la vente du chalet yyy devait être imposé au titre de revenu et fixé celui-ci à CHF 164'554.-, soit un gain imposable de CHF 128'966.- auquel s'ajoutait une reprise des intérêts passifs qui avaient déjà été admis en déduction dans les décisions de taxation ordinaire sur le revenu des années 2006 à 2009, pour un montant total de CHF 35'589.-. Par décision sur réclamation du 30 juin 2011, la Commission d'impôts des personnes physiques a confirmé cette taxation. X._ a recouru auprès de la Commission de recours en matière fiscale du canton du Valais (ci-après la Commission de recours) qui, par décision du 23 mai 2012, a rejeté ce recours. La Commission de recours a retenu, en substance, que les conditions pour considérer le bénéfice de l'aliénation du chalet yyy comme un revenu d'une activité lucrative indépendante étaient remplies, en particulier que la construction du chalet avait bénéficié des connaissances professionnelles de X._, qu'elle avait été financée par des fonds étrangers et que la possession avait été de courte durée. C. Par acte du 30 août 2012, X._ dépose un recours en matière de droit public au Tribunal fédéral à l'encontre de la décision du 23 mai 2012. Il conclut, sous suite de frais et dépens, à l'annulation de cette décision et, en tant que de besoin, au renvoi du dossier à la Commission de recours pour nouvelle décision dans le sens des considérants. La Commission de recours a renoncé à déposer des observations et conclut au rejet du recours. Le Service cantonal et l'Administration fédérale des contributions prennent les mêmes conclusions en se référant à la décision attaquée.