Faits: A. X._, né en 1939 et domicilié à A._, exploitait en raison individuelle une entreprise de bâtiment et génie civil, activité à laquelle il a mis fin en 2005. Dans la déclaration relative à la période fiscale 2004, déposée le 1er avril 2005, X._ a indiqué un montant de CHF 7'080.- au titre de revenu d'une activité indépendante, et de CHF 555.- au titre de gains accessoires dépendants. Lors de la taxation du 1er février 2006, le Service cantonal des contributions du canton du Valais (ci-après le Service cantonal) a arrêté à CHF 32'080.- le revenu de l'activité indépendante et à CHF 3'400.- les gains accessoires dépendants de X._. A la suite de la réclamation du contribuable, le Service cantonal a procédé à un contrôle des comptes de X._ le 18 septembre 2007. Le rapport d'expertise du 18 juin 2008 proposait d'effectuer les reprises suivantes pour 2004: Recettes non déclarées 155'000.- Recettes chantier "xxx" 58'000.- Part privée aux frais de véhicule 10'000.- Activité accessoire 2'845.- B. Par nouvelle taxation du 12 décembre 2008 relative à l'année 2004, la Commission communale d'impôts a suivi les propositions de l'expert et fixé à CHF 255'080.- le revenu de l'activité indépendante et à CHF 3'400.- les gains accessoires dépendants. Compte tenu des autres revenus et des déductions habituelles, le revenu net imposable s'élevait à respectivement CHF 280'583.- en matière d'ICC et CHF 279'353.- en matière d'IFD. X._ a déposé une réclamation contre cette nouvelle taxation. Par décision du 16 mai 2011, la Commission d'impôts des personnes physiques a rejeté la réclamation et confirmé les reprises effectuées. Le 15 juin 2011, le contribuable a recouru contre cette décision auprès de la Commission cantonale de recours en matière fiscale du canton du Valais (ci-après : la Commission de recours). Par décision du 28 mars 2012, celle-ci a partiellement admis le recours dans le sens des considérants. Elle a retenu un montant de CHF 143'753.10 au titre de reprise relative aux recettes non déclarées, annulé la reprise opérée au titre du chantier "xxx", maintenu les montants de CHF 10'000.- de part privée aux frais de véhicule et de CHF 3'400.- au titre de gains accessoires dépendants et fixé le revenu net imposable de X._ à CHF 211'336.- en matière d'impôts cantonal et communal (ci-après ICC) pour 2004, et à CHF 210'106.- en matière d'impôt fédéral direct (ci-après : IFD) pour 2004. La Commission de recours a considéré, en substance, que X._ n'avait fait valoir aucun argument relatif aux frais de véhicule et à ses gains accessoires, et que les travaux relatifs au chantier "xxx" avaient été effectués et facturés en 2002 et 2003. En ce qui concernait les recettes non déclarées, la Commission de recours a relevé que X._ avait enregistré pour l'exercice 2004 sur son compte privé des entrées pour un montant total de CHF 442'977.-, dont CHF 260'800.- avaient été transférés à son entreprise, et qu'il avait versé à des tiers une somme totale de CHF 38'423.90 pouvant être considérée comme des dépenses commerciales. C. Par acte du 22 juin 2012, X._ dépose un recours en matière de droit public au Tribunal fédéral contre la décision du 28 mars 2012. Il conclut, sous suite de frais et dépens, à l'annulation de la décision précitée et au renvoi de la cause à l'autorité cantonale pour nouvelle instruction et décision dans le sens des considérants. A titre de moyens de preuve, le recourant requiert la production du dossier de la Commission de recours et fait état de pièces déposées. La Commission de recours a renoncé à présenter des observations et conclut au rejet du recours. Le Service cantonal se rallie à la décision de la Commission de recours du 28 mars 2012 et propose le rejet du recours. L'Administration fédérale des contributions en fait de même. Le recourant a déposé d'ultimes observations le 26 novembre 2012.