Faits: A. X._, domicilié à A._, a constitué la société Y._ Sàrl en 2001. Il en a été l'associé-gérant avec signature individuelle jusqu'en 2007. Les taxations ordinaires de X._ ont été effectuées le 21 octobre 2006 pour l'année fiscale 2005 et le 19 octobre 2007 pour l'année fiscale 2006. Elles retenaient un revenu net imposable de respectivement CHF 208'692.- et CHF 156'565.- pour l'impôt cantonal et communal (ci-après l'ICC), et de CHF 208'222.- et CHF 156'365.- pour l'impôt fédéral direct (ci-après l'IFD). En 2008, le Service cantonal des contributions du canton du Valais (ci-après le Service cantonal) a procédé à une expertise des comptes de la société Y._ Sàrl pour les exercices 2005 et 2006 et à un contrôle des déclarations fiscales de X._ pour les années 2004 à 2007. Le rapport d'expertise relatif à la société Y._ Sàrl proposait notamment d'opérer auprès de X._ les reprises suivantes: 2005 2006 Recettes non comptabilisées 3'102.- 15'459.- Participation aux frais du véhicule 3'000.- 3'000.- Forfait de représentation excessif 22'000.- 20'000.- Total 28'102.- 38'459.- En ce qui concernait la somme de CHF 15'459.- proposée à la reprise pour 2006, elle correspondait à la contre-valeur d'une facture "B._" dont l'expert estimait qu'elle avait bénéficié à l'amie de X._, de sorte qu'elle représentait une libéralité de la société Y._ Sàrl en faveur de ce dernier. Dans le rapport consacré au contrôle des déclarations fiscales de X._, il était en outre proposé de procéder à une reprise de CHF 3'992.- pour 2005 et de CHF 14'018.- pour 2006 à d'autres titres. B. Par décisions du 23 juin 2009, le Service cantonal a procédé au rappel d'impôt auprès de X._ et, suivant pour l'essentiel les propositions de l'expert, fixé le revenu net imposable pour les années 2005 et 2006 à respectivement CHF 240'624.- et CHF 209'663.- pour l'ICC et à CHF 240'154.- et CHF 209'463.- pour l'IFD. La réclamation du contribuable a été rejetée par le Service cantonal par décision du 30 août 2010. X._ a recouru contre cette décision auprès de la Commission cantonale de recours en matière fiscale du canton du Valais (ci-après la Commission de recours). Par décision du 28 mars 2012, celle-ci a rejeté le recours du contribuable et, procédant à une reformatio in pejus, a fixé le revenu net imposable pour les années 2005 et 2006 à respectivement CHF 268'726.- et CHF 248'122.- pour l'ICC et à CHF 268'256.- et CHF 247'922.- pour l'IFD. La Commission de recours a retenu, en substance, que le Service cantonal avait omis de procéder effectivement aux reprises annoncées, alors que celles-ci, dans la mesure où elles n'étaient pas déjà admises par le contribuable, étaient justifiées dès lors que ce dernier avait surévalué le forfait pour frais de représentation et omis de compter comme distribution de bénéfice le montant correspondant à la facture "B._". C. Par acte du 22 juin 2012, X._ dépose un recours en matière de droit public au Tribunal fédéral contre la décision du 28 mars 2012. Il prend les conclusions suivantes: 1. Le recours en matière de droit public est admis. 2. La décision du 28 mars 2012 de la Commission cantonale de recours en matière fiscale du canton du Valais est annulée. 3. La Commission cantonale de recours en matière fiscale du canton du Valais, respectivement le Service des contributions, procédera à la modification des taxations fiscales 2005 et 2006 de X._ en ce sens: a) Elle retranchera des revenus déterminants sous chiffres 2600 et 2800, des taxations fiscales 2005 et 2006, les montants comptabilisés à tort de CHF 28'102.- et 38'459.-, de même qu'elle imputera sur le revenu déterminant des taxations fiscales 2005 et 2006, notifiées le 23 juin 2009, les frais de représentation à raison de CHF 22'000.- et 20'000.-, ainsi que le montant de CHF 15'459.- concernant la facture "B._". 4. Les frais sont mis à la charge de l'État, lequel versera une juste indemnité de CHF 5'000.- à X._ pour ses dépens. Par ailleurs, à titre de moyens de preuve, le recourant requiert la production des dossiers de la Commission de recours et du Service cantonal ainsi que son audition. Dans ses observations du 10 septembre 2012, la Commission de recours a admis partiellement les conclusions du recourant et demandé au Tribunal fédéral de modifier le prononcé attaqué en déduisant du revenu net imposable un montant de CHF 28'102.- pour l'année 2005 et de CHF 38'459.- pour l'année 2006, compté à tort à deux reprises. Elle a par ailleurs conclu à l'irrecevabilité du recours en ce qui concernait les frais de représentation et à son rejet pour le surplus. L'Administration fédérale des contributions s'est ralliée aux conclusions de la Commission de recours. Dans son ultime détermination du 20 novembre 2012, le recourant a pris acte des conclusions de la Commission de recours et demandé qu'il en soit tenu compte dans la répartition des frais et dépens.