Faits: A. Domicilié à Z._, X._ exerce à titre indépendant une activité de propriétaire-encaveur et de tenancier d'établissement public. Pour les périodes fiscales 2003 et 2004, il a été taxé d'office, car il n'avait pas déposé de déclaration d'impôt, malgré des rappels et une amende. B. Par décision du 9 décembre 2006, la Commission d'impôt de district pour la commune de Z._ (ci-après: la Commission d'impôt) a taxé d'office X._ parce qu'il n'avait pas remis sa déclaration d'impôt. Elle a fixé le revenu net imposable du contribuable à 128'360 fr. en matière d'impôt cantonal et communal (ci-après: ICC) et à 125'950 fr. en matière d'impôt fédéral direct (ci-après: IFD). Le 11 janvier 2007, X._ a, par l'entremise de sa fiduciaire, formé réclamation, indiquant qu'il enverrait sous peu une déclaration d'impôt dûment remplie, avec comptes et bilan; il sollicitait un délai supplémentaire au 30 avril 2007 pour déposer ces documents. Aucun document n'a été déposé dans ce délai. Selon une note d'un fonctionnaire du Service cantonal des contributions du canton du Valais (ci-après: le Service cantonal), un délai supplémentaire échéant le 30 juin 2007 aurait été accordé au contribuable, mais serait resté sans suite. Par décision du 14 décembre 2007, la Commission d'impôt a rejeté la réclamation. C. Le 9 janvier 2008, X._ a interjeté recours auprès de la Commission cantonale de recours en matière fiscale du canton du Valais (ci-après: la Commission de recours). Le 15 janvier 2008, la Commission de recours a attiré l'attention du recourant sur le fait que son recours ne remplissait pas les exigences formelles de recevabilité dès lors que, s'agissant du fond, il ne contenait ni conclusions, ni motivation ni indication des moyens de preuve. Elle lui a donc imparti un délai échéant le 30 janvier 2008 pour compléter le recours, sous peine d'irrecevabilité concernant le fond de la cause. Le 22 janvier 2008, X._ a déposé une écriture complémentaire. Le 8 février 2008, le Service cantonal a présenté ses observations et, le 10 mars 2008, X._ a répliqué en transmettant sa déclaration d'impôt 2005 accompagnée des comptes relatifs à ses activités indépendantes. Par décision du 21 octobre 2009, la Commission de recours a rejeté le recours formé par X._ dans la mesure de sa recevabilité. D. Contre la décision susmentionnée du 21 octobre 2009, X._ a interjeté un recours en matière de droit public au Tribunal fédéral. Il conclut à l'admission du recours, à la modification de la décision attaquée en ce sens que son revenu net imposable 2005 est ramené à 33'420 fr. pour l'ICC et à 31'010 fr. pour l'IFD. Subsidiairement, il demande l'annulation de la décision attaquée et le renvoi du dossier à la Commission de recours pour nouvelle décision dans le sens de la conclusion précitée. La Commission de recours conclut, sous suite de frais, au rejet du recours dans la mesure de sa recevabilité. Le Service cantonal renvoie à la décision attaquée et conclut, sous suite de frais, au rejet du recours.