Faits: A. X._ a constitué le 7 novembre 1995, avec quatre associés, la société Y._ Sàrl, sise à Z._, dont il détenait la moitié du capital social et dont il était le gérant avec signature individuelle. Le but de cette société consistait à étudier, développer, fabriquer et commercialiser tous les produits dérivés directement ou indirectement du chanvre, de manière compatible avec les dispositions légales suisses. Parallèlement, le prénommé exploitait personnellement la ferme A._, à Z._, dont il était propriétaire. Dans ce cadre, il produisait et conditionnait du chanvre pour le compte de la société Y._ Sàrl. De 1997 à 2001, X._ a vendu plusieurs tonnes de chanvre ou de dérivés de ce produit en usage récréatif, c'est-à-dire en vue d'une consommation pour ses effets psychotropes. Le 14 novembre 2001, le juge d'instruction de l'Office régional du Bas-Valais a ouvert une instruction pénale contre le prénommé, pour violation grave de la loi fédérale du 3 octobre 1951 sur les stupéfiants (LStup; RS 812.121). Cette procédure a notamment débouché sur une condamnation à une peine de cinq ans et huit mois de réclusion, confirmée en dernière instance par arrêt du Tribunal fédéral du 20 avril 2009 (affaire 6B_986/2008). B. Dans le cadre du contrôle des comptes de l'exploitation de X._, le Service cantonal des contributions du canton du Valais (ci-après: le Service des contributions) a constaté l'absence de comptabilité pour les années 1999 à 2002. Pour la période fiscale 2001-2002, il a procédé à une taxation d'office, en se fondant sur une expertise comptable du 25 février 2005 ordonnée dans le cadre de l'enquête pénale et confiée à la fiduciaire B._ SA, à Martigny. Pour les périodes fiscales 2003 et 2004, il s'est fondé sur la comptabilité établie par la fiduciaire C._, à Martigny, mandatée par X._, tout en opérant diverses reprises. Par décisions du 31 juillet 2007, la Commission d'impôt de district pour la commune de Z._ a arrêté le revenu imposable de X._ comme suit: - Période 2001-2002: 250'030 fr. pour les impôts cantonal et communal et 248'930 fr. pour l'impôt fédéral direct. - Période 2003: 146'596 fr. pour les impôts cantonal et communal et 144'136 fr. pour l'impôt fédéral direct. - Période 2004: 67'068 fr. pour les impôts cantonal et communal et 65'838 fr. pour l'impôt fédéral direct. La réclamation élevée le 31 août 2007 par X._ à l'encontre de ces décisions a été rejetée le 20 décembre 2010 par la Commission d'impôt des personnes physiques du Service des contributions. C. Saisie d'un recours de X._ contre la décision précitée du 20 décembre 2010, la Commission cantonale de recours en matière fiscale du canton du Valais (ci-après: la Commission cantonale de recours) l'a très partiellement admis, par décision du 23 novembre 2011, notifiée le 22 décembre 2011. Elle a considéré, en substance, que la prescription du droit de taxer n'était pas acquise, que l'expertise du 25 février 2005 de la fiduciaire B._ SA était probante, que le rapport établi le 26 octobre 2006 par la fiduciaire D._ à la demande de X._ n'était pas de nature à en infirmer les conclusions, qu'il ne se justifiait donc pas d'ordonner une surexpertise, que le revenu imposable de X._ pour la période fiscale 2001-2002 devait être réduit de 10'000 fr., tant en matière d'impôts cantonal et communal qu'en matière d'impôt fédéral direct, pour tenir compte de la déductibilité de la créance compensatrice du canton du Valais à teneur de l'arrêt du Tribunal cantonal valaisan du 22 octobre 2008 et que le revenu imposable arrêté pour les périodes fiscales 2003 et 2004 était conforme à la loi, les reprises opérées par l'autorité de taxation étant fondées. D. A l'encontre de la décision de la Commission cantonale de recours du 23 novembre 2011, X._ forme auprès du Tribunal fédéral deux recours en matière de droit public, l'un en matière d'impôts cantonal et communal (affaire 2C_78/2012) et l'autre en matière d'impôt fédéral direct (affaire 2C_79/2012). Il conclut, sous suite de frais et dépens, à titre préalable, à l'octroi de l'assistance judiciaire et, à titre principal, à l'annulation de la décision entreprise, ainsi qu'au renvoi de la cause à l'autorité de taxation pour nouvelle décision dans le sens des considérants, après mise en oeuvre d'une contre-expertise. Il se plaint de la constatation manifestement inexacte des faits, de la violation de son droit d'être entendu, ainsi que des art. 130 al. 2 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD; RS 642.11) et 46 al. 3 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (LHID; RS 642.14). La Commission cantonale de recours, le Service des contributions et l'Administration fédérale des contributions proposent de rejeter les recours.