Faits:
A. X._ a constitué le 7 novembre 1995, avec quatre associés, la société Y._ Sàrl, sise à Z._, dont il détenait la moitié du capital social et dont il était le gérant avec signature individuelle. Le but de cette société consistait à étudier, développer, fabriquer et commercialiser tous les produits dérivés directement ou indirectement du chanvre, de manière compatible avec les dispositions légales suisses. Parallèlement, le prénommé exploitait personnellement la ferme A._, à Z._, dont il était propriétaire. Dans ce cadre, il produisait et conditionnait du chanvre pour le compte de la société Y._ Sàrl. De 1997 à 2001, X._ a vendu plusieurs tonnes de chanvre ou de dérivés de ce produit en usage récréatif, c'est-à-dire en vue d'une consommation pour ses effets psychotropes.
Le 14 novembre 2001, le juge d'instruction de l'Office régional du Bas-Valais a ouvert une instruction pénale contre le prénommé, pour violation grave de la loi fédérale du 3 octobre 1951 sur les stupéfiants (LStup; RS 812.121). Cette procédure a notamment débouché sur une condamnation à une peine de cinq ans et huit mois de réclusion, confirmée en dernière instance par arrêt du Tribunal fédéral du 20 avril 2009 (affaire 6B_986/2008).
B. Dans le cadre du contrôle des comptes de l'exploitation de X._, le Service cantonal des contributions du canton du Valais (ci-après: le Service des contributions) a constaté l'absence de comptabilité pour les années 1999 à 2002. Pour la période fiscale 2001-2002, il a procédé à une taxation d'office, en se fondant sur une expertise comptable du 25 février 2005 ordonnée dans le cadre de l'enquête pénale et confiée à la fiduciaire B._ SA, à Martigny. Pour les périodes fiscales 2003 et 2004, il s'est fondé sur la comptabilité établie par la fiduciaire C._, à Martigny, mandatée par X._, tout en opérant diverses reprises.
Par décisions du 31 juillet 2007, la Commission d'impôt de district pour la commune de Z._ a arrêté le revenu imposable de X._ comme suit:
- Période 2001-2002: 250'030 fr. pour les impôts cantonal et communal et 248'930 fr. pour l'impôt fédéral direct.
- Période 2003: 146'596 fr. pour les impôts cantonal et communal et 144'136 fr. pour l'impôt fédéral direct.
- Période 2004: 67'068 fr. pour les impôts cantonal et communal et 65'838 fr. pour l'impôt fédéral direct.
La réclamation élevée le 31 août 2007 par X._ à l'encontre de ces décisions a été rejetée le 20 décembre 2010 par la Commission d'impôt des personnes physiques du Service des contributions.
C. Saisie d'un recours de X._ contre la décision précitée du 20 décembre 2010, la Commission cantonale de recours en matière fiscale du canton du Valais (ci-après: la Commission cantonale de recours) l'a très partiellement admis, par décision du 23 novembre 2011, notifiée le 22 décembre 2011. Elle a considéré, en substance, que la prescription du droit de taxer n'était pas acquise, que l'expertise du 25 février 2005 de la fiduciaire B._ SA était probante, que le rapport établi le 26 octobre 2006 par la fiduciaire D._ à la demande de X._ n'était pas de nature à en infirmer les conclusions, qu'il ne se justifiait donc pas d'ordonner une surexpertise, que le revenu imposable de X._ pour la période fiscale 2001-2002 devait être réduit de 10'000 fr., tant en matière d'impôts cantonal et communal qu'en matière d'impôt fédéral direct, pour tenir compte de la déductibilité de la créance compensatrice du canton du Valais à teneur de l'arrêt du Tribunal cantonal valaisan du 22 octobre 2008 et que le revenu imposable arrêté pour les périodes fiscales 2003 et 2004 était conforme à la loi, les reprises opérées par l'autorité de taxation étant fondées.
D. A l'encontre de la décision de la Commission cantonale de recours du 23 novembre 2011, X._ forme auprès du Tribunal fédéral deux recours en matière de droit public, l'un en matière d'impôts cantonal et communal (affaire 2C_78/2012) et l'autre en matière d'impôt fédéral direct (affaire 2C_79/2012). Il conclut, sous suite de frais et dépens, à titre préalable, à l'octroi de l'assistance judiciaire et, à titre principal, à l'annulation de la décision entreprise, ainsi qu'au renvoi de la cause à l'autorité de taxation pour nouvelle décision dans le sens des considérants, après mise en oeuvre d'une contre-expertise. Il se plaint de la constatation manifestement inexacte des faits, de la violation de son droit d'être entendu, ainsi que des art. 130 al. 2 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD; RS 642.11) et 46 al. 3 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (LHID; RS 642.14).
La Commission cantonale de recours, le Service des contributions et l'Administration fédérale des contributions proposent de rejeter les recours.

Considérant en droit:
1. La Commission cantonale de recours a rendu une seule décision valant pour les deux catégories d'impôts (impôts cantonal et communal et impôt fédéral direct), ce qui est admissible, dès lors que la question juridique à trancher est réglée de la même façon en droit fédéral et dans le droit cantonal harmonisé (cf. <ref-ruling> consid. 1.3.1 p. 262 s.). Dans ces circonstances, on ne peut reprocher au recourant d'avoir, dans son recours au Tribunal fédéral, formé les mêmes griefs et pris des conclusions valant pour les deux catégories d'impôts (cf. <ref-ruling> consid. 1.3.2 p. 263 s.). Par souci d'unification par rapport à d'autres cantons dans lesquels deux décisions sont rendues, la Cour de céans a toutefois ouvert deux dossiers, l'un concernant l'impôt fédéral direct (2C_79/2012) et l'autre les impôts cantonal et communal (2C_78/2012). Comme l'état de fait est identique et que les questions juridiques se recoupent, les deux causes seront néanmoins jointes et il sera statué dans un seul arrêt (cf. art. 71 LTF et 24 PCF [RS 273]).
2. 2.1 Le Tribunal fédéral examine d'office sa compétence (art. 29 al. 1 LTF). Il contrôle donc librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 43; <ref-ruling> consid. 1 p. 103).
2.2 Le litige concerne tant les impôts cantonal et communal que l'impôt fédéral direct de la période fiscale 2001-2002. Dans les deux cas, les recours sont dirigés contre une décision finale (cf. art. 90 LTF) rendue dans une cause de droit public (cf. art. 82 let. a LTF) par une autorité cantonale supérieure de dernière instance (cf. art. 86 al. 1 let. d et al. 2 LTF). Déposés en temps utile (cf. art. 100 al. 1 et 46 al. 1 let. a LTF) par le destinataire de la décision attaquée qui a un intérêt digne de protection à l'annulation ou à la modification de celle-ci (cf. art. 89 al. 1 LTF), les présents recours sont donc en principe recevables comme recours en matière de droit public - au sens des art. 82 ss LTF - s'agissant de ces deux catégories d'impôts (cf. art. 146 LIFD, art. 73 al. 1 LHID et <ref-ruling> consid. 1.3 p. 188 s.).
3. Le litige porte exclusivement sur la taxation d'office opérée par le Service des contributions pour la période fiscale 2001-2002. En effet, le recourant n'invoque plus devant le Tribunal fédéral le moyen tiré de la prescription du droit de taxer et ne conteste pas la taxation effectuée pour les périodes fiscales 2003 et 2004. Sa conclusion principale en annulation de la décision de la Commission cantonale de recours du 23 novembre 2011 est donc irrecevable dans la mesure où celle-ci concerne les taxations 2003 et 2004 qui ne sont plus remises en cause.
4. Dénonçant une constatation manifestement inexacte des faits débouchant sur une décision arbitraire, le recourant fait grief à la Commission cantonale de recours de s'être fondée uniquement sur l'expertise de la fiduciaire B._ SA pour confirmer la taxation 2001-2002, sans tenir compte des critiques émises par la fiduciaire D._. En outre, il voit une violation de son droit d'être entendu dans le fait qu'il n'a pas été convoqué par l'expert et n'a pu fournir les documents qu'il souhaitait produire, ainsi que dans le fait que sa requête tendant à la mise en oeuvre d'une surexpertise officielle a été rejetée.
4.1 L'appréciation des preuves est arbitraire lorsque l'autorité ne prend pas en compte, sans raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (<ref-ruling> consid. 4.3 p. 62 et les arrêts cités). L'appréciation des preuves doit être arbitraire non seulement en ce qui concerne les motifs invoqués par la juridiction cantonale pour écarter un moyen de preuve, mais également dans son résultat (<ref-ruling> consid. 2.4 p. 5; <ref-ruling> consid. 2.2.2 p. 318 s.).
Le droit d'être entendu, tel qu'il est garanti par l'art. 29 al. 2 Cst., comprend notamment le droit pour l'intéressé de prendre connaissance du dossier, de s'exprimer sur les éléments pertinents avant qu'une décision ne soit prise touchant sa situation juridique, de produire des preuves pertinentes, d'obtenir qu'il soit donné suite à ses offres de preuves pertinentes, de participer à l'administration des preuves essentielles ou à tout le moins de s'exprimer sur son résultat, lorsque cela est de nature à influer sur la décision à rendre (<ref-ruling> consid. 3.2 p. 270 s.).
Le droit d'être entendu, tel qu'il est garanti par l'art. 29 al. 2 Cst., comprend notamment le droit pour l'intéressé de prendre connaissance du dossier, de s'exprimer sur les éléments pertinents avant qu'une décision ne soit prise touchant sa situation juridique, de produire des preuves pertinentes, d'obtenir qu'il soit donné suite à ses offres de preuves pertinentes, de participer à l'administration des preuves essentielles ou à tout le moins de s'exprimer sur son résultat, lorsque cela est de nature à influer sur la décision à rendre (<ref-ruling> consid. 3.2 p. 270 s.).
4.2 4.2.1 Le mandat confié le 12 décembre 2004 par le juge d'instruction à la fiduciaire B._ SA consistait à procéder à un examen critique du rapport d'enquête établi le 17 octobre 2002 par la section financière de la Police cantonale sur la base des mouvements de liquidités entre Y._ Sàrl et la ferme A._, à établir le chiffre d'affaires et le bénéfice de ces entités en reconstituant la comptabilité des années 1998 à 2001 au regard des rapports financiers entre elles et à comparer les résultat obtenus avec ceux de la Police cantonale. Au terme de ses travaux, la fiduciaire B._ SA a constaté que les deux approches conduisaient pratiquement aux mêmes chiffres. Elle a notamment conclu que l'absence de tout fondement économique des factures adressées par Y._ Sàrl au recourant, l'absence d'indications quant à la destination du solde de caisse à fin 2011 et l'existence de salaires non déclarés avaient eu pour effet de soustraire d'importants montants aux assurances sociales et au fisc.
A ces conclusions ressortant de deux volumineux rapports d'investigations, le recourant oppose un bref avis recueilli à titre privé auprès d'une fiduciaire aiglonne, dont il ne dit rien de la légitimité à se prononcer. Or, l'auteur de cet avis, D._, indique lui-même qu'il n'a pu obtenir le grand livre de Y._ Sàrl ni celui de la ferme A._ pour les exercices 2000 à 2002 et qu'il ne lui a ainsi pas été possible de vérifier les différents points relevés dans le rapport d'expertise de la fiduciaire B._ SA. A cela s'ajoute que D._ n'a eu aucun contact avec cette dernière, ni avec la section financière de la Police cantonale, de sorte que son rapport ne saurait constituer une contre-expertise, comme le prétend le recourant. En réalité, D._ s'est contenté de formuler un certain nombre de remarques critiques d'ordre méthodologique quant à la manière dont l'expert officiel a saisi la réalité économique du recourant et de Y._ Sàrl, notamment en relation avec l'ajustement des stocks, l'inventaire et des modifications du poste "créanciers-fournisseurs", ainsi qu'avec le contrôle des comptes courants inter-entreprises et de la balance des actifs et des passifs ressortant du bilan de Y._ Sàrl pour l'exercice 1997. Ignorant les difficultés considérables rencontrées par la section financière de la Police cantonale et l'expert pour pallier les carences du recourant dans la tenue de sa comptabilité et de celle de Y._ Sàrl, D._ s'est limité à la formulation de quelques critiques de nature théorique, en préconisant "in fine" l'établissement d'une comptabilité consolidée entre les deux entités en cause. A aucun moment il ne s'est prononcé sur les constatations relevées dans l'expertise officielle au sujet des factures fictives, mal comptabilisées ou non comptabilisées ou encore des paiements non comptabilisés. De plus, le prénommé n'a fourni aucun élément utile permettant, le cas échéant, de modifier le revenu imposable du recourant pour la période fiscale considérée.
Dans ces conditions, la Commission cantonale de recours pouvait, sans arbitraire, retenir comme revenu imposable du recourant pour la période 2001-2002 celui établi par la fiduciaire B._ SA, dont les conclusions confirmaient celles du rapport de la section financière de la Police cantonale.
Pour le surplus, c'est en vain que le recourant soutient que l'expertise de la fiduciaire B._ SA ne serait pas "neutre" au motif qu'elle a été ordonnée par l'autorité d'instruction pénale et non par l'autorité fiscale. Le juge d'instruction a en effet pris soin de faire vérifier par un tiers totalement indépendant des autorités pénales les conclusions auxquelles la section financière de la Police cantonale était parvenue. L'expertise officielle de la fiduciaire B._ SA remplit ainsi les conditions d'impartialité requises, de sorte que l'autorité fiscale pouvait s'y référer. Au demeurant, le recourant n'a pas déposé de plainte à l'encontre de la décision formelle du 3 octobre 2002 par laquelle le juge d'instruction a autorisé le Service des contributions à consulter le dossier pénal.
4.2.2 Le recourant se plaint en outre de ce que ses demandes d'être entendu et de pouvoir fournir certains documents ont toutes été rejetées par l'expert. Pourtant, aucune requête de ce type n'a été versée au dossier cantonal avant le dépôt de la réclamation en date du 31 août 2007, soit un an et demi après la remise du rapport d'expertise. En outre, la nature du mandat confié à la fiduciaire B._ SA n'imposait pas que le recourant fût formellement réentendu. En effet, comme on l'a vu (cf. consid. 4.2.1), la mission de l'expert consistait essentiellement à vérifier le bien-fondé des conclusions du rapport d'enquête de la section financière de la Police cantonale du 17 octobre 2002. Or, ce document avait été établi sur la base des pièces du dossier pénal, parmi lesquelles figuraient les procès-verbaux des différentes auditions du recourant. Celui-ci a ainsi eu l'occasion de fournir les explications et documents qu'il estimait utiles, en particulier au sujet de sa situation matérielle et des rapports financiers entre Y._ Sàrl et la ferme A._. Enfin, la mise en oeuvre d'une surexpertise ne se justifiait pas, dès lors que les conclusions des deux rapports officiels des 17 octobre 2002 et 25 février 2005 étaient concordantes et que les remarques de la fiduciaire D._ n'étaient pas de nature à les remettre en cause (cf. consid. 4.2.1).
Le grief tiré de la violation du droit d'être entendu du recourant doit donc être écarté.
5. Le recourant fait ensuite valoir que la Commission cantonale de recours a violé les art. 130 al. 2 LIFD et 46 al. 3 LHID dans la mesure où son refus d'ordonner un complément d'expertise ou une surexpertise n'était pas compatible avec l'appréciation consciencieuse à laquelle elle devait se livrer, notamment sous l'angle de la capacité économique du contribuable, en vertu de ces dispositions.
5. Le recourant fait ensuite valoir que la Commission cantonale de recours a violé les art. 130 al. 2 LIFD et 46 al. 3 LHID dans la mesure où son refus d'ordonner un complément d'expertise ou une surexpertise n'était pas compatible avec l'appréciation consciencieuse à laquelle elle devait se livrer, notamment sous l'angle de la capacité économique du contribuable, en vertu de ces dispositions.
5.1 I. Impôt fédéral direct
5.1.1 La taxation d'office est opérée si, malgré sommation, le contribuable n'a pas satisfait à ses obligations de procédure ou que les éléments imposables ne peuvent pas être déterminés avec toute la précision voulue en l'absence de données suffisantes (art. 130 al. 2 LIFD).
A teneur de l'art. 132 al. 3 LIFD, le contribuable taxé d'office peut déposer une réclamation contre cette taxation uniquement pour le motif qu'elle est manifestement inexacte. La réclamation doit être motivée et indiquer, le cas échéant, les moyens de preuve. L'obligation de motiver la réclamation contre une taxation d'office est une exigence formelle dont la violation entraîne l'irrecevabilité (<ref-ruling> consid. 2.3 p. 551; <ref-ruling> consid. 4c p. 557). Le contribuable ne peut se limiter à une contestation globale ou à une contestation partielle de positions uniques, car cela ne permet pas d'examiner d'emblée si la taxation d'office est manifestement inexacte (cf. arrêt 2C.39/2004 du 29 mars 2005 consid. 5.2, in Archives 75 p. 329, RF 60/2005 p. 520, RDAF 2005 II p. 564, StE B 95.1 no 9). Il doit en tout cas être possible de reconnaître ce que le réclamant conteste dans la décision attaquée, par exemple le principe de la taxation d'office ou le montant de l'estimation opérée, ainsi que les arguments pertinents en fait et en droit sur lesquels il s'appuie (HUGO CASANOVA, in Commentaire romand, Impôt fédéral direct, 2008, no 23 ad art. 132 LIFD; MARTIN ZWEIFEL/HUGO CASANOVA, Schweizerisches Steuerverfahrensrecht, 2008, § 20 no 20). Ainsi, le contribuable ne doit pas se contenter de mettre en doute la taxation d'office, mais doit exposer en quoi celle-ci ne correspond pas à la situation réelle. Si la remise de la déclaration d'impôt dûment remplie - pour le cas où cela aurait été omis - n'est pas une condition de recevabilité de la réclamation (cf. arrêt 2C_579/2008 du 29 avril 2009 consid. 2.2, in StE 2009 B. 95.1 no 14, RF 64/2009 p. 659), il appartient au réclamant de présenter les faits de manière suffisamment détaillée et de mentionner les moyens de preuve y relatifs (arrêt 2C_579/2008, précité, consid. 2.1).
5.1.2 En l'espèce, lors du dépôt de sa réclamation du 31 août 2007, le recourant a renoncé à produire une déclaration d'impôt dûment remplie et n'a pas non plus présenté un état de fait de nature à établir que la taxation d'office était manifestement inexacte. Il s'est borné à relever que la taxation d'office litigieuse était prématurée et que les chiffres retenus par les autorités pénales et fiscales étaient surfaits dès lors qu'ils reposaient sur des ventes potentielles et non pas sur un revenu effectivement réalisé. Une telle contestation, toute générale et théorique, dépourvue d'arguments précis tant en fait qu'en droit, ne répond manifestement pas aux exigences de motivation imposées par la loi et la jurisprudence. Dans sa décision du 20 décembre 2010, la Commission d'impôt des personnes physiques du Service des contributions aurait donc dû déclarer la réclamation irrecevable. Un tel refus d'entrer en matière aurait exclu l'examen, en procédure de recours, des critiques formulées par le recourant. Procéder à un tel examen revient en effet à admettre que, même en présence d'une réclamation irrecevable, un contribuable serait légitimé à faire la démonstration, devant les instances supérieures, du caractère manifestement inexact de la taxation d'office. Une telle pratique aurait pour effet de vider de leur sens les exigences formelles de l'art. 132 al. 3 LIFD, dès lors que le contribuable qui, après avoir manqué à son devoir de collaboration et avoir été taxé d'office, a formé une réclamation non motivée, pourrait échapper aux conséquences prévues par la loi (ATF <ref-ruling> consid. 4e p. 558 s.).
En tout état de cause, dans la mesure où il est lié au refus de la Commission cantonale de recours d'ordonner une surexpertise, le grief tiré de la violation de l'art. 130 al. 2 LIFD est infondé, pour les motifs exposés au considérant 4.2.2 ci-dessus.
En tout état de cause, dans la mesure où il est lié au refus de la Commission cantonale de recours d'ordonner une surexpertise, le grief tiré de la violation de l'art. 130 al. 2 LIFD est infondé, pour les motifs exposés au considérant 4.2.2 ci-dessus.
5.2 II. Impôts cantonal et communal
Conformément à l'art. 46 al. 3 LHID, l'art. 137 al. 2 de la loi valaisanne du 10 mars 1976 sur les impôts (LF; RS/VS 642.1) dispose que l'autorité fiscale effectue la taxation d'office sur la base d'une appréciation consciencieuse si, malgré sommation, le contribuable n'a pas satisfait à ses obligations de procédure ou si les éléments imposables ne peuvent être déterminés avec toute la précision voulue en l'absence de données suffisantes. Selon l'art. 139 al. 1 2ème phrase LF, qui correspond à l'art. 48 al. 2 LHID, le contribuable qui a été taxé d'office peut déposer une réclamation contre cette taxation uniquement pour le motif qu'elle est manifestement inexacte.
Cette réglementation ne différant pas de celle applicable en matière d'impôt fédéral direct, les considérations émises pour ce dernier impôt trouvent à s'appliquer aux impôts cantonal et communal et il suffit d'y renvoyer.
6. Au vu de ce qui précède, les recours doivent être rejetés dans la mesure où ils sont recevables.
Les recours apparaissant d'emblée dénués de chances de succès, il n'y a pas lieu d'accorder le bénéfice de l'assistance judiciaire au recourant (cf. art. 64 al. 1 LTF a contrario), lequel supportera en conséquence les frais judiciaires (cf. art. 66 al. 1 LTF). Il n'est pas alloué de dépens (cf. art. 68 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Les causes 2C_78/2012 et 2C_79/2012 sont jointes.
2. Les recours sont rejetés dans la mesure où ils sont recevables.
3. La demande d'assistance judiciaire est rejetée.
4. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
5. Le présent arrêt est communiqué au mandataire du recourant, au Service cantonal des contributions et à la Commission cantonale de recours en matière fiscale du canton du Valais, ainsi qu'à l'Administration fédérale des contributions.
Lausanne, le 10 octobre 2012
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
Le Greffier: Vianin