Faits:
A. De nationalité française, les époux X. et Y._ étaient domiciliés à B._. Le 15 décembre 2000, ils se sont installés dans le canton de Vaud, tout d'abord à C._, avant de s'établir à D._, dans leur propre maison, le 11 juillet 2001.
Depuis 1994, X._ a exercé des mandats comme indépendant, notamment pour des sociétés pétrolières. Le 1er février 2002, il a été engagé comme employé par la société E._ Ltd sise aux Bermudes; il a touché une rémunération mensuelle de 12'500 fr. dès le 1er octobre 2002. Parallèlement, X._ était administrateur et actionnaire unique de la société F._ SA, dont le siège était à Genève et qui avait pour but le courtage, la gestion de biens et opérations financières en Suisse. Cette société a été dissoute en janvier 2009.
Dans leur déclaration d'impôt 2001-2002, produite le 26 novembre 2001 et rectifiée le 5 décembre 2003, les époux X. et Y._ ont annoncé une fortune imposable de 7'408'000 fr. et un revenu imposable de 390'336 fr. pour des activités indépendantes et de 37'500 fr. correspondant à l'activité dépendante de X._ du 1er octobre au 31 décembre 2002. Pour la période fiscale 2003, les époux X. et Y._ n'ont pas déposé de déclaration, de sorte qu'ils ont été taxés d'office. Pour la période fiscale 2004, les contribuables ont déposé une déclaration le 15 novembre 2005 annonçant un revenu nul et une fortune imposable de 323'000 fr. Pour la période fiscale 2005, la déclaration d'impôt des intéressés, déposée le 28 novembre 2006, annonçait un revenu et une fortune imposable nuls.
Le 1er novembre 2005, l'Administration fédérale des contributions (ci-après: l'Administration fédérale) a informé l'Administration cantonale vaudoise des impôts (ci-après: l'Administration cantonale) qu'il ressortait du dossier pénal de X._ et de F._ SA que X._ avait reçu des versements de K._ Mauritius Ltd, G._ Group, H._ Budapest et d'autres origines inconnues. Elle lui signalait par ailleurs que l'Administration fiscale du canton de Genève était sur le point d'ouvrir une procédure en soustraction d'impôt et lui demandait d'ouvrir une telle procédure dans le canton de Vaud pour sauvegarder les droits du fisc sur le plan cantonal et fédéral. Il ressortait également du dossier que l'Administration fédérale avait elle-même déjà effectué des reprises d'impôt pour insuffisances de rémunérations et frais non justifiés par l'usage commercial pour les années 1997 à 2000.
B. Le 8 novembre 2005, l'Administration cantonale a informé les contribuables de l'ouverture d'une procédure en soustraction fiscale pour les périodes 2001-2002 et 2003, étendue par la suite à 2004.
Par décision du 28 janvier 2009, l'Administration cantonale a rendu une décision de rappel d'impôt et de taxation définitive pour les périodes fiscales 2001-2002, 2003 et 2004. Elle a notamment corrigé la taxation 2001-2002 pour tenir compte de la suppression des taxations intermédiaires du 1er janvier 2002 au 30 septembre 2002 (revenu 0 d'activité indépendante) et du 1er octobre 2002 au 31 décembre 2002 (revenu de 146'000 fr. d'activité indépendante). Elle a ainsi fixé les compléments d'impôts dus par les époux X. et Y._ pour les années 2001 à 2004 à 1'625'755.95 fr. en matière d'impôt cantonal et communal (en abrégé: ICC) et à 761'296.90 fr. en matière d'impôt fédéral direct (en abrégé: IFD). Pour ces mêmes périodes, elle a infligé des amendes de 2'236'600 fr. en matière d'ICC et de 1'090'600 fr. en matière d'IFD.
Statuant le 28 janvier 2010 sur réclamation des époux X. et Y._, l'Administration cantonale a modifié les compléments d'impôts pour les périodes 2001 à 2004, les fixant à 613'191.85 fr. pour l'ICC et à 585'674.35 fr. pour l'IFD. Partant, les amendes ont été ramenées au total à 912'900 fr. pour l'ICC et à 844'900 fr. pour l'IFD.
C. Les époux X. et Y._ ont recouru à l'encontre de la décision sur opposition du 28 janvier 2010 auprès de la Cour de droit administratif et public du Tribunal cantonal vaudois (ci-après le Tribunal cantonal), contestant certaines reprises et s'opposant au principe et à la quotité des amendes infligées.
Dans sa réponse du 24 juin 2010, l'Administration cantonale a pris des conclusions tendant à une reformatio in pejus de la décision attaquée concernant l'IFD de l'année 2000, sur la base des allégations des époux X. et Y._ faisant état de commissions versées par la société K._ Mauritius Ltd pour un montant de 11'500'000 fr. et portées au crédit du compte courant de l'actionnaire. Elle a considéré que ce versement constituait un revenu imposable, mais a admis en revanche que des versements de l'ordre de 2'386'890 fr. constituaient un remboursement du compte courant actionnaire et non un revenu. Sur la base de ces éléments, l'Administration cantonale a pris de nouvelles conclusions en défaveur des contribuables, demandant à ce que le revenu imposable IFD pour les années 2001-2002 soit fixé à 7'185'000 fr., ce qui correspondait à un complément d'impôt de 790'738.25 fr. pour 2001 et de 826'275 fr. pour 2002 (619'706.25 fr. pour 270 jours et 206'568.75 fr. pour 90 jours). L'amende pour soustraction de l'IFD devait ainsi être fixée à 1'186'100 fr. pour 2001, à 899'600 fr. pour la période du 1er janvier au 30 septembre 2002 et à 303'300 fr. pour la période du 1er octobre 2002 au 31 décembre 2002. La décision sur réclamation du 28 janvier 2010 pouvait être confirmée pour le surplus.
Le Tribunal cantonal a tenu une audience le 26 janvier 2012. Les parties ont reçu le procès-verbal de cette audience et ont pu se déterminer. Les époux X. et Y._ ont encore produit un mémoire le 9 mars 2012, accompagné d'un lot de pièces. Après avoir demandé une prolongation du délai fixé, l'Administration cantonale s'est déterminée le 11 avril 2012, en produisant également d'autres pièces. Cette écriture, avec ses annexes, a été transmise au mandataire des époux X. et Y._ le 2 mai 2012, à la demande de ce dernier du même jour, ainsi qu'à l'Administration fédérale des contributions, sans les pièces en annexe.
Par arrêt du 9 mai 2012, le Tribunal cantonal a admis partiellement le recours, annulé la décision du 28 janvier 2010 et renvoyé le dossier à l'autorité intimée pour nouvelle décision dans le sens des considérants, tant en ce qui concerne l'ICC que l'IFD. Examinant poste par poste les reprises contestées, le Tribunal cantonal en a confirmées certaines et annulées d'autres. Il a en particulier tenu compte du montant de 11'500'000 fr. mentionné dans les comptes de F._ SA à titre de commissions reversées à l'actionnaire. Au total, les soustractions retenues en matière d'IFD se montaient à 14'136'793 fr. et à 1'498'769 fr. en matière d'ICC. S'agissant des amendes pour soustraction fiscale pour les années 2001 à 2003 et tentative de soustraction pour l'année 2004, les juges en ont confirmé le principe, mais ont renvoyé le dossier à l'Administration cantonale pour en fixer le montant en tenant compte, tant pour l'ICC que l'IFD, des corrections apportées aux éléments de revenus soustraits et des coefficients réduits de 1,5 à 1 pour la soustraction consommée relative aux périodes fiscales 2001 à 2003 et de 1 à 2/3 pour la tentative de soustraction portant sur la période fiscale 2004.
D. X._ forme un recours en matière de droit public auprès du Tribunal fédéral et conclut, sous suite de frais et dépens, à l'annulation de l'arrêt du 9 mai 2012, des rappels d'impôts et des amendes, la cause étant renvoyée au Tribunal cantonal ou toute autre juridiction pour complément d'instruction et nouvelle décision dans le sens des considérants. X._ a ultérieurement formé une demande d'assistance judiciaire.
Le Tribunal cantonal se réfère à son arrêt. Au terme de leurs déterminations respectives, l'Administration cantonale propose de rejeter le recours dans la mesure de sa recevabilité, alors que l'Administration fédérale conclut à son rejet.
X._ a produit une prise de position finale, persistant dans les termes et les conclusions de son recours.
Considérant en droit:
1. Le présent litige concerne des rappels d'impôt et le prononcé d'amendes fiscales portant sur les périodes 2001/2002, 2003 et 2004, tant en ce qui concerne l'impôt fédéral direct (IFD) que les impôts cantonal et communal (ICC). Le Tribunal cantonal a rendu une seule décision valant pour les deux catégories d'impôts ce qui est admissible (cf. ATF 135 II 260 consid. 1.3.1 p. 262). Dans ces circonstances, on ne peut reprocher au recourant d'avoir pris des conclusions valant pour les deux impôts dans son recours devant le Tribunal fédéral (cf. ATF 135 II 260 consid. 1.3.2 p. 263). Par souci d'unification par rapport à d'autres cantons dans lesquels deux décisions sont rendues, la Cour de céans a toutefois ouvert deux dossiers, l'un concernant l'ICC (2C_560/2012), l'autre l'IFD (2C_561/2012). Comme l'état de fait est identique et que les questions juridiques se recoupent, les deux causes seront néanmoins jointes et il sera statué dans un seul arrêt (cf. art. 71 LTF et 24 PCF [RS 273]).
2. 2.1 L'arrêt attaqué admet partiellement le recours, annule la décision du 28 janvier 2010 rendue par l'Administration cantonale et renvoie la cause à cette dernière pour nouvelle décision dans le sens des considérants, tant pour l'ICC que l'IFD. Il ne s'agit donc pas d'une décision qui met formellement fin à la procédure. Cependant, selon la jurisprudence, une décision de renvoi est considérée exceptionnellement comme finale au sens de l'art. 90 LTF lorsque l'instance inférieure à qui la cause est renvoyée n'a plus aucune marge de manoeuvre et que le renvoi ne sert qu'à transposer en chiffres la décision de l'autorité de recours (ATF 134 II 124 consid. 1.3 p. 127; arrêts 2C_703/2012 du 19 juillet 2012 consid. 2.1.1; 2C_842/2011 du 21 octobre 2011 consid. 2.1). Tel est le cas en l'occurrence. L'arrêt attaqué examine poste par poste les reprises contestées et détermine précisément lesquelles doivent être prises en compte dans le revenu imposable des recourants pour les périodes fiscales 2001 à 2004. S'agissant des amendes, après en avoir confirmé le bien-fondé, le Tribunal cantonal a réduit les coefficients à 1 pour la soustraction consommée relative aux périodes fiscales 2001 à 2003 et à 2/3 pour la soustraction tentée pour la période fiscale 2004. L'Administration cantonale à qui la cause est renvoyée n'a donc plus qu'à calculer les montants d'impôts finalement dus par les recourants et les amendes en fonction des reprises admises et des coefficients nouvellement fixés dans l'arrêt attaqué. Ce dernier apparaît donc comme une décision finale au sens de l'art. 90 LTF.
2.2 Il s'agit par ailleurs d'une décision rendue dans une cause de droit public (cf. art. 82 let. a LTF), par une autorité cantonale supérieure de dernière instance (cf. art. 86 al. 1 let. d et al. 2 LTF) sans qu'aucune des exceptions prévues à l'art. 83 LTF ne soit réalisée, de sorte que la voie du recours en matière de droit public est ouverte (cf. aussi art. 146 de la loi fédérale sur l'impôt fédéral direct [LIFD; RS 642.11] et 73 al. 1 de la loi fédérale sur l'harmonisation des impôts directs des canton et des communes [LHID; RS 642.14]. Le recours a en outre été déposé en temps utile (art. 100 al. 1 LTF) et dans les formes prévues par la loi (art. 42 al . 2 LTF) par le contribuable qui a qualité pour agir (art. 89 al. 1 LTF). Il convient donc d'entrer en matière.
3. Devant le Tribunal cantonal, l'épouse du recourant était également désignée comme partie et l'arrêt attaqué mentionne le couple en qualité de recourants. Devant la Cour de céans, seul X._ recourt. Il en découle que l'objet du litige porté devant le Tribunal fédéral ne peut concerner que la position juridique de celui-ci. Partant, les critiques du recourant portant sur la désignation de son épouse en qualité de partie devant l'instance inférieure et sur l'absence de responsabilité solidaire de cette dernière, compte tenu de la situation matrimoniale du couple, ne sont pas admissibles dans la présente procédure.
4. Le recourant invoque une violation de son droit d'être entendu, plus particulièrement de son droit de répliquer. Il reproche en substance au Tribunal cantonal d'avoir statué sans lui laisser le temps de se prononcer sur la dernière écriture de l'Administration cantonale, munie d'annexes, qui était datée du 11 avril 2012, mais qu'il n'a reçue que le 3 mai 2012, alors que l'arrêt attaqué a été rendu le 9 mai suivant.
4.1 Ce grief doit être examiné en premier lieu. En effet, compte tenu du caractère formel du droit d'être entendu, si la violation devait être avérée, elle entraînerait l'annulation de l'arrêt attaqué quelles que soient les chances de succès du recours sur le fond (ATF 137 I 195 consid. 2.2 p. 197; 135 I 279 consid. 2.6.1 p. 285).
4.2 Comme le recourant soulève un vice de procédure qu'il ne pouvait invoquer avant que ne soit rendue la décision attaquée, il peut alléguer et prouver des faits nouveaux en relation avec ce grief, en dérogation à la règle de l'art. 99 al. 1 LTF (BERNARD CORBOZ, Commentaire LTF, n. 23 ad art. 99). Partant, le Tribunal fédéral tiendra compte des éléments et pièces produites par le recourant à l'appui de la violation de son droit à la réplique. Du reste ces faits ne sont pas contestés par les autorités cantonales.
4.3 Compris comme l'un des aspects de la notion générale de procès équitable au sens des art. 29 ss Cst., le droit d'être entendu garantit notamment le droit pour une partie à un procès de prendre connaissance de toute argumentation présentée au tribunal et de se déterminer à son propos, que celle-ci contienne ou non de nouveaux éléments de fait ou de droit, et qu'elle soit ou non concrètement susceptible d'influer sur le jugement à rendre. Il appartient en effet aux parties, et non au juge, de décider si une prise de position ou une pièce nouvellement versée au dossier contient des éléments déterminants qui appellent des observations de leur part. Toute prise de position ou pièce nouvelle versée au dossier doit ainsi être communiquée aux parties pour leur permettre de décider si elles veulent ou non faire usage de leur faculté de se déterminer (ATF 137 I 195 consid. 1 p. 197 et les références). Dans les procédures judiciaires, ce droit existe que la cause soit ou non soumise à l'art. 6 § 1 CEDH, l'art. 29 Cst. devant, sous cet angle, être interprété de la même manière (ATF 138 I 154 consid. 2.3.3 p. 157; 133 I 100 consid. 4.4 à 4.6 p. 103 ss et les arrêts cités).
La dénomination " droit à la réplique " ou " droit de répliquer " doit être comprise largement. Elle vise le droit conféré à la partie de se déterminer sur «toute prise de position» versée au dossier, quelle que soit sa dénomination procédurale (réponse, réplique, prise de position etc.); même si le juge a renoncé à ordonner un nouvel échange d'écritures, il doit néanmoins transmettre cette prise de position aux autres parties (arrêts 5A_535/2012 du 6 décembre 2012 consid. 2.3; 8C_104/2012 du 26 juin 2012 consid. 3.1). Il appartient au Tribunal de garantir dans tous les cas que le droit de répliquer puisse être effectivement exercé (arrêt 1C_142/2012 du 18 décembre 2012 consid. 2.4).
4.4 Lorsque la partie est représentée par un avocat, la jurisprudence du Tribunal fédéral considère que le droit de répliquer n'impose pas à l'autorité judiciaire l'obligation de fixer un délai à la partie pour déposer d'éventuelles observations. On peut attendre de l'avocat à qui une détermination ou une pièce est envoyée pour information qu'il connaisse la pratique selon laquelle, s'il entend prendre position, il le fasse directement ou demande à l'autorité de lui fixer un délai pour ce faire; sinon, il est réputé avoir renoncé à se prononcer (cf. ATF 133 I 100 consid. 4.8 p. 105 et les arrêts cités, confirmé notamment en dernier lieu arrêt 1C_142/2012 du 18 décembre 2012 consid. 2.2). Pour que le droit à la réplique soit garanti, il faut toutefois que le tribunal laisse un laps de temps suffisant à l'avocat, entre la remise des documents et le prononcé de sa décision, pour que le mandataire ait la possibilité de déposer des observations s'il l'estime nécessaire à la défense des intérêts de son client. Cette pratique peut certes engendrer une certaine incertitude, dès lors que la partie ignore de combien de temps elle dispose pour formuler une éventuelle prise de position. La CourEDH a toutefois admis la conformité de ce procédé avec l'art. 6 § 1 CEDH, dès lors qu'il suffit à la partie de demander à l'autorité de pouvoir prendre position et de requérir la fixation d'un délai (arrêt Joos c/ Suisse, du 15 novembre 2012 [requête n° 43245/07], §§ 27 ss, en particulier §§ 30-32). Dans cette affaire, un délai de trois semaines entre la transmission de la prise de position et le prononcé de l'arrêt a été jugé comme suffisamment long pour permettre au mandataire de la partie de formuler des observations ou à tout le moins de demander à l'autorité qu'elle lui fixe un délai pour ce faire (arrêt Joos précité § 32). Dans une affaire similaire, un délai d'un mois, bien qu'incluant les fêtes de fin d'année, a été également considéré comme suffisant (arrêt 1C_142/2012 du 18 décembre 2012 consid. 2.5). Au contraire, dans l'arrêt publié aux ATF 137 I 195 ss, le Tribunal fédéral a estimé qu'un délai de dix jours ne suffisait pas à garantir l'exercice du droit de répliquer (arrêt précité, consid. 2.6 p. 199).
4.5 En l'espèce, il ressort des allégués et pièces produites par le recourant, que l'écriture et les annexes remises par l'Administration au Tribunal cantonal le 11 avril 2012 ne lui ont, dans un premier temps, pas été transmises. Ce n'est qu'à la suite d'une demande de l'avocat, qui avait été informé du délai fixé à l'autorité administrative pour se déterminer, que celui-ci a reçu, le 3 mai 2012, copie de ces documents par le biais d'une simple lettre de transmission datée de la veille, qui ne fixait aucun délai pour fournir d'éventuelles observations. L'arrêt attaqué a, pour sa part, été rendu en date du 9 mai 2012.
L'écriture de l'Administration du 11 avril 2012, accompagnée d'annexes, développait la question de l'obtention illicite de moyens de preuve et se prononçait sur les nouvelles pièces bancaires versées au dossier. Partant, il s'agissait bien d'une véritable détermination munie de pièces, à propos de laquelle le recourant devait pouvoir, s'il l'entendait, présenter une " réplique ". Ayant reçu cette écriture le jeudi 3 mai 2012, l'avocat avait besoin de quelques jours ouvrables pour prendre connaissance de cette détermination, la soumettre à son client, convenir avec celui-ci de l'opportunité de présenter des observations à son sujet et, le cas échéant, de produire celles-ci ou à tout le moins de demander au Tribunal cantonal de lui accorder un délai pour ce faire. En rendant l'arrêt le mercredi 9 mai suivant, soit moins d'une semaine ou quatre jours ouvrables après que l'avocat a reçu la détermination en cause, force est d'admettre que le Tribunal a tranché trop rapidement et empêché ainsi l'exercice du droit à la réplique. L'art. 29 Cst. a partant été violé.
4.6 Ce vice ne pouvant pas être réparé devant le Tribunal fédéral (cf. ATF 137 I 195 consid. 2.7 p. 199; arrêt 5A_535/2012 du 6 décembre 2012 consid. 3), il entraîne l'admission du recours dans la mesure de sa recevabilité tant en ce qui concerne l'ICC (cause 2C_560/2012) que l'IFD (cause 2C_561/2012), sans qu'il y ait lieu d'examiner les autres griefs soulevés par le recourant (cf. supra consid. 4.1). L'arrêt attaqué doit en conséquence être annulé et la cause renvoyée au Tribunal cantonal pour nouvelle décision après avoir permis au recourant d'exercer son droit à la réplique.
5. Au vu de l'issue du litige, les frais seront mis à la charge du canton de Vaud (cf. art. 66 al. 1 et 4 LTF), qui supportera également les dépens dus au recourant (art. 68 al. 1 LTF). Les frais et dépens seront arrêtés en tenant compte du fait que le recours a été accueilli pour un motif formel (arrêts 5A_535/2012 du 6 décembre 2012 consid. 3; 1B_647/2011 du 21 mars 2012 consid. 3). Leur montant est toutefois suffisamment élevé pour admettre qu'il couvre la demande d'assistance judiciaire présentée par le recourant et que celle-ci devient par conséquent sans objet.
Par ces motifs, le Tribunal fédéral prononce:
1. Les causes 2C_560/2012 et 2C_561/2012 sont jointes.
2. Le recours est admis dans la mesure où il est recevable en ce qui concerne l'ICC (cause 2C_560/2012).
3. Le recours est admis dans la mesure où il est recevable en ce qui concerne l'IFD (cause 2C_561/2012).
4. L'arrêt attaqué est annulé et la cause renvoyée à l'autorité précédente pour nouvelle décision dans le sens des considérants.
5. Les frais judiciaires, arrêtés à 6'000 fr., sont mis à la charge de l'Etat de Vaud.
6. Le canton de Vaud versera au recourant une indemnité de 6'000 fr. à titre de dépens.
7. Le présent arrêt est communiqué au mandataire du recourant, au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, et à l'Administration fédérale des contributions.
Lausanne, le 21 janvier 2013
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président La Greffière
Zünd Rochat