Faits :
A.
A.a. De nationalité française, les époux A.X._ et B.X._, qui étaient domiciliés à Genève, se sont installés, en 2000, dans le canton de Vaud, tout d'abord à Pully, avant de s'établir à Yens, dans leur propre maison, en 2001.
Depuis 1994, A.X._ a exercé des mandats comme indépendant, notamment pour des sociétés pétrolières. Le 1er février 2002, il a été engagé comme employé par la société C._ Ltd sise aux Bermudes; il a touché une rémunération mensuelle de 12'500 fr. dès le 1er octobre 2002. Parallèlement, A.X._ était administrateur et actionnaire unique de la société D._ SA, dont le siège était à Genève et qui avait pour but le courtage, la gestion de biens et opérations financières en Suisse. Cette société a été dissoute en janvier 2009.
A.b. Le 26 novembre 2001, les époux X._ ont déposé dans le canton de Vaud une déclaration d'impôt 2001-2002, annonçant une fortune imposable de 7'408'000 fr. et un revenu imposable de 506'334 fr.
Le 13 mai 2002, ils ont indiqué à l'Office d'impôt de Lausanne-district (ci-après: l'Office d'impôt) qu'ils avaient omis de faire valoir des déductions pour frais d'acquisition de leur revenu dans leur déclaration. A la demande de l'Office d'impôt, les époux X._ ont produit différents documents et expliqué que A.X._ avait cessé son activité indépendante le 31 décembre 2001 et que, depuis le 1er février 2002, il travaillait au service de la société C._ Ltd aux Bermudes, son premier salaire lui ayant été versé à compter du 1er octobre 2002. Il demandait dès lors une taxation intermédiaire pour activité indépendante au 31 décembre 2001 et reprise d'une activité dépendante au 1er octobre 2002.
Le 5 décembre 2003, les époux X._ ont déposé une déclaration 2001-2002bis, sans annoncer de revenus ou de charges extraordinaires. Ils ont déclaré des revenus d'activité indépendante de 390'336 fr. en 2001 et d'activité dépendante de 37'500 fr. entre le 1er octobre et le 31 décembre 2002.
Le 14 janvier 2004, l'Office d'impôt a rendu trois décisions de taxation en matière d'impôt cantonal et communal (ci-après: ICC) pour la période fiscale 2001-2002 : une taxation ordinaire pour 2001, fixant le revenu imposable à 364'200 fr. et la fortune imposable à 5'904'000 fr.; une taxation intermédiaire pour la période du 1er janvier 2002 au 30 septembre 2002, fixant le revenu imposable à 0 fr. et la fortune imposable à 5'904'000 fr., et une seconde taxation intermédiaire pour la période du 1er octobre 2002 au 31 décembre 2002 fixant le revenu imposable à 139'800 fr. et la fortune imposable à 5'904'000 fr.
A.c. Pour la période fiscale 2003, les époux X._ n'ont pas déposé de déclaration, de sorte qu'ils ont été taxés d'office le 8 décembre 2004, l'Office d'impôt établissant leur revenu imposable à 170'700 fr. en matière d'ICC et à 162'400 fr. en matière d'impôt fédéral direct (ci-après: IFD), la fortune imposable étant établie à 2'823'000 fr.
A.d. Pour la période fiscale 2004, les contribuables ont déposé une déclaration le 15 novembre 2005 annonçant un revenu nul et une fortune imposable de 323'000 fr.
A.e. Le 1er novembre 2005, l'Administration fédérale des contributions (ci-après: l'Administration fédérale) a informé l'Administration cantonale vaudoise des impôts (ci-après: l'Administration cantonale) qu'il ressortait du dossier pénal de A.X._ et de D._ SA que A.X._ avait reçu des versements de D.M._ Ltd, E._ Group, F._ System et d'autres origines inconnues. Elle indiquait par ailleurs que l'Administration fiscale du canton de Genève était sur le point d'ouvrir une procédure en soustraction d'impôt et lui demandait d'ouvrir une telle procédure dans le canton de Vaud pour sauvegarder les droits du fisc sur le plan cantonal et fédéral. L'Administration fédérale avait elle-même déjà effectué des reprises d'impôt pour insuffisances de rémunérations et frais non justifiés par l'usage commercial pour les années 1997 à 2000.
B.
B.a. Le 8 novembre 2005, l'Administration cantonale a informé les contribuables de l'ouverture d'une procédure en soustraction fiscale pour les périodes 2001-2002 et 2003, étendue par la suite à 2004. Par décision du 28 janvier 2009, l'Administration cantonale a rendu une décision de rappel d'impôt et de taxation définitive pour les périodes fiscales 2001-2002, 2003 et 2004. Elle a notamment corrigé la taxation 2001-2002 pour tenir compte de la suppression des taxations intermédiaires du 1er janvier 2002 au 30 septembre 2002 (revenu: 0 fr. d'activité indépendante) et du 1er octobre 2002 au 31 décembre 2002 (revenu: 146'000 fr. d'activité indépendante). Elle a ainsi fixé les compléments d'impôts dus par les époux X._ pour les années 2001 à 2004 à 1'625'755 fr. 95 en matière d'ICC et à 761'296 fr. 90 en matière d'IFD. Pour ces mêmes périodes, elle a infligé des amendes de 2'236'600 fr. en matière d'ICC et de 1'090'600 fr. en matière d'IFD.
Statuant le 28 janvier 2010 sur réclamation des époux X._, l'Administration cantonale a modifié les compléments d'impôts pour les périodes 2001 à 2004, les fixant à 613'191 fr. 85 pour l'ICC et à 585'674 fr. 35 pour l'IFD. Partant, les amendes ont été ramenées au total à 912'900 fr. pour l'ICC et à 844'900 fr. pour l'IFD.
Les époux X._ ont recouru à l'encontre de la décision sur opposition du 28 janvier 2010 auprès de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal).
Dans sa réponse du 24 juin 2010, l'Administration cantonale a pris des conclusions tendant à une reformatio in pejus de la décision attaquée concernant l'IFD de l'année 2000, sur la base des allégations des époux X._ faisant état de commissions versées par la société D.M._ Ltd pour un montant de 11'500'000 fr. et portées au crédit du compte-courant de l'actionnaire. Elle a considéré que ce versement constituait un revenu imposable, mais a admis en revanche que des versements de l'ordre de 2'386'890 fr. constituaient un remboursement du compte-courant actionnaire et non un revenu. Sur la base de ces éléments, l'Administration cantonale a pris de nouvelles conclusions en défaveur des contribuables, demandant à ce que le revenu imposable IFD pour les années 2001-2002 soit fixé à 7'185'000 fr., ce qui correspondait à un complément d'impôt de 790'738 fr. 25 pour 2001 et de 826'275 fr. pour 2002 (619'706 fr. 25 pour 270 jours et 206'568 fr. 75 pour 90 jours). L'amende pour soustraction de l'IFD devait ainsi être fixée à 1'186'100 fr. pour 2001, à 899'600 fr. pour la période du 1er janvier au 30 septembre 2002 et à 303'300 fr. pour la période du 1er octobre 2002 au 31 décembre 2002. La décision sur réclamation du 28 janvier 2010 pouvait être confirmée pour le surplus.
Le 24 septembre 2010, les époux X._ ont informé le Tribunal cantonal qu'ils acceptaient le principe d'une procédure unifiée portant à la fois sur les reprises et sur les amendes.
Par arrêt du 9 mai 2012, le Tribunal cantonal a admis partiellement le recours, annulé la décision du 28 janvier 2010 et renvoyé le dossier à l'autorité intimée pour nouvelle décision dans le sens des considérants, tant en ce qui concernait l'ICC que l'IFD. Examinant poste par poste les reprises contestées, le Tribunal cantonal en a confirmé certaines et annulé d'autres. Il a en particulier tenu compte du montant de 11'500'000 fr. dont l'Administration cantonale avait estimé en cours de procédure qu'il devait être repris à titre de commissions reversées à l'actionnaire. Ce montant était mentionné dans les comptes de D._ SA produits par A.X._ devant le Tribunal cantonal. Au total, les soustractions retenues en matière d'IFD se montaient à 14'136'793 fr. et à 1'498'769 fr. en matière d'ICC. S'agissant des amendes pour soustraction fiscale pour les années 2001 à 2003 et tentative de soustraction pour l'année 2004, les juges en ont confirmé le principe, mais ont renvoyé le dossier à l'Administration cantonale pour en fixer le montant en tenant compte, tant pour l'ICC que l'IFD, des corrections apportées aux éléments de revenus soustraits et des coefficients réduits de 1,5 à 1 pour la soustraction consommée relative aux périodes fiscales 2001 à 2003 et de 1 à 2/3 pour la tentative de soustraction portant sur la période fiscale 2004.
Par arrêt du 21 janvier 2013 (causes 2C_560/2012 et 2C_561/2012), le Tribunal fédéral, constatant une violation du droit d'être entendu de A.X._, a annulé l'arrêt du 9 mai 2012 et renvoyé la cause au Tribunal cantonal pour nouvelle décision, après avoir permis au contribuable d'exercer son droit à la réplique.
B.b. A Genève, le couple X._ était également en litige avec les autorités fiscales. Une procédure de rappel d'impôt et pour soustraction fiscale concernant tant l'IFD que l'ICC couvrant des périodes pendant lesquelles les conjoints étaient domiciliés à Genève a été menée à leur encontre. Par arrêt du 5 novembre 2013 (causes 2C_180/2013 et 2C_181/2013), le Tribunal fédéral a partiellement admis le recours déposé par A.X._ à l'encontre de l'arrêt rendu le 8 janvier 2013 par la Cour de Justice de la République et canton de Genève et renvoyé la cause à l'instance inférieure pour qu'elle recalcule l'IFD 1997-1998 en annulant une reprise de 49'940,14 francs français et qu'elle entende oralement le contribuable s'agissant de l'amende IFD.
B.c. La procédure vaudoise, qui avait été suspendue jusqu'à ce que la Cour de céans statue sur le volet genevois, s'est soldée par un arrêt du Tribunal cantonal du 7 avril 2014. Après avoir garanti le droit d'être entendu du contribuable conformément à l'arrêt de renvoi du Tribunal fédéral du 21 janvier 2013 précité, les juges cantonaux ont partiellement admis le recours interjeté par les époux X._ à l'encontre de la décision sur réclamation du 28 janvier 2010 (plusieurs reprises ont été supprimées et les coefficients des amendes fiscales réduits) et annulé celle-ci. Le dossier a été retourné à l'Administration cantonale pour qu'elle calcule à nouveau les rappels d'impôts et les amendes sur la base des corrections adoptées.
C.
A l'encontre de l'arrêt du 7 avril 2014, A.X._ forme un recours en matière de droit public au Tribunal fédéral. Il conclut, sous suite de frais et dépens, à l'annulation de l'arrêt attaqué et des rappels d'impôts, ainsi que des amendes prononcées. Subsidiairement, il demande l'annulation des reprises de 103'000 fr. pour la période de calcul 1999 et de 2'100 fr. pour la période de calcul 2000, déterminantes pour l'IFD 2001/2002, à ce que la reprise de 11'500'000 fr. déterminante pour la période de calcul 2000 en matière d'IFD 2000 (recte : 2001/2002) soit fixée à 4'541'503 fr. et à ce que les amendes pour toutes les périodes et impôts concernés (IFD et ICC) soient ramenées au montant maximum de 30'000 fr. Il requiert en outre le renvoi de la cause à la Cour cantonale ou à toute autre juridiction pour complément d'instruction. A.X._ demande par ailleurs l'assistance judiciaire.
Le Tribunal cantonal s'est référé à l'arrêt attaqué. Au terme de ses déterminations, l'Administration cantonale propose le rejet du recours dans la mesure de sa recevabilité, tout en renonçant à se déterminer sur la demande d'assistance judiciaire. L'Administration fédérale des contributions, se ralliant au dispositif et aux considérants de l'arrêt du 7 avril 2014, ainsi qu'aux observations de l'Administration cantonale, conclut au rejet du recours.
A.X._ a exercé son droit à la réplique le 15 septembre 2014. Il a encore fourni ultérieurement au Tribunal fédéral des documents relatifs à une procédure pénale diligentée contre des agents du fisc français et leurs supérieurs à la suite d'une plainte du contribuable.

Considérant en droit :
I. Recevabilité
1.
Le Tribunal cantonal a rendu un seul arrêt concernant les rappels d'impôts et les amendes pour les périodes fiscales allant de 2001 à 2004 s'agissant de l'ICC et de l'IFD. Partant, on ne peut reprocher au recourant d'avoir présenté une seule écriture et pris des conclusions valant pour les rappels et les amendes tant en matière d'ICC et d'IFD, d'autant qu'il a pris soin de diviser son argumentation et de préciser, pour les griefs concernant le fond, à quel impôt et à quelle période la critique se rapportait (cf. <ref-ruling> consid. 1.3.2 p. 263 s.). Par souci d'unification par rapport à d'autres cantons dans lesquels deux décisions sont rendues, la Cour de céans a ouvert deux dossiers, l'un concernant l'IFD (2C_477/2014), l'autre l'ICC (2C_476/2014). Comme l'état de fait est identique et que les questions juridiques se recoupent en partie, les deux causes seront néanmoins jointes et il sera statué dans un seul arrêt (cf. <ref-law> et 24 PCF [RS 273]).
2.
2.1. L'arrêt attaqué renvoie la cause à l'Administration cantonale pour qu'elle calcule à nouveau les rappels d'impôts et les amendes. L'autorité fiscale à qui l'affaire est renvoyée n'a toutefois plus aucune marge de manoeuvre, dès lors qu'il ne lui reste plus qu'à déterminer le montant des rappels et des amendes, en appliquant les règles définies dans la décision de renvoi. Partant, il s'agit, pour toutes les périodes fiscales concernées, d'une décision finale au sens de l'<ref-law> (cf. <ref-ruling> consid. 1.2 p. 148; arrêt 2C_180/2013 du 5 novembre 2013 consid. 2.2, in RF 69/2014 p. 237).
2.2. Sont visés par l'arrêt attaqué, le recourant et son épouse, en tant que créanciers solidaires. Il faut réserver les amendes fiscales, car les juges cantonaux ont précisé que celles-ci n'avaient été prononcées qu'à l'encontre du recourant, seul concerné par le volet pénal. Comme le recourant remplit individuellement les conditions de l'<ref-law> tant pour les rappels d'impôts que les amendes, la qualité pour recourir doit lui être reconnue. La question de savoir si, en regard du droit cantonal vaudois, son épouse reste solidairement responsable des rappels d'impôts, alors que le couple est séparé, comme le soutient l'Administration cantonale, n'a pas à être examinée, dès lors que le recourant ne le conteste pas et que son épouse n'a pas recouru.
2.3. L'arrêt attaqué a en outre été rendu en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF) dans une cause de droit public (<ref-law>) ne tombant pas sous le coup de l'une des exceptions prévues à l'<ref-law>. Le recours, déposé en temps utile compte tenu des féries (art. 46 al. 1 let. a et 100 al. 1 LTF) et dans les formes requises (art. 41 al. 1 et 2 LTF), est donc en principe recevable.
3.
3.1. D'après l'<ref-law>, le Tribunal fédéral applique le droit d'office. Il examine en principe librement l'application du droit fédéral ainsi que la conformité du droit cantonal harmonisé et de son application par les instances cantonales aux dispositions de la loi fédérale sur l'harmonisation des impôts directs des cantons et des communes, du 14 décembre 1990 (LHID; RS 642.14). Conformément à l'<ref-law> et en dérogation à l'<ref-law>, le Tribunal fédéral ne connaît de la violation des droits fondamentaux - notion qui englobe les droits constitutionnels (<ref-ruling> consid. 2 p. 638; arrêt 5A_545/2012 du 21 décembre 2012 consid. 2.1) - que si un tel moyen a été invoqué et motivé par le recourant, à savoir exposé de manière claire et détaillée (<ref-ruling> consid. 3 p. 237; <ref-ruling> consid. 2.1 p. 334; arrêt 2D_58/2013 du 24 septembre 2014 consid. 2.1).
3.2. Saisi d'un recours en matière de droit public, le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>), à moins que ces faits n'aient été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire (<ref-ruling> consid. 7.1 p. 51; arrêt 2C_416/2013 du 5 novembre 2013 consid. 3, non publié in <ref-ruling>) - ou en violation du droit (<ref-law>). La partie recourante qui entend s'écarter des constatations de l'autorité précédente doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'<ref-law> seraient réalisées et la correction du vice susceptible d'influer sur le sort de la cause (<ref-law>). A défaut, il n'est pas possible de tenir compte d'un état de fait qui diverge de celui contenu dans la décision attaquée. En particulier, le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (cf. <ref-ruling> consid. 5.1 p. 356). Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (<ref-law>).
Dans la première partie de son mémoire, le recourant complète librement les faits de la cause, notamment en lien avec la procédure domiciliaire menée en France et la procédure pénale qu'il a introduite à l'encontre d'agents du fisc français. A cet égard, il ne suffit pas de mentionner l'<ref-law> comme le fait le recourant, sans invoquer ni démontrer le caractère manifestement inexact des constatations cantonales, pour pouvoir présenter une argumentation s'en distanciant. Par ailleurs, les pièces et faits nouveaux ressortant du dernier courrier du recourant contreviennent à l'<ref-law>. De tels moyens sont irrecevables. Il en découle que, dans la suite de son raisonnement, le Tribunal fédéral se limitera aux faits figurant dans l'arrêt entrepris.
II. Droit applicable et prescription
4. L'arrêt attaqué se prononce sur les reprises fiscales engagées à l'encontre des époux X._ pour les périodes fiscales 2001-2002, 2003 et 2004, ainsi que sur les amendes infligées au recourant pour soustraction fiscale en lien avec les périodes 2001 à 2003 et tentative de soustraction fiscale pour la période 2004.
4.1. En l'absence d'une réglementation expresse contraire, le droit applicable s'agissant des rappels d'impôt se détermine en fonction de la période fiscale en cause (arrêt 2C_180/2013 du 5 novembre 2014 consid. 5.1). En l'occurrence, la LIFD s'applique aux rappels concernant l'IFD, alors que l'ICC est régi par la LHID (cf. <ref-law>) et le droit cantonal vaudois, à savoir la loi vaudoise du 4 juillet 2000 sur les impôts directs cantonaux entrée en vigueur le 1er janvier 2001 (LI/VD; RS/VD 642.11).
4.2. Compte tenu de l'écoulement du temps, il convient de vérifier que la prescription ou la péremption ne sont pas atteintes, étant précisé qu'il s'agit de questions de droit matériel que le Tribunal fédéral examine d'office lorsqu'elles jouent en faveur du contribuable (cf. <ref-ruling> consid. 3.2 p. 171).
IFD
4.2.1. Selon les constatations cantonales, les contribuables ont été informés de l'ouverture d'une procédure en soustraction pour les périodes fiscales en cause le 8 novembre 2005. Conformément à l'<ref-law>, l'introduction d'une procédure de poursuite pénale ensuite de soustraction d'impôt ou de délit fiscal entraîne également l'ouverture de la procédure de rappel d'impôt. Partant le délai de péremption de dix ans pour introduire une procédure de rappel d'impôt prévue à l'<ref-law> a été respecté.
En outre, le délai de quinze ans de l'<ref-law> pour clore définitivement la procédure de rappel d'impôt (cf. <ref-ruling> consid. 6.1 p. 73; 2C_724/2010 du 27 juillet 2011 consid. 6.1, in RF 66/2011 p. 871) n'est pas encore échu pour la période fiscale 2001-2002, étant précisé que ce délai a commencé à courir à fin 2002 (cf. <ref-ruling> consid. 6.1 p. 73).
4.2.2. En ce qui concerne l'amende pour soustraction fiscale se rapportant à l'IFD, les règles sur la prescription figurant à l'<ref-law> ont été modifiées le 1er octobre 2002, ce qui a une incidence directe sur les délais de prescription de la LIFD. Lorsque, comme en l'espèce, une partie des actes délictueux a été commise avant le 1er octobre 2002, en vertu du principe de la lex mitior, les nouvelles règles ne s'appliquent que si elles sont plus favorables. Selon l'art. 333 al. 6 let. d CP, jusqu'à l'adaptation des lois fédérales topiques, la prescription ne court plus si, avant son échéance, un jugement de première instance a été rendu. Cette nouvelle disposition supprime le risque que l'action pénale se prescrive durant la procédure devant le Tribunal fédéral et se révèle donc moins favorable que l'ancien droit. Quant aux délais eux-mêmes, l'<ref-law> s'avère en principe plus favorable et demeure applicable (cf. arrêts 2C_180/2013 du 5 novembre 2013 consid. 5.2.2; 2C_724/2010 du 27 juillet 2011 consid. 6.3.1, in RF 66/2011 p. 871). Par le jeu de l'<ref-law>, la poursuite pour soustraction fiscale consommée est prescrite après quinze ans à compter de la fin de la période fiscale pour laquelle la taxation n'a pas été effectuée ou l'a été de façon incomplète, ce délai ne pouvant être prolongé (arrêts 2C_180/2013 du 5 novembre 2013 consid. 5.2.2; 2C_651/2012 du 28 septembre 2012 consid. 3.1). En l'occurrence, les manquements imputés au recourant se rapportent au plus tard à la période fiscale 2001-2002, de sorte que la prescription absolue, qui ne commence à courir qu'à partir de la fin 2002 (cf. <ref-ruling> consid. 6.1 p. 73, également applicable en lien avec l'<ref-law>), n'est pas encore acquise.
4.2.3. Quant à l'amende pour tentative de soustraction fiscale relative à l'IFD 2004, la poursuite pénale se prescrit, conformément à l'<ref-law>, par quatre ans à compter de la clôture définitive de la procédure au cours de laquelle la tentative de soustraction a été commise. En cas de litige, la prescription ne va commencer à courir qu'à partir du moment où le Tribunal fédéral aura statué sur ladite procédure (arrêt 2C_724/2010 du 27 juillet 2011 consid. 6.4, in RDAF 2012 II 37, et l'arrêt cité). Dès lors que la taxation relative à l'IFD 2004 fait l'objet du présent recours, la prescription n'a pas encore débuté.
ICC
4.3. S'agissant de la prescription du droit d'introduire un rappel d'impôt, l'<ref-law> prévoit un délai de dix ans après la fin de la période fiscale pour laquelle la taxation n'a pas été effectuée alors qu'elle aurait dû l'être ou pour laquelle la taxation entrée en force était incomplète. L'art. 208 al. 1 LI/VD a le même contenu. L'al. 2 de cette disposition précise, à l'instar de l'<ref-law>, que l'introduction d'une procédure de poursuite pénale ensuite de soustraction d'impôt ou de délit fiscal entraîne également l'ouverture de la procédure de rappel d'impôt. Le recourant et son épouse ayant été avisés le 28 novembre 2005 d'une procédure en soustraction, ce délai est respecté (cf. consid. 4.2.1 supra).
Quant au délai pour clore la procédure de rappel d'impôt, l'<ref-law> et l'art. 208 al. 3 LI/VD correspondent à l'<ref-law>, de sorte que l'on peut se référer à ce qui a été exposé à ce sujet (cf. supra consid. 4.2.1 in fine).
4.4. S'agissant de la prescription relative aux actes de soustraction et de tentative de soustraction fiscales, l'<ref-law>, qui est repris à l'art. 254 LI/VD, est comparable à l'<ref-law> (arrêt 2C_724/2010 du 27 juillet 2011 consid. 12.1, in RDAF 2012 II 37). Par conséquent, le raisonnement adopté en lien avec l'IFD est applicable par analogie (cf. consid. 4.2.2 et 4.2.3 supra).
Il en découle que ni les prestations fiscales ni les amendes prononcées en matière d'ICC pour s oustractions et tentative de soustractions fiscales ne sont atteintes par la prescription.
III. Griefs formels
5.
Dans un premier grief de nature formelle, le recourant se plaint d'une violation de l'art. 32 al. 3 Cst. et de l'art. 2 du Protocole additionnel n° 7 à la CEDH (RS 0.101.7). Il fait valoir, s'agissant des amendes pour soustraction fiscale, que son droit à un double degré de juridiction a été méconnu, ce qui conduit à un résultat choquant, puisque le Tribunal cantonal, procédant à une reformatio in pejus, a ajouté au montant déterminant pour le calcul du rappel d'impôt la somme de 11'500'000 fr. pour l'année civile 2000, laquelle a influé sur l'IFD 2001-2002. Selon le recourant, cela a aussi entraîné une augmentation des amendes fiscales.
5.1. La procédure réprimant la soustraction fiscale est considérée comme une procédure à caractère pénal à laquelle l'art. 6 CEDH est applicable (<ref-ruling> consid. 9.2 p. 74 et les arrêts cités). En vertu des art. 6 CEDH et 30 Cst., la décision judiciaire relative au prononcé d'une sanction (administrative ou pénale) doit être le fait d'un tribunal jouissant d'une cognition pleine et entière en fait comme en droit (cf. <ref-ruling> consid. 4.5 p. 82 s.); l'art. 6 par. 1 CEDH n'impose toutefois pas l'exigence d'un double degré de juridiction (arrêt 2C_349/2012 du 18 mars 2013 consid. 1.1.2; arrêt de la Cour EDH Pedro Ramos c. Suisse, du 14 octobre 2010, req. 10111/06, par. 34). Cette exigence ressort de l'art. 32 al. 3 Cst., qui reprend l'art. 2 du Protocole n° 7 à la CEDH, et qui garantit le droit à toute personne condamnée de faire examiner le jugement par une juridiction supérieure. En revanche, l'interdiction de la reformatio in pejus n'est pas un principe garanti ni par le Protocole n° 7 à la CEDH ou par l'art. 32 al. 2 Cst., ni du reste par le Pacte ONU II (RS 0.103.2). La législation, de droit fédéral ou cantonal, peut par conséquent interdire ou autoriser la reformatio in pejus (arrêt 2C_1022/2011 du 22 juin 2012 consid. 8.1, non publié in <ref-ruling>, qui confirme l'arrêt 2P.194/2005 du 8 février 2006 consid. 2.2, et les nombreuses références citées). Par ailleurs, ni l'art. 2 du Protocole n° 7 à la CEDH ni l'art. 32 al. 3 Cst. dont se prévaut le recourant n'impliquent, en tant que tels, que la juridiction supérieure doive revoir librement le jugement pénal en fait comme en droit; pour autant que les éventuelles restrictions ne portent pas atteinte à la possibilité de saisir une instance supérieure dans son essence même, la loi peut en effet prévoir celles-ci (cf. décisions de la Cour EDH Pesti et Frodl c. Autriche, du 18 janvier 2000, req. 27618/95 et 27619/95, Rec. 2000-I, par. 4; Poulsen c. Danemark, du 29 juin 2000, req. 32092/96; Hans Vest, ad art. 32 Cst., in Commentaire saint-gallois: Die schweizerische Bundesverfassung, 3e éd., 2014, n. 46 p. 767).
5.2. En l'occurrence, le recourant s'est vu infliger des amendes pour soustraction fiscale par une décision de l'Administration cantonale du 28 janvier 2010. Contre cette décision, il a pu recourir au Tribunal cantonal, qui jouit d'un pouvoir d'examen complet en fait et en droit (cf. art. 98, 99 de la loi du 28 octobre 2008 sur la procédure administrative vaudoise; LPA/VD; RS/VD 173.36). A l'encontre de l'arrêt du Tribunal cantonal, la voie du recours en matière de droit public au Tribunal fédéral est ouverte. Dans ces circonstances, on ne discerne pas de violation du double degré de juridiction garanti par les dispositions constitutionnelles invoquées. Le fait que le Tribunal cantonal, dans le cadre de son examen de la décision rendue par l'autorité fiscale, puisse prononcer une reformatio in pejus n'y change rien. Au surplus, cette possibilité est expressément prévue par le droit de procédure cantonal (cf. art. 89 al. 2 par renvoi de l'art. 99 LPA/VD) à propos de l'application duquel le recourant ne formule aucun grief d'ordre constitutionnel (<ref-law>).
6.
Dans un second grief formel, le recourant, invoquant une violation des art. 29 Cst., ainsi que 6, 8, 13, 16 et 18 CEDH, soutient que toutes les pièces et les relevés bancaires produits par l'Administration cantonale reposent sur des documents que le fisc français a obtenus de manière illégale, de sorte que ceux-ci ne devraient pas être pris en compte dans la procédure.
6.1. Se fondant sur les faits constatés dans l'arrêt attaqué, l'Administration cantonale affirme que la provenance des informations pertinentes pour diligenter une procédure en rappel d'impôt et en soustraction fiscale ne pouvait être qualifiée d'illicite, car elle émanait de l'Administration fédérale et non pas de la saisie effectuée en France.
Le recourant estime quant à lui que le fait que l'Administration cantonale n'ait pas été la première destinataire des documents en cause, mais les ait reçus à titre dérivé, ne peut justifier leur libre utilisation, si ceux-ci constituent des moyens de preuves illicites, ce qu'il convient partant de vérifier.
6.2. La Cour de céans s'est déjà prononcée sur cette question dans le cadre de la procédure menée à Genève à l'encontre des époux X._, et qui concernait également des rappels d'impôts et des amendes pour soustraction fiscale reposant sur les mêmes documents que ceux dont l'utilisation est contestée en l'espèce. Elle avait alors admis que leur utilisation n'était contraire ni à la Cst, ni à la CEDH (arrêt 2C_180 et 2C_181/2013 du 5 novembre 2013, dont des extraits sont publiés in RF 69/2014 p. 237). Les juges cantonaux ont reproduit le consid. 7.3 de l'arrêt précité dans son intégralité (arrêt attaqué, p. 7 s.), pour en conclure que le caractère illicite de ces moyens de preuve devait être nié. Le contexte factuel étant identique, la Cour de céans se contentera donc également de renvoyer au consid. 7.3 de l'arrêt 2C_180/2013, dont le contenu a déjà été notifié à deux reprises au recourant.
6.3. Le contribuable demande le réexamen de cette jurisprudence, sans toutefois amener des raisons sérieuses et objectives propres à la remettre en cause (sur les conditions d'un changement de jurisprudence, cf. <ref-law>; <ref-ruling> consid. 6.1 p. 313; <ref-ruling> consid. 2.2.2 p. 273 s.).
La question posée par le recourant de savoir si, dans la présente cause, en raison des liens étroits entre la procédure de rappel d'impôt et celle concernant la soustraction fiscale, les garanties de l'art. 6 CEDH s'appliqueraient aussi à la première n'a d'intérêt que dans l'hypothèse où les informations provenant de la France devraient être qualifiées d'illicites du point de vue de la Suisse. Or, il a précisément été jugé que tel n'était pas le cas.
Lorsque le recourant soutient que la jurisprudence de la Cour EDH (cf. arrêt Cour EDH Ravon et al. c. France, du 21 février 2008, req. 18497/03) s'appliquait aussi à la perquisition qu'il avait subie le 9 juin 2000, et était opposable aux autorités suisses, il rediscute, sans arguments nouveaux, l'arrêt 2C_180/2013.
Enfin, il ne résulte pa s des faits constatés que les autorités fiscales vaudoises auraient demandé à consulter les pièces du dossier pénal, de sorte que l'on ne voit pas que le recourant puisse se plaindre de ne pas en avoir été avisé.
6.4. Dès lors que les autorités fiscales pouvaient utiliser l'ensemble des documents à leur disposition, on ne voit pas que celles-ci aient prononcé des rappels d'impôts sans éléments de preuve. Le grief est donc dépourvu de fondement et ne peut qu'être rejeté.
IV. IFD
7.
En lien avec l'IFD 2001-2002, le recourant s'en prend à deux reprises fiscales, l'une de 103'000 fr. relative à la période de calcul 1999 et l'autre de 2'100 fr. se rapportant à la période de calcul 2000. Il considère qu'en lui imputant ces montants, le Tribunal cantonal a violé l'art. 20 al. 1 let. c LIFD en procédant à une application erronée de la théorie du triangle.
7.1. Les deux reprises litigieuses se réfèrent à des commissions d'encaissement insuffisantes (inférieures au tarif usuel) facturées par D._ SA à des tiers. Comme l'admettent les deux parties, il s'agit d'opérations menées par le Groupe G._. Le recourant reconnaît lui-même que ces mises à disposition effectuées par D._ SA constituent des prestations appréciables en argent, mais il conteste que celles-ci puissent lui être imputées, car leur bénéficiaire en était uniquement le Groupe G._ et non lui-même, comme le démontrerait un procès-verbal du 27 février 2006 de la Brigade de répression de la délinquance de Paris.
7.2. Il y a prestation appréciable en argent dans la mesure où la société accorde à un actionnaire ou à une personne le touchant de près des avantages qu'elle n'aurait pas consentis à des tiers. Il faut retenir un avantage en faveur de l'actionnaire également lorsqu'un proche de celui-ci en bénéficie (Yves Noël, ad <ref-law>, in Commentaire romand de la LIFD, 2008, n. 84 p. 309). Selon la jurisprudence, lorsque l'actionnaire permet à une personne de disposer de la société qu'il détient comme de la sienne propre, celle-ci doit être qualifiée de personne le touchant de près (arrêts 2C_557/2010 du 4 novembre 2010 consid. 2.2, in StR 66/2011 p. 62; 2A.192/1996 du 5 mars 1999 consid. 2, in ASA 68 p. 596). Par conséquent, si, dans le cadre de cette mise à disposition, la société effectue des prestations appréciables en argent, celles-ci pourront être imposées auprès de l'actionnaire conformément à l'art. 20 al. 1 let. c LIFD.
7.3. Le recourant méconnaît ces principes. En effet, le procès-verbal du 27 février 2006 dont il se prévaut, et sur lequel le Tribunal cantonal s'est lui-même fondé, démontre précisément que la société D._ SA a été utilisée par le Groupe G._ dans le but de procéder à des mouvements de fonds et faire bénéficier des tiers de commissions. Le Tribunal cantonal constate également, d'une manière qui lie la Cour de céans (<ref-law>), que seule l'existence de liens entre le recourant et le Groupe G._ peut expliquer une telle mise à disposition de D._ SA en vue d'effectuer ces opérations.
Il découle de ces constatations que le recourant a laissé le Groupe G._ disposer de D._ SA comme si elle lui appartenait. Partant, on ne voit pas que le Tribunal cantonal ait violé l'art. 20 al. 1 let. c LIFD en considérant que les deux reprises litigieuses - dont le recourant ne nie pas qu'il s'agissait de prestations appréciables en argent - auxquelles D._ SA a procédé en faveur du Groupe G._, pouvaient être imputées à son actionnaire.
Le recourant se prévaut de la théorie du triangle (en all.: "Dreieckstheorie"; cf., à ce sujet, <ref-ruling> consid. 4.2 p. 61 s. et les arrêts cités; arrêt 2C_1023/2013 du 8 juillet 2014 consid. 3.4.1, in RF 69/2014 p. 735; Ryser/Rolli, Précis de droit fiscal suisse, 4e éd., 2002, p. 321 s.), mais sans aucunement expliquer en quoi celle-ci aurait été méconnue. Les constatations de fait ne permettent du reste pas de le saisir, dès lors que cette théorie vise le cas où un avantage est octroyé dans le cadre de relations entre sociétés d'un même groupe. Or, on ne peut considérer que D._ SA, détenue exclusivement par le recourant, appartenait au Groupe G._.
8.
Toujours en lien avec l'IFD 2001-2002, le recourant invoque une violation des règles sur le fardeau de la preuve s'agissant de la reprise de 11'500'000 fr. admise par le Tribunal cantonal dans le cadre d'une reformatio in pejus.
8.1. En matière fiscale, les règles générales du fardeau de la preuve ancrées à l'<ref-law>, destinées à déterminer qui doit supporter les conséquences de l'échec de la preuve ou de l'absence de preuve d'un fait, impliquent que l'autorité fiscale doit établir les faits qui justifient l'assujettissement et qui augmentent la taxation, tandis que le contribuable doit prouver les faits qui diminuent la dette fiscale ou la suppriment (cf. <ref-ruling> consid. 2 p. 256 s.; arrêts 2C_1081/2013 du 2 juin 2014 consid. 5.5, in RF 69/2014 p. 720; 2C_446/2012 du 16 janvier 2013 consid. 2.4, in RF 68/2013 p. 378). Si les preuves recueillies par l'autorité fiscale apportent suffisamment d'indices révélant l'existence d'éléments imposables, il appartient à nouveau au contribuable d'établir l'exactitude de ses allégations et de supporter le fardeau de la preuve du fait qui justifie son exonération (arrêts 2C_1201/2012 du 16 mai 2013 consid. 4.6; 2C_514/2009 du 25 mars 2010 consid. 3.2; 2C_47/2009 du 26 mai 2009 consid. 5.4, in RDAF 2009 II 489). Ces règles s'appliquent également aux procédures devant les autorités judiciaires (cf. arrêts 2C_1081/2013 du 2 juin 2014 consid. 5.5, in RF 69/2014 p. 720; 2A.105/2007 du 3 septembre 2007, consid. 4, in RDAF 2007 II 299).
Savoir si un fait est ou non prouvé est une question qui relève de l'établissement des faits, alors que la répartition du fardeau de la preuve est une question de droit (cf. <ref-ruling> consid. 5 p. 327; arrêt 2C_180/2013 du 5 novembre 2013 consid. 11.1, in RF 69/2014 p. 237).
8.2. Le recourant affirme que, selon le tableau récapitulatif produit par ses soins, il n'aurait perçu que la moitié du montant précité, plus précisément 5'836'973 fr. En estimant qu'aucune preuve n'aurait été apportée de cette répartition par moitié et que partant, il fallait admettre que le recourant avait perçu la totalité des 11'500'000 fr., les juges cantonaux auraient violé les règles sur le fardeau de la preuve.
Ce faisant, le recourant perd de vue que, selon les constatations cantonales non contestées, les comptes de D.M._ Ltd produits en cours de procédure faisaient état de versements de commissions à l'actionnaire, soit au recourant, pour un montant de 11'500'000 fr. Ce fait, établi, justifie la reprise et l'imposition du recourant sur la totalité de cette somme, à moins que l'existence d'éléments justifiant une exonération totale ou partielle ne soit démontrée. La charge de cette contre-preuve appartient toutefois au contribuable, selon les principes précités.
Pour démontrer qu'il n'avait perçu que la moitié des 11'500'000 fr., plus précisément 5'836'973 fr., le recourant a fourni, par bordereau complémentaire du 9 mars 2012, deux tableaux. Le Tribunal cantonal n'a pas considéré que ces pièces étaient propres à prouver que le recourant n'aurait perçu que la moitié des 11'500'000 fr. au motif qu'il s'agissait de documents établis par le recourant lui-même, postérieurement au dépôt du recours. En considérant que l'allégation du recourant selon laquelle il n'aurait reçu que la moitié des 11'500'000 fr. n'était pas établie, le Tribunal cantonal a ainsi procédé à une appréciation des preuves, ce qui relève du fait (cf. supra consid. 8.1 in fine). Dès lors que le recourant n'invoque ni l'arbitraire de cette appréciation ni son caractère manifestement inexact au sens de l'<ref-law>, le Tribunal fédéral ne peut la remettre en cause (<ref-law>). Par conséquent, en procédant à une reprise sur la totalité des 11'500'000 fr. dont les pièces démontraient qu'ils avaient été versés par D.M._ Ltd à l'actionnaire, l'arrêt attaqué n'a pas violé les règles sur le fardeau de la preuve.
9.
Le recourant s'en prend également à l'amende pour soustraction fiscale qui lui a été infligée en lien avec la reprise de 11'500'000 fr. Il fait grief aux juges cantonaux de ne pas avoir admis que cette reprise était le résultat d'une dénonciation spontanée, puisqu'elle résultait des comptes 2000 de D._ SA qu'il avait lui-même produits le 3 mars 2010 devant le Tribunal cantonal. Lui infliger une amende en lien avec cette reprise violait ainsi l'<ref-law>, ainsi que l'<ref-law> applicable par renvoi de l'<ref-law>.
9.1. Selon l'<ref-law>, dans sa version en vigueur depuis le 1er janvier 2010, lorsque le contribuable dénonce spontanément et pour la première fois une soustraction d'impôt, il est renoncé à la poursuite pénale (dénonciation spontanée non punissable), à condition: a. qu'aucune autorité fiscale n'en ait connaissance; b. qu'il collabore sans réserve avec l'administration pour déterminer le montant du rappel d'impôt; c. qu'il s'effor ce d'acquitter le rappel d'impôt dû. Selon la doctrine et la jurisprudence, la notion de dénonciation suppose que le contribuable annonce de lui-même son infraction à l'autorité fiscale, alors que celle-ci n'en a encore pas eu connaissance d'une autre manière (arrêt 2C_480/2009 du 16 mars 2010 consid. 6.1 et les références citées). Quant au caractère spontané, il fait défaut lorsque la déclaration intervient alors que les autorités fiscales sont déjà en train d'enquêter sur le dossier du contribuable (Pietro Sansonetti, ad <ref-law>, in Commentaire romand de la LIFD, 2008, n. 49 p. 1502; Diane Monti, Les contraventions fiscales en droit fiscal harmonisé, 2002, p. 75). La déclaration spontanée de l'<ref-law> conduisant désormais à l'impunité, un parallèle peut en outre être fait en ce qui concerne la soustraction fiscale avec la déclaration spontanée de l'<ref-law> (cf. arrêt 2C_188/2009 du 7 juillet 2009 consid. 2.6, in StE 2010 B 101.9.12), dont la pratique déduit qu'elle n'est réalisée que lorsque l'auteur se dénonce spontanément ("de son propre mouvement") dans un esprit de repentir (<ref-ruling> consid. 4 p. 338).
Savoir ce qu'une personne sait ou veut relève de la constatation des faits qui lie le Tribunal fédéral (<ref-law>), sauf si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>; en lien avec une soustraction fiscale: arrêt 2C_336/2010 du 7 octobre 2010 consid. 4.1, in RDAF 2010 II 593, et les arrêts cités).
9.2. En l'espèce, la procédure en rappel d'impôt et en soustraction concernant la période fiscale 2000-2001 visée par la reprise fiscale a été ouverte en novembre 2005. Partant, cela faisait cinq années que les autorités fiscales enquêtaient lorsque le recourant a produit les pièces topiques. En outre, il a été constaté que le recourant n'avait pas transmis les comptes de D._ SA en mars 2010 dans le but de se dénoncer, mais pour contester d'autres reprises effectuées, en étant persuadé que le fisc vaudois n'était pas compétent pour percevoir l'IFD sur les commissions révélées par lesdits comptes. Sur la base de ces éléments de fait, que le recourant ne conteste pas sous l'angle de l'arbitraire, son comportement ne revêt pas les caractéristiques d'une déclaration spontanée. En refusant de mettre le recourant au bénéfice de l'<ref-law>, le Tribunal cantonal n'a donc violé ni cette disposition, ni a fortiori l'<ref-law> (cf. <ref-law>), dont on peut du reste fortement douter qu'il s'applique, la soustraction fiscale en cause ayant été consommée sans que le recourant n'ait contribué à l'empêcher ou n'y ait remédié spontanément.
9.3. Les circonstances précitées permettent aussi d'exclure l'existence d'une déclaration spontanée ultérieure qui justifierait non pas de renoncer à la poursuite, comme le prévoit l'<ref-law>, mais de réduire le montant de l'amende au sens de l'<ref-law>, disposition dont le recourant ne revendique du reste pas l'application. Au demeurant, le Tribunal cantonal, lorsqu'il a fixé le montant de l'amende, a tenu compte, à titre de facteur d'atténuation, du fait que la reprise de 11'500'000 fr. avait été la conséquence de la production par le recourant lui-même de documents (cf. consid. 10.2 infra). Cette circonstance a donc tout de même joué en faveur du recourant.
10.
Dans son dernier grief, le recourant s'en prend à la quotité des amendes infligées. Il se plaint à ce propos d'une violation des <ref-law>, 48 aCP, 34 et 333 CP, reprochant aux juges cantonaux d'avoir prononcé une amende totalement disproportionnée par rapport à sa situation personnelle et financière actuelle.
10.1. La quotité de l'amende est en règle générale fixée, en cas de soustraction fiscale, en fonction du montant de l'impôt soustrait. Si la faute est légère, l'amende peut être réduite jusqu'au tiers de ce montant; si la faute est grave, elle peut au plus être triplée (<ref-law>). L'amende pour tentative de soustraction fiscale est fixée aux deux tiers de la peine qui serait infligée si la soustraction avait été commise intentionnellement et consommée (<ref-law>). Il en découle qu'en présence d'une infraction intentionnelle sans circonstances particulières, l'amende équivaut en principe au montant de l'impôt soustrait. Ce dernier constitue donc le premier critère de fixation de l'amende, la faute intervenant seulement, mais de manière limitée, comme facteur de réduction ou d'augmentation de sa quotité (cf. art. 175 al. 2, 2ème phrase, LIFD; arrêt 2C_480/2009 du 16 mars 2010 consid. 6.2 et la référence à Sansonetti, ad <ref-law>, in op. cit., n. 42 et 44 p. 1501). En d'autres termes, la situation personnelle du contribuable au moment du prononcé de l'amende ne peut à elle seule dicter le montant mis à sa charge, le critère principal demeurant le montant de l'impôt, objet de la soustraction.
Dans la mesure où elles respectent le cadre légal, les autorités fiscales cantonales disposent d'un large pouvoir d'appréciation lors de la fixation de l'amende, de sorte que le Tribunal fédéral n'intervient qu'en cas d'abus ou d'excès de celui-ci (<ref-ruling> consid. 4a p. 31; confirmé notamment in arrêts 2C_480/2009 du 16 mars 2010 consid. 6.2; 2C_26/2007 du 10 octobre 2007 consid. 6, in RDAF 2009 II 120).
10.2. Le fisc cantonal avait qualifié la faute du recourant de grave et, partant, fixé l'amende pour soustraction fiscale à 1,5 fois le montant soustrait et, s'agissant de la tentative de soustraction, à 1,5 fois les deux tiers du montant soustrait. Les juges cantonaux se sont écartés de cette appréciation, estimant que la faute du contribuable n'était que moyenne. Tout en soulignant l'importance des montants en jeu (soit 14'136'793 fr. en matière d'IFD) et le fait que l'activité incriminée avait porté sur plusieurs années, le Tribunal cantonal a tenu compte des problèmes de santé du recourant, du fait qu'il ne disposait que de revenus modestes (rente AVS en Suisse et rente en France de 2'000 Euros). Il a également souligné que la reprise la plus importante, de 11'500'000 fr., reposait sur des documents que le recourant avait lui-même produits en cours de procédure. Il a ainsi estimé que les circonstances aggravantes et atténuantes se contrebalançaient, de sorte qu'il pouvait s'en tenir à la règle générale en fixant l'amende au total des montants d'impôt soustraits et aux deux tiers des montants dont la soustraction avait été tentée.
Contrairement à ce que soutient le recourant, l'arrêt attaqué tient ainsi compte de sa situation personnelle, en particulier de ses revenus actuels. Il a du reste réduit l'amende d'un tiers par rapport au montant fixé par le fisc. Comme le droit fiscal contient des règles particulières en lien avec le montant maximal de l'amende, qui prévalent (cf. <ref-law>), on ne peut reprocher aux autorités cantonales de s'être écartées du maximum fixé à l'<ref-law> et de ne pas avoir dérogé au cadre fixé par l'<ref-law>. Demeurant dans les limites légales et établie en premier lieu sur la base des montants importants d'impôts soustraits ou dont la soustraction a été tentée, l'amende prononcée est certes élevée, mais ne procède pas d'un abus ou d'un excès du pouvoir d'appréciation des juges cantonaux. Partant, elle doit être confirmée.
11.
Le recours doit par conséquent être rejeté dans la mesure de sa recevabilité en ce qu'il concerne l'impôt fédéral direct et les amendes prononcées en lien avec cet impôt.
V. ICC
12.
S'agissant de l'ICC, le recourant s'est limité à des griefs d'ordre formel traités ci-avant (cf. consid. 5 et 6 supra), sans présenter de critiques de fond concernant les reprises prononcées. En revanche, il s'en prend au montant de l'amende qui lui a été infligée pour soustraction et tentative de soustraction fiscale en lien avec cet impôt, en formulant les mêmes griefs que s'agissant des amendes IFD.
Dès lors que les dispositions légales applicables en matière d'ICC ont un contenu identique aux art. 175 et 176 LIFD (cf. <ref-law> et 242 s. LI/VD), il convient de se référer de manière générale au consid. 10 ci-dessus. Partant, le recours devra également être rejeté dans la mesure de sa recevabilité en ce qu'il concerne l'ICC et les amendes prononcées en lien avec cet impôt.
13.
La cause apparaissant d'emblée dénuée de chances de succès, il n'y a pas lieu de donner suite à la demande d'assistance judiciaire formée par le recourant (<ref-law>). Il sera toutefois tenu compte de ses revenus limités lors de la fixation des frais mis à sa charge (<ref-law>; cf. Bernard Corboz, ad <ref-law>, in Commentaire de la LTF, 2e éd., n. 43 p. 564).
Il n'y a pas lieu d'allouer de dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Les causes 2C_476/2014 et 2C_477/2014 sont jointes.
2.
Le recours est rejeté dans la mesure de sa recevabilité en tant qu'il concerne l'impôt fédéral direct et les amendes prononcées en lien avec cet impôt.
3.
Le recours est rejeté dans la mesure de sa recevabilité en tant qu'il concerne l'ICC et les amendes prononcées en lien avec cet impôt.
4.
La demande d'assistance judiciaire est rejetée.
5.
Des frais judiciaires réduits, arrêtés à 6'000 fr., sont mis à la charge du recourant.
6.
Le présent arrêt est communiqué au mandataire du recourant, à l'Administration cantonale des impôts et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, ainsi qu'à l'Administration fédérale des contributions.
Lausanne, le 21 novembre 2014
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Zünd
Le Greffier : Chatton