Faits:
Faits:
A. X._ était cambiste auprès de la Banque A._ à Genève et domicilié dans le canton de Vaud. Il a, par la suite, travaillé pour les sociétés C._ SA, dont il était actionnaire, puis D._ SA, dont il détenait la totalité du capital-actions. Cette dernière ayant cessé ses activités, l'intéressé s'est installé dans le canton de Schwyz dès le 1er janvier 2000. Pour des raisons professionnelles, il a quitté ce canton pour les Bermudes où il est domicilié depuis le 1er janvier 2001.
A. X._ était cambiste auprès de la Banque A._ à Genève et domicilié dans le canton de Vaud. Il a, par la suite, travaillé pour les sociétés C._ SA, dont il était actionnaire, puis D._ SA, dont il détenait la totalité du capital-actions. Cette dernière ayant cessé ses activités, l'intéressé s'est installé dans le canton de Schwyz dès le 1er janvier 2000. Pour des raisons professionnelles, il a quitté ce canton pour les Bermudes où il est domicilié depuis le 1er janvier 2001.
B. Pour la période fiscale 1985-1986, l'état des titres, le parc automobiles de X._ et l'acquisition d'une villa en 1983 permettaient de penser que l'évolution de fortune déclarée s'écartait de la réalité des faits. Devant l'impossibilité d'obtenir les renseignements requis, l'autorité de taxation a procédé à des taxations d'office sur la base de l'évolution de fortune de l'intéressé. Elle a retenu le caractère professionnel des opérations boursières effectuées sur un compte bancaire géré par la société E._ SA. Ainsi, les gains réalisés par X._ parallèlement à son activité auprès de son employeur ont été considérés comme provenant d'une activité accessoire à but lucratif. La Commission cantonale de recours en matière d'impôt du canton de Vaud a confirmé les taxations, lui infligeant au surplus une amende de 2'000 fr. pour avoir refusé de produire des pièces.
B. Pour la période fiscale 1985-1986, l'état des titres, le parc automobiles de X._ et l'acquisition d'une villa en 1983 permettaient de penser que l'évolution de fortune déclarée s'écartait de la réalité des faits. Devant l'impossibilité d'obtenir les renseignements requis, l'autorité de taxation a procédé à des taxations d'office sur la base de l'évolution de fortune de l'intéressé. Elle a retenu le caractère professionnel des opérations boursières effectuées sur un compte bancaire géré par la société E._ SA. Ainsi, les gains réalisés par X._ parallèlement à son activité auprès de son employeur ont été considérés comme provenant d'une activité accessoire à but lucratif. La Commission cantonale de recours en matière d'impôt du canton de Vaud a confirmé les taxations, lui infligeant au surplus une amende de 2'000 fr. pour avoir refusé de produire des pièces.
C. Pour les périodes fiscales 1987-1988 et 1989-1990, au vu de l'absence de collaboration de X._, l'autorité de taxation a procédé de la même manière que pour la période fiscale précédente, soit à une imposition en fonction de l'évolution de fortune du contribuable.
Le Tribunal administratif du canton de Vaud (ci-après: le Tribunal administratif) a confirmé les taxations de la période fiscale 1987-1988 par arrêt du 2 février 1994. Le 7 février 1996, le Tribunal fédéral a déclaré les recours de droit administratif et de droit public de X._ irrecevables, leur motivation étant insuffisante.
Pour la période fiscale 1989-1990, les réclamations de X._ ayant été rejetées et des amendes prononcées pour violation de l'obli-
gation de produire des pièces justificatives, celui-ci a recouru auprès du Tribunal administratif.
gation de produire des pièces justificatives, celui-ci a recouru auprès du Tribunal administratif.
D. A la suite de l'autorisation du Département fédéral des finances du 25 février 1999, l'Administration fédérale des contributions a émis, le 3 mars 1999, un mandat de perquisition dans le cadre de l'enquête menée par la Division d'enquêtes fiscales spéciales (ci-après: la Division d'enquêtes). Le mandat mentionne que "le séquestre des papiers susmentionnés concerne particulièrement les années 1989 à 1998, mais également tout document notable antérieur à 1989 ou postérieur à 1998". De nombreuses perquisitions ont été effectuées, au domicile de X._, à son lieu de travail, ainsi qu'auprès de fiduciaires, sociétés de gestion de fortune, de banques et de cabinets d'avocats.
L'Administration cantonale des impôts du canton de Vaud (ci-après: l'Administration cantonale des impôts) a alors informé le recourant par lettre du 15 mars 1999, qu'elle ouvrait une enquête pour soustraction fiscale car, selon des renseignements en sa possession, la déclaration d'impôt 1999-2000 et celles des années antérieures n'auraient pas été exactes. A la même date, l'Administration de l'impôt fédéral direct du canton de Vaud a fait parvenir à X._ une demande de sûretés d'un montant de 500'000 fr., pour l'impôt fédéral direct, les amendes et les frais des années fiscales 1991-1998. Le 6 février 2001, une demande de sûretés complémentaire de 1'000'000 fr. en garantie de l'impôt fédéral direct et des frais pour les années fiscales 1989-2000 a été rendue. Une demande d'un montant de 3'000'000 fr. a également été émise le 15 mars 1999 pour les impôts cantonal et communal, les amendes et les frais des années fiscales 1991 à 1998. Une demande complémentaire du 6 février 2001 d'un montant de 3'000'000 fr. a été émise pour les impôts cantonal et communal et les frais des années fiscales 1989 à 1998.
L'Administration cantonale des impôts du canton de Vaud (ci-après: l'Administration cantonale des impôts) a alors informé le recourant par lettre du 15 mars 1999, qu'elle ouvrait une enquête pour soustraction fiscale car, selon des renseignements en sa possession, la déclaration d'impôt 1999-2000 et celles des années antérieures n'auraient pas été exactes. A la même date, l'Administration de l'impôt fédéral direct du canton de Vaud a fait parvenir à X._ une demande de sûretés d'un montant de 500'000 fr., pour l'impôt fédéral direct, les amendes et les frais des années fiscales 1991-1998. Le 6 février 2001, une demande de sûretés complémentaire de 1'000'000 fr. en garantie de l'impôt fédéral direct et des frais pour les années fiscales 1989-2000 a été rendue. Une demande d'un montant de 3'000'000 fr. a également été émise le 15 mars 1999 pour les impôts cantonal et communal, les amendes et les frais des années fiscales 1991 à 1998. Une demande complémentaire du 6 février 2001 d'un montant de 3'000'000 fr. a été émise pour les impôts cantonal et communal et les frais des années fiscales 1989 à 1998.
E. Par arrêt du 21 octobre 2002, le Tribunal administratif a rejeté les recours de X._ relatifs à la période fiscale 1989-1990 et a maintenu les décisions, telles que réformées par l'Administration cantonale des impôts durant la procédure, en tant qu'elles avaient pour objet, (a) pour l'impôt cantonal et communal, de fixer le revenu à 1'547'300 fr. imposable au taux de 552'600 fr., et la fortune à 7'375'000 fr. au taux de 7'394'000 fr., et, (b) pour l'impôt fédéral direct, de fixer le revenu imposable à 1'537'300 fr. Il a également maintenu l'amende prononcée le 17 août 1994, pour l'impôt fédéral direct, d'un montant de 2'000 fr., et celle du 29 août 1994, pour l'impôt cantonal et communal, d'un montant de 3'000 fr. Il a rappelé que X._ était un commerçant professionnel de titres. Ainsi, les bénéfices réalisés sur différents comptes appartenant aux sociétés F._ Inc. et G._ Inc., ayant toutes deux leur siège au Panama, dont X._ disposait pour son propre compte, devaient être considérés comme ses propres revenus et imposés chez lui.
Le Tribunal fédéral a rejeté, par arrêt du 2 octobre 2003, les recours de droit public (2P.278/2002) et de droit administratif (2A.572/2002) de X._.
Le Tribunal fédéral a rejeté, par arrêt du 2 octobre 2003, les recours de droit public (2P.278/2002) et de droit administratif (2A.572/2002) de X._.
F. Pour la première période litigieuse dans le cas présent, soit la période fiscale 1991-1992, X._ a déclaré un revenu imposable de 9'300 fr. et une fortune imposable dans le canton de Vaud de 2'600'000 fr. au taux de 2'614'000 fr. Bien que l'intéressé ait demandé une remise totale des impôts fédéral, cantonal et communal, l'autorité de taxation, en se fondant pour l'essentiel sur un calcul d'évolution de fortune, a fixé, le 25 juin 1993, le revenu imposable à 908'700 fr. au taux de 324'500 fr. et la fortune imposable dans le canton pour les impôts cantonal et communal à 2'975'000 fr. au taux de 2'992'000 fr. Pour l'impôt fédéral direct, une décision du 16 août 1993 a arrêté le revenu imposable à 900'000 fr. X._ a élevé réclamation à l'encontre de ces taxations.
Pour la deuxième période litigieuse, soit la période fiscale 1993-1994, X._ a déclaré un revenu imposable de 246'100 fr. et une fortune imposable dans le canton de Vaud de 2'885'000 fr. au taux de 2'908'000 fr. L'autorité de taxation, après diverses mesures d'instruction, a fixé, le 20 avril 1995, le revenu imposable à 386'400 fr. au taux de 138'000 fr. et la fortune imposable dans le canton pour les impôts cantonal et communal à 2'890'000 fr. au taux de 2'908'000 fr. Pour l'impôt fédéral direct, le revenu imposable s'élevait à 376'000 fr. L'intéressé a élevé réclamation à l'encontre de cette taxation.
Après avoir réexaminé de manière approfondie le dossier et en se basant sur les investigations de la Division d'enquêtes, l'Administration cantonale des impôts a statué sur les réclamations le 6 février 2003. Elle a tout d'abord déterminé que X._ était l'ayant-droit de structures off-shore qu'il avait mises en place. Elle a ensuite procédé à de nouveaux calculs en consolidant les rendements des différents comptes de l'intéressé ainsi que de ceux de ces structures. Ladite Administration a donc attribué les revenus des personnes morales off-shore, totalement ou partiellement, à l'intéressé. Elle a calculé les rendements en prenant la différence entre le solde de chaque compte au début et à la fin de l'année, y a ajouté les retraits de fonds et soustrait les apports. Elle a procédé de la sorte pour les comptes suivants:
- compte auprès de la Banque H._ no xxx'xxx ouvert au nom de X._.
- compte auprès de E._ SA no xxx ouvert au nom de X._.
- compte auprès de la Banque A._ no XX-xx'xxx ouvert au nom de G._ Corp.
- compte auprès de la Banque H._ no xxx'xxx ouvert au nom de G._ Corp.
- compte auprès de la Banque I._ no xxx'xxx ouvert au nom de F._ Ltd.
- compte auprès de la Banque A._ no xx'xxx ouvert au nom de F._ Ltd.
- compte auprès de la J._ no xxx-xx'xxx-x ouvert au nom de K._ Ltd.
- compte auprès de la Banque A._ no XX-xx'xxx ouvert au nom de L._ Ltd.
- compte auprès de la Banque I._ no xxx'xxx ouvert au nom de L._ Ltd.
- compte auprès de la Banque A._ no XX-xx'xxx ouvert au nom de M._ Ltd.
- compte auprès de la Banque N._ no xxx'xxx ouvert au nom de O._ Ltd.
- compte auprès de la Banque P._ no xxx.xxx.x ouvert au nom de Q._.
Elle a, en outre, attribué au recourant les revenus et la fortune du R._ Trust aux Bermudes, de Q._ Fondation au Liechtenstein et les dividendes touché de S._ Ltd à l'Ile de Man.
Par décision sur réclamation du 6 février 2003, l'Administration cantonale des impôts a alors réformé les décisions de taxation du 25 juin et du 16 août 1993 et a fixé, relativement à la période fiscale 1991-1992, (a) pour l'impôt cantonal et communal, le revenu à 4'270'400 fr. imposable au taux de 1'525'100 fr., la fortune à 13'247'000 fr. au taux de 13'267'000 fr., et, (b) pour l'impôt fédéral direct, le revenu imposable à 4'265'700 fr. En ce qui concerne la période fiscale 1993-1994, elle a également réformé la décision du 20 avril 1995 et fixé (a) pour l'impôt cantonal et communal, le revenu à 2'524'600 fr. imposable au taux de 901'600 fr., et la fortune à 14'087'000 fr. au taux de 14'107'000 fr., et, (b) pour l'impôt fédéral direct, le revenu imposable à 2'520'600 fr.
Par décision sur réclamation du 6 février 2003, l'Administration cantonale des impôts a alors réformé les décisions de taxation du 25 juin et du 16 août 1993 et a fixé, relativement à la période fiscale 1991-1992, (a) pour l'impôt cantonal et communal, le revenu à 4'270'400 fr. imposable au taux de 1'525'100 fr., la fortune à 13'247'000 fr. au taux de 13'267'000 fr., et, (b) pour l'impôt fédéral direct, le revenu imposable à 4'265'700 fr. En ce qui concerne la période fiscale 1993-1994, elle a également réformé la décision du 20 avril 1995 et fixé (a) pour l'impôt cantonal et communal, le revenu à 2'524'600 fr. imposable au taux de 901'600 fr., et la fortune à 14'087'000 fr. au taux de 14'107'000 fr., et, (b) pour l'impôt fédéral direct, le revenu imposable à 2'520'600 fr.
G. Le Tribunal administratif s'est prononcé par arrêt du 19 décembre 2003. Il a écarté diverses décisions ou propositions de modification de l'Administration cantonale des impôts, présentées en cours de procédure. En ce qui concerne la période fiscale 1991-1992, il a rejeté, (a) pour l'impôt cantonal et communal et (b) pour l'impôt fédéral direct, le recours de X._ et confirmé la décision sur réclamation du 6 février 2003. Relativement à la période fiscale 1993-1994, le Tribunal administratif a, (a) pour l'impôt cantonal et communal, réformé la décision sur réclamation, en ce sens que le revenu imposable était fixé à 2'704'000 fr., au taux de 965'700 fr., la fortune imposable étant maintenue à 14'787'000 fr. au taux de 14'107'000 fr., et, (b) pour l'impôt fédéral direct, il a très partiellement admis le recours et a réformé la décision sur réclamation, en ce sens que le revenu imposable était arrêté à 2'699'900 fr.
Le Tribunal administratif a refusé de suspendre la procédure jusqu'à la clôture de l'investigation de la Division d'enquêtes. Il a retenu que les décisions attaquées relevaient de procédures de taxation, et qu'une procédure de rappel d'impôt n'avait jamais été engagée à l'encontre de X._ puisque la taxation n'était jamais entrée en force. Or, la procédure de taxation est régie par l'obligation de collaborer du contribuable. De plus, la poursuite pour soustraction, en ce qui concernait les périodes fiscales 1991-1992 et 1993-1994, était périmée (impôt fédéral direct) ou prescrite (impôts cantonal et communal). Ainsi, dès lors qu'il échappait à toute sanction pénale de ce chef, X._ n'avait plus de motif de se prévaloir de son droit au silence pour ces périodes. Le Tribunal administratif a estimé que le fait que l'intéressé n'ait pas eu accès à l'entier du dossier de la Division d'enquêtes ne violait pas son droit d'être entendu. Ledit Tribunal ne se basait de toute façon que sur le dossier mis à sa disposition par l'Administration cantonale des impôts. Il a ensuite jugé que les conditions de l'évasion fiscale étaient remplies et qu'il convenait ainsi, en application du principe de la transparence, d'attribuer les revenus et le patrimoine des structures off-shore, y compris ceux du trust, à X._.
Le Tribunal administratif a refusé de suspendre la procédure jusqu'à la clôture de l'investigation de la Division d'enquêtes. Il a retenu que les décisions attaquées relevaient de procédures de taxation, et qu'une procédure de rappel d'impôt n'avait jamais été engagée à l'encontre de X._ puisque la taxation n'était jamais entrée en force. Or, la procédure de taxation est régie par l'obligation de collaborer du contribuable. De plus, la poursuite pour soustraction, en ce qui concernait les périodes fiscales 1991-1992 et 1993-1994, était périmée (impôt fédéral direct) ou prescrite (impôts cantonal et communal). Ainsi, dès lors qu'il échappait à toute sanction pénale de ce chef, X._ n'avait plus de motif de se prévaloir de son droit au silence pour ces périodes. Le Tribunal administratif a estimé que le fait que l'intéressé n'ait pas eu accès à l'entier du dossier de la Division d'enquêtes ne violait pas son droit d'être entendu. Ledit Tribunal ne se basait de toute façon que sur le dossier mis à sa disposition par l'Administration cantonale des impôts. Il a ensuite jugé que les conditions de l'évasion fiscale étaient remplies et qu'il convenait ainsi, en application du principe de la transparence, d'attribuer les revenus et le patrimoine des structures off-shore, y compris ceux du trust, à X._.
H. Agissant par la voie du recours de droit administratif (2A. 67/2004), X._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du 19 décembre 2003 du Tribunal administratif en tant qu'il concerne l'impôt fédéral direct des périodes fiscales 1991-1992 et 1993-1994 ou de renvoyer la cause à l'autorité cantonale pour une nouvelle décision dans le sens des considérants. Il se plaint de la violation de son droit à un procès équitable (art. 29 al. 1 Cst., art. 6 § 1 CEDH), du principe de la présomption d'innocence (art. 32 al. 1 Cst., art. 6 § 2 CEDH) et de son droit d'être entendu (art. 114 al. 2 LIFD, art. 29 al. 2 Cst.).
Agissant également par la voie du recours de droit public (2P.34/2004), X._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du 19 décembre 2003 du Tribunal administratif en tant qu'il concerne les impôts cantonal et communal des périodes fiscales 1991-1992 et 1993-1994. Il estime que son droit à un procès équitable, le principe de la présomption d'innocence et son droit d'être entendu ont été violés et il invoque une application arbitraire (art. 9 Cst.) du droit cantonal.
Le Tribunal administratif ainsi que l'Administration cantonale des impôts concluent au rejet des deux recours. L'Administration fédérale des contributions propose le rejet du recours de droit administratif avec suite de frais.
Le Tribunal administratif ainsi que l'Administration cantonale des impôts concluent au rejet des deux recours. L'Administration fédérale des contributions propose le rejet du recours de droit administratif avec suite de frais.
I. Chaque recours contenait une requête de suspension de la procédure fédérale jusqu'à droit connu sur le recours qui allait être interjeté auprès de la Cour européenne des droits de l'homme contre l'arrêt du 2 octobre 2003 du Tribunal fédéral.
Les causes (2A.67/2004 et 2P.34/2004) ont alors été jointes et la demande de suspension rejetée par ordonnance présidentielle du 17 mars 2004.
Les causes (2A.67/2004 et 2P.34/2004) ont alors été jointes et la demande de suspension rejetée par ordonnance présidentielle du 17 mars 2004.
J. Le 27 décembre 2004, X._ a demandé au Tribunal de céans de suspendre la présente procédure, en raison d'une demande de révision pour faits nouveaux à l'encontre de l'arrêt attaqué déposé devant le Tribunal administratif.
Par ordonnance du 10 janvier 2005, la demande de suspension a été rejetée. Le rejet a été confirmé par lettre du 13 janvier 2005.
Le Tribunal fédéral considère en droit:
I. Recours de droit administratif (2A.67/2004)
I. Recours de droit administratif (2A.67/2004)
1. 1.1 Déposé en temps utile et dans les formes prescrites par la loi contre un arrêt rendu par une autorité judiciaire statuant en dernière instance cantonale et fondé sur le droit public fédéral dans la mesure où il concerne l'impôt fédéral direct, sans qu'aucune des exceptions prévues aux art. 99 à 102 OJ ne soit réalisée, le présent recours est recevable en vertu des art. 97 ss OJ, ainsi que de la règle particulière de l'art. 146 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (ci-après: LIFD ou la loi sur l'impôt fédéral direct; RS 642.11), en vigueur depuis le 1er janvier 1995, et de celle de l'art. 112 al. 1 de l'arrêté du Conseil fédéral du 9 décembre 1940 concernant la perception d'un impôt fédéral direct (ci-après: AIFD ou l'Arrêté sur l'impôt fédéral direct; RO 56 2021), en vigueur jusqu'au 31 décembre 1994.
1.2 Le recours de droit administratif peut être formé pour violation du droit fédéral, y compris l'abus ou l'excès du pouvoir d'appréciation (art. 104 lettre a OJ). Le Tribunal fédéral vérifie d'office l'application du droit fédéral, sans être lié par les motifs invoqués par les parties (art. 114 al. 1 in fine OJ). Lorsque, comme en l'espèce, le recours est dirigé contre la décision d'une autorité judiciaire, le Tribunal fédéral est lié par les faits constatés dans la décision, sauf s'ils sont manifestement inexacts ou incomplets ou s'ils ont été établis au mépris de règles essentielles de procédure (art. 104 lettre b et 105 al. 2 OJ).
1.2 Le recours de droit administratif peut être formé pour violation du droit fédéral, y compris l'abus ou l'excès du pouvoir d'appréciation (art. 104 lettre a OJ). Le Tribunal fédéral vérifie d'office l'application du droit fédéral, sans être lié par les motifs invoqués par les parties (art. 114 al. 1 in fine OJ). Lorsque, comme en l'espèce, le recours est dirigé contre la décision d'une autorité judiciaire, le Tribunal fédéral est lié par les faits constatés dans la décision, sauf s'ils sont manifestement inexacts ou incomplets ou s'ils ont été établis au mépris de règles essentielles de procédure (art. 104 lettre b et 105 al. 2 OJ).
2. La loi sur l'impôt fédéral direct est entrée en vigueur le 1er janvier 1995 et a abrogé l'Arrêté sur l'impôt fédéral direct en vigueur jusqu'au 31 décembre 1994. Les prescriptions de droit matériel de cette loi sont donc applicables à partir de la période fiscale 1995. Comme le présent litige concerne les périodes 1991-1992 et 1993-1994, le calcul des éléments imposables s'effectue selon le droit en vigueur à cette époque, soit selon l'Arrêté sur l'impôt fédéral direct. Par contre, en règle générale, les dispositions de procédure contenues dans une nouvelle loi sont applicables immédiatement aux procédures encore ouvertes lors de l'entrée en vigueur de cette loi.
2. La loi sur l'impôt fédéral direct est entrée en vigueur le 1er janvier 1995 et a abrogé l'Arrêté sur l'impôt fédéral direct en vigueur jusqu'au 31 décembre 1994. Les prescriptions de droit matériel de cette loi sont donc applicables à partir de la période fiscale 1995. Comme le présent litige concerne les périodes 1991-1992 et 1993-1994, le calcul des éléments imposables s'effectue selon le droit en vigueur à cette époque, soit selon l'Arrêté sur l'impôt fédéral direct. Par contre, en règle générale, les dispositions de procédure contenues dans une nouvelle loi sont applicables immédiatement aux procédures encore ouvertes lors de l'entrée en vigueur de cette loi.
3. 3.1 Le recourant invoque la violation de son droit d'être entendu, soit de son droit de consulter le dossier. Il reproche à l'Administration cantonale des impôts de lui avoir refusé la consultation de l'entier de son dossier et d'avoir celé au Tribunal administratif des documents pertinents relatifs au R._ Trust, au compte bancaire de O._ Ltd et un avis de débit relatif à S._ Ltd. Tout en constatant que l'Administration cantonale des impôts avait remis au recourant une copie du même dossier qu'elle lui avait transmis, le Tribunal administratif a rejeté, sur la base de ce dossier, les allégations du recourant; il ne saurait notamment "retenir que le recourant n'est pas l'ayant droit économique de O._ Ldt".
3.2 Le droit d'être entendu est une garantie constitutionnelle de caractère formel, dont la violation doit entraîner l'annulation de la décision attaquée, indépendamment des chances de succès du recourant sur le fond (ATF 120 Ib 379 consid. 3b p. 383). Ce grief est en principe recevable dans le cadre du recours de droit administratif (ATF 120 Ib 70 consid. 3 p. 74).
L'étendue du droit d'être entendu est définie, en l'espèce, tout d'abord par les dispositions spéciales du droit fédéral (depuis 1995, art. 114 ss LIFD; sous l'Arrêté sur l'impôt fédéral direct, art. 108 ss AIFD) et, dans la mesure où ces dispositions sont incomplètes ou absentes, par la garantie minimum offerte par l'art. 29 al. 2 Cst. (ainsi que par l'art. 4 aCst. applicable jusqu'à fin 1999), dont le Tribunal fédéral vérifie l'application avec plein pouvoir d'examen (ATF 117 Ia 90 consid. 5a p. 96 et la jurisprudence citée).
3.3 D'après l'art. 114 LIFD, le contribuable a le droit de consulter les pièces du dossier qu'il a produites ou signées (al. 1). Il peut prendre connaissance des autres pièces une fois les faits établis et à condition qu'aucune sauvegarde d'intérêts publics ou privés ne s'y oppose (al. 2). Lorsqu'une autorité refuse au contribuable le droit de consulter une pièce du dossier, elle ne peut se baser sur ce document pour trancher au détriment du contribuable que si elle lui a donné connaissance, oralement ou par écrit, du contenu essentiel de la pièce et qu'elle lui a au surplus permis de s'exprimer et d'apporter ses propres moyens de preuve (al. 3). L'autorité qui refuse au contribuable le droit de consulter son dossier confirme, à la demande de celui-ci, son refus par une décision susceptible de recours (al. 4).
L'art. 29 al. 2 Cst. - pas plus que l'art. 4 aCst. - ne confère une protection plus étendue au contribuable.
3.4 En l'espèce, il convient d'examiner si la décision attaquée se fonde sur des éléments auxquels le recourant n'aurait pas eu accès, l'Administration cantonale des impôts ayant retenu des pièces, notamment à sa décharge.
Il ressort du dossier que le recourant a eu accès à toutes les pièces sur lesquelles reposent les taxations 1991-1992 et 1993-1994, qu'elles ont toutes été produites devant le Tribunal administratif et qu'il en a reçu copie. Le recourant ne prétend d'ailleurs pas le contraire. Or, les taxations en cause reposent en fait uniquement sur des pièces qui figurent au dossier. De plus, le recourant a pu et est allé consulter le dossier de la Division d'enquêtes. Quant aux pièces qui n'ont pas de rapport avec les taxations des périodes litigieuses, ou qui concernent, le cas échéant, d'autres personnes, le recourant n'a aucun droit à en réclamer l'accès dans la présente procédure.
En ce qui concerne l'Indenture of Settlement Act du 22 octobre 1990 du R._ Trust que l'Administration cantonale des impôts aurait prétendument celé au Tribunal administratif, cette Administration n'a pas pu le fournir audit Tribunal puisque cette pièce n'a pas été en sa possession avant le 10 mars 2003, date à laquelle le recourant l'a produite à l'appui d'une de ses écritures. Il apparaît en effet que la Division d'enquêtes elle-même n'a requis ce document du recourant qu'en 2000 puis en 2001. L'Administration cantonale des impôts, qui s'est basée sur les documents transmis par la Division d'enquêtes pour les périodes concernées, ne pouvait donc la détenir antérieurement.
Le recourant a fourni, à l'appui de son recours, des documents relatifs à O._ Ltd que l'Administration cantonale des impôts aurait eu en sa possession mais qu'elle n'aurait pas versés au dossier. Ceux-ci prouveraient que ladite société ne serait pas une coquille vide, contrairement à ce qu'affirme l'Administration cantonale des impôts, et que le recourant n'en était pas l'ayant-droit.
De même, l'Administration cantonale des impôts n'aurait pas produit un avis de débit relatif à S._ Ltd. qui démontrerait que d'autres personnes que le recourant auraient perçu des sommes de cette société.
En citant les exemples concrets susmentionnés, le recourant démontre, soit qu'il possédait et connaissait des documents qu'il aurait dû fournir à l'Administration cantonale des impôts au regard de son devoir de collaboration et qu'il pouvait produire au Tribunal Administratif pour sa défense, soit que, contrairement à ce qu'il affirme, il a eu accès au dossier. Son droit d'être entendu n'a donc pas été violé sur ces points précis. En outre, contrairement à ce qu'il prétend, les pièces en cause, au regard d'autres pièces du dossier et replacées dans le contexte (le nom de la société D._ SA apparaît notamment dans certaines), n'établissent nullement qu'il aurait été étranger aux opérations décrites et n'a pas obtenu des revenus correspondants.
Au surplus, l'art. 114 al. 2 LIFD réserve expressément la sauvegarde d'intérêts publics ou privés. En l'occurrence, des procédures de rappel d'impôt et en soustraction, concernant d'autres périodes, le cas échéant d'autres personnes également, sont en cours. L'intérêt prépondérant de l'Etat à ce que certaines pièces et leur contenu restent confidentiels paraît donc évident.
Enfin, il relève du bon sens que, dans un dossier contenant des milliers de pièces, l'Administration ne fournisse que celles qui sont relevantes.
Il s'ensuit qu'on ne saurait considérer que des pièces à décharge du contribuable auraient été celées au Tribunal administratif et que le droit d'être entendu du recourant aurait été violé.
Il s'ensuit qu'on ne saurait considérer que des pièces à décharge du contribuable auraient été celées au Tribunal administratif et que le droit d'être entendu du recourant aurait été violé.
4. 4.1 Le recourant développe plusieurs griefs en relation avec l'art. 6 CEDH. Dans le cas présent, sont litigieuses des procédures de taxation, respectivement pour l'impôt fédéral direct (art. 88 ss AIFD), et pour les impôts cantonal et communal des périodes fiscales 1991-1992 et 1993-1994. Il est vrai qu'une éventuelle soustraction pouvait être réprimée dans le cadre de l'art. 129 AIFD. Ce n'est toutefois pas l'objet de la présente procédure qui se limite à la taxation des éléments des périodes en cause. Le Tribunal administratif a d'ailleurs constaté que de telles procédures seraient prescrites ou périmées. Au surplus, la procédure en soustraction introduite le 15 mars 1999 à l'encontre du recourant porte sur les périodes fiscales 1995-1996 et suivantes, et non sur les périodes litigieuses. Même si les investigations de la Division d'enquêtes ont porté incidemment sur les périodes fiscales antérieures et que des documents recueillis par cette Division ont été transmis à ladite administration, dans le cadre de la collaboration entre autorités fiscales (art. 111 LIFD), et ont permis de rectifier les taxations sur cette base, cela ne transforme pas pour autant les procédures de taxation en procédure pénale.
4.2 Les griefs que le recourant prétend tirer d'une violation de la présomption d'innocence, de son droit de se taire ou du droit à un procès équitable fondés sur l'art. 6 CEDH sont dénués de pertinence, car cette disposition ne s'applique qu'aux procédures de droit pénal fiscal et non aux procédures purement fiscales (CourEDH, arrêt Ferrazzini c. Italie du 12 juillet 2001, Recueil des arrêts et décisions 2001-VII-327; ATF 121 II 257 consid. 4b p. 264), telle la procédure de taxation. Celle-ci n'est pas, en effet, une sanction et n'a pas de caractère pénal. Il s'agit d'y définir le revenu imposable du recourant indépendamment de toute faute. Le contribuable reste donc tenu de collaborer dans cette procédure et ne peut garder le silence, contrai- ement à ce qui se passe dans la procédure en soustraction (CourEDH, arrêt J.B. c. Suisse du 3 mai 2001, cité par Urs R. Behnisch in: Archives 69 855). En effet, l'art. 6 CEDH protège le contribuable contre l'utilisation dans la procédure pénale de renseignements obtenus dans le cadre de la procédure ordinaire de taxation où il a l'obligation de collaborer à l'établissement de ses éléments imposables, et non contre l'inverse.
En l'occurrence, ce sont des renseignements obtenus dans la procédure pénale distincte - dans laquelle le droit de garder le silence du contribuable doit être respecté et l'a été, semble-t-il - qui ont été utilisés dans la présente procédure. La procédure menée par la Division d'enquêtes est en effet séparée de la procédure de taxation. Les violations de règles de procédure, dans le cadre de l'enquête de la Division d'enquêtes, peuvent faire l'objet d'une plainte par laquelle le plaignant peut s'opposer à ce que des renseignements tirés de la taxation - pour autant qu'il les ait donnés lui-même - soient utilisés (art. 26 ss DPA par renvoi de l'art. 191 al. 1 LIFD). Dans la mesure où le recourant craint que des éléments établis dans la procédure de taxation ne soient utilisés dans la procédure pénale, il lui appartiendra d'utiliser les voies de droit qui lui sont ouvertes dans la procédure de soustraction et même, le cas échéant, dans la procédure pénale de l'art. 188 LIFD. Au demeurant, la taxation n'a pas été effectuée en l'espèce sur la base d'éléments communiqués par le recourant mais d'après des renseignements obtenus par l'entraide administrative. En outre, le recourant a eu le droit de consulter son dossier auprès de la Division d'enquêtes. Il pouvait, de plus, produire tous les documents qu'il souhaitait et n'a pas été obligé de témoigner contre lui-même, y compris dans la procédure de taxation. Ses refus de collaborer n'ont jamais été sanctionnés. Aucune amende n'a été prononcée lors de la procédure de taxation.
Le recourant se plaint aussi de ce qu'un enquêteur de la Division d'enquêtes devait être entendu en qualité de représentant de l'Administration fédérale des contributions, et être présent lors d'une audience du Tribunal administratif. Le recourant aurait ainsi dû répondre à des questions en présence de cette personne ce qui lui aurait permis d'utiliser des renseignements obtenus dans le cadre de la procédure de taxation pour la procédure pénale. Cette façon de procéder peut, en effet, être considérée comme contestable. Toutefois, en l'occurrence, l'audience a été annulée et le recourant n'a pas eu à fournir d'informations en la présence de l'enquêteur.
4.3 Enfin, l'art. 6 CEDH ne s'applique pas aux dettes d'impôt, car les obligations patrimoniales à l'égard de l'Etat relèvent exclusivement du droit public et ne représentent pas des "droits et obligations à caractère civil" au sens de l'art. 6 § 1 CEDH (CourEDH, arrêt Ferrazzini c. Italie du 12 juillet 2001, Recueil des arrêts et décisions 2001-VII-327).
4.4 Au vu de ce qui précède, l'art. 6 CEDH qui n'est pas applicable à la présente procédure ne saurait avoir été violé.
Au surplus, l'art. 29 al. 1 Cst. qui reprend la garantie d'un procès équitable prévue par l'art. 6 CEDH (Reinhold Hotz, in: Bernhard Ehrenzeller / Philippe Mastronardi / Rainer J. Schweizer / Klaus A. Vallender, Die schweizerische Bundesverfassung, 2002, ad art. 29 no 7 ss p. 398; Arthur Haefliger / Frank Schürmann, Die Europäische Menschenrechtskonvention und die Schweiz, p.131; FF 1997 I 183) a été également respecté (cf. consid. 4.2).
Au surplus, l'art. 29 al. 1 Cst. qui reprend la garantie d'un procès équitable prévue par l'art. 6 CEDH (Reinhold Hotz, in: Bernhard Ehrenzeller / Philippe Mastronardi / Rainer J. Schweizer / Klaus A. Vallender, Die schweizerische Bundesverfassung, 2002, ad art. 29 no 7 ss p. 398; Arthur Haefliger / Frank Schürmann, Die Europäische Menschenrechtskonvention und die Schweiz, p.131; FF 1997 I 183) a été également respecté (cf. consid. 4.2).
5. 5.1 Le recourant reproche à l'autorité intimée d'avoir statué sur les mêmes faits que ceux qui sont l'objet de la procédure menée par la Division d'enquêtes. Cette façon de procéder violerait le principe de la présomption d'innocence (art. 32 al. 1 Cst.). Ce principe s'appliquerait aussi aux autorités administratives qui ont à connaître de faits connexes à une procédure pénale. Il conviendrait d'appliquer par analogie la jurisprudence en matière de circulation routière qui, selon lui, impose à l'autorité administrative chargée de prononcer un retrait de permis en cas d'infraction de suspendre la procédure jusqu'à droit connu dans la procédure pénale se déroulant simultanément pour les mêmes faits.
Comme on l'a vu ci-dessus (cf. consid. 4.2), la taxation est une procédure ordinaire indépendante de toute faute et qui n'est pas une sanction. Le principe de la présomption d'innocence n'a donc pas d'application.
Par ailleurs, les arguments du recourant allant dans le sens d'une application par analogie de la jurisprudence en matière de circulation routière (cf. ATF 121 II 214 consid. 3a p. 217 et les références citées) ne sont pas pertinents. En effet, la procédure de taxation est indépendante du comportement du contribuable. Elle vise uniquement à établir le revenu imposable de la période en cause. Elle n'est pas liée à une infraction alors qu'en matière de circulation routière les procédures administrative et pénale dépendent du comportement de l'intéressé (cf. ATF 123 II 464; 121 II 214 et les arrêts cités). Le recourant tire argument du fait que "la décision de taxation a une influence directe sur la procédure pénale dès lors que le montant de l'amende pour soustraction... est fonction du montant d'impôt soustrait". Cette affirmation est infondée. La procédure de taxation est indépendante de la procédure pénale en soustraction; il en va de même du rappel d'impôt depuis l'entrée en vigueur de la loi fédérale sur l'impôt fédéral direct (Circulaire no 21 de l'Administration fédérale des contributions, Le droit de rappel d'impôt et le droit pénal fiscal dans la loi sur l'impôt fédéral direct, ch. II no 1 in: Archives 64 539; Christoph Auer, Das Verhältnis zwischen Nachsteuerverfahren und Steuerstrafverfahren, insbesondere das Problem des Beweisverwertungsverbots, in: Archives 66 1 p. 12; Diane Monti, Le droit au silence dans la procédure pour soustraction à l'impôt direct, in: RDAF 2002 II 436 p. 439). Le montant d'impôt soustrait peut être établi indépendamment de la taxation et du rappel, selon les principes propres à chaque procédure. De plus, l'amende pour soustraction n'est pas fonction du rappel d'impôt mais du montant d'impôt soustrait (art. 175 al. 2 LIFD, art. 129 AIFD).
En l'espèce, il s'agit de procédures de taxation, et non de rappel d'impôt. Au surplus, il a été constaté qu'une éventuelle soustraction pour les périodes en cause était prescrite ou périmée. Dès lors, on ne voit pas ce qu'aurait dû attendre encore les autorités de taxation et le Tribunal administratif pour statuer sur les périodes en cause.
5.2 Le recourant relève que le principe de la présomption d'innocence comporte un volet relatif au fardeau de la preuve. En matière de soustraction, ce serait à l'autorité de taxation de prouver les faits à la base de l'accusation. Or, en procédure de taxation, l'autorité pourrait renverser ce fardeau et mettre à la charge du contribuable une preuve négative, soit celle de l'absence de faits justifiant la taxation.
Selon la jurisprudence (ATF 92 I 253 consid. 2 p. 255), la procédure de taxation est régie par la maxime inquisitoriale. Cette maxime est également applicable dans le cadre de la procédure de recours, en matière fiscale (art. 142 al. 4 LIFD; art. 109 AIFD). L'autorité doit vérifier la déclaration (cf. art. 123, 126 LIFD, 88, 89 AIFD). Elle doit déterminer d'office tous les éléments pertinents en vue de la taxation et ceci, même en cas de violation de son obligation de coopérer par le contribuable. En d'autres termes, il appartient à l'autorité de taxation d'établir les faits qui fondent la créance d'impôt (ATF 105 Ib 382) ou qui l'augmentent, alors que le contribuable doit alléguer et prouver les faits qui suppriment ou réduisent cette créance (ATF 92 I 253 consid. 2 p. 256/257). Le fisc et le contribuable sont tenus de collaborer dans l'administration des preuves, "soit en précisant les allégations qu'il appartient à la partie chargée de la preuve de détruire, soit en apportant des preuves ou indices positifs contraires. L'omission ou l'échec de ces preuves contraires peut être considéré comme un indice suffisant de la véracité des allégations de la partie adverse si celles-ci sont vraisemblables" (Jean-Marc Rivier, Droit fiscal suisse, L'imposition du revenu et de la fortune, 2e éd., p. 142; voir aussi Walter Ryser / Bernard Rolli, Précis de droit fiscal suisse, 4e éd., p. 462). Le Tribunal administratif a les mêmes compétences que l'autorité de taxation (art. 142 al. 4 LIFD) et peut demander uncomplément d'instruction. Il apprécie les preuves apportées par les
parties. Il a un large pouvoir d'appréciation dans ce domaine (ATF 120 Ia 31 consid. 4b p. 40 et les arrêts cités).
En l'occurrence, le Tribunal administratif a admis la réalité des faits tels que déterminés et prouvés par l'Administration des impôt, à savoir que le recourant est l'ayant droit de différentes sociétés off-shore et que le montant des rendements des différents comptes mis à jour est avéré. Il incombait ainsi au recourant d'infirmer ces éléments par la preuve du contraire ou du moins d'indices crédibles du moment que les faits établis, sur la base de preuves ou d'indices précis, étaient hautement vraisemblables (Archives 39 284 consid. 3c p. 288, RDAF 1993 32 consid. 2b p. 35, 2A.299/1989). Le recourant n'a pas été en mesure de fournir de preuves les renversant ou du moins les mettant en doute de manière convaincante. Au vu de ce qui précède, la procédure s'est déroulée conformément aux prescriptions légales qui ne prévoient nullement le renversement du fardeau de la preuve. Celui-ci ne porte d'ailleurs que sur le montant des revenus du contribuable et non sur une éventuelle culpabilité.
En l'occurrence, le Tribunal administratif a admis la réalité des faits tels que déterminés et prouvés par l'Administration des impôt, à savoir que le recourant est l'ayant droit de différentes sociétés off-shore et que le montant des rendements des différents comptes mis à jour est avéré. Il incombait ainsi au recourant d'infirmer ces éléments par la preuve du contraire ou du moins d'indices crédibles du moment que les faits établis, sur la base de preuves ou d'indices précis, étaient hautement vraisemblables (Archives 39 284 consid. 3c p. 288, RDAF 1993 32 consid. 2b p. 35, 2A.299/1989). Le recourant n'a pas été en mesure de fournir de preuves les renversant ou du moins les mettant en doute de manière convaincante. Au vu de ce qui précède, la procédure s'est déroulée conformément aux prescriptions légales qui ne prévoient nullement le renversement du fardeau de la preuve. Celui-ci ne porte d'ailleurs que sur le montant des revenus du contribuable et non sur une éventuelle culpabilité.
6. Dans son mémoire, le recourant ne se plaint que de violations de règles de procédure. Or, comme on l'a vu ci-dessus, les règles de procédure ont été respectées. Au surplus, il se borne à nier l'existence des revenus en bloc sans indiquer quels faits seraient manifestement inexacts ou incomplets (art. 105 al. 2 OJ). Dès lors, le recours de droit administratif doit être rejeté, sans autre examen des divers postes des taxations des périodes 1991-1992 et 1993-1994.
II. Recours de droit public (2P.34/2004)
II. Recours de droit public (2P.34/2004)
7. Déposé en temps utile et dans les formes prescrites par la loi contre des décisions finales prises en dernière instance cantonale, qui ne peuvent être attaquées que par la voie du recours de droit public et qui touchent le recourant dans ses intérêts juridiquement protégés, le pré-
sent recours est recevable au regard des art. 84 ss OJ, dans la mesure où il porte sur l'impôt cantonal et communal.
sent recours est recevable au regard des art. 84 ss OJ, dans la mesure où il porte sur l'impôt cantonal et communal.
8. L'art. 161 de la loi vaudoise du 4 juillet 2000 sur les impôts directs cantonaux (ci-après: LI) prévoit:
"Le contribuable a le droit de consulter les pièces du dossier qu'il a produites ou signées. (...)
Le contribuable peut prendre connaissance des autres pièces une fois les faits établis et à condition qu'aucune sauvegarde d'intérêts publics ou privés ne s'y oppose.
(...)"
La loi vaudoise du 26 novembre 1956 sur les impôts directs canto- naux, dans sa version en vigueur durant les périodes concernées, ne contenait pas de disposition sur le droit de consulter le dossier.
La loi vaudoise du 26 novembre 1956 sur les impôts directs canto- naux, dans sa version en vigueur durant les périodes concernées, ne contenait pas de disposition sur le droit de consulter le dossier.
9. Le recourant prétend, dans une argumentation similaire à celle de son recours de droit administratif, que l'autorité intimée a violé son droit d'être entendu (art. 29 al. 2 Cst. et 161 LI), son droit à un procès équitable (art. 29 al. 1 Cst. et 6 § 1 CEDH), ainsi que le principe de la présomption d'innocence (art. 32 al. 1 Cst. et 6 § 2 CEDH).
Le recourant invoque une application arbitraire de l'art. 161 al. 2 LI. Le grief tiré d'une violation du droit d'être entendu se confond donc avec celui de la violation du droit de consulter le dossier. L'intéressé ne prétend pas toutefois que l'art. 161 al. 2 LI lui conférerait des droits plus larges que l'art. 29 al. 2 Cst. En conséquence, il suffit de renvoyer à ce qui a été dit dans le recours de droit administratif (consid. 3).
Quant aux autres griefs, le recourant n'invoque aucune disposition cantonale qui lui conférerait des droits différents ou plus étendus que les articles constitutionnels cités. Les griefs soulevés doivent dès lors être écartés pour les mêmes motifs que ceux mentionnés ci-dessus (consid. 4 et 5).
Au surplus, le recourant ne conteste pas le calcul des différents montants de revenus et fortune tels qu'arrêtés par l'autorité intimée. Le recours de droit public doit ainsi être rejeté.
Au surplus, le recourant ne conteste pas le calcul des différents montants de revenus et fortune tels qu'arrêtés par l'autorité intimée. Le recours de droit public doit ainsi être rejeté.
10. Mal fondé, le recours de droit administratif est rejeté. Il en va de même du recours de droit public.
Succombant, le recourant doit supporter les frais judiciaires (art. 156 al. 1 et 7, 153 et 153a OJ). Il n'a pas droit à des dépens (art. 159 al. 1 OJ).
Par ces motifs, le Tribunal fédéral prononce:
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours de droit administratif (2A.67/2004) est rejeté.
1. Le recours de droit administratif (2A.67/2004) est rejeté.
2. Le recours de droit public (2P.34/2004) est rejeté.
2. Le recours de droit public (2P.34/2004) est rejeté.
3. Un émolument judiciaire de 30'000 fr. est mis à la charge du recourant.
3. Un émolument judiciaire de 30'000 fr. est mis à la charge du recourant.
4. Le présent arrêt est communiqué en copie au mandataire du recourant, à l'Administration cantonale des impôts et au Tribunal administratif du canton de Vaud ainsi qu'à l'Administration fédérale des contributions, Division juridique de l'impôt fédéral direct.
Lausanne, le 17 février 2005
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le président: La greffière: