Faits: Faits: A. X._ était cambiste auprès de la Banque A._ à Genève et domicilié dans le canton de Vaud. Il a, par la suite, travaillé pour les sociétés C._ SA, dont il était actionnaire, puis D._ SA, dont il détenait la totalité du capital-actions. Cette dernière ayant cessé ses activités, l'intéressé s'est installé dans le canton de Schwyz dès le 1er janvier 2000. Pour des raisons professionnelles, il a quitté ce canton pour les Bermudes où il est domicilié depuis le 1er janvier 2001. A. X._ était cambiste auprès de la Banque A._ à Genève et domicilié dans le canton de Vaud. Il a, par la suite, travaillé pour les sociétés C._ SA, dont il était actionnaire, puis D._ SA, dont il détenait la totalité du capital-actions. Cette dernière ayant cessé ses activités, l'intéressé s'est installé dans le canton de Schwyz dès le 1er janvier 2000. Pour des raisons professionnelles, il a quitté ce canton pour les Bermudes où il est domicilié depuis le 1er janvier 2001. B. Pour la période fiscale 1985-1986, l'état des titres, le parc automobiles de X._ et l'acquisition d'une villa en 1983 permettaient de penser que l'évolution de fortune déclarée s'écartait de la réalité des faits. Devant l'impossibilité d'obtenir les renseignements requis, l'autorité de taxation a procédé à des taxations d'office sur la base de l'évolution de fortune de l'intéressé. Elle a retenu le caractère professionnel des opérations boursières effectuées sur un compte bancaire géré par la société E._ SA. Ainsi, les gains réalisés par X._ parallèlement à son activité auprès de son employeur ont été considérés comme provenant d'une activité accessoire à but lucratif. La Commission cantonale de recours en matière d'impôt du canton de Vaud a confirmé les taxations, lui infligeant au surplus une amende de 2'000 fr. pour avoir refusé de produire des pièces. B. Pour la période fiscale 1985-1986, l'état des titres, le parc automobiles de X._ et l'acquisition d'une villa en 1983 permettaient de penser que l'évolution de fortune déclarée s'écartait de la réalité des faits. Devant l'impossibilité d'obtenir les renseignements requis, l'autorité de taxation a procédé à des taxations d'office sur la base de l'évolution de fortune de l'intéressé. Elle a retenu le caractère professionnel des opérations boursières effectuées sur un compte bancaire géré par la société E._ SA. Ainsi, les gains réalisés par X._ parallèlement à son activité auprès de son employeur ont été considérés comme provenant d'une activité accessoire à but lucratif. La Commission cantonale de recours en matière d'impôt du canton de Vaud a confirmé les taxations, lui infligeant au surplus une amende de 2'000 fr. pour avoir refusé de produire des pièces. C. Pour les périodes fiscales 1987-1988 et 1989-1990, au vu de l'absence de collaboration de X._, l'autorité de taxation a procédé de la même manière que pour la période fiscale précédente, soit à une imposition en fonction de l'évolution de fortune du contribuable. Le Tribunal administratif du canton de Vaud (ci-après: le Tribunal administratif) a confirmé les taxations de la période fiscale 1987-1988 par arrêt du 2 février 1994. Le 7 février 1996, le Tribunal fédéral a déclaré les recours de droit administratif et de droit public de X._ irrecevables, leur motivation étant insuffisante. Pour la période fiscale 1989-1990, les réclamations de X._ ayant été rejetées et des amendes prononcées pour violation de l'obli- gation de produire des pièces justificatives, celui-ci a recouru auprès du Tribunal administratif. gation de produire des pièces justificatives, celui-ci a recouru auprès du Tribunal administratif. D. A la suite de l'autorisation du Département fédéral des finances du 25 février 1999, l'Administration fédérale des contributions a émis, le 3 mars 1999, un mandat de perquisition dans le cadre de l'enquête menée par la Division d'enquêtes fiscales spéciales (ci-après: la Division d'enquêtes). Le mandat mentionne que "le séquestre des papiers susmentionnés concerne particulièrement les années 1989 à 1998, mais également tout document notable antérieur à 1989 ou postérieur à 1998". De nombreuses perquisitions ont été effectuées, au domicile de X._, à son lieu de travail, ainsi qu'auprès de fiduciaires, sociétés de gestion de fortune, de banques et de cabinets d'avocats. L'Administration cantonale des impôts du canton de Vaud (ci-après: l'Administration cantonale des impôts) a alors informé le recourant par lettre du 15 mars 1999, qu'elle ouvrait une enquête pour soustraction fiscale car, selon des renseignements en sa possession, la déclaration d'impôt 1999-2000 et celles des années antérieures n'auraient pas été exactes. A la même date, l'Administration de l'impôt fédéral direct du canton de Vaud a fait parvenir à X._ une demande de sûretés d'un montant de 500'000 fr., pour l'impôt fédéral direct, les amendes et les frais des années fiscales 1991-1998. Le 6 février 2001, une demande de sûretés complémentaire de 1'000'000 fr. en garantie de l'impôt fédéral direct et des frais pour les années fiscales 1989-2000 a été rendue. Une demande d'un montant de 3'000'000 fr. a également été émise le 15 mars 1999 pour les impôts cantonal et communal, les amendes et les frais des années fiscales 1991 à 1998. Une demande complémentaire du 6 février 2001 d'un montant de 3'000'000 fr. a été émise pour les impôts cantonal et communal et les frais des années fiscales 1989 à 1998. L'Administration cantonale des impôts du canton de Vaud (ci-après: l'Administration cantonale des impôts) a alors informé le recourant par lettre du 15 mars 1999, qu'elle ouvrait une enquête pour soustraction fiscale car, selon des renseignements en sa possession, la déclaration d'impôt 1999-2000 et celles des années antérieures n'auraient pas été exactes. A la même date, l'Administration de l'impôt fédéral direct du canton de Vaud a fait parvenir à X._ une demande de sûretés d'un montant de 500'000 fr., pour l'impôt fédéral direct, les amendes et les frais des années fiscales 1991-1998. Le 6 février 2001, une demande de sûretés complémentaire de 1'000'000 fr. en garantie de l'impôt fédéral direct et des frais pour les années fiscales 1989-2000 a été rendue. Une demande d'un montant de 3'000'000 fr. a également été émise le 15 mars 1999 pour les impôts cantonal et communal, les amendes et les frais des années fiscales 1991 à 1998. Une demande complémentaire du 6 février 2001 d'un montant de 3'000'000 fr. a été émise pour les impôts cantonal et communal et les frais des années fiscales 1989 à 1998. E. Par arrêt du 21 octobre 2002, le Tribunal administratif a rejeté les recours de X._ relatifs à la période fiscale 1989-1990 et a maintenu les décisions, telles que réformées par l'Administration cantonale des impôts durant la procédure, en tant qu'elles avaient pour objet, (a) pour l'impôt cantonal et communal, de fixer le revenu à 1'547'300 fr. imposable au taux de 552'600 fr., et la fortune à 7'375'000 fr. au taux de 7'394'000 fr., et, (b) pour l'impôt fédéral direct, de fixer le revenu imposable à 1'537'300 fr. Il a également maintenu l'amende prononcée le 17 août 1994, pour l'impôt fédéral direct, d'un montant de 2'000 fr., et celle du 29 août 1994, pour l'impôt cantonal et communal, d'un montant de 3'000 fr. Il a rappelé que X._ était un commerçant professionnel de titres. Ainsi, les bénéfices réalisés sur différents comptes appartenant aux sociétés F._ Inc. et G._ Inc., ayant toutes deux leur siège au Panama, dont X._ disposait pour son propre compte, devaient être considérés comme ses propres revenus et imposés chez lui. Le Tribunal fédéral a rejeté, par arrêt du 2 octobre 2003, les recours de droit public (2P.278/2002) et de droit administratif (2A.572/2002) de X._. Le Tribunal fédéral a rejeté, par arrêt du 2 octobre 2003, les recours de droit public (2P.278/2002) et de droit administratif (2A.572/2002) de X._. F. Pour la première période litigieuse dans le cas présent, soit la période fiscale 1991-1992, X._ a déclaré un revenu imposable de 9'300 fr. et une fortune imposable dans le canton de Vaud de 2'600'000 fr. au taux de 2'614'000 fr. Bien que l'intéressé ait demandé une remise totale des impôts fédéral, cantonal et communal, l'autorité de taxation, en se fondant pour l'essentiel sur un calcul d'évolution de fortune, a fixé, le 25 juin 1993, le revenu imposable à 908'700 fr. au taux de 324'500 fr. et la fortune imposable dans le canton pour les impôts cantonal et communal à 2'975'000 fr. au taux de 2'992'000 fr. Pour l'impôt fédéral direct, une décision du 16 août 1993 a arrêté le revenu imposable à 900'000 fr. X._ a élevé réclamation à l'encontre de ces taxations. Pour la deuxième période litigieuse, soit la période fiscale 1993-1994, X._ a déclaré un revenu imposable de 246'100 fr. et une fortune imposable dans le canton de Vaud de 2'885'000 fr. au taux de 2'908'000 fr. L'autorité de taxation, après diverses mesures d'instruction, a fixé, le 20 avril 1995, le revenu imposable à 386'400 fr. au taux de 138'000 fr. et la fortune imposable dans le canton pour les impôts cantonal et communal à 2'890'000 fr. au taux de 2'908'000 fr. Pour l'impôt fédéral direct, le revenu imposable s'élevait à 376'000 fr. L'intéressé a élevé réclamation à l'encontre de cette taxation. Après avoir réexaminé de manière approfondie le dossier et en se basant sur les investigations de la Division d'enquêtes, l'Administration cantonale des impôts a statué sur les réclamations le 6 février 2003. Elle a tout d'abord déterminé que X._ était l'ayant-droit de structures off-shore qu'il avait mises en place. Elle a ensuite procédé à de nouveaux calculs en consolidant les rendements des différents comptes de l'intéressé ainsi que de ceux de ces structures. Ladite Administration a donc attribué les revenus des personnes morales off-shore, totalement ou partiellement, à l'intéressé. Elle a calculé les rendements en prenant la différence entre le solde de chaque compte au début et à la fin de l'année, y a ajouté les retraits de fonds et soustrait les apports. Elle a procédé de la sorte pour les comptes suivants: - compte auprès de la Banque H._ no xxx'xxx ouvert au nom de X._. - compte auprès de E._ SA no xxx ouvert au nom de X._. - compte auprès de la Banque A._ no XX-xx'xxx ouvert au nom de G._ Corp. - compte auprès de la Banque H._ no xxx'xxx ouvert au nom de G._ Corp. - compte auprès de la Banque I._ no xxx'xxx ouvert au nom de F._ Ltd. - compte auprès de la Banque A._ no xx'xxx ouvert au nom de F._ Ltd. - compte auprès de la J._ no xxx-xx'xxx-x ouvert au nom de K._ Ltd. - compte auprès de la Banque A._ no XX-xx'xxx ouvert au nom de L._ Ltd. - compte auprès de la Banque I._ no xxx'xxx ouvert au nom de L._ Ltd. - compte auprès de la Banque A._ no XX-xx'xxx ouvert au nom de M._ Ltd. - compte auprès de la Banque N._ no xxx'xxx ouvert au nom de O._ Ltd. - compte auprès de la Banque P._ no xxx.xxx.x ouvert au nom de Q._. Elle a, en outre, attribué au recourant les revenus et la fortune du R._ Trust aux Bermudes, de Q._ Fondation au Liechtenstein et les dividendes touché de S._ Ltd à l'Ile de Man. Par décision sur réclamation du 6 février 2003, l'Administration cantonale des impôts a alors réformé les décisions de taxation du 25 juin et du 16 août 1993 et a fixé, relativement à la période fiscale 1991-1992, (a) pour l'impôt cantonal et communal, le revenu à 4'270'400 fr. imposable au taux de 1'525'100 fr., la fortune à 13'247'000 fr. au taux de 13'267'000 fr., et, (b) pour l'impôt fédéral direct, le revenu imposable à 4'265'700 fr. En ce qui concerne la période fiscale 1993-1994, elle a également réformé la décision du 20 avril 1995 et fixé (a) pour l'impôt cantonal et communal, le revenu à 2'524'600 fr. imposable au taux de 901'600 fr., et la fortune à 14'087'000 fr. au taux de 14'107'000 fr., et, (b) pour l'impôt fédéral direct, le revenu imposable à 2'520'600 fr. Par décision sur réclamation du 6 février 2003, l'Administration cantonale des impôts a alors réformé les décisions de taxation du 25 juin et du 16 août 1993 et a fixé, relativement à la période fiscale 1991-1992, (a) pour l'impôt cantonal et communal, le revenu à 4'270'400 fr. imposable au taux de 1'525'100 fr., la fortune à 13'247'000 fr. au taux de 13'267'000 fr., et, (b) pour l'impôt fédéral direct, le revenu imposable à 4'265'700 fr. En ce qui concerne la période fiscale 1993-1994, elle a également réformé la décision du 20 avril 1995 et fixé (a) pour l'impôt cantonal et communal, le revenu à 2'524'600 fr. imposable au taux de 901'600 fr., et la fortune à 14'087'000 fr. au taux de 14'107'000 fr., et, (b) pour l'impôt fédéral direct, le revenu imposable à 2'520'600 fr. G. Le Tribunal administratif s'est prononcé par arrêt du 19 décembre 2003. Il a écarté diverses décisions ou propositions de modification de l'Administration cantonale des impôts, présentées en cours de procédure. En ce qui concerne la période fiscale 1991-1992, il a rejeté, (a) pour l'impôt cantonal et communal et (b) pour l'impôt fédéral direct, le recours de X._ et confirmé la décision sur réclamation du 6 février 2003. Relativement à la période fiscale 1993-1994, le Tribunal administratif a, (a) pour l'impôt cantonal et communal, réformé la décision sur réclamation, en ce sens que le revenu imposable était fixé à 2'704'000 fr., au taux de 965'700 fr., la fortune imposable étant maintenue à 14'787'000 fr. au taux de 14'107'000 fr., et, (b) pour l'impôt fédéral direct, il a très partiellement admis le recours et a réformé la décision sur réclamation, en ce sens que le revenu imposable était arrêté à 2'699'900 fr. Le Tribunal administratif a refusé de suspendre la procédure jusqu'à la clôture de l'investigation de la Division d'enquêtes. Il a retenu que les décisions attaquées relevaient de procédures de taxation, et qu'une procédure de rappel d'impôt n'avait jamais été engagée à l'encontre de X._ puisque la taxation n'était jamais entrée en force. Or, la procédure de taxation est régie par l'obligation de collaborer du contribuable. De plus, la poursuite pour soustraction, en ce qui concernait les périodes fiscales 1991-1992 et 1993-1994, était périmée (impôt fédéral direct) ou prescrite (impôts cantonal et communal). Ainsi, dès lors qu'il échappait à toute sanction pénale de ce chef, X._ n'avait plus de motif de se prévaloir de son droit au silence pour ces périodes. Le Tribunal administratif a estimé que le fait que l'intéressé n'ait pas eu accès à l'entier du dossier de la Division d'enquêtes ne violait pas son droit d'être entendu. Ledit Tribunal ne se basait de toute façon que sur le dossier mis à sa disposition par l'Administration cantonale des impôts. Il a ensuite jugé que les conditions de l'évasion fiscale étaient remplies et qu'il convenait ainsi, en application du principe de la transparence, d'attribuer les revenus et le patrimoine des structures off-shore, y compris ceux du trust, à X._. Le Tribunal administratif a refusé de suspendre la procédure jusqu'à la clôture de l'investigation de la Division d'enquêtes. Il a retenu que les décisions attaquées relevaient de procédures de taxation, et qu'une procédure de rappel d'impôt n'avait jamais été engagée à l'encontre de X._ puisque la taxation n'était jamais entrée en force. Or, la procédure de taxation est régie par l'obligation de collaborer du contribuable. De plus, la poursuite pour soustraction, en ce qui concernait les périodes fiscales 1991-1992 et 1993-1994, était périmée (impôt fédéral direct) ou prescrite (impôts cantonal et communal). Ainsi, dès lors qu'il échappait à toute sanction pénale de ce chef, X._ n'avait plus de motif de se prévaloir de son droit au silence pour ces périodes. Le Tribunal administratif a estimé que le fait que l'intéressé n'ait pas eu accès à l'entier du dossier de la Division d'enquêtes ne violait pas son droit d'être entendu. Ledit Tribunal ne se basait de toute façon que sur le dossier mis à sa disposition par l'Administration cantonale des impôts. Il a ensuite jugé que les conditions de l'évasion fiscale étaient remplies et qu'il convenait ainsi, en application du principe de la transparence, d'attribuer les revenus et le patrimoine des structures off-shore, y compris ceux du trust, à X._. H. Agissant par la voie du recours de droit administratif (2A. 67/2004), X._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du 19 décembre 2003 du Tribunal administratif en tant qu'il concerne l'impôt fédéral direct des périodes fiscales 1991-1992 et 1993-1994 ou de renvoyer la cause à l'autorité cantonale pour une nouvelle décision dans le sens des considérants. Il se plaint de la violation de son droit à un procès équitable (art. 29 al. 1 Cst., art. 6 § 1 CEDH), du principe de la présomption d'innocence (art. 32 al. 1 Cst., art. 6 § 2 CEDH) et de son droit d'être entendu (art. 114 al. 2 LIFD, art. 29 al. 2 Cst.). Agissant également par la voie du recours de droit public (2P.34/2004), X._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du 19 décembre 2003 du Tribunal administratif en tant qu'il concerne les impôts cantonal et communal des périodes fiscales 1991-1992 et 1993-1994. Il estime que son droit à un procès équitable, le principe de la présomption d'innocence et son droit d'être entendu ont été violés et il invoque une application arbitraire (art. 9 Cst.) du droit cantonal. Le Tribunal administratif ainsi que l'Administration cantonale des impôts concluent au rejet des deux recours. L'Administration fédérale des contributions propose le rejet du recours de droit administratif avec suite de frais. Le Tribunal administratif ainsi que l'Administration cantonale des impôts concluent au rejet des deux recours. L'Administration fédérale des contributions propose le rejet du recours de droit administratif avec suite de frais. I. Chaque recours contenait une requête de suspension de la procédure fédérale jusqu'à droit connu sur le recours qui allait être interjeté auprès de la Cour européenne des droits de l'homme contre l'arrêt du 2 octobre 2003 du Tribunal fédéral. Les causes (2A.67/2004 et 2P.34/2004) ont alors été jointes et la demande de suspension rejetée par ordonnance présidentielle du 17 mars 2004. Les causes (2A.67/2004 et 2P.34/2004) ont alors été jointes et la demande de suspension rejetée par ordonnance présidentielle du 17 mars 2004. J. Le 27 décembre 2004, X._ a demandé au Tribunal de céans de suspendre la présente procédure, en raison d'une demande de révision pour faits nouveaux à l'encontre de l'arrêt attaqué déposé devant le Tribunal administratif. Par ordonnance du 10 janvier 2005, la demande de suspension a été rejetée. Le rejet a été confirmé par lettre du 13 janvier 2005.