Faits:
Faits:
A. X._, pilote automobile, a été domicilié à B._ du 28 mai 1991 au 20 novembre 1993, date à laquelle il est parti s'établir à C._. Il était salarié de la société Y._ SA dont il était également l'actionnaire unique. La société avait son siège à B._ (avant de le transférer à C._ le 3 décembre 1993) et son but était: "toute activité dans le domaine du sport automobile, notamment importation, exportation, achat, vente, distribution, commerce de tous articles et produits industriels, artisanaux, accessoires et autres en relation avec des véhicules automobiles, sponsoring, parrainage, ainsi que toutes opérations commerciales et financières s'y rapportant, y compris la prise de participation, location de locaux notamment en relation directe ou indirecte avec le but social et propres à le développer". X._ a d'abord été employé en qualité de "cadre/employé indépendant" (contrat écrit du 14 décembre 1989), puis comme directeur de la société (contrat écrit du 14 avril 1990; en définitive, le contrat de travail n'a pris effet que le 1er juin 1991). Y._ SA payait un salaire à X._, mettait les prestations de ce dernier à disposition de tiers, payait les frais y relatifs (par exemple les frais de transport jusque sur le site des courses) et encaissait les recettes des courses. La société a été imposée comme personne juridique indépendante.
Sur le plan sportif, X._ a fait partie de l'écurie G._ en Formule 1 de 19** à 19** (classé Xème du championnat), puis de l'écurie H._, toujours en Formule 1, de 19** à 19** (classé Xème en 19** et 19**, Xème en 19** et Xème en 19** et 19**).
Sur le plan sportif, X._ a fait partie de l'écurie G._ en Formule 1 de 19** à 19** (classé Xème du championnat), puis de l'écurie H._, toujours en Formule 1, de 19** à 19** (classé Xème en 19** et 19**, Xème en 19** et Xème en 19** et 19**).
B. Pour la période fiscale 1991-1992, X._ a déposé une déclaration d'impôt pour contribuable nouvellement assujetti dans le canton. Il a déclaré un salaire annuel de 133'161 fr. (soit un revenu imposable pour l'impôt cantonal et communal - compte tenu des déductions - de 130'000 fr.) et une fortune imposable nulle.
S'agissant de la période fiscale 1993-1994, X._ a déclaré un salaire de 83'938 fr. pour 1991 et de 149'193 fr. pour 1992 (soit un revenu imposable total pour 1991 et 1992 concernant l'impôt cantonal et communal - compte tenu des déductions - de 111'800 fr.) ainsi qu'une fortune imposable de 14'941 fr., montant équivalant à un compte-courant dont il disposait auprès de Y._ SA; il n'a pas mentionné les actions de cette société, qu'il détenait.
En vue du transfert de son domicile dans le canton de E._, l'intéressé a conclu avec l'Administration fiscale de ce canton une convention en date du 9 août 1993 arrêtant un forfait fiscal, sur la base d'une dépense annuelle de 400'000 fr., pour les années 1993 à 1997.
C. Le 11 mai 1994, l'inspection fiscale de l'Administration cantonale des impôts du canton de Vaud (ci-après: l'Administration des impôts) a notifié à X._ l'ouverture d'une procédure en soustraction fiscale; selon des renseignements en sa possession, les déclarations d'impôt du contribuable pour 1993-1994 et les années antérieures n'étaient pas exactes; elle a encore précisé au contribuable ce qui suit: "votre déclaration d'impôt 1993-1994 n'a pas encore fait l'objet d'une taxation définitive, vous êtes donc informé que celle-ci est maintenue provisoire, au plus tard jusqu'au 31 décembre 1998".
Entre-temps, Y._ SA a fait l'objet d'un contrôle fiscal par l'Administration fédérale des contributions. Le fisc a retenu que cette société avait fourni des prestations à X._ sans obtenir de rémunération adéquate en contrepartie. Il en résultait une prestation appréciable en argent d'un montant total de 223'500 fr. sur les années 1992 à 1995 (43'000 fr. pour l'année 1992); il en découlait une dette d'impôt anticipé de 78'225 fr., laquelle a été acquittée par Y._ SA.
Par lettre du 24 février 1999, l'Administration des impôts a invité X._ à lui communiquer les montants reçus ou bonifiés en 1991 et 1992 ainsi que la liste des titres et comptes bancaires en sa possession au 1er janvier 1993. Ce n'est qu'après une nouvelle demande de l'autorité fiscale que le contribuable a répondu le 23 février 2000, par l'intermédiaire de sa fiduciaire: il s'est référé pour l'essentiel aux pièces déjà en possession du fisc. L'Administration des impôts, ne s'estimant pas suffisamment renseignée, a renouvelé sa demande le 11 avril 2000 en sommant le contribuable de présenter les pièces requises, en vain; l'Administration des impôts a renouvelé encore une fois sa sommation le 9 mai 2000, mais le contribuable n'y a pas donné suite. Le 4 décembre 2000, l'Administration des impôts a adressé à X._ un avis de prochaine clôture du contrôle fiscal; elle a entendu l'intéressé.
L'Administration des impôts a estimé que X._ n'avait pas donné une suite suffisante à ses réquisitions de pièces et sommations. Par décision du 22 mai 2002, elle a fixé, pour l'impôt cantonal et communal, le revenu imposable du contribuable à 366'400 fr. (au lieu de 130'000 fr. déclarés) et sa fortune imposable à zéro pour la période fiscale 1991-1992. Pour la période suivante, du 1er janvier au 19 novembre 1993, elle a arrêté le revenu imposable du contribuable à 425'700 fr. (au lieu de 111'800 fr. déclarés) et sa fortune imposable à zéro. S'agissant de l'impôt fédéral direct, le revenu imposable du contribuable a été arrêté à 366'700 fr. pour la première des deux périodes et à 400'300 fr. pour la seconde.
La décision précitée comportait également des prononcés d'amende en matière d'impôt cantonal et communal soit 69'056,05 fr. pour la période 1991-1992 et une majoration de 10% des éléments soustraits par le contribuable pour la période fiscale 1993-1994, montant compris dans les rappels d'impôts. S'agissant de l'impôt fédéral direct, les amendes s'élevaient à 20'000 fr. pour chacune des deux périodes en cause.
La décision précitée comportait également des prononcés d'amende en matière d'impôt cantonal et communal soit 69'056,05 fr. pour la période 1991-1992 et une majoration de 10% des éléments soustraits par le contribuable pour la période fiscale 1993-1994, montant compris dans les rappels d'impôts. S'agissant de l'impôt fédéral direct, les amendes s'élevaient à 20'000 fr. pour chacune des deux périodes en cause.
D. Statuant le 24 décembre 2003, l'Administration des impôts a déclaré irrecevable la réclamation de l'intéressé en tant qu'elle concernait la taxation d'office et le prononcé d'amende rendu en matière d'impôt cantonal et communal; elle a au surplus rejeté la réclamation et confirmé la taxation d'office et le prononcé d'amende rendu en matière d'impôt fédéral direct.
D. Statuant le 24 décembre 2003, l'Administration des impôts a déclaré irrecevable la réclamation de l'intéressé en tant qu'elle concernait la taxation d'office et le prononcé d'amende rendu en matière d'impôt cantonal et communal; elle a au surplus rejeté la réclamation et confirmé la taxation d'office et le prononcé d'amende rendu en matière d'impôt fédéral direct.
E. Cette décision sur réclamation a fait l'objet d'un recours au Tribunal administratif. Dans sa réponse au recours, en date du 25 février 2004, l'Administration des impôts a considéré que le contribuable avait contesté avec raison que la reprise de 43'000 fr. concernant l'insuffisance de rémunération des services prodigués en 1992 par Y._ SA à son actionnaire ait constitué une soustraction. Ce montant de 43'000 fr. devait être considéré comme un élément de reprise ne constituant pas une soustraction. En conséquence, elle a réformé la décision sur réclamation du 24 décembre 2003 et a fixé le revenu imposable en matière d'impôt cantonal et communal à 423'500 fr. imposable au taux de 235'200 fr. pour trois cent dix-neuf jours en 1993, soit un impôt cantonal de 57'949,50 fr. et un impôt communal de 38'183,75 fr.; l'Administration des impôts a maintenu pour le surplus sa décision. Le recourant et l'Administration des impôts ont complété leurs moyens dans des écritures ultérieures.
Malgré les sommations (sous menace de taxation d'office) du juge instructeur du Tribunal administratif, X._ n'a pas produit toutes les pièces qui lui étaient réclamées. Le Tribunal administratif a tenu audience en présence des parties et de leurs représentants, le 15 juin 2004.
Par arrêt du 3 novembre 2004, le Tribunal administratif a partiellement admis le recours de X._. En matière d'impôt cantonal et communal, il a fixé le revenu imposable à 290'000 fr. pour la période fiscale 1991-1992 (au taux de 290'000 fr.) et à 302'000 fr. (au taux de 167'000 fr.) pour la période fiscale suivante. Il a ramené l'amende globale due en matière d'impôt cantonal et communal à 15'000 fr. pourla période fiscale 1991-1992. Pour le surplus, la décision attaquée a été annulée en tant qu'elle fixait le calcul de l'impôt; le dossier devant être renvoyé à l'Administration des impôts pour nouveau calcul sur la base des éléments fixés par le Tribunal administratif.
En matière d'impôt fédéral le Tribunal administratif a fixé le revenu imposable à 290'000 fr., tant pour la période fiscale 1991-1992 que pour la période fiscale 1993-1994. L'amende mise à la charge de X._ a été ramenée à 5'000 fr. pour la période fiscale 1991-1992 et à 2'000 fr. pour la période fiscale 1993-1994.
Le Tribunal administratif a considéré, en substance, avoir la compétence de procéder à l'estimation d'office des éléments imposables. En effet, X._ avait refusé de verser au dossier des pièces qu'il avait l'obligation de produire.
Sur le fond, le Tribunal administratif a procédé à une nouvelle évaluation d'éventuelles prestations cachées de Y._ SA en faveur son actionnaire unique. Concernant la répartition internationale des revenus, le Tribunal administratif a considéré que Y._ SA était une structure s'apparentant à une "société d'artiste" qui était imposable dans l'État ou se déroulaient les manifestations. Elle seule avait le droit, le cas échéant, à une répartition internationale de ses éléments imposables. X._ n'ayant reçu qu'un salaire, il ne pouvait pour lui-même réclamer de répartition internationale de ses revenus.
Quant aux amendes prononcées, le Tribunal administratif a retenu que si la soustraction d'impôts était avérée concernant la reprise liée à des dépenses privées prises en charge par Y._, son ampleur en revanche, n'était pas établie avec certitude. Il en a conclu que le montant des amendes prononcées devait être réduit.
Quant aux amendes prononcées, le Tribunal administratif a retenu que si la soustraction d'impôts était avérée concernant la reprise liée à des dépenses privées prises en charge par Y._, son ampleur en revanche, n'était pas établie avec certitude. Il en a conclu que le montant des amendes prononcées devait être réduit.
F. Agissant par la voie du recours de droit administratif (2A.709/2004), X._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du 3 novembre 2004 du Tribunal administratif et de renvoyer la cause à l'Administration des impôts pour nouvelle décision dans le sens des considérants en matière d'impôt fédéral direct. X._ soutient avoir produit tous les documents qu'il devait verser au dossier partant, les conditions d'une taxation d'office ne seraient pas remplies; en outre le Tribunal administratif ne serait pas compétent pour procéder à une telle taxation. Le contribuable conteste le résultat des taxations pour les périodes fiscales concernées. Il invoque la violation de conventions visant à éviter la double imposition. Enfin, son droit d'être entendu aurait été violé.
Agissant également par la voie du recours de droit public (2P. 306/2004), X._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du 3 novembre 2004 du Tribunal administratif. La taxation en matière d'impôt cantonal et communal serait arbitraire.
Le Tribunal administratif conclut au rejet des deux recours, de même que l'Administration des impôts. L'Administration fédérale des contributions propose le rejet du recours de droit administratif.
Par ordonnance présidentielle du 6 janvier 2005, l'effet suspensif a été conféré au recours de droit public (2P.306/2004).

Le Tribunal fédéral considère en droit:
Le Tribunal fédéral considère en droit:
1. L'intéressé a déposé simultanément deux recours qui portent sur les même faits et concernent des questions de droit analogues, l'un de droit administratif, l'autre de droit public, contre le même arrêt. Par économie de procédure, il convient dès lors de prononcer la jonction des causes et de statuer sur les mérites des deux recours dans un seul et même arrêt (<ref-law> et 40 OJ; arrêt 2P. 291/2000 du 23 novembre 2001, consid. 1a non publié).
I. Recours de droit administratif (2A.709/2004)
I. Recours de droit administratif (2A.709/2004)
2. 2.1 Déposé en temps utile et dans les formes prescrites par la loi contre un arrêt rendu par une autorité judiciaire statuant en dernière instance cantonale et fondé sur le droit public fédéral dans la mesure où il concerne l'impôt fédéral direct, sans qu'aucune des exceptions prévues aux art. 99 à 102 OJ ne soit réalisée, le présent recours est recevable en vertu des art. 97 ss OJ, ainsi que la règle particulière de l'art. 146 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct; RS 642.11 (ci-après: LIFD ou la loi sur l'impôt fédéral direct), en vigueur depuis le 1er janvier 1995, et de celle de l'art. 112 al. 1 de l'arrêté du Conseil fédéral du 9 décembre 1940 concernant la perception d'un impôt fédéral; RO 56 2021 (ci-après: AIFD ou l'arrêté sur l'impôt fédéral direct).
2.2 Conformément à l'art. 104 lettre a OJ, le recours de droit administratif peut être formé pour violation du droit fédéral, y compris l'excès et l'abus du pouvoir d'appréciation (<ref-ruling> consid. 1.2.1. p. 150). Le Tribunal fédéral revoit d'office l'application du droit fédéral qui englobe notamment les droits constitutionnels du citoyen (<ref-ruling> consid. 1a p. 254; <ref-ruling> consid. 2 p. 211; <ref-ruling> consid. 2a p. 137). Comme il n'est pas lié par les motifs que les parties invoquent, il peut admettre le recours pour d'autres raisons que celles avancées par le recourant ou, au contraire, confirmer l'arrêt attaqué pour d'autres motifs que ceux retenus par l'autorité intimée (art. 114 al. 1 in fine OJ; <ref-ruling> consid. 1b p. 268; <ref-ruling> consid. 1b p. 477 et les arrêts cités, voir aussi <ref-ruling> consid. 2b p. 109). Le Tribunal fédéral vérifie librement si les conditions d'une taxation d'office sont réunies; il s'impose en revanche une certaine retenue lorsqu'il examine les éléments d'appréciation sur lesquels repose une taxation par estimation et n'intervient qu'en cas d'erreur, de lacune ou de contradiction manifeste (arrêt 2A.387/1997 du 16 mars 1999, RDAF 2000 II 41 consid. 1c).
Lorsque le recours est dirigé, comme en l'occurrence, contre la décision d'une autorité judiciaire, le Tribunal fédéral est lié par les faits constatés dans la décision, sauf s'ils sont manifestement inexacts ou incomplets ou s'ils ont été établis au mépris de règles essentielles de procédure (art. 104 lettre b et 105 al. 2 OJ; <ref-ruling> consid. 1.2 p. 154; <ref-ruling> consid. 1.2.1 p. 150; <ref-ruling> consid. 1 p. 198). En outre, le Tribunal fédéral ne peut pas revoir l'opportunité de la décision entreprise, le droit fédéral ne prévoyant pas un tel examen en la matière (art. 104 lettre c ch. 3 OJ).
Lorsque le recours est dirigé, comme en l'occurrence, contre la décision d'une autorité judiciaire, le Tribunal fédéral est lié par les faits constatés dans la décision, sauf s'ils sont manifestement inexacts ou incomplets ou s'ils ont été établis au mépris de règles essentielles de procédure (art. 104 lettre b et 105 al. 2 OJ; <ref-ruling> consid. 1.2 p. 154; <ref-ruling> consid. 1.2.1 p. 150; <ref-ruling> consid. 1 p. 198). En outre, le Tribunal fédéral ne peut pas revoir l'opportunité de la décision entreprise, le droit fédéral ne prévoyant pas un tel examen en la matière (art. 104 lettre c ch. 3 OJ).
3. La loi sur l'impôt fédéral direct est entrée en vigueur le 1er janvier 1995 et a abrogé l'arrêté sur l'impôt fédéral direct en vigueur jusqu'au 31 décembre 1994. Les prescriptions de droit matériel de cette loi sont donc applicables à partir de la période fiscale 1995-1996. Comme le présent litige concerne les périodes 1991-1992 et 1993-1994, le droit en vigueur à cette époque, soit selon l'arrêté sur l'impôt fédéral direct s'applique encore.
3. La loi sur l'impôt fédéral direct est entrée en vigueur le 1er janvier 1995 et a abrogé l'arrêté sur l'impôt fédéral direct en vigueur jusqu'au 31 décembre 1994. Les prescriptions de droit matériel de cette loi sont donc applicables à partir de la période fiscale 1995-1996. Comme le présent litige concerne les périodes 1991-1992 et 1993-1994, le droit en vigueur à cette époque, soit selon l'arrêté sur l'impôt fédéral direct s'applique encore.
4. L'Administration des impôts est revenue partiellement sur sa décision sur réclamation du 23 décembre 2003 et l'a réformée, durant la procédure devant le Tribunal administratif, dans sa réponse du 25 février 2004, en application de l'art. 52 al. 2 de la loi vaudoise du 18 décembre 1989 sur la juridiction et la procédure administratives (ci-après: LJPA/VD). Le Tribunal administratif a considéré que l'Administration des impôts avait abandonné la procédure de taxation d'office opérée prétendument sans sommation, pour fixer à nouveau les taxations, mais en procédure ordinaire.
Il est patent que cette "réforme" ne saurait introduire une nouvelle procédure. Il s'agit tout au plus de nouvelles conclusions ou de modifications de la décision attaquée, pour autant que de telles modifications soient conformes à la procédure des <ref-law> (respectivement des art. 106 ss AIFD) et ne contredisent pas la force dévolutive du recours administratif. Il n'est pas nécessaire d'approfondir davantage cette question. En effet, l'arrêt du Tribunal administratif, qui se substitue aux précédentes décisions, est clair et peut seul être attaqué devant le Tribunal fédéral (<ref-ruling> consid. 1b p. 13). Les critiques adressées à l'Administration des impôts pour avoir procédé sans sommation sont donc irrecevables.
Il est patent que cette "réforme" ne saurait introduire une nouvelle procédure. Il s'agit tout au plus de nouvelles conclusions ou de modifications de la décision attaquée, pour autant que de telles modifications soient conformes à la procédure des <ref-law> (respectivement des art. 106 ss AIFD) et ne contredisent pas la force dévolutive du recours administratif. Il n'est pas nécessaire d'approfondir davantage cette question. En effet, l'arrêt du Tribunal administratif, qui se substitue aux précédentes décisions, est clair et peut seul être attaqué devant le Tribunal fédéral (<ref-ruling> consid. 1b p. 13). Les critiques adressées à l'Administration des impôts pour avoir procédé sans sommation sont donc irrecevables.
5. 5.1 Le droit d'être entendu est une garantie constitutionnelle de caractère formel, dont la violation doit entraîner l'annulation de l'arrêt attaqué, indépendamment des chances de succès du recourant sur le fond (<ref-ruling> consid. 3b p. 383). Ce grief est en principe recevable dans le cadre d'un recours de droit administratif (<ref-ruling> consid. 3 p. 74).
L'étendue du droit d'être entendu est définie, en l'espèce, tout d'abord par les dispositions spéciales du droit fédéral (<ref-law>) et, dans la mesure où ces dispositions sont incomplètes, par la garantie minimum offerte par l'art. 29 al. 2 Cst., dont le Tribunal fédéral vérifie l'application avec plein pouvoir d'examen (<ref-ruling> consid. 5a p. 96 et la jurisprudence citée).
L'arrêté sur l'impôt fédéral direct ne règle pas la question du droit d'être entendu. Il faut se référer à la loi sur l'impôt fédéral direct. D'après l'<ref-law>, "le contribuable a le droit de consulter les pièces du dossier qu'il a produites ou signées" (al. 1 1ère phrase). "Le contribuable peut prendre connaissance des autres pièces une fois les faits établis et à condition qu'aucune sauvegarde d'intérêts publics ou privés ne s'y oppose" (al. 2). "Lorsqu'une autorité refuse au contribuable le droit de consulter une pièce du dossier, elle ne peut se baser sur ce document pour trancher au détriment du contribuable que si elle lui a donné connaissance, oralement ou par écrit, du contenu essentiel de la pièce et qu'elle lui a au surplus permis de s'exprimer et d'apporter ses propres moyens de preuve" (al. 3).
L'art. 29 al. 2 Cst. ne confère pas une protection plus étendue au contribuable.
5.2 Le recourant n'a pas pu se déterminer sur la lettre du 22 octobre 2004 adressée par l'Administration des impôts au Tribunal administratif et qui concernait les reprises effectuées en raison de vols passant par D._ et considérés par le Tribunal administratif comme étant de nature privée. Le juge instructeur du Tribunal administratif a transmis cette lettre au recourant le 27 octobre 2004, mais ce dernier ne l'a reçue que le 1er novembre suivant, sans pouvoir se déterminer avant la notification de l'arrêt du Tribunal administratif du 3 novembre 2004. Selon le recourant, cela constituerait une violation de son droit d'être entendu.
En l'occurrence, la lettre du 22 octobre 2004 de l'Administration des impôts suivait plusieurs échanges d'écritures dans lesquelles les parties avaient fait valoir leurs arguments. Le recourant avait déjà critiqué la reprise liée aux vols passant par D._ en particulier dans une lettre du 15 octobre 2004 adressée au Tribunal administratif et qui figure au dossier. Il a donc pu s'exprimer sur ce point.
De plus, la lettre du 22 octobre 2004 de l'Administration des impôts ne contenait pas d'éléments nouveaux mais constatait qu'un trajet direct Genève-Bologne était meilleur marché qu'un trajet faisant le détour par D._. Dans la mesure où le recourant a été taxé par appréciation, ce renseignement n'a pas joué de rôle déterminant dans le résultat de la décision attaquée.
Enfin, selon l'art. 44 al. 1 LJPA/VD, "la procédure (...) ne comporte normalement qu'un échange d'écriture". Il en va de même en droit fédéral selon les art. 108 ss AIFD. La brève lettre du 22 octobre 2004 ne doit pas être considérée comme un ultime échange d'écriture appelant une détermination du recourant. Dans ces circonstances, le droit d'être entendu du recourant n'a pas été violé et cet argument doit être écarté.
Enfin, selon l'art. 44 al. 1 LJPA/VD, "la procédure (...) ne comporte normalement qu'un échange d'écriture". Il en va de même en droit fédéral selon les art. 108 ss AIFD. La brève lettre du 22 octobre 2004 ne doit pas être considérée comme un ultime échange d'écriture appelant une détermination du recourant. Dans ces circonstances, le droit d'être entendu du recourant n'a pas été violé et cet argument doit être écarté.
Enfin, selon l'art. 44 al. 1 LJPA/VD, "la procédure (...) ne comporte normalement qu'un échange d'écriture". Il en va de même en droit fédéral selon les art. 108 ss AIFD. La brève lettre du 22 octobre 2004 ne doit pas être considérée comme un ultime échange d'écriture appelant une détermination du recourant. Dans ces circonstances, le droit d'être entendu du recourant n'a pas été violé et cet argument doit être écarté.
6.1 L'arrêté sur l'impôt fédéral direct stipule ce qui suit:
"Art. 92 Taxation d'office
1 Si, malgré sommation, le contribuable ne remet pas ou ne complète pas en temps utile sa déclaration, ne comparait pas pour être entendu, ne donne pas suite à une demande de renseignements, si, bien qu'il soit astreint à l'obligation de tenir des livres, il ne produit pas de livres ou ne produit que des livres inutilisables pour la détermination des éléments imposables, ou s'il ne joint pas les pièces justificatives demandées, la taxation est effectuée d'office. Si, à cette occasion, les éléments imposables qui ont servi de base à la dernière taxation exécutoire du contribuable en vue de la contribution fédérale de crise ou de l'impôt fédéral direct ne sont pas majorés de plus de 20 pour cent, le dépôt d'une réclamation ou d'un recours contre la nouvelle taxation est exclu.
2 (...).
Art. 109 Mesures d'enquête et preuves
1 La commission cantonale de recours ordonne, sans être liée par les demandes des parties, les mesures d'enquête et les preuves nécessaires. Elle peut y faire procéder par un ou plusieurs de ses membres.
2 Elle dispose à cet effet des attributions mentionnées aux art. 89 à 91.
Art. 110 Rectification d'office
S'il est constaté dans la procédure de recours que la taxation contestée est inexacte, la commission cantonale de recours doit la rectifier conformément aux faits, après avoir entendu de nouveau les parties, s'il en est besoin. Elle peut modifier la taxation, même au désavantage du recourant. "
Selon le recourant, le Tribunal administratif ne pourrait pas taxer un contribuable par estimation. En effet, l'art. 109 al. 2 AIFD n'accorde à la commission cantonale de recours (remplacée, dans le canton de Vaud, par le Tribunal administratif depuis le 1er juillet 1991) que les attributions des art. 89 à 91 AIFD, à l'exclusion de la taxation d'office découlant de l'art. 92 AIFD.
Malgré la lettre de l'art. 109 al. 2 AIFD, la doctrine admet, au moins implicitement, que le Tribunal administratif puisse procéder à une taxation par estimation: Le Tribunal administratif peut, avec une cognition étendue, ordonner les mesures d'enquête et les preuves nécessaires; elle dispose à cet effet des attributions mentionnées aux art. 89 à 91 AIFD (Ernst Känzig/Urs R. Behnisch, Die Direkte Bundessteuer, IIIème partie, 2ème édition, n. 1, 2 et 6 ad art. 109 p. 268 ss). Le Tribunal administratif doit vérifier la taxation d'office dans son ensemble en fait et en droit et, le cas échéant, décider d'après sa propre appréciation (Heinz Masshardt/François Gendre, Commentaire IDN, Lausanne 1980, ch. 21 ad art. 92 AIFD, p. 400/401; Heinz Masshardt, Kommentar zur direkten Bundessteuer, 2ème éd., Zurich 1985, n. 21 ad art. 92 AIFD, p. 436 et la jurisprudence citée).
Implicitement, le Tribunal fédéral a admis que l'art. 92 AIFD peut être appliqué par le Tribunal administratif en tant qu'autorité de recours bien que l'art. 109 al. 2 AIFD ne le mentionne pas. Ainsi le Tribunal fédéral a rappelé qu'en matière d'impôt fédéral direct, les réclamations et recours sont toujours des voies de droit "complètes et réformatrices" (arrêt A.74/1987 du 30 octobre 1987, Revue fiscale 44/ 1989 p. 435, consid. 3c). Le Tribunal administratif peut procéder à une nouvelle taxation - réformation en défaveur ou en faveur du contribuable - (arrêt 2A.201/1991 du 22 décembre 1993, Revue fiscale 49/1994 p. 262; arrêt A.16/1986 du 4 juin 1987, Revue fiscale 44/1989 p. 293).
L'art. 109 al. 2 AIFD ne saurait être interprété autrement. En effet, nier la compétence du Tribunal administratif sur ce point reviendrait à empêcher cette autorité de procéder à une nouvelle taxation (réformation en défaveur ou en faveur du contribuable), l'art. 109 al. 2 AIFD ne renvoyant pas non plus aux art. 88 et 95 AIFD qui autorisent l'autorité de taxation à déterminer les éléments fiscaux et le montant de l'impôt.
En outre, l'art. 109 al. 2 AIFD prévoit expressément que l'autorité de recours dispose des attributions des art. 89 à 91 AIFD, de sorte qu'elle peut procéder à toutes mesures d'instruction au sens de ces dispositions. Il serait incompréhensible que l'arrêté sur l'impôt fédéral direct n'autorise pas cette autorité à notifier une sommation au contribuable puis à procéder à une taxation au sens de l'art. 92 AIFD, car cela viderait les mesures d'enquête de leur sens.
Dès lors, le Tribunal administratif a la compétence nécessaire pour procéder à une taxation d'office et le recourant qui soutient l'inverse ne saurait être suivi.
6.2 Au surplus, le Tribunal administratif a correctement appliqué la procédure de taxation d'office. Il a sommé le recourant de produire les pièces nécessaires pour établir l'importance de ses revenus imposables (sous menace de taxation par appréciation).
Le recourant invoque un arrêt du 19 juillet 2004 de la Commission cantonale de recours du canton de Thurgovie en matière d'impôts (publié in Revue fiscale 59/2004 p. 674) selon lequel il est indispensable, pour que l'autorité de taxation puisse procéder à une taxation d'office, qu'elle adresse au contribuable une sommation avec menace d'une taxation par estimation. Si elle ne l'a pas fait, la procédure serait viciée à la base et rien ne pourrait guérir ce vice. Il importerait peu que l'Administration des impôts ait remplacé les taxations d'office par une taxation ordinaire en cours de procédure.
A supposer que la procédure ait été viciée à la base, on ne voit pas pourquoi le Tribunal administratif qui a les mêmes compétences que l'Administration des impôts, ne pourrait pas guérir le vice. Or, le juge instructeur du Tribunal administratif a adressé une sommation en bonne et due forme - avec menace de taxation par appréciation - au recourant, lui donnant une nouvelle chance de produire toutes les pièces utiles à sa taxation. Force est donc de constater que ce dernier a pu exercer ses droits. Il y aurait formalisme excessif à renvoyer le dossier à l'Administration des impôts pour ce seul motif.
A supposer que la procédure ait été viciée à la base, on ne voit pas pourquoi le Tribunal administratif qui a les mêmes compétences que l'Administration des impôts, ne pourrait pas guérir le vice. Or, le juge instructeur du Tribunal administratif a adressé une sommation en bonne et due forme - avec menace de taxation par appréciation - au recourant, lui donnant une nouvelle chance de produire toutes les pièces utiles à sa taxation. Force est donc de constater que ce dernier a pu exercer ses droits. Il y aurait formalisme excessif à renvoyer le dossier à l'Administration des impôts pour ce seul motif.
7. 7.1 L'art. 89 AIFD, relatif à la production des documents et des pièces stipule ce qui suit:
"Art. 89 Audition du contribuable et invitation à produire des preuves
1 (...).
2 L'autorité de taxation peut exiger, en outre, que le contribuable produise les livres, documents et pièces justificatives se trouvant en sa possession et qu'il remette des attestations et états présentant de l'importance pour sa taxation, qu'il doit se procurer ou établir lui-même. En particulier, le contribuable indiquera à l'autorité de taxation, à sa demande, les noms des personnes avec lesquelles il a conclu des affaires ou auxquelles il a fait des prestations appréciables en argent; il renseignera sur ses rapports contractuels avec ces personnes, ainsi que sur les prestations et prétentions réciproques qui en découlent. Sont réservés le secret professionnel protégé légalement de même que l'opposition à la déclaration des prestations d'assurances prévues à l'art. 19 de la loi fédérale du 13 octobre 1956 sur l'impôt anticipé.
3 (...). "
Cette obligation générale de renseigner porte sur tous les rapports d'affaires du contribuable. Il faut entendre par là les affaires de n'importe quelle nature engendrant des droits acquis ou aliénés, des obligations qui naissent ou s'éteignent (Maurice Pichon, L'obligation de produire renseignements et pièces justificatives pour éviter une taxation d'office, Revue fiscale 44/1989 p. 498).
La taxation d'office peut être opérée non seulement lorsque le contribuable faillit à son obligation de renseigner le fisc mais aussi chaque fois que les indications qu'il fournit sont insuffisantes, sans égard au fait que le défaut de renseignements sur sa situation lui serait ou non imputable (ATF 71 I 131 consid. 1 p. 133; Archives 14 p. 482; arrêt 2A.387/1997 du 16 mars 1999, RDAF 2000 II 41, consid. 2b). Le contribuable doit être taxé dans la mesure du possible d'après sa capacité économique réelle. L'autorité de taxation appelée à évaluer d'office le revenu imposable d'un contribuable doit tenir compte, selon sa propre appréciation, de toutes les données disponibles au moment de prendre sa décision. On ne peut exiger d'elle d'effectuer des enquêtes et des clarifications par trop détaillées, en particulier lorsqu'elle ne dispose pas d'éléments probants. Lorsque les seules indications vérifiables ont trait à l'évolution de la situation de fortune, l'autorité fiscale peut se baser sur la différence entre l'état de fortune au début et à la fin de la période fiscale et ajouter les dépenses privées et le train de vie estimés au montant ainsi obtenu pour déterminer le revenu imposable (arrêt 2A.387/1997 du 16 mars 1999, RDAF 2000 II 41, consid. 2d; Maurice Pichon, op. cit., p. 502 s. et les références citées).
7.2 En l'occurrence, le recourant soutient avoir collaboré autant qu'il pouvait être tenu de le faire, d'abord avec l'Administration des impôts, ensuite avec le Tribunal administratif. Il s'agit d'examiner si le recourant pouvait, comme il l'a fait, refuser de produire le "AFK Agreement".
Le recourant, bien qu'imposé personnellement comme employé de Y._ SA, était actionnaire unique de cette société avec laquelle il formait une entité économique. Le recourant, grâce à ses courses, lui procurait des recettes et il était le seul bénéficiaire des gains réalisés par Y._ SA.
Le Tribunal administratif a correctement analysé la situation en considérant que le recourant, sa société - Y._ SA - et la société H._, A._ F._ K._ SA (ci-après: AFK) se trouvaient dans une relation triangulaire. Le recourant était lié à Y._ SA par un contrat de travail (voire par d'autres contrats encore). Y._ SA avait conclu avec AFK un "AFK Agreement": les services du recourant étaient mis à disposition de AFK; le recourant avait conclu avec AFK un "Deed of undertaking", par lequel il garantissait à AFK qu'il mettrait tout en oeuvre pour que sa société puisse satisfaire à ses obligations envers AFK (le recourant s'obligeait même à indemniser AFK pour le cas où sa société violerait le "AFK Agreement"). Ce "Deed of undertaking" s'apparentait à une convention de porte-fort (<ref-law>) et était étroitement lié au "AFK Agreement" auquel il se référait à plusieurs reprises; enfin, le "AFK Agreement" était annexé au "Deed of undertaking" comme l'indiquait le préambule de ce document.
Dans ces conditions, l'argument du recourant selon lequel les pièces précitées ne pouvaient pas être exigées de lui sous prétexte que AFK ne faisait pas partie du cercle de ses relations d'affaires (cette société n'aurait été le partenaire contractuel que de Y._ SA) est insoutenable. Le "AFK Agreement" était un document présentant une importance certaine pour arrêter les éléments imposables du recourant. Ce dernier était tenu de le produire sur demande de l'autorité fiscale. En ne le faisant pas, il a violé ses obligations de procédure, autorisant ainsi le Tribunal administratif à procéder à une taxation d'office. Le recourant ne peut pas se retrancher derrière une éventuelle clause de confidentialité; seuls les secrets légalement protégés étant opposables au fisc (concernant ce dernier point: art. 89 al. 2 AIFD; Ernst Känzig/Urs R. Behnisch, op. cit., n. 22 ad art. 89 p. 128; Heinz Masshardt/François Gendre, op. cit., ch. 3 ad art. 89 AIFD, p. 379; Heinz Masshardt, op. cit., n. 3 ad art. 89 AIFD, p. 412).
Pour sa défense, le recourant fait valoir qu'il ne pouvait pas produire les pièces réclamées par les autorités fiscales: ces justificatifs n'auraient plus été entre ses mains mais auraient été portés dans la comptabilité de Y._ SA. En outre le délai de conservation des pièces - art. 747 et 962 CO - serait échu. De tels arguments sont à la limite de la témérité et ne sauraient être accueillis. D'une part, le recourant qui (comme on l'a vu) était actionnaire unique de Y._ SA et, à ce titre, pouvait accéder aux pièces réclamées pour les remettre aux autorités de taxation. D'autre part, le recourant savait qu'une procédure était pendante à son encontre. C'était le 11 mai 1994 déjà que l'inspection fiscale de l'Administration des impôts avait informé le recourant de l'ouverture d'une procédure en soustraction fiscale. C'est donc à juste titre que l'autorité intimée a admis que les conditions de la taxation d'office étaient remplies.
7.3 Le recourant critique l'estimation que le Tribunal administratif a faite de ses revenus imposables. Toutefois, en l'absence d'éléments probants, le Tribunal administratif n'avait pas à effectuer des enquêtes et des clarifications trop détaillées. On ne saurait lui reprocher d'avoir estimé des revenus imposables du recourant en se basant sur les seules pièces à sa disposition.
Le Tribunal administratif a relevé que l'évolution de la fortune et du train de vie du recourant étaient difficiles à cerner, ce d'autant plus que ce dernier n'était resté assujetti dans le canton de Vaud que du 28 mai 1991 au 20 novembre 1993, soit durant une période brève. Pour la période 1991-1992, le recourant avait déclaré un revenu imposable pour l'impôt cantonal et communal de 130'000 fr. et une fortune imposable nulle. A ces chiffres, le Tribunal administratif a substitué sa propre estimation qui se décomposait comme il suit:
Revenu déclaré: Fr. 130'000.--
Reprise liées à des dépenses privées, indemnisées au titre de frais de représentation et de voyage: Fr. 120'000.--
Reprise correspondante à une insuffisance de rémunération de services: Fr. 40'000.--
Revenu annuel total estimé: Fr. 290'000.--
Pour la période 1993-1994, le Tribunal administratif a également estimé que le revenu annuel imposable du recourant s'élevait à 290'000 francs.
Le Tribunal administratif s'est fondé sur la révision opérée par l'Administration fédérale des contributions qui a retenu que Y._ SA avait fourni à son actionnaire unique des prestations de service sans obtenir de rémunération adéquate en contrepartie. L'insuffisance de rémunération équivalait à une prestation appréciable en argent pour un montant de 43'000 fr. pour l'année 1992. Il en découlait une dette d'impôt anticipé, laquelle a été acquittée par Y._ SA. Selon le recourant, la reprise forfaitaire effectuée par l'Administration fédérale des contributions et la reprise effectuée par le Tribunal administratif sour rubrique "reprise correspondante à une insuffisance de rémunération de services" pour un montant de 40'000 fr. se recoupent, de sorte que, si la première est admise, la seconde n'a pas lieu d'être.
Le recourant semble oublier toutefois que les prestations appréciables en argent font l'objet d'une double imposition économique auprès de la société (art. 49 al. 1 lettre b AIFD) et de l'actionnaire (art. 21 al. 1 lettre c AIFD) de sorte que son grief est infondé.
Enfin, l'argument du recourant selon lequel le Tribunal administratif aurait renversé le fardeau de la preuve des faits doit être écarté. En effet, il appartient à l'autorité fiscale d'établir les faits qui fondent la créance d'impôt ou qui l'augmentent, alors que le contribuable doit alléguer et prouver les faits qui suppriment ou réduisent cette créance (Jean-Marc Rivier, L'imposition du revenu et de la fortune, 2ème éd. 1998, p. 142; voir aussi Walter Ryser/Bernard Rolli, Précis de droit fiscal suisse, 4ème éd., Berne 2002, p. 462). En l'occurrence, l'arrêt querellé est fondé sur une répartition correcte du fardeau de la preuve, qui n'a pas été mis à la charge du recourant. Les chiffres retenus par le Tribunal administratif ressortent du dossier et sont vraisemblables au regard du forfait fiscal négocié par le recourant avec le Canton de E._ sur une base d'une dépense annuelle de 400'000 fr., cela pour les années 1993 à 1997 ainsi que du loyer souscrit par le recourant dès août 1993 de l'ordre de 75'000 fr. annuellement. Le recourant conteste en vain cette appréciation et ne démontre pas que le chiffres retenus par le Tribunal administratif seraient erronés; son argument doit dès lors être rejeté.
7.4 Enfin, le recourant ne critique pas les amendes fixées par le Tribunal administratif, soit 5'000 fr. pour la période fiscale 1991-1992 et 2'000 fr. pour la période fiscale 1993-1994. L'arrêt entrepris doit être confirmé sur ce point.
7.4 Enfin, le recourant ne critique pas les amendes fixées par le Tribunal administratif, soit 5'000 fr. pour la période fiscale 1991-1992 et 2'000 fr. pour la période fiscale 1993-1994. L'arrêt entrepris doit être confirmé sur ce point.
8. 8.1 Le recourant demande que les conventions de double imposition lui soient appliquées et que ses revenus bénéficient d'une répartition internationale. Il se réfère au Modèle de Convention fiscale concernant
le revenu et la fortune, de l'Organisation de coopération et de développement économique (ci-après: la Convention-modèle ou CM).
Il convient de rappeler d'abord que la Convention-modèle n'est pas du droit positif, mais un modèle de convention proposé aux Etats membres de l'OCDE qui entendent conclure des conventions bilatérales et dont le recourant ne peut tirer aucun droit (v. Jean-Blaise Roggen, Le nouveau Modèle de Convention fiscale de l'OCDE concernant le revenu et la fortune, Revue fiscale 49/1994 p. 520).
Par ailleurs, le régime applicable aux sportifs en matière internationale est régi comme il suit, à la lettre de l'art. 17 CM (dans sa version 2005):
"1 Nonobstant les dispositions des art. 7 (ndr.: bénéfice des entreprises; dans les versions plus anciennes, l'art. 17 CM ne renvoyait pas à l'art. 7 mais à l'art. 14 relatif aux professions indépendantes; l'art. 14 CM est supprimé dans la version 2005) et 15 (ndr.: revenu des professions dépendantes), les revenus qu'un résident d'un État contractant tire de ses activités personnelles exercées dans l'autre État contractant en tant qu'artiste du spectacle, tel qu'un artiste de théâtre, de cinéma, de la radio ou de la télévision, ou qu'un musicien, ou en tant que sportif, sont imposables dans cet autre État.
2 Lorsque les revenus d'activités qu'un artiste du spectacle ou un sportif exerce personnellement et en cette qualité sont attribués non pas à l'artiste ou au sportif lui-même mais à une autre personne, ces revenus sont imposables, nonobstant les dispositions des art. 7 et 15, dans l'État contractant où les activités de l'artiste ou du sportif sont exercées. "
Cette disposition, si elle prévoit l'imposition de principe des sportifs dans l'État où ses activités sont exercées, n'exclut pas l'imposition dans l'État de résidence, le cas échéant sous réserve d'imputation de l'impôt étranger ("sont imposables" et non pas "ne sont imposable que"; v. Xavier Oberson, Précis de droit fiscal international, Berne 2004, 2ème éd., p. 153; moins précis: Peter Locher, Einführung in das internationale Steuerrecht der Schweiz, Berne 2005, 3ème éd., p. 444).
Selon le commentaire de cette convention élaboré par le Comité des affaires fiscales de l'OCDE, le terme sportif vise ici notamment les coureurs automobiles (ch. 5). L'art. 17 al. 2 CM porte notamment sur certains procédés d'évasion fiscale, réalisée lorsque la rémunération due pour la prestation fournie par un artiste ou un sportif n'est pas versée à lui-même, mais à un tiers, par exemple à ce qu'on appelle une "société d'artiste". Il pourrait alors en découler que le revenu n'est imposé, dans l'État où l'activité est exercée, ni comme rémunération personnelle de l'artiste ou du sportif pour la prestation de ses services, ni comme bénéfice de l'entreprise en l'absence d'un établissement stable. Pour y remédier, certains pays font abstraction de tels dispositifs dans leur législation nationale et considèrent les revenus comme réalisés par l'artiste ou le sportif. L'art. 17 al. 2 CM leur permet d'imposer les revenus tirés d'activités exercées sur leur territoire, y compris les bénéfices détournés du revenu de l'artiste ou du sportif au profit de l'entité. D'autres pays n'ont au contraire pas cette possibilité (ch. 11 lettre c; sur l'imposition des sportifs, v. en outre Peter Locher, op. cit., p. 441 ss; Xavier Oberson, op. cit., p. 146 ss; Ernst Höhn, Handbuch des internationalen Steuerrechts des Schweiz, 2ème éd., Berne 1993, p. 199 ss; Jean-Marc Rivier, Droit fiscal suisse: Le droit fiscal international, Neuchâtel 1983, p. 149 ss).
8.2 Dans le cas d'espèce, c'est avec raison que le Tribunal administratif a retenu que le recourant avait mis en place une structure qui s'apparentait à une "société d'artiste". Le recourant était en effet le directeur et l'unique actionnaire de sa société. Dans l'hypothèse d'une société d'artiste, les États où se déroulaient les manifestations sportives pouvaient imposer les rémunérations reçues par Y._ SA, quand bien même elles auraient été ensuite versées au recourant par l'intermédiaire de celle-ci.
Dans ce contexte, le grief soulevé par le recourant qui réclame une répartition internationale de ces recettes n'est pas d'emblée dénué de fondement. Le Tribunal administratif soutient toutefois à bon droit que seule Y._ SA, à l'exclusion du recourant, pourrait demander une répartition internationale de ses revenus, le recourant devant être imposé comme employé et directeur de Y._ SA en Suisse.
Au surplus, le recourant n'indique pas que les revenus tirés de son activité de sportif aient été imposés à l'étranger. Il n'indique pas les montants payés à titre d'impôt par lui-même ou sa société à l'étranger et n'a pas fourni les pièces nécessaires à l'évaluation de ces montants; il se borne à énumérer des pays où il a couru et un nombre de courses, sans justificatifs. En conséquence, la demande du recourant tendant à ce qu'une répartition internationale de ses revenus soit effectuée doit être écartée et le recours rejeté sur ce point.
II. Recours de droit public (2P. 306/2004)
II. Recours de droit public (2P. 306/2004)
9. 9.1 Déposé en temps utile et dans les formes prescrites par la loi contre une décision finale prise en dernière instance cantonale, qui ne peut être attaquée que par la voie du recours de droit public en tant qu'elle porte sur l'impôt cantonal et communal et qui touche le recourant dans ses intérêts juridiquement protégés, le présent recours est recevable au regard des art. 84 ss OJ, dans la mesure où il porte sur des taxations de l'impôt cantonal et communal.
9.2 En vertu de l'art. 90 al. 1 lettre b OJ, l'acte de recours doit, à peine d'irrecevabilité, contenir un exposé succinct des droits constitutionnels ou des principes juridiques violés et préciser en quoi consiste la violation. Lorsqu'il est saisi d'un recours de droit public, le Tribunal fédéral n'a donc pas a vérifier de lui-même si l'arrêt entrepris est en tout points conforme au droit et à l'équité. Il n'examine que les griefs d'ordre constitutionnels invoqués et suffisamment motivés dans l'acte de recours. Le recourant ne saurait se contenter de soulever de vagues griefs ou de renvoyer aux actes cantonaux (<ref-ruling> consid. 2a p. 3/4; <ref-ruling> consid. 2.1 p. 120; <ref-ruling> consid. 1c p. 76; <ref-ruling> consid. 4a p. 30; <ref-ruling> consid. 2b p. 318).
9.2 En vertu de l'art. 90 al. 1 lettre b OJ, l'acte de recours doit, à peine d'irrecevabilité, contenir un exposé succinct des droits constitutionnels ou des principes juridiques violés et préciser en quoi consiste la violation. Lorsqu'il est saisi d'un recours de droit public, le Tribunal fédéral n'a donc pas a vérifier de lui-même si l'arrêt entrepris est en tout points conforme au droit et à l'équité. Il n'examine que les griefs d'ordre constitutionnels invoqués et suffisamment motivés dans l'acte de recours. Le recourant ne saurait se contenter de soulever de vagues griefs ou de renvoyer aux actes cantonaux (<ref-ruling> consid. 2a p. 3/4; <ref-ruling> consid. 2.1 p. 120; <ref-ruling> consid. 1c p. 76; <ref-ruling> consid. 4a p. 30; <ref-ruling> consid. 2b p. 318).
10. 10.1 Le recourant développe à l'appui de son recours de droit public les mêmes arguments que dans son recours de droit administratif. Son argumentation relève largement de l'appel.
Son droit d'être entendu aurait été violé (art. 29 al. 2 Cst.) au motif qu'il n'aurait pas pu se déterminer sur la lettre du 22 octobre 2004 de l'Administration des impôts au Tribunal administratif.
L'arrêt du Tribunal administratif du 3 novembre 2004 serait arbitraire (art. 9 Cst.) pour plusieurs motifs: Le Tribunal administratif ne pouvait pas procéder à une taxation d'office, il devait renvoyer le dossier à l'Administration des impôts au motif que cette dernière avait omis d'adresser au recourant une sommation comportant la menace d'une taxation par estimation. Le recourant ne devait pas produire le "AFK Agreement" et le Tribunal administratif avait évalué ses revenus imposable de manière erronée. Les faits n'avaient pas été correctement établis (grief relatif au fardeau de la preuve). Le recourant n'avait plus en sa possession les documents requis par le fisc et le délai de conservation des pièces (dix ans selon les art. 747 et 962 CO) était échu. Enfin, le recourant avait droit à une répartition internationale de ses revenus.
10.2 Les motifs développés avec une libre cognition sous l'angle de l'arrêté sur l'impôt fédéral direct s'appliquent également à l'impôt cantonal et communal dans la mesure où le recourant n'invoque pas d'autre grief. En particulier, comme le droit fédéral (art. 92 AIFD), le droit cantonal prévoit, en matière de taxation d'office, ce qui suit: "Si, malgré sommation, le contribuable ne remet pas sa déclaration en temps utile, ne comparaît pas pour être entendu, ne donne pas suite à une demande de renseignements ou ne produit pas les justifications demandées, la taxation est effectuée d'office" (art. 97 de l'ancienne loi vaudoise du 26 novembre 1956 sur les impôts directs cantonaux). Le recourant ne prétend pas que cette disposition dont les termes sont identiques, sur les points litigieux, à l'art. 92 AIFD, ferait l'objet d'une application différente par le fisc vaudois. Les griefs soulevés contre l'impôt cantonal et communal doivent dès lors être écartés pour les mêmes motifs que ceux mentionnés dans le cadre du recours de droit administratif. L'arrêt du Tribunal administratif, qui confirme les taxations relatives à l'impôt cantonal et communal, n'est pas arbitraire.
10.2 Les motifs développés avec une libre cognition sous l'angle de l'arrêté sur l'impôt fédéral direct s'appliquent également à l'impôt cantonal et communal dans la mesure où le recourant n'invoque pas d'autre grief. En particulier, comme le droit fédéral (art. 92 AIFD), le droit cantonal prévoit, en matière de taxation d'office, ce qui suit: "Si, malgré sommation, le contribuable ne remet pas sa déclaration en temps utile, ne comparaît pas pour être entendu, ne donne pas suite à une demande de renseignements ou ne produit pas les justifications demandées, la taxation est effectuée d'office" (art. 97 de l'ancienne loi vaudoise du 26 novembre 1956 sur les impôts directs cantonaux). Le recourant ne prétend pas que cette disposition dont les termes sont identiques, sur les points litigieux, à l'art. 92 AIFD, ferait l'objet d'une application différente par le fisc vaudois. Les griefs soulevés contre l'impôt cantonal et communal doivent dès lors être écartés pour les mêmes motifs que ceux mentionnés dans le cadre du recours de droit administratif. L'arrêt du Tribunal administratif, qui confirme les taxations relatives à l'impôt cantonal et communal, n'est pas arbitraire.
11. Le recours tend à l'annulation de l'arrêt du 3 novembre 2004 du Tribunal administratif mais ne contient aucune argumentation relative à l'amende prononcée pour l'impôt cantonal et communal. Il ne contient pas non plus de grief relatif au montant de la fortune imposable. Faute de motivation conforme à l'art. 90 al. 1 lettre b OJ, il n'est pas recevable sur ces points.
11. Le recours tend à l'annulation de l'arrêt du 3 novembre 2004 du Tribunal administratif mais ne contient aucune argumentation relative à l'amende prononcée pour l'impôt cantonal et communal. Il ne contient pas non plus de grief relatif au montant de la fortune imposable. Faute de motivation conforme à l'art. 90 al. 1 lettre b OJ, il n'est pas recevable sur ces points.
12. Le recourant estime que le Tribunal administratif ne pouvait pas le priver de dépens sans tomber dans l'arbitraire. Il fait valoir qu'il a obtenu partiellement gain de cause devant l'autorité de recours cantonale.
L'art. 55 al.1 LJPA/VD, relatif aux frais et dépens, prévoit que "l'arrêt règle le sort des frais et dépens, qui sont en principe supportés par la ou les parties qui succombent". Cette norme confère un large pouvoir d'appréciation à l'autorité de recours, mais non pas une compétence discrétionnaire: la juridiction doit procéder à un examen soigneux et se fonder sur certains critères, en s'inspirant du sens et du but de la règle légale (arrêt 2P.280/1998 du 23 décembre 1998, non publié, consid. 3c; <ref-ruling> consid. 3 p. 204; <ref-ruling> consid. 5g p. 212). En l'espèce, le Tribunal administratif a partiellement admis le recours; il pouvait arrêter un émolument réduit et fixer des dépens partiels en faveur du recourant. La procédure étant liée en partie à un défaut de collaboration du recourant, il n'était pas arbitraire de fixer un émolument réduit, tout en refusant l'allocation de dépens (arrêt 1P.138/1993 du 24 juin 1993, non publié, consid. 4a). Ce dernier grief, soulevé par le recourant doit être écarté.
L'art. 55 al.1 LJPA/VD, relatif aux frais et dépens, prévoit que "l'arrêt règle le sort des frais et dépens, qui sont en principe supportés par la ou les parties qui succombent". Cette norme confère un large pouvoir d'appréciation à l'autorité de recours, mais non pas une compétence discrétionnaire: la juridiction doit procéder à un examen soigneux et se fonder sur certains critères, en s'inspirant du sens et du but de la règle légale (arrêt 2P.280/1998 du 23 décembre 1998, non publié, consid. 3c; <ref-ruling> consid. 3 p. 204; <ref-ruling> consid. 5g p. 212). En l'espèce, le Tribunal administratif a partiellement admis le recours; il pouvait arrêter un émolument réduit et fixer des dépens partiels en faveur du recourant. La procédure étant liée en partie à un défaut de collaboration du recourant, il n'était pas arbitraire de fixer un émolument réduit, tout en refusant l'allocation de dépens (arrêt 1P.138/1993 du 24 juin 1993, non publié, consid. 4a). Ce dernier grief, soulevé par le recourant doit être écarté.
13. Vu ce qui précède, mal fondé, le recours de droit administratif doit être rejeté. Il en va de même du recours de droit public dans la mesure où il est recevable.
Succombant, le recourant doit supporter les frais judiciaire (art. 156 al.1 et 7, 153 et 153a OJ). Il n'a pas droit à des dépens (art. 159 al. 1 OJ).

Par ces motifs, le Tribunal fédéral prononce:
Par ces motifs, le Tribunal fédéral prononce:
1. Les causes 2A.709/2004 et 2P.306/2004 sont jointes.
1. Les causes 2A.709/2004 et 2P.306/2004 sont jointes.
2. Le recours de droit administratif (2A.709/2004) est rejeté.
2. Le recours de droit administratif (2A.709/2004) est rejeté.
3. Le recours de droit public (2P.306/2004) est rejeté dans la mesure où il est recevable.
3. Le recours de droit public (2P.306/2004) est rejeté dans la mesure où il est recevable.
4. Un émolument judiciaire de 8'000 fr. est mis à la charge du recourant.
4. Un émolument judiciaire de 8'000 fr. est mis à la charge du recourant.
5. Le présent arrêt est communiqué en copie au mandataire du recourant, à l'Administration cantonale des impôts et au Tribunal administratif du canton de Vaud ainsi qu'à l'Administration fédérale des contributions, Division juridique de l'impôt fédéral direct.
Lausanne, le 24 juin 2005
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le président: Le greffier: