Faits:
Faits:
A. Né en 1966, célibataire et sans enfants, A._ est arrivé dans le canton de Vaud, venant de Saint-Gall, à l'automne 1993. Il y a été domicilié dans différentes communes jusqu'au 15 juillet 2003. Cambiste, spécialiste en matière de risques de change, il a travaillé dans divers établissements bancaires du 1er octobre 1993 au 31 juillet 2003.
Pour les périodes fiscales 1993-1994 à 2001-2002, A._ a déclaré les montants ci-après:
- pour la période fiscale du 1er octobre 1993 au 31 décembre 1994, il a déclaré un revenu imposable de 78'300 fr. et une fortune imposable de 164'000 fr. L'état des titres montrait un revenu brut de 5'000 fr. et une fortune de 129'770 fr. L'Administration cantonale des impôts du canton de Vaud (ci-après: L'Administration cantonale des impôts) a fixé le revenu et la fortune imposables à 78'300 fr. et 164'000 fr.
- pour la période fiscale 1995-1996, il a déclaré un revenu imposable de 88'503 fr. et une fortune imposable de 182'078 fr. L'état des titres montrait un revenu brut de 3'950 fr. et une fortune de 137'078 fr. L'Administration cantonale des impôts a fixé le revenu et la fortune imposables à 94'800 fr. et 182'000 fr.
- pour la période fiscale 1997-1998, il a déclaré un revenu imposable de 87'400 fr. et une fortune imposable de 212'737 fr. L'état des titres montrait un revenu brut de 5'480 fr. et une fortune de 314'737 fr. L'Administration cantonale des impôts a fixé le revenu et la fortune imposables à 87'400 fr. et 237'000 fr.
- pour la période fiscale 1999-2000, il a déclaré un revenu imposable de 107'500 fr. et une fortune imposable de 161'000 fr. L'état des titres montrait un revenu brut de 1'524 fr. et une fortune de 77'277 fr. L'Administration cantonale des impôts a fixé le revenu et la fortune imposables à 113'000 fr. et 161'000 fr.
- pour la période fiscale 2001-2002, il a déclaré un revenu imposable de 158'200 fr. et une fortune imposable de 557'000 fr. L'état des titres montrait un revenu brut de 197 fr. et une fortune de 459'081 fr. L'Administration cantonale des impôts a fixé le revenu et la fortune imposables à 167'200 fr. et 557'000 fr.
- pour la période fiscale 2001-2002, il a déclaré un revenu imposable de 158'200 fr. et une fortune imposable de 557'000 fr. L'état des titres montrait un revenu brut de 197 fr. et une fortune de 459'081 fr. L'Administration cantonale des impôts a fixé le revenu et la fortune imposables à 167'200 fr. et 557'000 fr.
B. Le 14 décembre 1999, l'Administration cantonale des impôts a notifié à A._ un avis d'ouverture d'enquête pour soustraction fiscale relativement aux périodes fiscales 1997-1998 et celles des années antérieures. Le 17 juin 2002, ladite Administration a précisé que cette procédure était étendue aux périodes fiscales 1999-2000 et 2001-2002.
A._ a été entendu à diverses reprises, à savoir le 16 mars 2000, le 1er juin 2001 et le 2 septembre 2002. Au cours de ces entretiens, il a admis n'avoir pas déclaré:
- le compte no xxx ouvert en son nom auprès de la société de gestion financière B._ SA,
- le compte no xxx ouvert en son nom auprès de la société C._ SA,
- le compte no xxx ouvert en son nom auprès de la société D._ SA,
- le compte xxx auprès de la banque E._.
Il a en outre reconnu être l'un des ayants droit économiques de la société panaméenne F._ Co. Cette société détient le compte xxx à la banque G._.
A._ a reconnu qu'un compte no xxx avait été ouvert en 1996 auprès de la banque H._ au nom de D._ SA, compte sur lequel il a fait verser des sommes totalisant 300'000 fr. Il a été l'un des fondateurs de cette société. D._ SA était active dans la gestion de patrimoines et son siège était à L._. A._ en a été le président du conseil d'administration. Il a déclaré que le compte xxx appartenait à son beau-frère, I._, ancien directeur de la la banque G._ et qui a été un temps administrateur de D._ SA et de B._ SA.
Enfin, A._ a annoncé détenir 25 actions de la société J._ AG, non reportées dans son état des titres au 1er janvier 1999 ainsi que des liquidités non déclarées de l'ordre de 30'000 fr. à 40'000 fr.
A diverses reprises, l'Administration cantonale des impôts a adressé à A._ des demandes de pièces. En dépit de plusieurs rappels et sommations, celui-ci ne s'est que partiellement exécuté, et a finalement fait savoir qu'il avait transmis toutes les pièces en sa possession.
Le 19 août 2002, l'Administration cantonale des impôts a notifié un avis de prochaine clôture d'enquête auquel était annexé un tableau des éléments de revenu qu'elle entendait reprendre. Selon ce tableau, les compléments envisagés dus au titre de l'impôt fédéral direct pour les périodes fiscales 1995-1996 à 2001-2002 se montaient à 175'221.20 fr. Ces reprises partaient du principe que A._ devait être considéré comme commerçant professionnel de titres. Elles portaient sur trois catégories de postes:
Il s'agit en premier lieu des rendements/pertes réalisés à titre de commerçant professionnel de titres sur les comptes auprès de B._ SA, de C._ SA, de D._ SA et de F._ Co. II s'agit ensuite du dividende sur les actions J._ AG. En troisième lieu, l'Administration cantonale des impôts a jugé que les prélèvements et versements effectués sur les comptes susmentionnés et sur les comptes déclarés, dont la destination, respectivement la provenance, n'avait pu être justifiée, devaient être considérés comme ayant été réinvestis dans des opérations boursières. Relativement à ces trois postes, l'Administration cantonale des impôts a estimé les éléments de revenus non déclarés ou erronés, entre 1993 et 2000, à 1'361'324 fr.
A._ s'est déterminé par une écriture du 15 novembre 2002.
Le 9 janvier 2003, l'Administration cantonale des impôts a proposé aux mandataires de A._ de fixer un nouvel entretien pour discuter de la situation. Il était demandé que fût fourni au préalable tout document permettant de justifier les importantes dépenses que A._ avait engagées entre 1993 et 1998 et, par là même, l'affectation des prélèvements opérés sur les divers comptes. Il n'a été donné aucune suite à ce courrier.
Le 9 janvier 2003, l'Administration cantonale des impôts a proposé aux mandataires de A._ de fixer un nouvel entretien pour discuter de la situation. Il était demandé que fût fourni au préalable tout document permettant de justifier les importantes dépenses que A._ avait engagées entre 1993 et 1998 et, par là même, l'affectation des prélèvements opérés sur les divers comptes. Il n'a été donné aucune suite à ce courrier.
C. Le 15 juillet 2003, A._ a quitté son domicile dans le canton de Vaud sans laisser d'adresse. L'Administration cantonale de l'impôt fédéral direct lui a notifié, le 18 juillet 2003, une demande de sûretés, d'un montant de 350'000 fr., en garantie de l'impôt fédéral direct et des amendes pour les années 1995 à 2002. A la même date, elle lui a notifié une demande de sûretés arrêtée à 880'000 fr. en garantie des impôts cantonaux et communaux pour les mêmes années. A._ n'ayant donné aucune suite à ces demandes, l'Administration cantonale des impôts a requis l'exécution des séquestres des offices des poursuites compétents.
C. Le 15 juillet 2003, A._ a quitté son domicile dans le canton de Vaud sans laisser d'adresse. L'Administration cantonale de l'impôt fédéral direct lui a notifié, le 18 juillet 2003, une demande de sûretés, d'un montant de 350'000 fr., en garantie de l'impôt fédéral direct et des amendes pour les années 1995 à 2002. A la même date, elle lui a notifié une demande de sûretés arrêtée à 880'000 fr. en garantie des impôts cantonaux et communaux pour les mêmes années. A._ n'ayant donné aucune suite à ces demandes, l'Administration cantonale des impôts a requis l'exécution des séquestres des offices des poursuites compétents.
D. Le 19 août 2003, A._ a déposé un recours de droit administratif au Tribunal fédéral lui demandant principalement, sous suite de frais et dépens, d'annuler la demande de sûretés du 18 juillet 2003 concernant l'impôt fédéral direct, subsidiairement de réfor-mer cette décision en ce sens que le montant des sûretés s'élève à 10'000 fr.
L'Administration cantonale de l'impôt fédéral direct conclut au rejet du recours.
Au terme d'un second échange d'écritures, les parties ont persisté dans leurs conclusions.
L'Administration fédérale des contributions propose le rejet du recours.
L'Administration fédérale des contributions propose le rejet du recours.
E. Par ordonnance du 20 août 2003, le Président de la IIe Cour de droit public a rejeté la demande d'effet suspensif.
E. Par ordonnance du 20 août 2003, le Président de la IIe Cour de droit public a rejeté la demande d'effet suspensif.
F. En annexe à sa duplique, l'Administration cantonale de l'impôt fédéral direct a produit une décision de rappel d'impôts et d'amendes du 19 janvier 2004. Pour l'impôt fédéral direct des périodes fiscales 1995-1996, 1997-1998 et 1999-2000, le montant total du rappel d'impôts se monte à 145'072.40 fr. et le montant des amendes à 206'300 fr.
Le Tribunal fédéral considère en droit:
Le Tribunal fédéral considère en droit:
1. 1.1 Déposé en temps utile et dans les formes prescrites par la loi contre une décision fondée sur le droit public fédéral, le présent recours est recevable en vertu des art. 97 ss OJ, ainsi que de la règle particulière de l'art. 169 al. 3 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (ci-après: LIFD; RS 642.11), en vigueur depuis le 1er janvier 1995, selon laquelle le contribuable peut s'opposer à une demande de sûretés en interjetant un recours de droit administratif devant le Tribunal fédéral dans un délai de 30 jours à compter de la date de notification de la demande.
1.2 La décision attaquée n'a pas été prise par une autorité judiciaire, de sorte que le Tribunal fédéral peut revoir d'office les faits (art. 105 al. 1 OJ). Il peut en particulier tenir compte de nouveaux moyens de preuves et de faits postérieurs à la décision entreprise, y compris ceux mentionnés lors du second échange d'écritures (ATF 113 Ib 327 consid. 2b p. 331; 109 Ib 246 consid. 3b-3c p. 248-250 et les références citées).
Sur le plan juridique, le Tribunal fédéral vérifie d'office l'application du droit fédéral (ATF 129 II 183 consid. 3.4 p. 188; 128 II 56 consid. 2b p. 60 et les arrêts cités) - en examinant notamment s'il y a eu excès ou abus du pouvoir d'appréciation (art. 104 lettre a OJ) -, sans être lié par les motifs invoqués par les parties (art. 114 al. 1 in fine OJ). En outre, en matière de contributions publiques, il peut aller au-delà des conclusions des parties, à l'avantage ou au détriment de celles-ci, lorsque le droit fédéral est violé ou lorsque des faits ont été constatés de manière inexacte ou incomplète (art. 114 al. 1 OJ). En revanche, il ne peut pas revoir l'opportunité des décisions attaquées, le droit fédéral ne prévoyant pas un tel examen en la matière (ATF 127 II 297 consid. 2a p. 298).
Sur le plan juridique, le Tribunal fédéral vérifie d'office l'application du droit fédéral (ATF 129 II 183 consid. 3.4 p. 188; 128 II 56 consid. 2b p. 60 et les arrêts cités) - en examinant notamment s'il y a eu excès ou abus du pouvoir d'appréciation (art. 104 lettre a OJ) -, sans être lié par les motifs invoqués par les parties (art. 114 al. 1 in fine OJ). En outre, en matière de contributions publiques, il peut aller au-delà des conclusions des parties, à l'avantage ou au détriment de celles-ci, lorsque le droit fédéral est violé ou lorsque des faits ont été constatés de manière inexacte ou incomplète (art. 114 al. 1 OJ). En revanche, il ne peut pas revoir l'opportunité des décisions attaquées, le droit fédéral ne prévoyant pas un tel examen en la matière (ATF 127 II 297 consid. 2a p. 298).
2. Contrairement à ce que soutient le recourant, les garanties issues de l'art. 6 CEDH ne s'appliquent pas en matière de sûretés fiscales. Il s'agit en effet de mesures provisoires auxquelles cet article n'est pas applicable (ATF 129 I 103 consid. 2.1 p. 105, arrêt du Tribunal fédéral 2A.523/1996 du 25 juin 1997 consid. 3; Mark E. Villiger, Handbuch der Europäischen Menschenrechtskonvention, 2e éd., n. 391 et 402). Le respect des règles relatives au fardeau de la preuve étant garanti par le droit fédéral, il sera examiné sous cet angle.
2. Contrairement à ce que soutient le recourant, les garanties issues de l'art. 6 CEDH ne s'appliquent pas en matière de sûretés fiscales. Il s'agit en effet de mesures provisoires auxquelles cet article n'est pas applicable (ATF 129 I 103 consid. 2.1 p. 105, arrêt du Tribunal fédéral 2A.523/1996 du 25 juin 1997 consid. 3; Mark E. Villiger, Handbuch der Europäischen Menschenrechtskonvention, 2e éd., n. 391 et 402). Le respect des règles relatives au fardeau de la preuve étant garanti par le droit fédéral, il sera examiné sous cet angle.
3. 3.1 L'art. 169 al. 1 LIFD dispose que, si le contribuable n'a pas de domicile en Suisse ou que les droits du fisc paraissent menacés, l'Administration cantonale de l'impôt fédéral direct peut exiger des sûretés en tout temps, et même avant que le montant d'impôt ne soit fixé par une décision entrée en force. La demande de sûretés indique le montant à garantir; elle est immédiatement exécutoire.
D'après la jurisprudence du Tribunal fédéral concernant l'art. 118 al. 1 AIFD - qui conserve toute sa valeur sur ce point sous l'angle de l'art. 169 al. 1 LIFD -, pour qu'une demande de sûretés soit valable, il est nécessaire que l'existence de la créance fiscale apparaisse comme vraisemblable, que l'un des cas de séquestre mentionnés dans cette disposition soit réalisé et que le montant de la garantie exigée ne se révèle pas manifestement exagéré. La détermination de l'obligation fiscale et la fixation de l'impôt effectivement dû demeurent cependant réservées à la procédure ordinaire concernant l'affaire fiscale elle-même; statuant sur la contestation de la demande de sûretés, le Tribunal fédéral ne peut examiner ces questions que préjudiciellement et en limitant son contrôle à un examen prima facie de la situation (RDAT 1998 II 20t 343 consid. 4b, 2A.326/1997; Archives 67 722 consid. 3b, 2A.310/1997; Archives 66 470 consid. 3a, 2A.508/1995; Archives 66 479 consid. 2, 2A.247/1995; ATF 108 Ib 44 consid. 2b p. 47).
3.2 Le recourant conteste l'existence même d'une créance fiscale que l'Administration cantonale de l'impôt fédéral direct estime de son côté à 350'000 fr.
3.2.1 Si l'on fait abstraction des dividendes non déclarés sur les actions J._ AG, l'existence de la créance fiscale implique que le recourant puisse être considéré comme un commerçant professionnel de titres. Il conteste que tel soit le cas.
Il s'agit donc d'examiner s'il est vraisemblable - sans trancher défini-tivement la question qui relève de la procédure ordinaire de taxation - que la gestion du patrimoine du recourant relevait d'une activité lucrative indépendante, au sens de l'art. 18 LIFD, ou s'il n'a fait qu'administrer sa fortune privée. Ainsi que le Tribunal fédéral a eu l'occasion de le préciser (RDAF 2001 II 233, 2A.4/1998), un degré de financement substantiel par des fonds étrangers, un chiffre d'affaires annuel relativement élevé avec une mise de fonds importante et une prise de risque considérable sont des indices que le contribuable gère son portefeuille-titres non pas uniquement de manière dynamique, mais aussi de façon systématique et méthodique. Constituent également des indices allant dans le sens d'une activité lucrative, la fréquence des transactions et une courte durée de possession. Il en va de même du rapport étroit avec les affaires, ou l'activité professionnelle du contribuable, la mise en oeuvre de connaissances techniques spéciales, le fait d'agir conjointement avec d'autres personnes actives dans le domaine en cause. Il importe d'ailleurs peu que le contribuable n'agisse pas lui-même: il doit en effet se laisser opposer les activités déployées par le gestionnaire de son choix. Chacun de ces indices peut, en conjonction avec d'autres, mais le cas échéant également à lui seul, suffire pour faire conclure à une activité lucrative indépendante.
La plupart de ces indices se trouve réalisée dans le cas particulier. De son propre aveu, le recourant a emprunté à son beau-frère la somme de 500'000 fr. pour l'investir dans une opération à haut risque sur le compte auprès de B._ SA. Comme l'autorité intimée le relève pertinemment, compte tenu de la fortune du recourant à cette époque (environ 164'000 fr.), le degré de financement par des fonds étrangers peut être qualifié d'élevé, la prise de risque peut être qualifiée d'importante, de même que la mise de fonds. Les opérations passées sur les comptes auprès de C._ SA et de B._ SA ont été fréquentes, régulières et systématiques. Elles trahissent une gestion de portefeuille orientée vers le bénéfice et pas seulement vers le maintien de la valeur. Il existe une étroite relation entre l'activité professionnelle de cambiste du recourant et son commerce de titres. De surcroît, il s'est entouré de spécialistes actifs dans le même domaine.
Il apparaît dès lors vraisemblable que le recourant a agi, dans la gestion de son portefeuille, à la manière d'un commerçant professionnel de titres. Il s'ensuit que devaient être repris les rendements réalisés en cette qualité sur les divers comptes.
3.2.2 Pour déterminer les reprises, l'Administration cantonale de l'impôt fédéral direct explique avoir calculé le rendement des comptes non déclarés en prenant la différence entre le solde du début et le solde de fin d'année, augmentée des retraits de fonds et diminuée des apports de fonds. Le recourant ne conteste ni ce mode de calcul, ni l'exactitude des résultats obtenus de la sorte. Il faut donc admettre que, dans cette mesure, l'existence de la créance fiscale a été rendue vraisemblable.
L'autorité intimée a, en outre, répertorié tous les prélèvements et versements de fonds opérés par le recourant sur les comptes déclarés ou non. En l'absence de justificatifs quant à l'utilisation de ces fonds, elle a estimé qu'ils avaient été réinvestis dans des opérations financières. Pour en déterminer le rendement, elle leur a appliqué le taux d'intérêts fixé chaque année par l'Administration fédérale des contributions. Elle a ensuite repris les montants ainsi déterminés comme revenu imposable réalisé par le recourant en tant que commerçant professionnel de titres.
Le recourant qualifie cette manière de procéder d'arbitraire. Il y voit un renversement du fardeau de la preuve et une violation de la présomption d'innocence. Il estime que ce calcul "ne repose sur rien".
Il sied de rappeler que, à ce stade, s'agissant d'une demande de sûretés, le Tribunal fédéral ne revoit la situation que sous l'angle de la simple vraisemblance, dans le cadre d'un examen prima facie. Vue sous cet angle, la décision attaquée résiste à la critique.
Il appartient à l'autorité de taxation d'établir les faits qui fondent la créance d'impôt (ATF 105 Ib 382) ou qui l'augmentent, alors que le contribuable doit alléguer et prouver les faits qui suppriment ou réduisent cette créance (ATF 92 I 253 consid. 2 p. 256/257). Dans le cadre d'une procédure de rappel d'impôt et d'amende, cette autorité doit prouver que l'imposition est incomplète (RDAF 1998 II 179 consid. 10a p. 194, 2P.432/1996; 1993 32 consid. 2b p. 35, 2A.299/1989). La jurisprudence n'exige toutefois pas de l'autorité compétente une certitude absolue, mais seulement la conviction que les éléments sur lesquels les rappels et les amendes sont fondés ont été soustraits avec une vraisemblance confinant à la certitude. II se justifie en revanche de laisser à la charge du contribuable la preuve du contraire de ce que prétend le fisc lorsque l'état de fait admis par celui-ci sur la base d'indices précis est très vraisemblable. "L'omission ou l'échec de ces preuves contraires peut être considéré comme un indice suffisant de la véracité des allégations de la partie adverse si celles-ci sont vraisemblables" (Jean-Marc Rivier, Droit fiscal suisse, L'imposition du revenu et de la fortune, p. 142; voir aussi Walter Ryser / Bernard Rolli, Précis de droit fiscal suisse, p. 462).
Il faut tenir compte de considérations de deux ordres. D'une part, si l'on fait le total des salaires perçus par le recourant durant la période en cause, des rendements tels qu'ils peuvent être reconstitués par l'analyse des divers comptes non déclarés et des autres prélèvements et retraits dont il est question, on doit constater que le recourant a disposé de liquidités excédant largement ses besoins personnels, tels qu'ils peuvent être raisonnablement supputés. On doit également constater que le recourant n'a pu donner aucune explication concrète et crédible de certains retraits portant sur des sommes particulièrement importantes. D'autre part, il est constant que le recourant s'est livré à une gestion de son portefeuille caractérisée par la fréquence des opérations et leur caractère régulier et systématique, ainsi que par une orientation vers le bénéfice plutôt que le simple maintien de la valeur (cf. consid. 3.2.1). II est dès lors à tout le moins vraisemblable qu'il ait réinvesti dans des opérations financières les montants dont il n'a pu justifier la destination, respectivement la provenance.
Il eut ainsi appartenu au recourant de renverser la vraisemblance découlant des considérations précitées en justifiant l'emploi des montants en question. Ne l'ayant pas fait, il ne saurait se plaindre de renversement du fardeau de la preuve, ni, partant de violation de la présomption d'innocence - en tant que règle de répartition dudit fardeau - et d'arbitraire dans l'établissement des faits.
3.2.3 Les méthodes utilisées par l'Administration cantonale de l'impôt fédéral direct pour estimer les reprises pour l'impôt fédéral direct pour les périodes en cause, ainsi que les résultats obtenus, sont suffisamment convaincants dans le cadre d'un examen limité à la vraisemblance. La décision du 19 janvier 2004 fixant le rappel en matière d'impôt fédéral direct pour les périodes fiscales 1995-1996 à 1999-2000 à 145'072.40 fr. ainsi que l'examen des faits rappelés ci-dessus suffisent à rendre vraisemblable l'existence de la dette fiscale.
3.3 La créance en cause étant vraisemblable, il s'agit de déterminer si l'un des cas de séquestre de l'art. 169 al. 1 LIFD est réalisé.
Il est constant que, en date du 15 juillet 2003, le recourant a quitté son domicile dans le canton de Vaud pour une adresse inconnue. L'autorité en conclut, sans être contredite, qu'il n'a plus de domicile en Suisse. Il faut donc considérer que le premier cas de séquestre mentionné par l'art. 169 al. 1 LIFD se trouve réalisé en l'espèce. Le second le serait d'ailleurs également, le recourant ayant, des années durant, systématiquement dissimulé aux autorités de taxation une part considérable de son revenu, et que très partiellement répondu, en procédure, aux demandes de renseignements qui lui étaient adressées (RDAT 1998 II 20t consid. 4c, 2A.326/1997; Archives 66 479 consid. 2, 2A.247/1995; Archives 65 386 consid. 3, 2A.81/1994).
3.4 Il faut encore examiner si le montant de la garantie exigée ne se révèle pas manifestement exagéré.
Le recourant soutient que tel est le cas, le montant des sûretés réclamées étant sans proportion avec le montant des reprises d'impôt et avec "l'éventuelle amende qui pourrait être prononcée". Il s'indigne que celle-ci soit déterminée "d'après un schéma basé sur le rapport existant entre les montants d'impôts prétendument soustraits ... et l'impôt dû" et non pas en fonction de la culpabilité du contribuable.
L'autorité intimée a estimé les éléments de revenus non déclarés ou erronés pour les années 1993 à 2000 à 1'361'324 fr. La décision du 19 janvier 2004 a fixé le rappel en matière d'impôt fédéral direct pour les périodes fiscales 1995-1996 à 1999-2000 à 145'072.40 fr. En ce qui concerne le montant de l'amende, selon l'art. 175 al. 2 LIFD, si, en règle générale, elle est fixée au montant de l'impôt soustrait, elle peut être réduite jusqu'au tiers de ce montant en cas de faute légère ou, au plus, triplée en cas de faute grave. Cette disposition permet donc aux autorités fiscales de fixer la quotité de l'amende en fonction de la culpabilité du contribuable et selon une large fourchette. L'autorité intimée explique que, dans le cas particulier, la faute du recourant doit être qualifiée de moyenne à grave, ce qui justifie pleinement une amende d'une fois et demie le montant de l'impôt soustrait. Celle-ci a été fixée dans la décision du 19 janvier 2004 pour l'impôt fédéral direct des périodes fiscales 1995-1996, 1997-1998, 1999-2000, à 206'300 fr.
Le montant total de la créance se monte ainsi à 351'372 fr. Les sûretés demandées, soit 350'000 fr., équivalent au montant du rappel d'impôts (145'072 fr.) et à une amende égale à une fois et demie (206'300 fr.) cet impôt. Le montant des sûretés n'est ainsi nullement disproportionné.
Le montant total de la créance se monte ainsi à 351'372 fr. Les sûretés demandées, soit 350'000 fr., équivalent au montant du rappel d'impôts (145'072 fr.) et à une amende égale à une fois et demie (206'300 fr.) cet impôt. Le montant des sûretés n'est ainsi nullement disproportionné.
4. Il résulte de qui précède que le recours, entièrement mal fondé, doit être rejeté. Succombant, le recourant doit supporter un émolument judiciaire (art. 156 al. 1 OJ). Il n'y a pas lieu d'allouer de dépens (art. 159 al. 2 OJ).
Par ces motifs, le Tribunal fédéral prononce:
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
1. Le recours est rejeté.
2. Un émolument judiciaire de 8'000 fr. est mis à la charge du recourant.
2. Un émolument judiciaire de 8'000 fr. est mis à la charge du recourant.
3. Il n'est pas alloué de dépens.
3. Il n'est pas alloué de dépens.
4. Le présent arrêt est communiqué en copie à la mandataire du recourant, à l'Administration de l'impôt fédéral direct du canton de Vaud ainsi qu'à l'Administration fédérale des contributions, Division juridique de l'impôt fédéral direct.
Lausanne, le 1er avril 2004
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le président: La greffière: