Faits:
Faits:
A. X._, domicilié dans le canton de Genève, a travaillé pour la Banque A._ à Genève, du 1er janvier 1979 au 31 décembre 1987, en qualité de membre de la direction. A partir du 18 janvier 1988, il s'est mis à son compte en tant que conseiller indépendant en ingénierie financière (conseils en fusion et acquisition notamment). Il n'a jamais été inscrit au registre du commerce. Il établissait chaque année un compte de recettes et de dépenses. II a repris une activité dépendante dès le 15 avril 1994 auprès de la société anonyme B._ SA et a réalisé la première année un salaire brut de 148'500 fr.
Le 21 août 1987, Y._, son épouse à l'époque, a constitué la société C._ avec siège à Genève. Le capital-actions de 60'000 fr. était divisé en 600 actions au porteur d'une valeur nominale de 100 fr. chacune. Y._ en a souscrit 598, son mari une et le directeur de la société une. La société avait pour but la constitution, l'administration, la domiciliation, l'organisation et la gestion de sociétés, ainsi que la constitution et gestion de trusts de participations. X._ était administrateur de cette société avec signature individuelle.
Le 29 septembre 1987, X._ a acheté la totalité du capital-actions de la société B._ SA, sise à Genève et fondée en 1958. Celui-ci était de 580'000 fr. divisé en 5'800 actions de 100 fr. chacune. Le prix d'achat était de 10'150 fr. La majeure partie de ces actions a été acquise de Z._ AG, groupe auquel appartenait la Banque A._. Le 7 novembre 1989, X._ est entré au conseil d'administration de B._, sans être rémunéré.
Le 14 mars 1988, Y._ a constitué à Zoug la société B._ SA Holding au capital-actions de 60'000 fr. divisé en 60 actions au porteur de 1'000 fr. chacune. Elle a souscrit 58 actions, son mari et un avocat chacun une. Le but de la société était la participation à d'autres sociétés commerciales, industrielles et financières, à l'exception de toute participation immobilière en Suisse. X._ y était administrateur avec signature individuelle.
Le 31 décembre 1988, X._ a vendu 2'204 actions de B._ SA, soit le 38% du capital-actions, à B._ Holding pour le prix de 154'300 fr. Le même jour, Y._ a cédé à B._ Holding la totalité du capital-actions de C._ SA pour le prix de 196'700 fr.
Le 10 octobre 1989, les 60 actions au porteur de B._ Holding ont été transformées en 600 actions nominatives de 100 fr. chacune, enregistrées au nom de Y._. Simultanément, le capital-actions du holding a été augmenté de 40'000 fr. par l'émission de 400 nouvelles actions nominatives de 100 fr. chacune, souscrites par Y._, et de 100'000 fr. par l'émission de 100 actions au porteur de 1'000 fr. chacune, souscrites par la société D._ Corp. Il résulte du bilan de B._ Holding arrêté au 31 décembre 1989 que la D._ Corp. lui a accordé un prêt sans intérêts.
Le 14 décembre 1989, Y._ a souscrit 152'940 actions de 1 US$ de D._ Corp. Cette société, dont le siège se trouve au Grand Cayman, a été fondée en 1985. Son capital-actions est de 900'000 US$, divisé en 900'000 actions de 1 US$ chacune. A la même date, B._ SA a acheté 1'800 actions de D._ Corp. pour le prix de 180'000 US$, soit 100 US$ par action. Par la suite, à une époque et pour un prix indéterminés, Y._ a vendu 15'000 de ces actions.
L'état des titres au 1er janvier 1993 de la déclaration d'impôt cantonal 1993 et d'impôt fédéral direct 1993-1994 des époux X._ et Y._ indiquait, entre autres actions, 1'000 actions nominatives de B._ Holding, soit le 100% du capital-actions, 3'596 actions de B._ SA, soit le 62% du capital-actions, 137'940 actions de D._ Corp. (soit 15% du capital-actions). Selon cet état des titres, la valeur imposable de la fortune mobilière s'élevait à 1'335'800 fr. La fortune nette totale imposable était nulle.
Par contrat conclu le 18 octobre 1993 au Luxembourg, les époux X._ et Y._ ont vendu les actions susmentionnées pour le prix de 4'290'000 fr. à la société de droit luxembourgeois E._ SA. E._ SA a ainsi fait l'acquisition des sociétés et participations détenues par B._ Holding, soit 100% du capital- actions des sociétés C._ SA, F._ et G._, 38% de B._ SA, 14,28% de H._, 5,37% de I._ Holding et 85% de D._ Corp. On ignore quand et à quelles conditions B._ Holding avait de la sorte augmenté sa participation dans cette dernière société. Cette vente constituait la cession de la totalité du groupe B._ à E._ SA.
Selon l'organigramme joint au contrat de vente, les époux X._ et Y._ détenaient la totalité du capital-actions de D._ Corp., à raison de 15% directement et de 85% par l'intermédiaire de B._ Holding. Une autre annexe au contrat de vente démontre que le prix de vente avait été fixé en fonction de la réalité économique représentée par chacune des sociétés du groupe B._, soit 2'269'655 fr. pour les 1'000 actions de B._ Holding, 1'397'017 fr. pour les 3'596 actions de B._ SA et 623'328 fr. pour les 137'328 actions de D._ Corp.
Selon l'organigramme joint au contrat de vente, les époux X._ et Y._ détenaient la totalité du capital-actions de D._ Corp., à raison de 15% directement et de 85% par l'intermédiaire de B._ Holding. Une autre annexe au contrat de vente démontre que le prix de vente avait été fixé en fonction de la réalité économique représentée par chacune des sociétés du groupe B._, soit 2'269'655 fr. pour les 1'000 actions de B._ Holding, 1'397'017 fr. pour les 3'596 actions de B._ SA et 623'328 fr. pour les 137'328 actions de D._ Corp.
B. Le 27 décembre 1994, l'Administration fiscale cantonale du canton de Genève (ci-après: l'Administration fiscale cantonale) a émis un bordereau provisoire pour les impôts cantonal et communal 1994 indiquant un revenu imposable de 200'340 fr. Par courrier du 17 février 1995, cette Administration a demandé aux époux X._ et Y._ de lui indiquer la provenance des fonds ayant permis le remboursement de leur dette d'un montant de 2'297'804 fr. et d'augmenter leur fortune mobilière à concurrence de 1'380'187 fr. X._ a alors informé l'Administration fiscale cantonale de la vente des actions du couple à la société E._ SA.
Le 26 septembre 1997, l'Administration fiscale cantonale a notifié aux époux X._ et Y._ un bordereau d'impôt fédéral direct 1995-1996. Elle a procédé à une reprise de 4'269'909 fr. sur les revenus acquis en 1993, correspondant au prix de vente des actions du groupe B._, soit 4'290'000 fr., sous déduction de leur estimation selon l'état des titres au 1er janvier 1993, soit 225'860 fr. II en résultait un revenu imposable moyen de 2'218'800 fr. et un montant d'impôt de 255'162 fr. par année.
Les époux X._ et Y._ ont élevé réclamation à l'encontre de ce bordereau. Ils estimaient que la vente du groupe B._ constituait un gain en capital réalisé sur des éléments de leur fortune privée et que ce gain n'était ainsi pas imposable. Ils demandaient en outre qu'il fût procédé à une taxation intermédiaire au 1er janvier 1994, en raison de la cessation de l'activité lucrative indépendante de X._, devenu salarié dès le 1er avril de la même année.
Par décision du 22 août 2000, l'Administration fiscale cantonale a admis cette dernière requête et notifié un bordereau rectificatif pour l'impôt fédéral direct 1995-1996 daté du 25 août 2000, fondé sur un revenu imposable de 2'139'900 fr. Elle a en revanche confirmé l'imposition du produit de la vente des actions du groupe B._. Faisant application de la la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (ci-après: LIFD ou la loi sur l'impôt fédéral direct; RS 642.11), en vigueur depuis le 1er janvier 1995, elle a considéré que ce produit devait être qualifié comme revenu d'une autre activité lucrative indépendante, non compris dans la taxation intermédiaire, imposable selon les dispositions de l'<ref-law>.
X._ a recouru le 21 septembre 2000 auprès de la Commission cantonale de recours de l'impôt fédéral direct du canton de Genève (ci-après: la Commission cantonale de recours). Invité à produire diverses pièces, il ne s'est que très partiellement exécuté. Il n'a en particulier pas produit le contrat de vente de 15'000 actions de D._ Corp. par Y._, pas plus que les contrats d'acquisition des actions de cette société par B._ Holding et les bilans de D._ Corp. pour les années 1988 à 1992.
Par prononcé du 5 mars 2003, la Commission cantonale de recours a admis le recours. Elle a considéré que l'arrêté du Conseil fédéral du 9 décembre 1940 concernant la perception d'un impôt fédéral direct (ci-après: AIFD ou l'arrêté sur l'impôt fédéral direct; RO 56 2021), en vigueur jusqu'au 31 décembre 1994, était applicable. Elle a estimé que les opérations effectuées par les époux n'avaient pas excédé les limites de la gestion de leur patrimoine privé.
Par prononcé du 5 mars 2003, la Commission cantonale de recours a admis le recours. Elle a considéré que l'arrêté du Conseil fédéral du 9 décembre 1940 concernant la perception d'un impôt fédéral direct (ci-après: AIFD ou l'arrêté sur l'impôt fédéral direct; RO 56 2021), en vigueur jusqu'au 31 décembre 1994, était applicable. Elle a estimé que les opérations effectuées par les époux n'avaient pas excédé les limites de la gestion de leur patrimoine privé.
C. L'Administration fiscale cantonale a recouru à l'encontre de cette décision auprès du Tribunal administratif du canton de Genève (ci-après: le Tribunal administratif) qui, par arrêt du 18 novembre 2003, a admis le recours, annulé la décision de la Commission cantonale de recours du 5 mars 2003 et confirmé celle sur réclamation de l'Administration fiscale cantonale du 22 août 2000.
S'agissant du droit applicable, ledit Tribunal a considéré que le calcul des éléments imposables devait être fait conformément au droit en vigueur au moment où les faits générateurs de l'impôt se sont produits. Il convenait donc en l'espèce de faire application de l'arrêté sur l'impôt fédéral direct. Sur le fond, il a écarté l'art. 21 al. 1 lit. d AIFD, au motif que X._, travaillant alors comme indépendant, n'était pas inscrit au registre du commerce et n'aurait pas été astreint à tenir des livres. II a considéré, en revanche, que le produit de la vente tombait sous le coup de l'art. 21 al. 1 lit. a AIFD. Selon l'autorité intimée, le caractère planifié des diverses opérations qui ont abouti à la constitution du groupe B._, le lien avec l'activité professionnelle de X._ et l'utilisation de connaissances spéciales, ainsi que la participation financière de l'épouse démon- traient que la vente du 18 octobre 1993 relevait d'une activité lucrative indépendante assimilable à un commerce professionnel de titres et devait donc être imposée à ce titre conformément à la disposition précitée.
S'agissant du droit applicable, ledit Tribunal a considéré que le calcul des éléments imposables devait être fait conformément au droit en vigueur au moment où les faits générateurs de l'impôt se sont produits. Il convenait donc en l'espèce de faire application de l'arrêté sur l'impôt fédéral direct. Sur le fond, il a écarté l'art. 21 al. 1 lit. d AIFD, au motif que X._, travaillant alors comme indépendant, n'était pas inscrit au registre du commerce et n'aurait pas été astreint à tenir des livres. II a considéré, en revanche, que le produit de la vente tombait sous le coup de l'art. 21 al. 1 lit. a AIFD. Selon l'autorité intimée, le caractère planifié des diverses opérations qui ont abouti à la constitution du groupe B._, le lien avec l'activité professionnelle de X._ et l'utilisation de connaissances spéciales, ainsi que la participation financière de l'épouse démon- traient que la vente du 18 octobre 1993 relevait d'une activité lucrative indépendante assimilable à un commerce professionnel de titres et devait donc être imposée à ce titre conformément à la disposition précitée.
D. Agissant par la voie du recours de droit administratif, X._ demande au Tribunal fédéral, sous suite de dépens, principalement d'annuler l'arrêt du Tribunal administratif du 18 novembre 2003 et de confirmer la décision de la Commission cantonale de recours du 5 mars 2003; subsidiairement, de dire que seul le gain réalisé par le recourant après 1991 est imposable et de renvoyer la cause au Tribunal administratif pour déterminer l'étendue de ce gain; plus subsidiairement, de dire que le gain réalisé par les époux X._ le 18 octobre 1993 est fixé au maximum à 3'717'546 fr. et de renvoyer la cause au Tribunal administratif afin qu'il statue dans le sens des considérants. Le recourant conteste la qualification d'activité lucrative indépendante et soutient que la vente est intervenue dans le cadre de la gestion de sa fortune privée. Il n'aurait fait que saisir une occasion de réaliser avantageusement un élément de son patrimoine.
Sans formuler d'observations, le Tribunal administratif déclare persister dans les termes et conclusions de son arrêt. L'Administration fiscale cantonale conclut au rejet du recours. L'Administration fédérale des contributions déclare faire siennes tant les considérations émises dans son arrêt par le Tribunal administratif que les observations formulées par l'Administration fiscale cantonale dans sa réponse au présent recours et, sans présenter d'observations, conclut, elle aussi, au rejet du recours.

Le Tribunal fédéral considère en droit:
Le Tribunal fédéral considère en droit:
1. 1.1 Dirigé contre une décision fondée sur le droit public fédéral prise en dernière instance cantonale, et respectant les délai et formes légaux, le présent recours est recevable tant en vertu des art. 97 ss OJ que de la disposition spéciale de l'<ref-law>.
1.2 D'après l'art. 104 let. a OJ, le recours de droit administratif peut être formé pour violation du droit fédéral, y compris l'excès et l'abus du pouvoir d'appréciation (<ref-ruling> consid. 1.2.1 p. 150). Le Tribunal fédéral vérifie d'office l'application du droit fédéral, qui englobe notamment les droits constitutionnels des citoyens (<ref-ruling> consid. 3.4 p. 188; <ref-ruling> consid. 3.2b p. 60; <ref-ruling> consid. 1a p. 254). Comme il n'est pas lié par les motifs invoqués par les parties (art. 114 al. 1 in fine OJ), il peut admettre le recours pour d'autres raisons que celles avancées par le recourant ou, au contraire, confirmer l'arrêt attaqué pour d'autres motifs que ceux retenus par l'autorité intimée (ATF 129 11183 consid. 3.4 p. 188; <ref-ruling> consid. 1b p. 12, 264 consid. 1b p. 286; <ref-ruling> consid. 1b/aa p. 500 et les arrêts cités). En matière de contributions publiques, il peut aller au-delà des conclusions des parties pour violation du droit fédéral ou constatation inexacte ou incomplète des faits (art. 114 al. 1 OJ).
En revanche, lorsque, comme ici, le recours est dirigé contre la décision d'une autorité judiciaire, le Tribunal fédéral est lié par les faits constatés dans cette décision, sauf s'ils sont manifestement inexacts ou incomplets, ou s'ils ont été établis au mépris de règles essentielles de procédure (art. 104 lettre b et 105 al. 2 OJ; <ref-ruling> consid. 1.2.1 p. 150; <ref-ruling> consid. 1 p. 198). En outre, le Tribunal fédéral ne peut pas revoir l'opportunité de l'arrêt entrepris, le droit fédéral ne prévoyant pas un tel examen en la matière (art. 104 let. c ch. 3 OJ).
En revanche, lorsque, comme ici, le recours est dirigé contre la décision d'une autorité judiciaire, le Tribunal fédéral est lié par les faits constatés dans cette décision, sauf s'ils sont manifestement inexacts ou incomplets, ou s'ils ont été établis au mépris de règles essentielles de procédure (art. 104 lettre b et 105 al. 2 OJ; <ref-ruling> consid. 1.2.1 p. 150; <ref-ruling> consid. 1 p. 198). En outre, le Tribunal fédéral ne peut pas revoir l'opportunité de l'arrêt entrepris, le droit fédéral ne prévoyant pas un tel examen en la matière (art. 104 let. c ch. 3 OJ).
2. 2.1 La présente cause porte sur l'imposition, au titre de l'impôt fédéral direct de la période fiscale 1995-1996, du produit obtenu par les ex-époux X._ et Y._ lors de la vente du groupe B._ selon le contrat du 18 octobre 1993.
La loi sur l'impôt fédéral direct est entrée en vigueur le 1er janvier 1995, abrogeant l'arrêté sur l'impôt fédéral direct. Se pose donc, en premier lieu, la question du droit applicable.
2.2 Le Tribunal administratif a considéré que le calcul des éléments imposables devait être fait conformément au droit en vigueur au moment où les faits générateurs de l'impôt se sont produits et qu'il convenait donc, en l'espèce, de faire application de l'arrêté sur l'impôt fédéral direct. Il s'est toutefois référé à l'arrêt non publié du Tribunal fédéral du 31 janvier 2000, 2A.568/1998 consid. 10a. Cet arrêt indique que les questions de droit matériel, tel le calcul d'éléments soumis à l'impôt fédéral direct, sont résolues en fonction du droit en vigueur lors des périodes fiscales litigieuses. Si ces dernières sont antérieures au 1er janvier 1995, c'est dès lors l'arrêté sur l'impôt fédéral direct qui s'applique. Inversement, lorsque la période fiscale dont il s'agit est, comme ici, postérieure à l'entrée en vigueur de la loi sur l'impôt fédéral direct, c'est cette loi qui s'applique s'agissant de calculer les éléments soumis à l'impôt.
L'Administration fédérale des contributions a publié, le 12 novembre 1992, une circulaire (no 2 de la période fiscale 1995/1996) relative au revenu provenant de l'activité lucrative indépendante selon l'<ref-law> et une notice sur le même sujet (textes reproduits in Peter Agner/Beat Jung/Gotthard Steinmann, Commentaire de la loi sur l'impôt fédéral direct, 2001, n. 10 ad art. 18 p. 68 et la notice en outre in: Archives 61 513). La notice expose (ch. 1 in fine) que pour le calcul ordinaire du revenu provenant de l'activité lucrative indépendante, établi pour la première fois selon les dispositions de la loi sur l'impôt fédéral direct, le revenu moyen des exercices clos en 1993 et 1994 est déterminant, à moins que, durant la période 1993-1994, il n'ait été procédé à une taxation intermédiaire, auquel cas on appliquera encore les dispositions de l'arrêté sur l'impôt fédéral direct pour l'imposition des bénéfices en capital (art. 43 al. 1 en relation avec l'art. 21 al. 1 let. d et f AIFD).
2.3 Il convient d'abord de déterminer si les opérations du recourant relevaient d'une activité lucrative indépendante ou s'il n'a fait qu'administrer sa fortune privée. Dans ce dernier cas, les gains réalisés échappent à toute imposition quelle que soit la législation applicable.
Si le bénéfice obtenu en 1993 a été réalisé dans le cadre d'une activité indépendante et qu'il est considéré comme revenu accessoire, non compris dans la taxation intermédiaire effectuée au 1er janvier 1994, il est imposable pendant la période fiscale 1995-1996. Il doit alors être soumis à la loi sur l'impôt fédéral direct. En revanche, s'il est qualifié de bénéfice en capital et fait partie de l'activité principale du recourant, il ne serait imposable qu'aux conditions des art. 43 et 21 al. 1 let. d et f AIFD, c'est-à-dire pour autant que le contribuable soit astreint à tenir des livres. La période fiscale de l'art. 43 AIFD correspond à celle où est survenu le motif de taxation intermédiaire, ici 1993.
Si le bénéfice obtenu en 1993 a été réalisé dans le cadre d'une activité indépendante et qu'il est considéré comme revenu accessoire, non compris dans la taxation intermédiaire effectuée au 1er janvier 1994, il est imposable pendant la période fiscale 1995-1996. Il doit alors être soumis à la loi sur l'impôt fédéral direct. En revanche, s'il est qualifié de bénéfice en capital et fait partie de l'activité principale du recourant, il ne serait imposable qu'aux conditions des art. 43 et 21 al. 1 let. d et f AIFD, c'est-à-dire pour autant que le contribuable soit astreint à tenir des livres. La période fiscale de l'art. 43 AIFD correspond à celle où est survenu le motif de taxation intermédiaire, ici 1993.
3. 3.1 L'<ref-law> prévoit:
"Sont imposables tous les revenus provenant de l'exploitation d'une entreprise commerciale, industrielle, artisanale, agricole ou sylvicole, de l'exercice d'une profession libérale ou de toute autre activité lucrative indépendante."
L'art. 21 al. 1 let. a AIFD dispose que l'impôt se calcule sur le revenu total du contribuable provenant d'une activité à but lucratif, du rendement de la fortune ou d'autres sources de recettes, en particulier sur tout revenu provenant d'une activité, y compris accessoire, et les revenus acquis en compensation.
La distinction entre la simple gestion du patrimoine privé et l'activité lucrative indépendante intervient dans les mêmes termes sous l'angle de l'<ref-law> et sous celui de l'art. 21 al. 1 let. a AIFD. La jurisprudence développée dans le cadre de l'art. 21 al. 1 lit. a AIFD (cf. Danielle Yersin, Les gains en capital considérés comme le revenu d'une activité lucrative, in: Archives 59 137ss p.141 et la jurisprudence citée) conserve en effet toute sa valeur sous l'empire de l'<ref-law> (<ref-ruling>; Die Praxis 2003 no 65 p. 321, Revue fiscale 58/2003 p. 129 consid. 3.2, 2A.156/2002).
3.2 Ainsi que le Tribunal fédéral a eu l'occasion de le préciser (RDAF 2001 II 233, 2A.4/1998), un degré de financement substantiel par des fonds étrangers, une possession de courte durée et un chiffre d'affaires annuel relativement élevé, avec une mise de fonds impor- tante et une grande prise de risques, sont des indices que le contribuable gère son portefeuille-titres, non pas uniquement de manière dynamique, mais aussi de façon systématique et méthodique. Il importe d'ailleurs peu que le contribuable n'agisse pas lui-même: il doit en effet se laisser opposer les activités déployées par le gestionnaire de son choix. Outre la manière systématique ou planifiée de procéder, la fréquence des transactions et une courte durée de possession, constituent également des indices allant dans le sens d'une activité lucrative. Il en va de même du rapport étroit avec les affaires ou l'activité professionnelle du contribuable, la mise en oeuvre de connaissances techniques spéciales, le fait d'agir conjointement avec d'autres personnes actives dans le domaine en cause, respectivement la réalisation d'une affaire dans le cadre d'une société de personnes ou en s'adjoignant le concours de spécialistes. Chacun de ces indices peut, en conjonction avec d'autres, mais le cas échéant également à lui seul, suffire pour faire conclure à une activité lucrative indépendante au sens de l'<ref-law> (RDAF 2003 II 209, 2A.66/2002; 2002 II 480, 2A.205/2001).
Selon les cas, une opération unique peut même ressortir à une telle activité lorsque, par son ampleur, sa complexité, les connaissances requises ou les moyens mis en oeuvre, elle excède largement les capacités d'un simple particulier en matière de gestion de ses biens, respectivement les limites d'un mandat de gestion de fortune de type traditionnel. Tel est également le cas lorsque l'opération isolée est en rapport avec la profession principale du contribuable. Ce sont les circonstances dans lesquelles s'est déroulée l'opération et son but qui sont déterminants (<ref-ruling>; Die Praxis 2003 no 192 p. 1055, Der Steuerentscheid 2003 B 23.1 no 55, 2A.486/2002).
3.3 Il est vraisemblable que le recourant n'aurait jamais obtenu un tel montant, soit 4'290'000 fr., lors de l'aliénation des participations que son couple détenait, directement ou indirectement (par l'intermédiaire de B._ Holding) dans l'ensemble des sociétés du groupe du même nom, s'il n'avait précisément commencé par constituer ce groupe, au moyen d'une série d'opérations méthodiquement planifiées. L'ensemble de ces opérations, depuis la fondation de C._ SA par Y._ et l'acquisition par le recourant de la totalité du capital-actions de B._ jusqu'à la réalisation finale en date du 18 octobre 1993, doit donc être analysée comme formant un tout. II est peu probable que, lors des premières opérations, en 1987 et 1988, l'issue finale, telle qu'elle s'est présentée en 1993, ait été déjà prévisible. Il n'en demeure pas moins, et c'est ce qui est décisif, que toutes les opérations menées depuis 1987 tendaient vers un résultat de ce genre et qu'elles seules en ont rendu possible la survenance. II ne saurait, dans ces conditions, être question de faire débuter l'activité déployée par le recourant en 1991 seulement, comme celui-ci le demande à titre subsidiaire. II ne saurait non plus être question d'admettre que le recourant n'a fait que saisir une occasion favorable pour la vente des participations, dès lors qu'il a au contraire tout fait pour en provoquer l'avènement. Enfin, et toujours dans ces mêmes conditions, ni le temps écoulé entre 1987 et 1993, ni le petit nombre des transactions effectuées durant ce laps de temps ne sauraient à eux seuls être décisifs.
Il a été procédé à la création de deux entités nouvelles (C._ SA et B._ Holding), des augmentations de capital-actions, des divisions d'actions en titres de valeur nominale réduite, des transferts de participations et des prises de participations croisées avec l'octroi d'un prêt sans intérêts, une participation active du recourant comme administrateur de deux, puis de trois des sociétés du groupe (C._ SA et B._ Holding et, dès novembre 1989, B._ SA). Il n'est pas contestable que cette série d'opérations excédait très largement, par sa complexité, une simple gestion de patrimoine privé. Il ne fait enfin aucun doute qu'une activité de cette nature et de cette envergure impliquait de grandes connaissances en matière d'ingénierie financière que le recourant possédait en raison de sa formation et de son expérience professionnelle. Il s'est, en effet, établi en tant que conseiller indépendant en cette matière, entre le 1er janvier 1988 et le 15 avril 1994. Le lien entre cette série d'opérations et sa profession est donc indéniable.
Il est à cet égard significatif que l'essentiel du capital-actions de B._ SA ait été acquis d'un groupe auquel appartenait la Banque A._, alors employeur du recourant. II n'est guère vraisemblable qu'un simple particulier, occupé à la seule gestion de son patrimoine privé, aurait pris le risque d'acquérir, fût-ce à vil prix, la totalité du capital-actions d'une société qui "avait apparemment dû cesser toute activité en raison d'un procès civil l'opposant à un ancien client en faillite". La revente ultérieure "à soi-même" de ce capital pour un montant sans commune mesure avec le prix d'acquisition et la valeur intrinsèque des actions dénote également un haut degré de sophistication et porte la marque du professionnel.
3.4 Au vu de ce qui précède, le produit de la vente des participations des ex-époux X._ et Y._ doit être qualifié de revenu provenant d'une activité lucrative indépendante. Bien qu'il ait utilisé ses connaissances professionnelles, le recourant a exercé son activité dans le commerce de titres à titre accessoire et distinctement de sa profession principale (d'abord salariée, puis de conseiller indépendant). Dès lors, elle échappait à la taxation intermédiaire effectuée au 1er janvier 1994 pour le passage d'une activité lucrative principale indépendante à une activité lucrative principale dépendante. La circulaire de l'Administration fédérale des contributions ne s'applique donc pas sur ce point. Le bénéfice obtenu est normalement imposable en 1995-1996 selon l'<ref-law> et échappe totalement à l'arrêté sur l'impôt fédéral direct.
Bien qu'ayant appliqué l'arrêté sur l'impôt fédéral direct au lieu de la loi sur l'impôt fédéral direct, le Tribunal administratif a assimilé, à juste titre et sans violer le droit fédéral, l'ensemble des opérations susmentionnées à une activité lucrative indépendante et a confirmé l'imposi- tion du produit final réalisé en 1993 lors de la période fiscale 1995-1996 de l'impôt fédéral direct.
Bien qu'ayant appliqué l'arrêté sur l'impôt fédéral direct au lieu de la loi sur l'impôt fédéral direct, le Tribunal administratif a assimilé, à juste titre et sans violer le droit fédéral, l'ensemble des opérations susmentionnées à une activité lucrative indépendante et a confirmé l'imposi- tion du produit final réalisé en 1993 lors de la période fiscale 1995-1996 de l'impôt fédéral direct.
4. Le recourant conteste le calcul du gain réalisé grâce à l'opération du 18 octobre 1993. Il fait valoir que pour établir le bénéfice obtenu par la vente des participations il aurait fallu en déterminer la valeur "lors du début de (la) prétendue activité indépendante, soit après 1991". Il soutient que celle-ci est proche de celle retenue au moment de la vente car l'augmentation de valeur des actions entre 1991 et 1993 aurait été nulle. En outre, la valeur des actions B._ SA ne saurait en aucun cas être inférieure au montant déclaré de 70 fr. par action. Finalement, le recourant reproche aux autorités cantonales de n'avoir pas tenu compte de la valeur des actions de D._ Corp. à l'époque du début de son activité indépendante. De plus, il invoque le cours du dollar, à la date de cette acquisition, de 1.60 fr.
Contrairement à ce que prétend le recourant, il n'y a pas lieu de tenir compte de la valeur des titres en 1991, mais bien de leur prix d'acquisition réel, car son activité dans le domaine n'a pas débuté en 1991 (cf. consid. 3.3). Au surplus, il n'y a pas lieu d'entrer en matière sur les revendications du recourant. En effet, celui-ci aurait eu tout loisir d'établir les différentes valeurs en cause lors des précédentes procédures, ce qu'il n'a pas fait. De plus, il a refusé de donner des renseignements au sujet de D._ Corp. On ne voit dès lors pas pourquoi il faudrait aujourd'hui tenir compte d'éléments choisis arbitrairement par le recourant sans connaître l'ensemble des composantes de la transaction du 18 octobre 1993. En outre, celui-ci ne démontre pas d'erreur majeure de la part de l'autorité fiscale qui a dû procéder partiellement à une appréciation en l'absence d'éléments plus précis.
Contrairement à ce que prétend le recourant, il n'y a pas lieu de tenir compte de la valeur des titres en 1991, mais bien de leur prix d'acquisition réel, car son activité dans le domaine n'a pas débuté en 1991 (cf. consid. 3.3). Au surplus, il n'y a pas lieu d'entrer en matière sur les revendications du recourant. En effet, celui-ci aurait eu tout loisir d'établir les différentes valeurs en cause lors des précédentes procédures, ce qu'il n'a pas fait. De plus, il a refusé de donner des renseignements au sujet de D._ Corp. On ne voit dès lors pas pourquoi il faudrait aujourd'hui tenir compte d'éléments choisis arbitrairement par le recourant sans connaître l'ensemble des composantes de la transaction du 18 octobre 1993. En outre, celui-ci ne démontre pas d'erreur majeure de la part de l'autorité fiscale qui a dû procéder partiellement à une appréciation en l'absence d'éléments plus précis.
5. II résulte de ce qui précède que le recours doit être rejeté. Succombant, le recourant doit supporter un émolument judiciaire (art. 156 al. 1 OJ). II n'y a pas lieu d'allouer de dépens (art. 159 al. 1 OJ).

Par ces motifs, le Tribunal fédéral prononce:
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
1. Le recours est rejeté.
2. Un émolument judiciaire de 12'000 fr. est mis à la charge du recourant.
2. Un émolument judiciaire de 12'000 fr. est mis à la charge du recourant.
3. Le présent arrêt est communiqué en copie au mandataire du recou- rant, à l'Administration fiscale cantonale et au Tribunal administratif du canton de Genève ainsi qu'à l'Administration fédérale des contribu- tions, Division juridique de l'impôt fédéral direct.
Lausanne, le 1er septembre 2004
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le président: La greffière: