Faits: Faits: A. X._, domicilié dans le canton de Genève, a travaillé pour la Banque A._ à Genève, du 1er janvier 1979 au 31 décembre 1987, en qualité de membre de la direction. A partir du 18 janvier 1988, il s'est mis à son compte en tant que conseiller indépendant en ingénierie financière (conseils en fusion et acquisition notamment). Il n'a jamais été inscrit au registre du commerce. Il établissait chaque année un compte de recettes et de dépenses. II a repris une activité dépendante dès le 15 avril 1994 auprès de la société anonyme B._ SA et a réalisé la première année un salaire brut de 148'500 fr. Le 21 août 1987, Y._, son épouse à l'époque, a constitué la société C._ avec siège à Genève. Le capital-actions de 60'000 fr. était divisé en 600 actions au porteur d'une valeur nominale de 100 fr. chacune. Y._ en a souscrit 598, son mari une et le directeur de la société une. La société avait pour but la constitution, l'administration, la domiciliation, l'organisation et la gestion de sociétés, ainsi que la constitution et gestion de trusts de participations. X._ était administrateur de cette société avec signature individuelle. Le 29 septembre 1987, X._ a acheté la totalité du capital-actions de la société B._ SA, sise à Genève et fondée en 1958. Celui-ci était de 580'000 fr. divisé en 5'800 actions de 100 fr. chacune. Le prix d'achat était de 10'150 fr. La majeure partie de ces actions a été acquise de Z._ AG, groupe auquel appartenait la Banque A._. Le 7 novembre 1989, X._ est entré au conseil d'administration de B._, sans être rémunéré. Le 14 mars 1988, Y._ a constitué à Zoug la société B._ SA Holding au capital-actions de 60'000 fr. divisé en 60 actions au porteur de 1'000 fr. chacune. Elle a souscrit 58 actions, son mari et un avocat chacun une. Le but de la société était la participation à d'autres sociétés commerciales, industrielles et financières, à l'exception de toute participation immobilière en Suisse. X._ y était administrateur avec signature individuelle. Le 31 décembre 1988, X._ a vendu 2'204 actions de B._ SA, soit le 38% du capital-actions, à B._ Holding pour le prix de 154'300 fr. Le même jour, Y._ a cédé à B._ Holding la totalité du capital-actions de C._ SA pour le prix de 196'700 fr. Le 10 octobre 1989, les 60 actions au porteur de B._ Holding ont été transformées en 600 actions nominatives de 100 fr. chacune, enregistrées au nom de Y._. Simultanément, le capital-actions du holding a été augmenté de 40'000 fr. par l'émission de 400 nouvelles actions nominatives de 100 fr. chacune, souscrites par Y._, et de 100'000 fr. par l'émission de 100 actions au porteur de 1'000 fr. chacune, souscrites par la société D._ Corp. Il résulte du bilan de B._ Holding arrêté au 31 décembre 1989 que la D._ Corp. lui a accordé un prêt sans intérêts. Le 14 décembre 1989, Y._ a souscrit 152'940 actions de 1 US$ de D._ Corp. Cette société, dont le siège se trouve au Grand Cayman, a été fondée en 1985. Son capital-actions est de 900'000 US$, divisé en 900'000 actions de 1 US$ chacune. A la même date, B._ SA a acheté 1'800 actions de D._ Corp. pour le prix de 180'000 US$, soit 100 US$ par action. Par la suite, à une époque et pour un prix indéterminés, Y._ a vendu 15'000 de ces actions. L'état des titres au 1er janvier 1993 de la déclaration d'impôt cantonal 1993 et d'impôt fédéral direct 1993-1994 des époux X._ et Y._ indiquait, entre autres actions, 1'000 actions nominatives de B._ Holding, soit le 100% du capital-actions, 3'596 actions de B._ SA, soit le 62% du capital-actions, 137'940 actions de D._ Corp. (soit 15% du capital-actions). Selon cet état des titres, la valeur imposable de la fortune mobilière s'élevait à 1'335'800 fr. La fortune nette totale imposable était nulle. Par contrat conclu le 18 octobre 1993 au Luxembourg, les époux X._ et Y._ ont vendu les actions susmentionnées pour le prix de 4'290'000 fr. à la société de droit luxembourgeois E._ SA. E._ SA a ainsi fait l'acquisition des sociétés et participations détenues par B._ Holding, soit 100% du capital- actions des sociétés C._ SA, F._ et G._, 38% de B._ SA, 14,28% de H._, 5,37% de I._ Holding et 85% de D._ Corp. On ignore quand et à quelles conditions B._ Holding avait de la sorte augmenté sa participation dans cette dernière société. Cette vente constituait la cession de la totalité du groupe B._ à E._ SA. Selon l'organigramme joint au contrat de vente, les époux X._ et Y._ détenaient la totalité du capital-actions de D._ Corp., à raison de 15% directement et de 85% par l'intermédiaire de B._ Holding. Une autre annexe au contrat de vente démontre que le prix de vente avait été fixé en fonction de la réalité économique représentée par chacune des sociétés du groupe B._, soit 2'269'655 fr. pour les 1'000 actions de B._ Holding, 1'397'017 fr. pour les 3'596 actions de B._ SA et 623'328 fr. pour les 137'328 actions de D._ Corp. Selon l'organigramme joint au contrat de vente, les époux X._ et Y._ détenaient la totalité du capital-actions de D._ Corp., à raison de 15% directement et de 85% par l'intermédiaire de B._ Holding. Une autre annexe au contrat de vente démontre que le prix de vente avait été fixé en fonction de la réalité économique représentée par chacune des sociétés du groupe B._, soit 2'269'655 fr. pour les 1'000 actions de B._ Holding, 1'397'017 fr. pour les 3'596 actions de B._ SA et 623'328 fr. pour les 137'328 actions de D._ Corp. B. Le 27 décembre 1994, l'Administration fiscale cantonale du canton de Genève (ci-après: l'Administration fiscale cantonale) a émis un bordereau provisoire pour les impôts cantonal et communal 1994 indiquant un revenu imposable de 200'340 fr. Par courrier du 17 février 1995, cette Administration a demandé aux époux X._ et Y._ de lui indiquer la provenance des fonds ayant permis le remboursement de leur dette d'un montant de 2'297'804 fr. et d'augmenter leur fortune mobilière à concurrence de 1'380'187 fr. X._ a alors informé l'Administration fiscale cantonale de la vente des actions du couple à la société E._ SA. Le 26 septembre 1997, l'Administration fiscale cantonale a notifié aux époux X._ et Y._ un bordereau d'impôt fédéral direct 1995-1996. Elle a procédé à une reprise de 4'269'909 fr. sur les revenus acquis en 1993, correspondant au prix de vente des actions du groupe B._, soit 4'290'000 fr., sous déduction de leur estimation selon l'état des titres au 1er janvier 1993, soit 225'860 fr. II en résultait un revenu imposable moyen de 2'218'800 fr. et un montant d'impôt de 255'162 fr. par année. Les époux X._ et Y._ ont élevé réclamation à l'encontre de ce bordereau. Ils estimaient que la vente du groupe B._ constituait un gain en capital réalisé sur des éléments de leur fortune privée et que ce gain n'était ainsi pas imposable. Ils demandaient en outre qu'il fût procédé à une taxation intermédiaire au 1er janvier 1994, en raison de la cessation de l'activité lucrative indépendante de X._, devenu salarié dès le 1er avril de la même année. Par décision du 22 août 2000, l'Administration fiscale cantonale a admis cette dernière requête et notifié un bordereau rectificatif pour l'impôt fédéral direct 1995-1996 daté du 25 août 2000, fondé sur un revenu imposable de 2'139'900 fr. Elle a en revanche confirmé l'imposition du produit de la vente des actions du groupe B._. Faisant application de la la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (ci-après: LIFD ou la loi sur l'impôt fédéral direct; RS 642.11), en vigueur depuis le 1er janvier 1995, elle a considéré que ce produit devait être qualifié comme revenu d'une autre activité lucrative indépendante, non compris dans la taxation intermédiaire, imposable selon les dispositions de l'art. 18 al. 1 LIFD. X._ a recouru le 21 septembre 2000 auprès de la Commission cantonale de recours de l'impôt fédéral direct du canton de Genève (ci-après: la Commission cantonale de recours). Invité à produire diverses pièces, il ne s'est que très partiellement exécuté. Il n'a en particulier pas produit le contrat de vente de 15'000 actions de D._ Corp. par Y._, pas plus que les contrats d'acquisition des actions de cette société par B._ Holding et les bilans de D._ Corp. pour les années 1988 à 1992. Par prononcé du 5 mars 2003, la Commission cantonale de recours a admis le recours. Elle a considéré que l'arrêté du Conseil fédéral du 9 décembre 1940 concernant la perception d'un impôt fédéral direct (ci-après: AIFD ou l'arrêté sur l'impôt fédéral direct; RO 56 2021), en vigueur jusqu'au 31 décembre 1994, était applicable. Elle a estimé que les opérations effectuées par les époux n'avaient pas excédé les limites de la gestion de leur patrimoine privé. Par prononcé du 5 mars 2003, la Commission cantonale de recours a admis le recours. Elle a considéré que l'arrêté du Conseil fédéral du 9 décembre 1940 concernant la perception d'un impôt fédéral direct (ci-après: AIFD ou l'arrêté sur l'impôt fédéral direct; RO 56 2021), en vigueur jusqu'au 31 décembre 1994, était applicable. Elle a estimé que les opérations effectuées par les époux n'avaient pas excédé les limites de la gestion de leur patrimoine privé. C. L'Administration fiscale cantonale a recouru à l'encontre de cette décision auprès du Tribunal administratif du canton de Genève (ci-après: le Tribunal administratif) qui, par arrêt du 18 novembre 2003, a admis le recours, annulé la décision de la Commission cantonale de recours du 5 mars 2003 et confirmé celle sur réclamation de l'Administration fiscale cantonale du 22 août 2000. S'agissant du droit applicable, ledit Tribunal a considéré que le calcul des éléments imposables devait être fait conformément au droit en vigueur au moment où les faits générateurs de l'impôt se sont produits. Il convenait donc en l'espèce de faire application de l'arrêté sur l'impôt fédéral direct. Sur le fond, il a écarté l'art. 21 al. 1 lit. d AIFD, au motif que X._, travaillant alors comme indépendant, n'était pas inscrit au registre du commerce et n'aurait pas été astreint à tenir des livres. II a considéré, en revanche, que le produit de la vente tombait sous le coup de l'art. 21 al. 1 lit. a AIFD. Selon l'autorité intimée, le caractère planifié des diverses opérations qui ont abouti à la constitution du groupe B._, le lien avec l'activité professionnelle de X._ et l'utilisation de connaissances spéciales, ainsi que la participation financière de l'épouse démon- traient que la vente du 18 octobre 1993 relevait d'une activité lucrative indépendante assimilable à un commerce professionnel de titres et devait donc être imposée à ce titre conformément à la disposition précitée. S'agissant du droit applicable, ledit Tribunal a considéré que le calcul des éléments imposables devait être fait conformément au droit en vigueur au moment où les faits générateurs de l'impôt se sont produits. Il convenait donc en l'espèce de faire application de l'arrêté sur l'impôt fédéral direct. Sur le fond, il a écarté l'art. 21 al. 1 lit. d AIFD, au motif que X._, travaillant alors comme indépendant, n'était pas inscrit au registre du commerce et n'aurait pas été astreint à tenir des livres. II a considéré, en revanche, que le produit de la vente tombait sous le coup de l'art. 21 al. 1 lit. a AIFD. Selon l'autorité intimée, le caractère planifié des diverses opérations qui ont abouti à la constitution du groupe B._, le lien avec l'activité professionnelle de X._ et l'utilisation de connaissances spéciales, ainsi que la participation financière de l'épouse démon- traient que la vente du 18 octobre 1993 relevait d'une activité lucrative indépendante assimilable à un commerce professionnel de titres et devait donc être imposée à ce titre conformément à la disposition précitée. D. Agissant par la voie du recours de droit administratif, X._ demande au Tribunal fédéral, sous suite de dépens, principalement d'annuler l'arrêt du Tribunal administratif du 18 novembre 2003 et de confirmer la décision de la Commission cantonale de recours du 5 mars 2003; subsidiairement, de dire que seul le gain réalisé par le recourant après 1991 est imposable et de renvoyer la cause au Tribunal administratif pour déterminer l'étendue de ce gain; plus subsidiairement, de dire que le gain réalisé par les époux X._ le 18 octobre 1993 est fixé au maximum à 3'717'546 fr. et de renvoyer la cause au Tribunal administratif afin qu'il statue dans le sens des considérants. Le recourant conteste la qualification d'activité lucrative indépendante et soutient que la vente est intervenue dans le cadre de la gestion de sa fortune privée. Il n'aurait fait que saisir une occasion de réaliser avantageusement un élément de son patrimoine. Sans formuler d'observations, le Tribunal administratif déclare persister dans les termes et conclusions de son arrêt. L'Administration fiscale cantonale conclut au rejet du recours. L'Administration fédérale des contributions déclare faire siennes tant les considérations émises dans son arrêt par le Tribunal administratif que les observations formulées par l'Administration fiscale cantonale dans sa réponse au présent recours et, sans présenter d'observations, conclut, elle aussi, au rejet du recours.