Citation: 2A.23/2004 01.09.2004 E. A

X.________, domicilié dans le canton de Genève, a travaillé pour la Banque A.________ à Genève, du 1er janvier 1979 au 31 décembre 1987, en qualité de membre de la direction. A partir du 18 janvier 1988, il s'est mis à son compte en tant que conseiller indépendant en ingénierie financière (conseils en fusion et acquisition notamment). Il n'a jamais été inscrit au registre du commerce. Il établissait chaque année un compte de recettes et de dépenses. II a repris une activité dépendante dès le 15 avril 1994 auprès de la société anonyme B.________ SA et a réalisé la première année un salaire brut de 148'500 fr. Le 21 août 1987, Y.________, son épouse à l'époque, a constitué la société C.________ avec siège à Genève. Le capital-actions de 60'000 fr. était divisé en 600 actions au porteur d'une valeur nominale de 100 fr. chacune. Y.________ en a souscrit 598, son mari une et le directeur de la société une. La société avait pour but la constitution, l'administration, la domiciliation, l'organisation et la gestion de sociétés, ainsi que la constitution et gestion de trusts de participations. X.________ était administrateur de cette société avec signature individuelle. Le 29 septembre 1987, X.________ a acheté la totalité du capital-actions de la société B.________ SA, sise à Genève et fondée en 1958. Celui-ci était de 580'000 fr. divisé en 5'800 actions de 100 fr. chacune. Le prix d'achat était de 10'150 fr. La majeure partie de ces actions a été acquise de Z.________ AG, groupe auquel appartenait la Banque A.________. Le 7 novembre 1989, X.________ est entré au conseil d'administration de B.________, sans être rémunéré. Le 14 mars 1988, Y.________ a constitué à Zoug la société B.________ SA Holding au capital-actions de 60'000 fr. divisé en 60 actions au porteur de 1'000 fr. chacune. Elle a souscrit 58 actions, son mari et un avocat chacun une. Le but de la société était la participation à d'autres sociétés commerciales, industrielles et financières, à l'exception de toute participation immobilière en Suisse. X.________ y était administrateur avec signature individuelle. Le 31 décembre 1988, X.________ a vendu 2'204 actions de B.________ SA, soit le 38% du capital-actions, à B.________ Holding pour le prix de 154'300 fr. Le même jour, Y.________ a cédé à B.________ Holding la totalité du capital-actions de C.________ SA pour le prix de 196'700 fr. Le 10 octobre 1989, les 60 actions au porteur de B.________ Holding ont été transformées en 600 actions nominatives de 100 fr. chacune, enregistrées au nom de Y.________. Simultanément, le capital-actions du holding a été augmenté de 40'000 fr. par l'émission de 400 nouvelles actions nominatives de 100 fr. chacune, souscrites par Y.________, et de 100'000 fr. par l'émission de 100 actions au porteur de 1'000 fr. chacune, souscrites par la société D.________ Corp. Il résulte du bilan de B.________ Holding arrêté au 31 décembre 1989 que la D.________ Corp. lui a accordé un prêt sans intérêts. Le 14 décembre 1989, Y.________ a souscrit 152'940 actions de 1 US$ de D.________ Corp. Cette société, dont le siège se trouve au Grand Cayman, a été fondée en 1985. Son capital-actions est de 900'000 US$, divisé en 900'000 actions de 1 US$ chacune. A la même date, B.________ SA a acheté 1'800 actions de D.________ Corp. pour le prix de 180'000 US$, soit 100 US$ par action. Par la suite, à une époque et pour un prix indéterminés, Y.________ a vendu 15'000 de ces actions. L'état des titres au 1er janvier 1993 de la déclaration d'impôt cantonal 1993 et d'impôt fédéral direct 1993-1994 des époux X.________ et Y.________ indiquait, entre autres actions, 1'000 actions nominatives de B.________ Holding, soit le 100% du capital-actions, 3'596 actions de B.________ SA, soit le 62% du capital-actions, 137'940 actions de D.________ Corp. (soit 15% du capital-actions). Selon cet état des titres, la valeur imposable de la fortune mobilière s'élevait à 1'335'800 fr. La fortune nette totale imposable était nulle. Par contrat conclu le 18 octobre 1993 au Luxembourg, les époux X.________ et Y.________ ont vendu les actions susmentionnées pour le prix de 4'290'000 fr. à la société de droit luxembourgeois E.________ SA. E.________ SA a ainsi fait l'acquisition des sociétés et participations détenues par B.________ Holding, soit 100% du capital- actions des sociétés C.________ SA, F.________ et G.________, 38% de B.________ SA, 14,28% de H.________, 5,37% de I.________ Holding et 85% de D.________ Corp. On ignore quand et à quelles conditions B.________ Holding avait de la sorte augmenté sa participation dans cette dernière société. Cette vente constituait la cession de la totalité du groupe B.________ à E.________ SA. Selon l'organigramme joint au contrat de vente, les époux X.________ et Y.________ détenaient la totalité du capital-actions de D.________ Corp., à raison de 15% directement et de 85% par l'intermédiaire de B.________ Holding. Une autre annexe au contrat de vente démontre que le prix de vente avait été fixé en fonction de la réalité économique représentée par chacune des sociétés du groupe B.________, soit 2'269'655 fr. pour les 1'000 actions de B.________ Holding, 1'397'017 fr. pour les 3'596 actions de B.________ SA et 623'328 fr. pour les 137'328 actions de D.________ Corp.