Citation: 2C_148/2016 E. A

A.a. Les époux A.X.________ et B.X.________ (décédée en 2004), de nationalité française, étaient domiciliés à Genève depuis 1991. A.X.________ et les membres de sa famille étaient notamment les bénéficiaires de C.________ Trust, un trust bermudien discrétionnaire et irrévocable, dont l'Administration fiscale cantonale genevoise (ci-après: l'Administration cantonale) avait admis, à certaines conditions, le caractère non imposable en 1991. C.________ Trust détenait lui-même la société D.________Traders Limited avec siège à Guernesey (ci-après: D.________). A.b. Un litige est survenu entre les époux X.________ et l'Administration cantonale concernant les périodes fiscales 1995 à 2001-B tant en matière d'impôt fédéral direct (IFD) que d'impôt cantonal et communal (ICC). Il était entre autres reproché aux contribuables de ne pas avoir mentionné que A.X.________ détenait des actions de la Banque E.________ (ci-après: E.________ ou la Banque). A.X.________ soutenait qu'il n'avait pas déclaré lesdites actions, car il détenait celles-ci uniquement à titre fiduciaire.