Faits :
A.
A.a. Les époux A.X._ et B.X._ (décédée en 2004), de nationalité française, étaient domiciliés à Genève depuis 1991.
A.X._ et les membres de sa famille étaient notamment les bénéficiaires de C._ Trust, un trust bermudien discrétionnaire et irrévocable, dont l'Administration fiscale cantonale genevoise (ci-après: l'Administration cantonale) avait admis, à certaines conditions, le caractère non imposable en 1991. C._ Trust détenait lui-même la société D._Traders Limited avec siège à Guernesey (ci-après: D._).
A.b. Un litige est survenu entre les époux X._ et l'Administration cantonale concernant les périodes fiscales 1995 à 2001-B tant en matière d'impôt fédéral direct (IFD) que d'impôt cantonal et communal (ICC). Il était entre autres reproché aux contribuables de ne pas avoir mentionné que A.X._ détenait des actions de la Banque E._ (ci-après: E._ ou la Banque). A.X._ soutenait qu'il n'avait pas déclaré lesdites actions, car il détenait celles-ci uniquement à titre fiduciaire.
Des procédures de reprises d'impôts et de rectifications de taxations ont été introduites par l'Administration cantonale, qui a également prononcé des amendes pour soustraction et tentative de soustraction fiscale à l'encontre de A.X._.
Par jugement du 27 octobre 2011, le Tribunal administratif de première instance du canton de Genève (ci-après: le Tribunal de première instance) a partiellement admis le recours de A.X._ en lien avec la prescription de certaines créances fiscales ou amendes qui portaient sur les exercices 1995-1997. Il a en revanche confirmé la position de l'Administration cantonale concernant les reprises fiscales liées à la détention des actions de la banque E._.
Statuant sur recours du contribuable, la Cour de justice du canton de Genève, par arrêt du 26 mars 2013, lui a, à son tour, partiellement donné raison, constatant la prescription de certaines créances fiscales et amendes. Elle a en revanche suivi l'appréciation des autorités fiscales et du Tribunal de première instance concernant les reprises fiscales effectuées en lien avec la possession des actions de la banque E._, reprochant au contribuable, alors que depuis 2001, il contestait détenir à titre personnel lesdites actions, d'avoir fourni des explications variant au cours de la procédure fiscale: après avoir soutenu, dans un premier temps, détenir les actions de la banque E._ pour le seul compte du C._ Trust, qui aurait payé une partie des titres par le biais de sa filiale D._, il avait ensuite indiqué détenir lesdites actions pour le compte d'investisseurs étrangers très puissants souhaitant rester discrets, afin de rendre service à un ami, sur la base de conventions conclues le 24 novembre 1997 et le 17 décembre 1997, complétées par un accord du 15 mai 2009. Ces financiers agissaient par l'intermédiaire de la société F._ Inc (ci-après: F._), une société de droit panaméen, qui avait conclu des contrats avec D._, la société détenue par le C._ Trust. Il était également reproché au contribuable de n'avoir produit des pièces à l'appui de ses dires que tardivement, pièces qui au demeurant n'apportaient pas la preuve évidente de la relation fiduciaire invoquée.
A l'encontre de l'arrêt du 26 mars 2013, tant A.X._ que l'Administration cantonale ont recouru auprès du Tribunal fédéral. Par arrêt du 5 novembre 2013, celui-ci a partiellement admis les deux recours dans la mesure de leur recevabilité, s'agissant de la prescription de certains rappels d'impôt et amendes et de certaines reprises. Il a également renvoyé la cause à la Cour de justice pour qu'elle se prononce à nouveau sur les amendes fiscales encore litigieuses après avoir entendu le recourant. S'agissant de l'imposition des actions de la banque E._, la Cour de céans a en revanche confirmé la position des autorités fiscales et judiciaires genevoises refusant d'admettre un rapport de fiducie (arrêt 2C_416/2013 consid. 10.3 non publié in <ref-ruling> mais in RF 69/2014 p. 152).
A la suite du renvoi prononcé par le Tribunal fédéral, la Cour de justice a statué le 17 décembre 2013, sur des questions sans lien avec la détention des actions de la banque E._. Cet arrêt est entré en force, ce qui a mis fin au litige relatif aux périodes fiscales 1995 à 2001.
A.c. Pour les périodes fiscales 2002 à 2008, les époux X._, puis A.X._ seul après le décès de son épouse, ont déposé des déclarations fiscales ne faisant pas état de la détention d'actions de la banque E._ ou de la perception de dividendes versés par la Banque.
Une procédure de rappel d'impôts pour l'ICC et l'IFD 2002 à 2007 a également été ouverte, notamment en lien avec les actions de la E._. Depuis le 13 juillet 2009, l'Administration cantonale a demandé en particulier la production du bilan et des comptes de résultat de C._ Trust, ainsi que les mouvements de fonds entre les contribuables et ce trust pour ces années. Le contribuable a indiqué ne pas être en mesure de transmettre ces documents, mais en a produit d'autres, notamment un tableau ne mentionnant pas sa source, qui récapitulait la fortune de A.X._ de 2002 à 2008 et qui énumérait la part des actions détenues à titre fiduciaire " pour un tiers ", mais sans mentionner l'identité de ce tiers. Il a également fourni des documents qu'il avait déjà produits devant le Tribunal de première instance dans le cadre de la procédure portant sur les années 1995 à 2001.
B.
Le 3 décembre 2010, l'Administration cantonale a clos la procédure en rappel d'impôts et de taxation. Elle a notifié à A.X._ des bordereaux supplémentaires d'impôts pour 2002 à 2006 et des décisions de taxation définitives pour les années 2007 et 2008 tant en matière d'IFD que d'ICC. Parmi les éléments non déclarés pris en compte figuraient les actions de la banque E._ au porteur. Ces décisions ont été confirmées sur réclamation par l'Administration cantonale le 18 février 2011.
Le recours de A.X._ à l'encontre des décisions sur réclamation a été partiellement admis par le Tribunal de première instance par jugement du 10 novembre 2014. Celui-ci a considéré que le contribuable avait prouvé qu'il détenait les titres de la banque E._ à titre fiduciaire, de sorte qu'il ne devait pas être imposé sur la valeur fiscale et la valeur de rendement de ces titres.
Par arrêt du 12 janvier 2016, la Cour de justice a admis le recours interjeté par l'Administration cantonale, annulé le jugement du 10 novembre 2014 et rétabli les décisions sur réclamation du 18 février 2011. Les juges ont refusé d'entendre comme témoin G._, cité par A.X._, retenant qu'ils ne voyaient pas ce que cette audition pourrait apporter de plus que les déclarations écrites de ce témoin déjà versées à la procédure. S'agissant du fond, le litige se limitait à déterminer si, sur le plan fiscal, l'existence d'un rapport fiduciaire exemptant A.X._ de tout paiement de l'IFD ou de l'ICC en lien avec la détention de 6'150 actions de la banque E._ pouvait ou non être tenue pour établie. La Cour de justice n'a pas suivi l'appréciation du Tribunal de première instance, soulignant en substance que le contribuable n'avait produit aucune convention établissant expressément et directement qu'entre 2002 et 2008 il était lié par un contrat de fiducie avec un tiers dont on connaîtrait l'identité en rapport avec la détention des titres litigieux. Les documents produits, censés pallier l'absence de convention, n'étaient pas applicables sans autre, dans la mesure où les accords de fiducie dont le contribuable se prévalait étaient formellement échus depuis la fin de l'année 2002 et que celui-ci n'était pas en mesure de produire une preuve écrite de leur renouvellement. Au surplus, ces documents qui, pour la plupart, avaient déjà été fournis dans la procédure concernant les exercices fiscaux 2005 (recte: 1995) à 2001, n'étaient pas davantage propres à établir la réalité des rapports de fiducie allégués. S'agissant en particulier d'éléments tirés d'une procédure arbitrale, la Cour de justice a souligné que celle-ci concernait un différend entre A.X._ et un autre actionnaire, mais n'avait pas pour objet les rapports fiduciaires entre le contribuable et F._. Quant aux dépositions faites dans ce contexte, elles ne permettaient pas de répondre aux questions pertinentes en droit fiscal, à savoir l'identité de l'ayant droit économique de F._. Partant, l'Administration cantonale était en droit de considérer que le contribuable était le détenteur des titres de la banque E._ acquis en 1997, ainsi que le bénéficiaire des dividendes versés par cette banque de 2002 à 2008.
C.
Contre l'arrêt du 12 janvier 2016, A.X._ forme un recours en matière de droit public au Tribunal fédéral. Il conclut au renvoi de la cause à la Cour de justice pour qu'elle procède à l'audition de G._ et de toute autre personne utile comme témoin avant de rendre une nouvelle décision dans le sens des considérants ou, subsidiairement, à ce qu'il soit dit et constaté que le recourant détenait à titre fiduciaire 6'150 actions de la banque E._ et que ses bordereaux ICC et IFD 2002 à 2008 soient annulés dans la mesure où ils ont porté en revenu, sur les dividendes, et en fortune, sur la valeur afférente à ces actions, ou à ce que l'arrêt querellé soit annulé et la cause renvoyée à la Cour de justice pour nouvelle décision dans le sens des considérants.
La Cour de justice s'en rapporte à justice quant à la recevabilité du recours et persiste dans le dispositif et les considérants de son arrêt. Au terme de sa réponse, l'Administration cantonale conclut au rejet du recours. L'Administration fédérale des contributions propose, pour sa part, le rejet du recours dans la mesure de sa recevabilité, se ralliant au dispositif et aux considérants de l'arrêt attaqué, tout en faisant sienne la position exprimée par l'Administration cantonale. A.X._ déclare persister dans les termes et conclusions de son recours.

Considérant en droit :
I. Recevabilité et pouvoir d'examen
1.
L'arrêt attaqué concerne le revenu imposable du recourant en matière d'ICC et d'IFD, ainsi que sa fortune en matière d'ICC pour les périodes fiscales 2002 à 2008. Il confirme les décisions de l'Administration cantonale en matière de rappels d'impôts et de taxation définitive. Dès lors que les questions juridiques à trancher sont réglées de la même façon en droit fédéral et dans le droit cantonal harmonisé (<ref-ruling> consid. 1.3.1 p. 262 s.), on ne peut reprocher à la Cour de justice d'avoir rendu un seul arrêt valant pour les deux catégories d'impôts. En pareilles circonstances, on ne peut davantage faire grief au recourant d'avoir lui-même formé un seul recours au Tribunal fédéral (cf. <ref-ruling> consid. 1.3.2 p. 263 s.). Par souci d'unification par rapport à d'autres cantons dans lesquels deux décisions sont rendues lorsque l'impôt fédéral direct et l'impôt cantonal et communal sont en jeu, la Cour de céans a toutefois ouvert un dossier pour chacun des impôts concernés (cause 2C_148/2016 pour l'ICC et 2C_149/2016 pour l'IFD). Comme le complexe de fait est identique et que les questions juridiques soulevées se recoupent, les causes seront jointes et il sera statué dans un seul arrêt (cf. <ref-law> et 24 PCF [RS 273]).
2.
2.1. Dirigé contre un arrêt final (<ref-law>), rendu en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF), dans une cause de droit public (<ref-law>) ne tombant sous le coup d'aucune des exceptions prévues à l'<ref-law>, la voie du recours en matière de droit public est partant ouverte. L'art. 146 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD; RS 642.11) confirme du reste l'existence de cette voie de droit pour l'impôt fédéral direct. Cette voie de droit est aussi réservée par l'art. 73 al. 1 de la loi fédérale sur l'harmonisation des impôts directs des cantons et des communes (LHID; RS 642.14) s'agissant de matières harmonisées (<ref-ruling> consid. 1.3 p. 188 s.).
2.2. Le recours a par ailleurs été déposé en temps utile (<ref-law>) et dans les formes prescrites (<ref-law>), par le contribuable, destinataire de l'arrêt attaqué, qui a un intérêt digne de protection à son annulation ou à sa modification, de sorte qu'il a qualité pour recourir (<ref-law>). Le présent recours est donc en principe recevable.
3.
3.1. Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral, ainsi que la conformité du droit cantonal harmonisé et de sa mise en pratique par les instances cantonales aux dispositions de la LHID (art. 95 let. a et 106 al. 1 LTF). En revanche, il n'examine la violation de droits fondamentaux qu'en présence d'un grief invoqué et motivé de façon suffisante par la partie recourante (<ref-law>; <ref-ruling> consid. 2.1 p. 372; <ref-ruling> consid. 1.3 p. 41).
3.2. L'examen du Tribunal fédéral se fonde sur les faits établis par l'autorité précédente (<ref-law>; <ref-ruling> consid. 4.4.3 p. 156), sous réserve des cas prévus par l'<ref-law>. Selon l'<ref-law>, le recours peut critiquer les constatations de fait à la double condition que les faits aient été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> et que la correction du vice soit susceptible d'influer sur le sort de la cause (<ref-ruling> consid. 1.6 p. 144 s.), ce que le recourant doit rendre vraisemblable par une argumentation répondant aux exigences de l'<ref-law>. La notion de " manifestement inexacte " figurant à l'<ref-law> correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 2.3 p. 266). Il ne sera partant pas tenu compte de l'argumentation du recourant qui consiste à livrer sa propre interprétation des faits et des pièces produites, sans démontrer en quoi la position de la Cour de justice serait arbitraire.
II. Aspects procéduraux, griefs formels et relatifs aux faits
4.
A titre préliminaire, le recourant produit une pièce nouvelle devant le Tribunal fédéral. Il s'agit d'extraits d'un livre retraçant les entretiens entre H._, président du conseil d'administration et actionnaire principal de la Banque, et le journaliste I._, paru en 2015. Il soutient être en droit de se fonder sur ce document nouveau dans la mesure où il en aurait été privé sur le plan cantonal en violation de son droit d'être entendu.
4.1. Aucun fait nouveau ni preuve nouvelle ne peut être présenté, à moins de résulter de la décision de l'autorité précédente (<ref-law>). Cette exception vise les faits qui sont rendus pertinents pour la première fois par la décision attaquée; peuvent notamment être introduits des faits nouveaux concernant le déroulement de la procédure devant l'instance précédente, destinés à en contester la régularité, ou encore des faits postérieurs à l'arrêt attaqué permettant d'établir la recevabilité du recours. En dehors de ces cas, les nova ne sont pas admissibles, qu'il s'agisse de faits ou moyens de preuve survenus postérieurement à la décision attaquée, ou d'éléments que les parties ont négligé de présenter aux autorités cantonales (<ref-ruling> consid. 3.1.2 p. 123; <ref-ruling> consid. 4.4.3 p. 128 s.).
4.2. Comme l'arrêt attaqué date du 12 janvier 2016, on ne voit pas ce qui aurait empêché le recourant de produire le livre précité paru en 2015 devant la Cour de justice. Il ressort certes de l'arrêt attaqué que le juge délégué a informé les parties que la cause était gardée à juger le 2 février 2015. Même si les parties devaient déduire de cette annonce qu'une décision serait rendue sur la base du dossier arrêté au 2 février 2015, cela ne signifie nullement qu'il leur était impossible de se prévaloir d'un nouvel élément qu'elles jugeaient déterminants et qui serait survenu dans l'intervalle. Or, rien n'indique dans le dossier que le recourant aurait cherché à produire cet ouvrage, ce que celui-ci n'invoque du reste pas. L'explication selon laquelle il attendait la convocation de G._, le témoin qu'il avait cité dans son écriture du 30 janvier 2015 devant la Cour de justice, pour le faire réagir à cet ouvrage, ne peut être suivie. En effet, après avoir reçu l'annonce que la cause était gardée à juger, le recourant, dûment représenté par un avocat, devait saisir que les juges n'entendaient pas entendre de témoins; il ne peut donc justifier sa passivité par l'attente d'une telle audition. Dans son grief, le recourant mélange deux problématiques distinctes : la production d'une pièce nouvelle et le refus d'entendre un témoin. On ne voit pas que le renoncement de la Cour de justice d'entendre un témoin, fût-il ou non justifié sous l'angle du droit d'être entendu (cf. sur cette question infra consid. 5), empêchait le recourant de produire l'ouvrage précité avant le prononcé de l'arrêt attaqué, qui est intervenu plus de six mois après la parution du livre. Ayant négligé de le faire devant l'instance cantonale, il ne peut se prévaloir de ce livre devant le Tribunal fédéral, en tant qu'il constitue une pièce nouvelle au sens de l'<ref-law>.
5.
Le recourant invoque une violation de son droit d'être entendu et du droit à la preuve en lien avec le refus de la Cour de justice d'entendre G._, l'ancien directeur général de la banque E._. Il reproche en substance à la Cour de justice d'avoir d'une part considéré que les déclarations écrites de M. G._, consistant en un procès-verbal d'audition devant le Tribunal arbitral et une attestation notariée, étaient suffisantes, tout en retenant, d'autre part, que ce procès-verbal était incomplet, que M. G._ était resté flou dans ses réponses et que l'attestation notariée n'apportait aucune précision supplémentaire.
5.1. Le droit d'être entendu découlant de l'art. 29 al. 2 Cst. comprend notamment le droit pour le justiciable d'obtenir qu'il soit donné suite à ses offres de preuve pertinentes (cf. <ref-ruling> consid. 2.3 p. 222; <ref-ruling> consid. 6.3.1 p. 299; <ref-ruling> consid. 3.2 p. 270). L'autorité peut cependant renoncer à procéder à des mesures d'instruction lorsque les preuves administrées lui ont permis de forger sa conviction et que, procédant d'une manière non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, elle a la certitude que ces dernières ne pourraient l'amener à modifier son opinion (ATF <ref-ruling> consid. 6.3.1 p. 299; <ref-ruling> consid. 2.2 p. 210). En d'autres termes, le refus d'instruire ne viole le droit d'être entendu des parties que si l'appréciation anticipée de la pertinence du moyen de preuve offert, à laquelle le juge a procédé, est entachée d'arbitraire (<ref-ruling> consid. 3.3 p. 64 et les références citées).
Il n'y a arbitraire (art. 9 Cst.) dans l'appréciation des preuves que si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a fait des déductions insoutenables (<ref-ruling> consid. 6 p. 358; <ref-ruling> consid. 2.3 p. 266; <ref-ruling> consid. 4.2 p. 234; <ref-ruling> consid. 4.2 p. 560), ce qu'il appartient à la partie recourante de démontrer.
5.2. L'audition de G._ a été écartée par la Cour de justice, qui a souligné qu'elle ne voyait pas en quoi ce que celle-ci pourrait apporter de nouveau au sujet du rapport fiduciaire allégué, dans la mesure où le contribuable lui-même refusait de fournir l'identité du fiduciant pour lequel il prétendait être intervenu, ni en quoi ce témoin pourrait pallier l'absence de documentation sur les opérations invoquées au vu de ses déclarations figurant à la procédure.
5.3. Une telle approche n'est nullement insoutenable. Il ne faut pas perdre de vue que les informations pertinentes permettant de tenir compte, sur le plan fiscal, d'un rapport fiduciaire tel qu'invoqué par le contribuable, supposent, en l'absence des contrats établissant la fiducie, la fourniture d'indications précises, établies par pièces et qui, en présence de relations internationales, doivent comporter l'indication de l'identité de la personne pour laquelle A.X._ prétendait détenir les actions (cf. infra consid. 8.1). Partant, le fait que des témoins attestent l'existence d'un rapport de fiducie n'est pas suffisant pour que la personne qui se prétend fiduciaire puisse fiscalement être libérée de toute imposition en lien avec les éléments en cause, étant rappelé que du point de vue du droit civil suisse, le détenteur fiduciaire de titres est réputé en être le propriétaire (cf. aussi infra consid. 8.1). Or, le recourant n'a lui-même jamais apporté d'éléments précis sur le rapport fiduciaire dont il se prévaut depuis des années, en présentant du reste différentes versions; il n'a pas davantage produit de pièces propres à attester clairement son existence, qui plus est durant la période déterminante en l'espèce de 2002 à 2008, et n'a surtout jamais fourni le nom de la ou des personnes pour laquelle il prétendait détenir les titres, faisant seulement état d'investisseurs étrangers très puissants qui auraient été les bénéficiaires économiques de la société panaméenne F._, dont il n'est pas contesté qu'il s'agit d'une société de domiciliation.
Concernant des informations que le contribuable est le mieux à même de connaître lui-même, puisqu'il prétend agir comme prête-nom, mais qu'il n'a jamais accepté de fournir durant les années qu'a duré la procédure, on ne voit pas en quoi il serait choquant de lui refuser l'audition d'un témoin censé soudainement éclairer les juges sur ces mêmes éléments. A cela s'ajoute que deux pièces à la procédure transcrivent par écrit les déclarations de G._ sur le sujet. La première pièce reproduit les propos du témoin cité devant un tribunal arbitral, dans un litige opposant le recourant à un autre actionnaire de la Banque; or, le recourant a choisi de ne produire que des extraits peu compréhensibles et caviardés de ce procès-verbal de déposition qui, selon les constatations cantonales dont le recourant ne prétend pas qu'elles seraient arbitraires sur ce point, n'apportaient aucun élément supplémentaire par rapport aux autres pièces produites. Le recourant a également fourni une attestation notariée de G._, confirmant l'acquisition par le contribuable d'un lot d'actions de la banque E._ en son nom, mais pour le compte de la société F._ et de son ayant droit économique dont il ne mentionnait toutefois pas le nom, précisant seulement qu'il s'agissait d'une personne physique domiciliée en France. On ne voit partant pas en quoi, comme G._ était resté vague dans les deux déclarations écrites déjà produites, dont l'une avait été caviardée et l'autre établie à la demande de l'intéressé, il serait choquant d'estimer qu'une nouvelle audition n'apporterait rien de plus.
On ne se trouve pas dans une situation similaire à celle de l'arrêt 2C_937/2013 du 6 juin 2014 évoqué par le recourant, dans lequel les juges avaient retenu une présomption de fait contre un contribuable, tout en lui refusant tout moyen de preuve. C'est ici, au contraire, après avoir apprécié les preuves déjà fournies par le recourant, en particulier les déclarations écrites du témoin en cause, que les juges ont refusé l'audition sollicitée, sur la base d'un raisonnement échappant à tout arbitraire.
6.
Invoquant une violation du droit d'être entendu, du droit à la preuve et l'arbitraire dans la détermination des faits, le recourant reproche à la Cour de justice d'avoir adopté une motivation nouvelle, sans lui avoir laissé l'occasion de se déterminer à ce sujet.
6.1. Le droit d'être entendu implique, lorsqu'une autorité envisage de fonder sa décision sur une norme ou un motif juridique non évoqué dans la procédure antérieure et dont aucune des parties en présence ne s'est prévalue et ne pouvait supputer la pertinence in casu, de donner au justiciable la possibilité de se déterminer à ce sujet (<ref-ruling> consid. 5b/bb p. 278, 126 I 19 consid. 2c/aa p. 22 et les références).
6.2. Le recourant voit une motivation juridique nouvelle dans le fait que, lors de la procédure de recours devant la Cour de justice, l'Administration cantonale s'était toujours référée aux rapports fiduciaires avec F._ sans jamais se soucier de savoir qui en était l'ayant droit économique. La Cour de justice aurait, selon le recourant, dû l'inviter à désigner cet ayant droit avant d'en tirer des conséquences juridiques. Une telle argumentation confine à la témérité. En effet, comme le démontre clairement la description du contentieux fiscal opposant depuis des années le recourant à l'Administration cantonale et reproduit de manière pertinente dans l'arrêt attaqué, le caractère fiduciaire de la détention des actions de la banque E._ a été discuté depuis 1999; l'enjeu était certes de déterminer l'existence de la fiducie, mais celle-ci supposait aussi, pour être reconnue fiscalement, l'identification du véritable bénéficiaire économique de cette relation. Le recourant, qui a toujours affirmé agir à titre fiduciaire, n'a jamais révélé l'identité de celui-ci, bien que, depuis longtemps, son attention ait été attirée sur ce point. Ainsi, il ressort de la décision entreprise que l'Administration cantonale, déjà dans des courriers des 28 juillet 2005 et 16 novembre 2007, avait indiqué au recourant qu'elle n'avait pas été en mesure de vérifier les explications qu'il avait données au sujet du réel propriétaire des titres. Au demeurant, si celui-ci avait été C._ Trust (comme le prétendait initialement le recourant), elle aurait considéré que les actions faisaient partie du patrimoine du contribuable. L'importance de la désignation du titulaire économique de l'entité détenant les titres, afin d'exclure qu'il puisse s'agir du contribuable lui-même, était donc connue du recourant depuis une dizaine d'années. Celui-ci ayant indiqué, dans sa dernière version des événements, que le propriétaire juridique des titres était F._, soit une société de domiciliation panaméenne, la détermination de son titulaire économique apparaît comme un motif juridique dont la pertinence ne pouvait échapper au recourant.
En se fondant sur cette approche juridique sans donner expressément l'occasion au recourant de fournir l'identité du titulaire économique de F._, la Cour de justice n'a donc violé ni l'art. 29 al. 2 Cst. ni l'art. 9 Cst.
7.
Invoquant à la fois une violation du droit et l'arbitraire dans l'établissement des faits, le recourant se plaint du refus de la Cour de justice d'admettre l'existence d'un rapport fiduciaire déterminant sur le plan fiscal. Il se demande cependant si la question relève des faits ou du droit.
7.1. Déterminer les circonstances propres à établir l'existence d'un contrat relève des faits (cf. arrêt 2C_416/2013 précité consid. 10.3.2 non publié in <ref-ruling>, mais in RF 69/2014 p. 152). En revanche, savoir quelle est la qualification juridique d'un contrat et en déterminer les conséquences, notamment fiscales, pour les parties, sont des questions qui relèvent du droit. Ainsi, savoir qui doit être tenu pour propriétaire d'actions détenues à titre fiduciaire et qui doit être imposé à ce titre est une question qui ne ressortit pas aux faits mais au droit (arrêt 2C_785/2013 du 28 mai 2014 consid. 4.5, in RDAF 2014 II 470, RF 69/2014 p. 708).
Ce n'est donc que dans la faible mesure où le recourant s'en prend aux circonstances de fait à l'origine de son imposition qu'il convient d'examiner ses griefs sous l'angle de l'arbitraire. Les autres critiques relèvent du droit et seront examinées ci-après.
7.2. Le recourant se fonde sur les éléments factuels qu'il avait allégués en lien avec les griefs liés à la violation de son droit d'être entendu. Ces éléments, qui s'écartent des constatations cantonales en partant de la prémisse erronée d'une violation de l'art. 29 al. 2 Cst., ne peuvent être pris en compte.
Lorsque le recourant s'en prend à l'appréciation faite par la Cour de justice de la sentence arbitrale et lui reproche de s'en être écartée en ne retenant pas l'existence d'une relation fiduciaire, il critique la portée juridique donnée à cette décision, ce qui relève du droit. Au surplus, il perd de vue que les juges précédents n'ont pas totalement exclu l'existence d'une convention fiduciaire, mais qu'ils ont considéré que les éléments justifiant, sous l'angle fiscal, en présence d'un tel accord, de ne pas imposer le recourant n'étaient pas réunis. Le recourant a donc tort lorsqu'il affirme que la Cour de justice s'est écartée sans motifs et arbitrairement de la sentence arbitrale. Quant à savoir si, sur le plan fiscal, il était justifié de ne pas libérer le recourant de toute imposition, malgré la relation fiduciaire invoquée, il s'agit d'une question de droit qui sera examinée ci-après.
Lorsque le recourant conteste que l'identité de l'ayant droit économique de F._ ait été pertinente sous l'angle du droit fiscal, sa critique relève du droit. Relève en revanche des faits l'affirmation selon laquelle c'est arbitrairement que la Cour de justice a retenu qu'il n'avait pas apporté cette preuve. Ce faisant, le recourant se méprend, dès lors qu'il fournit des éléments qui, selon lui, démontreraient qu'il n'est lui-même pas le détenteur économique de F._. Outre que ces éléments ne démontrent pas l'arbitraire de l'appréciation de la Cour de justice, il perd de vue que, sur le plan fiscal, en lien avec une société de domiciliation dont le siège est à l'étranger, en l'occurrence au Panama, l'identité de son ayant droit économique est exigée (cf. infra consid. 8.1) et le contribuable ne l'a jamais fournie.
Le recourant admet que les relations fiduciaires sur lesquelles il se fonde étaient en principe échues à la fin de l'année 2002. Il soutient toutefois que, contrairement à ce qu'avait retenu la Cour de justice, ces accords avaient été tacitement prolongés jusqu'en 2008. Ce faisant, il se contente de présenter sa propre interprétation des faits, mais sans aucunement démontrer en quoi l'approche figurant dans l'arrêt attaqué serait insoutenable. Il en va de même s'agissant du montant des actions que le recourant soutenait détenir à titre fiduciaire.
C'est par conséquent sur la base des faits ressortant de l'arrêt attaqué qu'il convient de vérifier si la Cour de justice a correctement appliqué le droit.
III. Impôt fédéral direct
8.
S'agissant de l'impôt fédéral direct, le litige se limite à savoir si c'est à juste titre que les dividendes provenant des actions de la banque E._ détenues par le recourant ont été imposés à titre de revenu auprès de celui-ci en tant que rendement de sa fortune mobilière pour les années fiscales 2002 à 2008 (cf. art. 20 al. 1 let. c LIFD dans sa version antérieure au 1er janvier 2009). Cette question suppose d'examiner si l'on peut ou non tenir compte, sur le plan fiscal, de la relation fiduciaire dont le recourant se prévaut pour s'opposer à son imposition.
8.1. En principe, en matière d'IFD, les autorités fiscales peuvent imputer les rapports de droit et leurs conséquences juridiques au contribuable dont le nom apparaît, sous réserve d'une contre-preuve. Selon le cours ordinaire des choses, un accord conclu en son propre nom est réputé l'avoir été pour son propre compte. L'existence à titre exceptionnel d'un rapport fiduciaire impose donc au contribuable qui entend s'en prévaloir, en tant que facteur diminuant son imposition, d'en apporter la preuve. L'affirmation selon laquelle une relation juridique conclue en son propre nom l'a été pour le compte d'un tiers ne sera prise en compte que si le contribuable parvient à démontrer sans discussion possible le rapport fiduciaire (arrêts 2C_24/2014 du 29 janvier 2015 consid. 4.3.1, in StE 2015 B 72.11 Nr. 24; 2C_387/2007 du 4 mars 2008 consid. 4.2, in StE 2008 B 24.1 Nr. 5; arrêt 2A.204/1997 du 26 mai 1999 consid. 3a, in Archives 68 p. 746). A défaut d'une telle preuve, on ne peut reprocher à l'autorité de conclure que toute somme d'argent reçue par une personne en son nom propre l'a enrichie (arrêt 2C_1014/2013 du 22 août 2014 consid. 9.2 non publié aux <ref-ruling> mais in Pra 2015/54 p. 424).
Ce n'est donc qu'en présence d'une convention de fiducie reconnue et à certaines conditions que les autorités fiscales admettent d'imposer les biens ou les droits détenus, ainsi que les rendements qui en découlent, auprès du fiduciant en sa qualité de réel détenteur économique des biens ou droits faisant l'objet du contrat (arrêt 2C_785/2013 du 28 mai 2014 consid. 4.5 et les références, in RF 69/2014 p. 708, RDAF 2014 II 470). Cette approche restrictive se justifie, car elle revient à permettre au fiduciaire de ne pas être imposé sur le revenu de titres bien que, sur le plan du droit civil suisse, il soit considéré comme propriétaire des biens ou des droits qui lui ont été transférés à titre fiduciaire (<ref-ruling> consid. 3.4 p. 426 s.; <ref-ruling> consid. 3b p. 430 ss). Pour sa part, le fiduciant a une créance personnelle en restitution des biens propriété du fiduciaire. Le fait que le fiduciaire détient les actions pour le compte et aux risques du fiduciant ne change donc rien à la qualité de propriétaire du fiduciaire au regard du droit civil (arrêts 8C_642/2015 du 6 septembre 2016, consid. 6, in DTA 2016 p. 239; 2C_785/2013 du 28 mai 2014 consid. 4.5 et les références citées, in RDAF 2014 II 470).
Il découle d'une notice sur les rapports fiduciaires de l'Administration fédérale des contributions d'octobre 1967 (consultable à l'adresse www.estv.admin.ch, rubrique Impôt anticipé/Droits de timbre /Notices/S-02.107), à laquelle le Tribunal fédéral se réfère pour établir si les conditions permettant de tenir compte d'un rapport fiduciaire sur le plan du droit fiscal sont réunies (cf. notamment arrêts précités 2C_24/2014 consid. 4.3.1; 2C_785/2013 consid. 4.5 et 2C_387/2007 consid. 4.3), qu'il faut que le contribuable produise le contrat écrit de fiducie, qui doit indiquer notamment l'identité et l'adresse du fiduciant (cf. notice précitée p. 1). L'absence de contrat écrit n'est pas forcément pour elle-même déterminante, à condition toutefois que d'autres éléments prouvent de manière évidente que la personne a agi pour le compte d'un tiers (arrêts 2C_416/2013 précité consid. 10.3.2 non publié in <ref-ruling> mais in RF 69/2014 p. 152; 2C_1120/2012 du 1er mai 2013 consid. 3.2.2; 2C_499/2011 du 9 juillet 2012 consid. 4.2, in RDAF 2012 II 450). Lorsque, comme en l'espèce, des relations internationales sont en jeu, cette preuve doit reposer sur des exigences strictes, car ces relations sont largement soustraites au contrôle des autorités nationales (arrêt 2C_24/2014 précité consid. 4.3.2 et les arrêts cités). Il en découle en particulier que, lorsqu'une société de domiciliation sise à l'étranger est utilisée, le fiduciaire qui entend échapper à l'imposition en regard du droit suisse et qui ne produit pas de contrat, ne peut se dispenser d'indiquer qui en est le bénéficiaire économique, ce qui correspond à l'identité du fiduciant.
8.2. En l'occurrence, il ressort des constatations cantonales, établies sans arbitraire ni violation du droit d'être entendu (cf. supra consid. 5 à 7), que le recourant a toujours affirmé avoir agi à titre fiduciaire, mais sans jamais produire de contrat écrit. Pour admettre, sur le plan fiscal, de ne pas imposer le recourant sur les actions acquises et détenues en son nom, il eût donc fallu que la preuve stricte d'une relation fiduciaire soit établie. Il se trouve que l'arrêt attaqué retient que le recourant n'a produit aucune documentation établissant expressément et directement qu'entre 2002 et 2008, il était lié par un contrat de fiducie avec un tiers dont il n'a par ailleurs pas établi l'existence et l'identité.
8.3. Parmi les éléments que le recourant devait fournir figure en particulier l'identité du bénéficiaire économique du rapport fiduciaire. Or, rien dans l'arrêt attaqué ne permet de tenir ces informations pour établies. Conformément à la jurisprudence précitée, il ne suffisait pas au recourant d'indiquer, fût-ce de manière crédible, qu'il agissait pour le compte d'un trust aux Bermudes dont il était lui-même bénéficiaire avec sa famille, ou d'une société de domiciliation panaméenne, pour échapper à toute imposition. Il lui fallait encore démontrer qui était le véritable bénéficiaire économique des titres qu'il prétendait détenir pour le compte de tiers, ce que le recourant n'a jamais fait, durant toutes les années qu'a duré la procédure. A cela s'ajoute que, toujours selon l'arrêt attaqué, les documents sur lesquels le recourant se fonde étaient formellement échus depuis la fin de l'année 2002 et qu'il n'était pas en mesure de démontrer de manière claire qu'ils auraient été renouvelés.
En pareilles circonstances, on ne peut reprocher à la Cour de justice d'avoir violé le droit fédéral en estimant que la relation fiduciaire invoquée par le recourant ne pouvait être prise en compte sur le plan fiscal pour les années 2002 à 2008 et que, partant, le contribuable devait être imposé sur les dividendes versés par la banque E._ aux détenteurs de ces titres en vertu de la LIFD.
IV. Impôt cantonal et communal
9.
Les principes exposés en matière d'IFD relatifs aux conditions à réunir par le contribuable pour qu'un rapport fiduciaire allégué puisse justifier, sous l'angle du droit fiscal, la non-imposition du fiduciaire valent également s'agissant de l'ICC (arrêt 2C_416/2013 précité consid. 11.4). Partant, la prise en compte des dividendes dans le revenu imposable du recourant et des actions de la banque E._ dans sa fortune imposable est conforme au droit (cf. <ref-law>, dans sa version antérieure au 1er janvier 2009, et 13 LHID, ainsi que les lois cantonales en vigueur durant les périodes considérées, en particulier l'ancienne loi genevoise sur l'imposition des personnes physiques - Impôt sur le revenu (revenu imposable) du 22 septembre 2000 (aLIPP-IV) et l'ancienne loi genevoise sur l'imposition des personnes physiques - Impôt sur la fortune du 22 septembre 2000 (aLIPP-III).
V. Conséquences, frais et dépens
10.
Les considérants qui précèdent conduisent au rejet du recours, tant en matière d'IFD que d'ICC pour les périodes fiscales 2002 à 2008. Succombant, le recourant supportera les frais judiciaires (<ref-law>). Il n'y a pas lieu d'allouer de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Les causes 2C_148/2016 et 2C_149/2016 sont jointes.
2.
Le recours est rejeté en ce qu'il concerne l'impôt fédéral direct 2002 à 2008.
3.
Le recours est rejeté en ce qu'il concerne l'impôt cantonal et communal 2002 à 2008.
4.
Les frais judiciaires, arrêtés à 20'000 fr., sont mis à la charge du recourant.
5.
Le présent arrêt est communiqué au mandataire du recourant, à l'Administration fiscale cantonale du canton de Genève, à la Cour de justice de la République et canton de Genève, Chambre administrative, 2ème section, et à l'Administration fédérale des contributions.
Lausanne, le 25 août 2017
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
La Greffière: Vuadens