Faits:
A.
B._ et A._, divorcés depuis le 17 mai 2011, ont été inscrits au rôle des contribuables à C._ pendant les années 2001 à 2003; ils ont quitté cette ville en 2003 à destination de la Grande-Bretagne. Ils se sont réinstallés en Suisse le 9 mars 2004, à D._ (VS). Par courrier du 1er mars 2005, communiqué à l'adresse de leur chalet à D._, l'Administration fiscale cantonale du canton de Genève (ci-après: l'Administration fiscale cantonale ou le fisc) a informé les intéressés de l'ouverture d'une procédure en rappel d'impôts portant sur les périodes fiscales 2001B à 2003 concernant l'impôt cantonal et communal et l'impôt fédéral direct et a sollicité de leur part la production de divers documents et renseignements. Ce courrier a fait l'objet d'un rappel recommandé du 6 avril 2005, expédié à la même adresse, avec menace de taxation d'office et d'amende à défaut de production des documents requis.
Le 14 avril 2005, Me E._, avocat au sein de l'étude F._ (ci-après: l'étude F._), à C._, a indiqué à l'Administration fiscale cantonale que deux des trois pièces requises, soit l'attestation relative à la situation d'un compte ouvert auprès de "G._ Ltd" au 31 décembre 2001 et la déclaration d'impôt 2003 des époux A._ et B._ seraient transmises par Mme H._, collaboratrice auprès de la société I._ SA (ci-après: la fiduciaire I._), à C._. Celle-ci, sous la signature de H._ et de K._, a remis les documents requis le 6 mai 2005, en précisant que la déclaration d'impôt 2003 n'était pas encore signée par les contribuables. La version signée a été produite le 24 mai 2005. Le 1er juin 2005, Me E._, répondant à une demande de renseignements complémentaires de l'Administration fiscale cantonale du 23 mai 2005, a indiqué : " Nous vous remercions de bien vouloir prendre note que Mme H._ de I._ Ltd à C._ donnera suite à vos demandes de renseignements complémentaires et vous remercions en conséquence de bien vouloir adresser toute correspondance en relation avec les affaires fiscales des époux A._ et B._ concernant les années et impôts visés sous rubrique directement à Mme H._, I._ Ltd ". Du 20 mai 2005 au 24 novembre 2008, l'Administration fiscale cantonale et la fiduciaire I._ ont échangé plusieurs courriers relatifs à diverses requêtes de renseignements complémentaires formulées par le fisc.
B.
Le 19 juin 2009, l'Administration fiscale cantonale, par pli recommandé adressé à la fiduciaire I._, a relevé que la procédure en rappel d'impôts et la procédure pénale en soustraction d'impôts, pour les années fiscales 2001B à 2002, étaient achevées et qu'elle avait procédé à la taxation 2003. Elle a transmis différents bordereaux de rappels d'impôts (périodes fiscales 2001B et 2002), d'impôts (période fiscale 2003) et d'amendes (périodes fiscales 2001B à 2003) concernant les époux A._ et B._.
Le 22 juin 2010, l'Office des poursuites du district d'Entremont (VS) a notifié aux contribuables, à la requête de l'Administration fiscale cantonale, neuf commandements de payer portant sur les créances fiscales résultat des bordereaux mentionnés ci-dessus. Le 23 juin 2010, Me L._, avocat au sein de l'étude F._, a requis de l'Office des poursuites la transmission des moyens de preuve afférents aux créances faisant l'objet des poursuites notifiées à son client, A._. L'Office les lui a faits parvenir par courrier du 1er juillet 2010, après les avoir réclamés auprès de l'Administration fiscale cantonale. En date du 2 août 2010, A._, agissant par l'intermédiaire de Mes L._ et M._, de l'étude F._, a élevé réclamation, par trois actes distincts, à l'encontre des bordereaux de rappels d'impôts, d'impôts et d'amendes pour les périodes fiscales 2001B à 2003. Il a conclu au constat de la nullité de leur notification, à la recevabilité des réclamations et à la rectification des taxations après instruction. A teneur de deux décisions du 10 septembre 2010 de même contenu, l'une relative à l'impôt cantonal et communal, l'autre à l'impôt fédéral direct, l'Administration fiscale cantonale a rejeté les réclamations, qu'elle a considérées comme tardives.
C.
Par deux actes séparés du 15 octobre 2010, A._ a recouru contre les décisions sur réclamation de l'Administration fiscale cantonale auprès de la Commission cantonale de recours administrative du canton de Genève, dont les compétences ont été reprises dès le 1er janvier 2011 par le Tribunal administratif de première instance du canton de Genève (ci-après: le Tribunal administratif de première instance) en concluant à l'annulation des dites décisions et au renvoi de la cause à l'Administration fiscale cantonale pour qu'elle se prononce sur le fond. Le recours a été rejeté par le Tribunal administratif de première instance le 24 septembre 2012.
D.
Saisie d'un recours dirigé par A._ contre le jugement précité du Tribunal administratif de première instance, la Cour de justice du canton de Genève, Chambre administrative, 2ème section (ci-après: la Cour de justice) l'a rejeté, par arrêt du 30 avril 2013. Elle a considéré, en substance, que la décision du 19 juin 2009, accompagnée des bordereaux litigieux, avait dûment été notifiée aux contribuables par l'intermédiaire de leur fiduciaire, la fiduciaire I._, que le pouvoir de représentation de celle-ci existait toujours le 19 juin 2009 et que la constitution d'un avocat ou d'un autre mandataire qualifié entraînait la création d'un domicile de notification à leur adresse, sauf indication contraire du contribuable, de l'avocat ou du mandataire.
E.
A l'encontre de l'arrêt de la Cour de justice du 30 avril 2013, A._ forme auprès du Tribunal fédéral deux recours en matière de droit public, l'un en matière d'impôts cantonal et communal (affaire 2C_577/2013), l'autre en matière d'impôt fédéral direct (affaire 2C_578/2013). Il conclut, avec suite de frais et dépens, à l'annulation de l'arrêt attaqué, au constat du dépôt en temps utile des réclamations du 2 août 2010 et au renvoi de la cause à l'Administration fiscale cantonale pour qu'elle se prononce sur le fond de l'affaire, ainsi qu'à l'octroi de l'effet suspensif à titre préalable. Il invoque la violation du droit d'être entendu et du principe de l'interdiction de l'arbitraire dans l'établissement des faits, l'appréciation des preuves et l'application du droit cantonal, ainsi que la violation des garanties constitutionnelles propres à la procédure pénale et des dispositions fédérales en matière de représentation et de notification des décisions fiscales.
La Cour de justice s'en rapporte à justice quant à la recevabilité du recours et persiste dans les considérants et le dispositif et de son arrêt du 30 avril 2013. L'Administration fiscale cantonale et l'Administration fédérale des contributions concluent au rejet du recours. Dans ses observations sur les déterminations des autres participants à la procédure, A._ a maintenu ses conclusions.
F.
Par ordonnance du 27 juin 2013, le Président de la IIe Cour de droit public du Tribunal fédéral a rejeté la requête d'effet suspensif.

Considérant en droit:
1.
1.1. Le Tribunal fédéral examine d'office sa compétence (<ref-law>). Il contrôle donc librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 43; <ref-ruling> consid. 1 p. 103).
1.2. Le Tribunal cantonal a rendu un seul arrêt valant pour les impôts cantonal et communal, d'une part, et pour l'impôt fédéral direct, d'autre part, ce qui est admissible, dès lors que les questions juridiques à trancher sont réglées de la même façon pour ces deux catégories d'impôts (<ref-ruling> consid. 1.3.1 p. 262). On ne peut cependant pas reprocher au recourant d'avoir formé deux recours distincts contenant les mêmes griefs et les mêmes conclusions dans les deux cas. Par souci d'unification par rapport à d'autres cantons dans lesquels deux arrêts sont rendus, la Cour de céans a ouvert deux dossiers, l'un concernant les impôts cantonal et communal (2C_577/2013) et l'autre l'impôt fédéral direct (2C_578/2013). Comme l'état de fait est identique et que les questions juridiques se recoupent, les deux causes seront néanmoins jointes et il sera statué dans un seul arrêt (<ref-law> et 24 PCF [RS 273]).
1.3. Les deux recours sont dirigés contre une décision finale (cf. <ref-law>) rendue dans une cause de droit public (cf. <ref-law>) par une autorité cantonale supérieure de dernière instance (cf. art. 86 al. 1 let. d et al. 2 LTF). Déposés en temps utile ( cf. art. 100 al. 1 et 46 al. 1 let. a LTF) par le destinataire de la décision attaquée qui a un intérêt digne de protection à l'annulation ou à la modification de celle-ci (cf. <ref-law>), ils sont donc en principe recevables comme recours en matière de droit public - au sens des 82 ss LTF - s'agissant des deux catégories d'impôts (cf. <ref-law>, <ref-law> et <ref-ruling> consid. 1.3 p. 188 s.).
2.
2.1. Aux termes de l'<ref-law>, le recourant ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 4.3 p. 62) - ou en violation du droit au sens de l'<ref-law>, et si la correction du vice est susceptible d'influer sur le sort de la cause, ce que le recourant doit rendre vraisemblable par une argumentation répondant aux exigences des art. 42 al. 2 et 106 al. 2 LTF (cf. <ref-ruling> consid. 5.1 p. 356; <ref-ruling> consid. 1.2 p. 511), faute de quoi il n'est pas possible de tenir compte d'un état de fait qui diverge de celui contenu dans l'acte attaqué. Le Tribunal fédéral n'examine la violation de droits fondamentaux, parmi lesquels figure l'interdiction de l'arbitraire tiré de l'art. 9 Cst., que si ce grief a été invoqué et motivé par le recourant.
2.2. Invoquant l'art. 9 Cst., le recourant soutient que l'instance précédente a établi les faits de manière arbitraire en omettant de retenir que les sommations relatives aux bordereaux de rappels d'impôts pour les années 2001 à 2003 lui avaient été adressées par courrier du 24 août 2009 à son adresse à Londres et par courrier du 23 novembre 2009 à son adresse à D._. Elle n'aurait pas non plus relevé que neuf mois s'étaient écoulés entre la dernière réponse donnée par la fiduciaire à l'Administration fiscale cantonale et le prétendu envoi du 19 juin 2009. Il ajoute que ces faits avaient été valablement allégués et établis en procédure cantonale. Il soutient enfin que ces faits étaient propres à démontrer qu'au sein de l'administration fiscale, il existait une incertitude avérée quant à l'adresse de notification du recourant, qui aurait dû l'amener à vérifier l'existence de l'élection de domicile.
Il est vrai que l'arrêt attaqué ne fait pas mention des courriers des 24 août 2009 et 23 novembre 2009, dont l'existence a été dûment alléguée et prouvée par le recourant en procédure de recours devant le Tribunal administratif de première instance (ch. 12 du mémoire de recours du 13 octobre 2010) et devant la Cour de justice (ch. 7 du mémoire de recours du 2 novembre 2012) du canton de Genève. Il n'est en revanche pas rendu vraisemblable que des courriers postérieurs, postés par l'Office des poursuites d'Entremont en Valais plus de trente jours - soit après l'écoulement du délai pour déposer réclamation - après la notification litigieuse du 19 juin 2009, qui était le fait de l'Administration fiscale du canton de Genève, permettent d'établir l'incertitude, alléguée par le recourant, qui aurait été celle de dite Administration à cette date quant à l'adresse de notification. Le grief est rejeté. Il en va de même du délai de neuf mois entre le dernier courrier adressé à la fiduciaire et la notification du 19 juin 2009.
2.3. Le recourant se plaint également de ce que l'instance précédente a établi les faits de manière arbitraire en ne retenant pas que la pièce produite le 5 décembre 2012 sous n° 34 du bordereau par l'Administration fiscale cantonale indiquait que l'envoi ne contenait qu'une seule page.
Le recourant ne démontre pas à cet égard qu'il aurait lui-même, ou à son défaut, l'Administration fiscale cantonale, dûment allégué, conformément aux règles de la procédure cantonale, que la pièce produite le 5 décembre 2012 indiquait que l'envoi ne contenait qu'une seule page. L'Administration fiscale cantonale n'a en effet cherché à alléguer et à démontrer que le nom de l'expéditeur et des destinataires de l'envoi recommandé du 19 juin 2009. Il ne fait pas non plus la démonstration, comme l'exige l'<ref-law>, que l'instance précédente serait tombée dans l'arbitraire en ignorant cet élément de fait. Ce grief est irrecevable.
3.
Le recourant fait valoir, pour l'essentiel, que la Cour de justice ne s'est pas prononcée sur la question de la preuve du contenu de l'envoi recommandé du 19 juin 2009 contenant la décision et les bordereaux en matière de rappels d'impôts (périodes fiscales 2001B et 2002) de taxation (période fiscale 2003) et de prononcés d'amendes (périodes fiscales 2001B à 2003), violant ainsi son droit d'être entendu sous l'angle du droit à l'obtention d'une décision dûment motivée. Il se plaint en outre d'arbitraire dans l'appréciation des preuves dans la mesure où la Cour de justice a considéré que la lettre de Me E._ du 1er juin 2005 invitant l'Administration fiscale cantonale à s'adresser à la fiduciaire I._ habilitait celle-ci à recevoir les décisions formelles relevant de la procédure administrative. Il relève également qu'en tout état de cause, la fiduciaire I._ n'avait reçu aucun mandat ni ne bénéficiait d'aucune élection de domicile en ce qui concernait la procédure pénale pour soustraction dirigée contre lui. Enfin, il se plaint de ce que la procédure en soustraction n'a pas été conduite conformément aux garanties conventionnelles et constitutionnelles en matière pénale.
La présente cause porte par conséquent d'abord sur l'étendue des pouvoirs de représentation de la fiduciaire I._ vis-à-vis des autorités fiscales cantonales. La question se pose de savoir si l'instance précédente pouvait juger que l'Administration fiscale cantonale était en droit de notifier au recourant à l'adresse de la fiduciaire une décision formelle portant sur des rappels d'impôts, une taxation et des prononcés d'amendes. Ce n'est qu'en cas de réponse positive qu'il incombera au Tribunal fédéral de se prononcer sur la preuve du contenu de l'envoi adressé à la fiduciaire.
4.
Le recourant soutient ensuite que l'Instance précédente a apprécié de manière arbitraire les preuves (sur cette notion: cf. <ref-ruling> consid. 4.2 p. 560) en sortant de son contexte la partie de la lettre du 1er juin 2005 qui indiquait que la fiduciaire I._ était " chargée de traiter directement le dossier fiscal et que toute communication en rapport avec les années et les impôts litigieux devait dorénavant lui être adressée. " Elle aurait ainsi omis de tenir compte du fait que cette lettre avait été envoyée à propos de demandes de renseignements complémentaires de l'Administration fiscale cantonale.
Il ressort des faits de l'arrêt attaqué, sous chiffre 10, que le courrier du 23 mai 2005 entre l'Administration fiscale cantonale et les contribuables avait pour objet la transmission de " divers documents supplémentaires " et l'obtention de " divers autres renseignements " L'arrêt attaqué expose ensuite, sous chiffre 12, que le courrier du 1er juin 2005 constituait une réponse au courrier du 23 mai 2005. Il apparaît ainsi que l'Instance précédente a bien pris en considération le contexte dans lequel le courrier du 1er juin 2005 a été envoyé. La portée qu'il convenait d'accorder à ces courriers en relation avec la validité de la notification du 19 juin 2009 est pour le surplus une question de droit.
5.
Le recourant se plaint de la violation de son droit d'être entendu. Il est d'avis que l'instance précédente ne s'est pas prononcée sur le grief qu'il avait formulé en relation avec la preuve du contenu de l'envoi recommandé du 19 juin 2009.
5.1. Le droit d'être entendu garanti par l'art. 29 al. 2 Cst. implique notamment pour l'autorité l'obligation de motiver sa décision. Selon la jurisprudence, il suffit que le juge mentionne, au moins brièvement, les motifs qui l'ont guidé et sur lesquels il a fondé sa décision, de manière à ce que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause. L'autorité n'a pas l'obligation d'exposer et de discuter tous les faits, moyens de preuve et griefs invoqués par les parties, mais elle peut au contraire se limiter à ceux qui lui paraissent pertinents (<ref-ruling> consid. 3.2 p. 270; <ref-ruling> consid. 5.2 p. 236; <ref-ruling> consid. 4.1 p. 88; <ref-ruling> consid. 3.3 p. 445 et les arrêts cités).
5.2. Dans son mémoire de recours du 2 novembre 2012, le recourant a fait valoir que le contenu de l'envoi recommandé du 19 juin 2009 n'avait pas été établi. Il invitait l'instance précédente à faire application des principes développés par la jurisprudence du Tribunal fédéral (arrêt 8C_389/2007) s'agissant de la démonstration que toute administration devait faire du contenu de ses envois (mémoire de recours, p. 13 s.).
Le considérant 7 de l'arrêt attaqué expose qu'il s'agit de déterminer à quel moment la décision du 19 juin 2009 et les dix bordereaux de taxation et d'amendes qui étaient annexés ont été notifiés aux contribuables et y répond en jugeant ce document " valablement parvenu " à la fiduciaire (arrêt attaqué consid. 7 in fine). Il s'ensuit que le recourant pouvait comprendre que l'instance précédente ne mettait pas en doute la présomption que l'envoi recommandé contenait les documents désignés par l'Administration fiscale cantonale.
Au demeurant, au vu des seuls faits dont elle devait tenir compte (cf. consid. 2.3), l'instance précédente n'avait aucune raison de douter du contenu de l'envoi du 19 juin 2009. Enfin, si l'envoi recommandé du 19 juin 2009 n'avait véritablement contenu qu'une seule page, comme l'allègue le recourant, il appartenait, à lui-même ou à sa fiduciaire, d'en décrire le contenu et de signaler à l'expéditeur le caractère incomplet du courrier, ce qui n'a pas été fait. Le grief est rejeté.
I. Impôt fédéral direct
6.
Sur le fond, le recourant conteste avoir valablement élu domicile auprès de la fiduciaire I._.
6.1. Selon l'art. 116 al. 1 de la loi sur l'impôt fédéral direct du 14 décembre 1990 (LIFD; RS 642.11), les décisions et les prononcés sont notifiés au contribuable par écrit et doivent indiquer les voies de droit. A teneur de l'<ref-law>, le contribuable peut se faire représenter contractuellement devant les autorités chargées de l'application de la loi, dans la mesure où sa collaboration personnelle n'est pas nécessaire (al. 1). Toute personne ayant l'exercice des droits civils et jouissant de ses droits civiques peut valablement représenter le contribuable. L'autorité peut exiger du représentant qu'il justifie de ses pouvoirs de représentation en produisant une procuration écrite (al. 2). La loi sur l'impôt fédéral direct ne contient pas de disposition réglant la représentation contractuelle dans la procédure de taxation et l'élection d'un domicile de notification.
En vertu des règles générales, la preuve de l'existence d'un rapport de représentation valable et de sa communication correcte aux autorités fiscales incombe au contribuable. A défaut d'une procuration écrite clairement libellée, on n'admettra l'existence d'un rapport de représentation, ne serait-ce qu'en raison du secret fiscal, que si l'on peut inférer des circonstances que le contribuable a manifesté sans ambiguïté la volonté de conférer des pouvoirs de représentation à un tiers. Sinon, la présomption naturelle que des pouvoirs de représentation n'ont pas été conférés s'applique et il faut notifier les décisions au contribuable lui-même (arrêt 2A.451/1996 du 21 mai 1997 in Archives 67 391 et RDAF 1999 II 440, consid. 2a).
6.2. En l'espèce, il résulte des courriers échangés du 6 avril 2005 au 23 mai 2005 entre l'avocat des contribuables et l'Administration fiscale cantonale que ceux-ci avaient bien donné procuration à leur avocat pour s'occuper de leurs affaires fiscales. Et, bien que l'avocat ait écrit à l'Administration fiscale cantonale le 14 avril 2005 qu'il la remerciait de prendre note que Madame H._, collaboratrice de I._ à C._, se chargeait de faire parvenir directement les documents sollicités, l'Administration fiscale cantonale s'est régulièrement et dûment adressée à cet avocat. Il résulte de ce qui précède que ce dernier, contrairement à ce qu'affirme le recourant, était bien son mandataire professionnel en matière fiscale et plus précisément en ce qui concernait l'augmentation de fortune entre 2001 et 2002 ainsi qu'en ce qui concernait la déclaration fiscale 2003 qui n'avait pas encore été déposée. Le recourant doit donc se laisser imputer les actes de son mandataire professionnel.
Dans ce contexte, lorsque le 1er juin 2005, le conseil des contribuables a écrit, par fax et pli simple, à l'Administration fiscale: « Nous vous remercions de bien vouloir prendre note que Mme H._ de I._ à C._ donnera suite à vos demandes de renseignements complémentaires et vous remercions en conséquence de bien vouloir adresser toute correspondance en relation avec les affaires fiscales des époux A._ et B._ concernant les années et impôts visés sous rubrique directement à Mme H._, I._, [...] C._», cette dernière a compris à bon droit le courrier du 1er juin 2005 comme une élection de domicile. En effet, elle savait déjà depuis le 14 avril 2005 que I._ se chargeait de faire parvenir les documents relatifs aux affaires fiscales du recourant. Aussi, lorsqu'elle a reçu le courrier du 1er juin 2005 qui faisait désormais référence à une nouvelle adresse et à " toute correspondance ", alors que celle-ci passait auparavant par l'avocat, l'Administration fiscale cantonale pouvait et devait comprendre que la fiduciaire était valablement constituée par le mandataire professionnel et que le courrier du 1er juin 2005 valait élection de domicile. Ayant été adressées à la fiduciaire, les décisions en matière d'impôt fédéral direct ont été valablement notifiées le 19 juin 2009. Le grief est rejeté.
6.3. Le grief de violation des garanties constitutionnelles propres à la procédure pénale (art. 32 al. 2 Cst. et 6 par. 3 let. a CEDH) que le recourant formule pour la première fois devant le Tribunal fédéral est irrecevable. En effet, il porte sur une question qui n'a pas fait l'objet du litige devant l'instance précédente. Celle-ci s'est bornée à examiner si les décisions fiscales avaient été valablement notifiées le 19 juin 2009. Au surplus, en jugeant que la notification avait été valablement effectuée le 19 juin 2009, l'Instance précédente a confirmé que les décisions litigieuses étaient entrées en force de chose jugée une fois passé le délai de trente jours pour déposer une réclamation à leur encontre. Il s'ensuit que, formulé hors du délai de réclamation, le grief est en outre tardif.
6.4. Le recours est par conséquent rejeté dans la mesure où il est recevable en tant qu'il concerne l'impôt fédéral direct des périodes fiscales 2001B à 2003.
II. Impôts cantonal et communal
7.
Les dispositions légales cantonales en matière de représentation des contribuables (art. 20 al. 1 de la loi de procédure fiscale du 4 octobre 2001 [LPFisc; RSGE D 317] et art. 9 al. 1 de la loi sur la procédure administrative du 12 septembre 1985 [LPA/GE; RSGE E 5 10]) et de notification des décisions de taxation (art. 4, 19 al. 1 LPFisc et 46 al. 2 LPA/GE) reprennent le contenu des dispositions correspondantes de la loi sur l'impôt fédéral direct. Les considérations émises pour cet impôt s'appliquent ainsi a fortiori, sous l'angle de l'arbitraire, aux impôts cantonaux et communaux, également en ce qui concerne l'appréciation des preuves par l'instance précédente. L'instance précédente pouvait sans arbitraire, au vu du contexte, considérer le courrier du 1er juin 2005 comme une élection de domicile auprès de la fiduciaire. Le grief de violation du droit d'être entendu quant au contenu de l'envoi recommandé du 19 juin 2009 doit également être rejeté. Les décisions en matière d'impôt cantonal et communal ayant été valablement notifiées le 19 juin 2009 et n'ayant pas fait l'objet d'une réclamation dans les trente jours, sont par conséquent entrées en force. Le grief de violation des garanties constitutionnelles propres à la procédure pénale (art. 32 al. 2 Cst. et 6 par. 3 let. a CEDH) est irrecevable pour les motifs qui ont été exposés ci-dessus. Il s'ensuit que l'arrêt attaqué est confirmé en tant qu'il concerne l'impôt cantonal et communal pour les périodes fiscales 2001B à 2003.
8.
Les considérants qui précèdent conduisent au rejet des recours dans la mesure où ceux-ci sont recevables. Succombant, le recourant doit supporter les frais judiciaires (<ref-law>). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1.
Les causes 2C_577/2013 et 2C_578/2013 sont jointes.
2.
Le recours est rejeté dans la mesure où il est recevable en tant qu'il concerne l'impôt fédéral direct.
3.
Le recours est rejeté dans la mesure où il est recevable en tant qu'il concerne l'impôt cantonal et communal.
4.
Les frais judiciaires, arrêtés à 20'000 fr., sont mis à la charge du recourant.
5.
Le présent arrêt est communiqué au mandataire du recourant, à l'Administration fiscale cantonale genevoise, à la Cour de justice de la République et canton de Genève, Chambre administrative, 2ème section, ainsi qu'à l'Administration fédérale des contributions.
Lausanne, le 4 février 2014
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
Le Greffier: Dubey