Faits :
A.
B.X._ et A.X._, ressortissants de E._, sont mariés et ont trois enfants, nés en 1983, 1986 et 1991. Le 15 septembre 1998, ils ont pris résidence à Genève et obtenu, pour toute la famille, une autorisation de séjour. Ils ont habité dès cette date et jusqu'au 1er janvier 1999 dans une résidence meublée, puis un appartement meublé de 380 m2 jusqu'au 11 septembre 2000. En 2000, ils ont acquis une propriété foncière à Y._ sur laquelle se trouvait, à titre de bâtiment principal, la villa dans laquelle ils ont emménagé le 11 septembre 2000. Ils ont fait construire en 2002 une seconde villa sur le même bien-fonds. Ils ont quitté la Suisse le 6 avril 2006 pour s'établir à l'étranger.
Dès juin 1998 et durant son séjour dans le canton de Genève, le contribuable a constitué de nombreuses sociétés de droit suisse toutes sises à la même adresse à Genève et dont il était pour la plupart administrateur : F._ SA, G._ Ltd, H._ SA, I._ SA, J._ SA et K._.
B.
Pour les périodes fiscales 1999 et 2000, l'impôt à la source du couple a été perçu sur le salaire annuel versé par F._.
Le 29 janvier 2002, les intéressés ont été inscrits au rôle ordinaire de l'impôt dans le canton de Genève pour la période fiscale 2001 et ont remis à l'Administration fiscale cantonale du canton de Genève leur déclaration 2001-A. Le 22 novembre 2002 ils ont remis une déclaration provisoire pour 2001-B. Le 19 février 2003, l'Administration fiscale cantonale leur a fixé un délai au 28 février 2003 pour compléter leur déclaration 2001-B sous peine de taxation d'office, puis, le 11 avril 2003, leur a notifié une décision de taxation d'office pour l'impôt fédéral direct, cantonal et communal 2001-B fondée sur la déclaration provisoire; le montant de l'impôt dû s'élevait à 2'103'202 fr. pour l'impôt cantonal et communal et à 105'765 fr. 50 pour l'impôt fédéral direct. Le 12 avril 2003, les contribuables ont déposé une réclamation contre les décisions de taxation d'office 2001. Le 4 septembre 2003, l'Administration fiscale a demandé aux contribuables de fournir des documents bancaires pour compléter leur déclaration fiscale 2001-B. Le 28 octobre 2003, ce délai a été prolongé jusqu'au 12 novembre 2003, avec la précision qu'à l'expiration de ce terme, ils seraient taxés d'office. Selon la nouvelle déclaration 2001-B rectifiée, déposée le 4 novembre 2003, le montant du revenu imposable s'élevait pour l'impôt cantonal et communal à 4'992'032 fr., dont 168'000 fr. imposés à la source, tandis que la fortune déclarée s'élevait à une centaine de millions de fr. Pour l'impôt fédéral direct, le revenu imposable s'élevait à 4'992'032 fr.
Le 5 novembre 2003, les contribuables ont déclaré pour la période fiscale 2002 un revenu de 780'586 fr. et une fortune d'une centaine de millions de fr. pour l'impôt cantonal et communal ainsi qu'un revenu imposable de 782'476 fr. pour l'impôt fédéral direct.
Le 28 novembre 2003, l'Administration fiscale cantonale a ouvert une procédure de rappel d'impôt fédéral direct pour la période fiscale 1999/2000 et d'impôt cantonal et communal pour les périodes fiscales 1998 à 2000. Par courrier du 14 avril 2004, le contribuable a fait valoir que la famille s'était installée à Genève durant le premier trimestre 1999.
Le 10 mai 2004, le Conseiller fédéral en charge du département fédéral des finances a donné l'ordre à la division des affaires pénales et enquêtes (ci-après : DAPE) de mener une enquête en raison de soupçons fondés de soustraction continue de montants importants d'impôts. L'enquête en question a été close en 2009.
Par courrier du 15 décembre 2005, l'Administration fiscale cantonale du canton de Genève a notifié aux contribuables une décision de taxation d'impôt cantonal et communal pour la période fiscale 2000 arrêtant le montant de l'impôt à 3'492'945 fr. 65 et une amende d'un montant similaire. Le 19 janvier 2006, les contribuables ont déposé une réclamation à l'encontre les bordereaux de taxation et d'amende du 15 décembre 2005. Ils n'avaient pas été assujettis à l'impôt à Genève durant l'intégralité de la période fiscale 2000 puisqu'ils n'avaient pris résidence en Suisse qu'après le 1er janvier 2000. Leurs revenus et fortune étaient inférieurs aux éléments pris en considération dans la décision de taxation.
Le 16 novembre 2007, l'Administration fiscale cantonale a informé les contribuables que les procédures de rappels d'impôt pour les années 1998 à 2000 étaient étendues aux périodes fiscales 2001-B et 2002.
Les bordereaux de taxation de la période fiscale 2002 ont fixé le montant de l'impôt cantonal et communal à 4'945'964 fr. 60, fondé sur un revenu de 12'725'303 fr. et sur une fortune de 54'669'775 fr., et celui de l'impôt fédéral direct à 1'463'110 fr. 50, fondé sur un revenu de 12'722'700 fr. Le 18 janvier 2008, les contribuables ont formé une réclamation à l'encontre des deux bordereaux de taxation 2002.
Le 19 décembre 2008, l'Administration fiscale cantonale a notifié aux contribuables des bordereaux d'impôt fédéral direct, cantonal et communal pour les périodes fiscales 2003 à 2005.
Pour la période fiscale 2003, le montant dû pour l'impôt cantonal et communal s'élevait à 2'466'842 fr. 45, fondé sur un revenu de 6'021'528 fr. et une fortune de 59'029'938 fr. Le montant dû pour l'impôt fédéral direct était de 692'472 fr. 50, fondé sur un revenu de 6'021'500 fr.
Pour la période fiscale 2004, le montant dû pour l'impôt cantonal et communal s'élevait à 486'102 fr. 45, fondé sur un revenu de 915'831 fr. et une fortune de 22'103'004 fr.-. Le montant dû pour l'impôt fédéral direct était de 105'696 fr. 50, fondé sur un revenu de 919'100 fr.
Pour la période fiscale 2005, le montant dû pour l'impôt cantonal et communal s'élevait à 1'699'441 fr. 10, fondé sur un revenu de 843'975 fr. et une fortune d'une centaine de millions de fr. Celui relatif à l'impôt fédéral direct était de 97'255 fr. 50, fondé sur un revenu de 845'700 fr.
Le 16 janvier 2009, les contribuables ont formé une réclamation contre les bordereaux d'impôt fédéral direct, cantonal et communal des périodes 2003 à 2005, dont ils demandaient l'annulation. Le 2 février 2009, l'Administration fiscale cantonale a accordé un délai de trente jours pour motiver leur réclamation, à compter de l'échéance du délai qui serait accordé pour formuler des demandes complémentaires après notification du rapport final de la DAPE.
C.
Le 24 mars 2009, la DAPE a déposé son rapport d'enquête et indiqué les reprises nécessaires : pour la période fiscale 2000, en matière d'impôt cantonal et communal, un montant de 660'660 fr.; pour la période fiscale 2001, en matière d'impôt cantonal et communal et d'impôt fédéral direct, un montant d'une centaine de millions de fr.; pour la période fiscale 2002, en matière d'impôt cantonal et communal et d'impôt fédéral direct, un montant de 3'499'186 fr.; pour la période 2003, la déclaration fiscale n'ayant pas été déposée, il fallait prendre en considération en matière d'impôt cantonal et communal et d'impôt fédéral direct, un montant de 5'070'297 fr.; pour la période fiscale 2004, la déclaration fiscale n'ayant pas été déposée, il fallait prendre en considération en matière d'impôt cantonal et communal et d'impôt fédéral direct un montant de 284'275 fr.
Selon la DAPE par ailleurs, dans la mesure où les décisions de taxation pour les périodes fiscales 2001 et 2002 n'étaient pas entrées en force, il n'y avait pas de soustraction d'impôt consommée, mais bien seulement tentative de soustraction dont les conditions objectives étaient réunies pour les périodes fiscales 2001 et 2002. Subjectivement, il ressortait des auditions du mandataire professionnellement qualifié et du contribuable que ce dernier avait caché le fait que la réception d'un montant d'une dizaine de millions d'USD équivalant à une centaine de millions de fr. sur son compte à la banque Q._ constituait une partie du produit de la vente au groupe L._ d'actions que la société M._, elle-même détenue pour partie par le contribuable, possédait dans le capital de N._. Il ressortait de l'enquête que le contribuable avait donné de faux renseignements à son mandataire professionnellement qualifié au sujet de l'origine des fonds reçus, ce qui avait entraîné qu'ils ne soient pas déclarés comme revenus. En outre, il avait perçu à plusieurs reprises des commissions provenant de tiers qu'il n'avait pas déclarées. Le contribuable admettait qu'il s'agissait d'un revenu dont il n'avait pas fait état et ne fournissait pas de justification au sujet de ce manquement, quand bien même il savait que les commissions perçues de tiers devaient être déclarées à l'autorité fiscale, puisqu'il en avait annoncé certaines dans sa déclaration fiscale 2001-B. Finalement, il avait accordé deux prêts, dont l'un de USD 14'000'000.- portant intérêts autour de 9 %. Il avait fait figurer dans l'état de fortune le prêt en question, mais n'avait pas déclaré les intérêts. Ceux-ci s'élevaient à plus de 5'000'000.- entre 2000 et 2002. En remplissant l'état des titres et en y faisant figurer le prêt en question, le contribuable ne pouvait pas ignorer qu'il omettait de faire état des intérêts. Subjectivement, la condition de l'intention était réalisée. La DAPE constatait que la situation financière de l'intéressé était excellente et que le prononcé d'une importante amende ne le mettrait pas en péril. Compte tenu du temps écoulé, des buts recherchés et de l'importance des montants soustraits au fisc, soit des revenus de plus d'une centaine de millions de CHF, l'usage de sociétés écrans et de comptes numériques pour dissimuler les revenus en question dénotaient une certaine astuce. La DAPE proposait de fixer la quotité de l'amende à 75 %. Dans la mesure où les périodes fiscales 2001-B et 2002 n'étaient pas entrées en force, l'amende devait s'élever au deux tiers de celle qui aurait été prononcée en cas de soustraction consommée. Elle était dès lors fixée à 50 % de la reprise d'impôt, soit à 6'750'425 fr.75 pour la période fiscale 2001 et à CHF 201'204.- pour la période fiscale 2002.
Le 24 avril 2009, les contribuables ont renoncé à demander des compléments d'enquête.
D.
Le 22 mai 2009, se référant à la réclamation du 14 avril 2003 relative aux bordereaux de taxation d'impôt fédéral direct, cantonal et communal 2001, l'Administration fiscale cantonale a écrit aux contribuables que les revenus imposables en matière d'impôt cantonal et communal étaient d'une centaine de millions de fr. pour un revenu déterminant le taux d'une centaine de millions de fr. La fortune imposable était d'une centaine de millions de fr., pour une fortune déterminant le taux d'une centaine de millions de fr. Le revenu imposable en matière d'impôt fédéral direct était d'une centaine de millions de fr. pour un revenu déterminant le taux d'une centaine de millions de fr.
Le 5 juin 2009, se référant à la réclamation du 18 janvier 2008 relative aux bordereaux de taxation d'impôt fédéral direct, cantonal et communal 2002, l'Administration fiscale cantonale a écrit aux contribuables que les revenus imposables en matière d'impôt cantonal et communal étaient de 4'508'958 fr. pour un revenu déterminant le taux de 4'513'773 fr. La fortune imposable était de 55'185'119 fr. pour une fortune déterminant le taux de 55'196'350 fr. Le revenu imposable en matière d'impôt fédéral direct était de 4'505'800 fr. pour un revenu déterminant le taux de 4'511'400 fr.
Le 31 août 2009, dans le délai prolongé par l'Administration fiscale cantonale, les contribuables ont complété leur réclamation 2001 et 2002 et formé réclamation contre les bordereaux 2003 à 2005. Ils concluaient à l'annulation des bordereaux fiscaux des impôts fédéral direct, cantonal et communal 2001 à 2005 qui leur avaient été notifiés, leur domicile fiscal étant en E._ pour la période allant du 1er janvier 1999 au 31 décembre 2005.
Le 18 décembre 2009, l'Administration fiscale cantonale a statué sur la réclamation formulée par les contribuables contre le bordereau d'impôt cantonal et communal 2000 et le bordereau d'amende qui s'y rattachait. La taxation d'impôt cantonal et communal 2000 était modifiée en faveur de l'Administration fiscale, mais la quotité de l'amende était maintenue au montant calculé sur la base de la taxation rectifiée. Le revenu imposable s'élevait à 802'798 fr. et le revenu déterminant pour le taux était d'un montant identique. Le supplément d'impôt à payer était de 211'336 fr. 35 et le montant de l'amende d'un montant identique.
Le 18 décembre 2009, l'Administration fiscale cantonale a statué sur les réclamations des contribuables du 14 avril 2003 complétées le 31 août 2009 (impôt fédéral direct, cantonal et communal 2001), celle du 18 janvier 2008 complétée le 31 août 2009 (impôt fédéral direct, cantonal et communal 2002), ainsi que celle du 16 janvier 2009 complétée le 31 août 2009 concernant l'impôt fédéral direct, cantonal et communal 2003 à 2005, par deux décisions distinctes mais de teneur similaire, l'une concernant l'impôt cantonal et communal 2001 à 2005 et l'autre l'impôt fédéral direct 2001 à 2005. Les taxations d'impôt fédéral direct, cantonal et communal 2001 étaient modifiées en défaveur des contribuables conformément aux éléments de taxation communiqués le 22 mai 2009. Les taxations d'impôt fédéral direct, cantonal et communal 2002 étaient modifiées en leur faveur sur la base des éléments de taxation communiqués le 5 juin 2009. Les décisions de taxation d'impôt fédéral direct, cantonal et communal des périodes fiscales 2003 à 2005 étaient maintenues, conformément aux éléments de taxation notifiés le 19 décembre 2008, dès lors que les contribuables n'avaient contesté que le principe de l'assujettissement, mais pas les bases de calcul des impôts, qui avaient été présentées par l'Administration fédérale des contributions de manière détaillée et à maintes reprises avant la notification des décisions de taxation.
E.
Le 20 janvier 2010, les contribuables ont interjeté un recours auprès de la Commission cantonale de recours en matière administrative - devenue depuis le 1er janvier 2011, le Tribunal administratif de première instance - à l'encontre de la décision sur réclamation du 18 décembre 2009 relative à l'impôt cantonal et communal 2001 à 2005 et la décision du 18 décembre 2009 relative à l'impôt fédéral direct 2001 à 2005. Ils ont conclu à l'annulation des «décisions de taxation pour 2001, 2002, 2003, 2004 et 2005 du 18 décembre 2009 et la décision du 18 décembre 2009 prises à leur encontre». De même, ils ont conclu à l'annulation de la «décision de taxation pour l'impôt fédéral direct 2001, 2002, 2003, 2004 et 2005 du 18 décembre 2009». Le dossier devait être retourné à l'administration pour qu'elle établisse de nouveaux bordereaux dans le sens des considérants. En préambule de leur mémoire, ils ont mentionné recourir contre les deux décisions «du 18 décembre 2009» précitées et ont joint à leur recours une copie des deux décisions sur réclamation notifiées le 21 décembre 2009 par le département, l'une pour l'impôt cantonal et communal 2001 à 2005 et l'autre pour l'impôt fédéral direct 2001 à 2005. Le recours a été enregistré sous le n° xxx.
Le 15 janvier 2010, l'Administration fiscale cantonale a notifié aux contribuables un bordereau d'amende pour l'impôt fédéral direct de 6'952'629 fr. 75 et un bordereau d'amende pour l'impôt cantonal et communal de 18'501'641 fr. 45 pour les périodes fiscales 2001-B et 2002 pour tentative intentionnelle de soustraction d'impôt. Une amende s'élevant à 50 % des impôts que les contribuables avaient tenté de soustraire était infligée. Cette quotité correspondait aux 2/3 du montant de l'amende qui aurait été infligée si la soustraction avait été consommée. Par deux décisions sur réclamation du 19 août 2010, l'une concernant l'impôt cantonal et communal et l'autre l'impôt fédéral direct, de même teneur, les deux bordereaux d'amende 2001 et 2002 du 15 janvier 2010 ont été maintenus.
Le 11 février 2010, les contribuables ont précisé que le recours adressé le 20 janvier 2010 à la Commission cantonale de recours en matière administrative portait également sur la décision du 18 décembre 2009 concernant l'impôt cantonal et communal 2000 et les bordereaux y relatifs. Le 27 août 2010, dans la cause xxx, l'Administration fiscale cantonale a conclu à l'irrecevabilité du recours en tant qu'il portait sur la période fiscale 2000 et à son rejet pour le surplus.
Le 20 août 2010, l'Administration fiscale cantonale a notifié aux contribuables des bordereaux de taxation impôt cantonal et communal et impôt fédéral direct pour la période fiscale 2006 du 1er janvier au 6 avril 2006.
Le 17 septembre 2010, les contribuables ont interjeté un recours auprès de la Commission cantonale de recours en matière administrative contre les deux décisions sur réclamation du 19 août 2010 de l'Administration fiscale cantonale relatives aux deux bordereaux d'amende relatifs à l'impôt fédéral direct, cantonal et communal 2001 et 2002. Ce recours a été enregistré sous le n° yyy.
Le 21 septembre 2010, les contribuables ont formé une réclamation auprès de l'Administration fiscale cantonale contre les bordereaux de taxation d'impôt fédéral direct, cantonal et communal 2006 du 20 août 2010. Par deux décisions sur réclamation du 30 septembre 2010 concernant l'impôt fédéral direct ainsi que l'impôt cantonal et communal, l'Administration fiscale cantonale a maintenu les bordereaux de taxation 2006 précités.
Le 27 octobre 2010, les contribuables ont interjeté recours auprès de la Commission cantonale de recours en matière administrative contre les deux décisions sur réclamation du 30 septembre 2010. La cause a été enregistrée sous le n° zzz.
F.
Par jugement du 21 mai 2012, le Tribunal administratif de première instance du canton de Genève a joint les causes zzz, yyy et xxx, déclaré irrecevable le recours interjeté dans le cadre de la cause xxx, en tant qu'il portait sur l'année fiscale 2000, et rejeté les recours pour le surplus.
Le 4 mars 2013, les contribuables ont interjeté auprès de la Cour de justice un recours à l'encontre du jugement du Tribunal administratif de première instance du 21 mai 2012 publié le 1er février 2013 dans la Feuille d'avis officielle de la République et canton de Genève. Ils ont conclu à son annulation, ainsi qu'à celle des décisions de taxation d'impôt fédéral direct, cantonal et communal pour les périodes fiscales 2000 à 2006, à l'annulation du bordereau d'amende en matière d'impôt cantonal et communal pour l'année 2000 et à l'annulation des bordereaux d'amende d'impôt fédéral direct, cantonal et communal pour les périodes fiscales 2000 et 2001. Subsidiairement, l'assiette de l'impôt sur le revenu pour l'impôt fédéral direct, cantonal et communal pour la période fiscale 2001 devait être réduite d'une centaine de millions de fr. et les amendes d'impôt cantonal et communal 2000 et d'impôt fédéral direct, cantonal et communal pour 2001 réduites au minimum légal, eu égard au fait que le montant d'impôt soustrait pour l'année 2001 ne s'élevait qu'à 2'328'574 fr.
Ils ont complété leur recours le 28 mars 2013. Le 3 mai 2013, l'Administration fiscale cantonale a répondu au recours. Le 16 juillet 2013, les contribuables ont déposé des contre-observations. Les parties ont répliqué et dupliqué. Le 2 septembre 2013, le juge délégué a transmis les écritures et confirmé que la cause était gardée à juger. Le 9 mai 2014, les contribuables ont sollicité la réouverture de l'instruction pour l'administration de nouvelles preuves ainsi que leur audition personnelle.
G.
Par arrêt du 24 novembre 2015, la Cour de justice du canton de Genève a rejeté dans la mesure où il était recevable le recours que les contribuables ont déposé contre le jugement rendu le 21 mai 2012 par le Tribunal administratif de première instance du canton de Genève en matière d'impôt fédéral direct, cantonal et communal. Elle a rejeté les requêtes de mesures d'instruction supplémentaires, déclarant que les pièces versées au dossier étaient suffisantes pour trancher le litige. Elle a confirmé l'irrecevabilité des conclusions visant l'impôt cantonal et communal de la période fiscale 2000, l'assujettissement illimité des contribuables en Suisse et dans le canton de Genève pour les périodes fiscales 2001 à 2006. Elle a déclaré irrecevables les conclusions prises en relation avec une reprise d'une centaine de millions de fr. provenant de la vente des actions de N._ pour la période fiscale 2001. Elle a rejeté l'exception de la prescription des amendes pour soustraction en matière d'impôt fédéral direct des périodes fiscales 2001 et 2002 ainsi qu'en matière d'impôt cantonal et communal pour les périodes fiscales 2001-B et 2002. Elle a admis que le contribuable avait agi par dol éventuel. Elle a confirmé la quotité des amendes telle qu'arrêtée par les instances inférieures et jugé que la procédure en soustraction fiscale avait respecté les garanties de procédure en matière pénale de l'art. 6 CEDH.
H.
Agissant par la voie du recours en matière de droit public les 11 janvier et 26 janvier 2016, les contribuables demandent au Tribunal fédéral, sous suite de frais et dépens,
- selon les conclusions du mémoire de recours du 11 janvier 2016, d'admettre le recours (ch. 5), de réformer l'arrêt rendu le 24 novembre 2015 par la Cour de justice du canton de Genève dans le sens des considérants, en précisant en particulier qu'ils n'étaient pas assujettis de manière illimitée aux impôts suisses durant les années 2001 à 2006 (ch. 6), de dire et constater qu'ils n'ont pas pris effectivement domicile en Suisse en 1998 (ch. 7), de dire et constater qu'ils n'avaient pas le centre de leur intérêts vitaux en Suisse durant la période 2000 à 2006 (ch. 8), subsidiairement, d'annuler l'arrêt rendu le 24 novembre 2015 par la Cour de justice du canton de Genève (ch. 9), de dire et constater qu'ils n'étaient pas assujettis de manière illimitée aux impôts en Suisse durant les années 2003 à 2005 (ch. 10), de dire et constater que la plus-value réalisées sur la vente des actions de N._ est un gain en capital exonéré de l'impôt fédéral et cantonal (ch. 11), d'admettre la réduction de l'impôt sur la fortune portant sur les années 2001 à 2006 selon les courriers de leurs mandataires à la Cour de justice des 9 mai 2014 et 6 juin 2014 (ch. 12) et, encore plus subsidiairement, d'annuler l'arrêt rendu le 24 novembre 2015 par la Cour de justice du canton de Genève et renvoyer la cause à l'instance précédente pour nouvelle décision après complément d'instruction, en particulier après avoir été entendus en audition concernant les amendes et la détermination du lieu de la fonction dirigeante du contribuable (ch. 13);
- selon les conclusions corrigées ressortant du mémoire de recours du 26 janvier 2016, d'admettre le recours (ch. 5), de réformer l'arrêt rendu le 24 novembre 2015 par la Cour de justice du canton de Genève en ce sens qu'ils ne sont pas assujettis aux impôts en Suisse durant les années 2001 à 2006 (ch. 6), de dire et constater qu'ils n'ont pas pris effectivement domicile en Suisse en 1998 (ch. 7), subsidiairement de réformer l'arrêt rendu le 24 novembre 2015 par la Cour de justice du canton de Genève en ce sens que la plus-value réalisées sur la vente des actions de N._ est un gain en capital exonéré de l'impôt fédéral et cantonal (ch. 8) et très subsidiairement, d'annuler l'arrêt rendu le 24 novembre 2015 par la Cour de justice du canton de Genève et d'admettre la réduction de l'impôt sur la fortune portant sur les années 2001 à 2006 selon les courriers de leurs mandataires à la Cour de justice des 9 mai 2014 et 6 juin 2014 (ch. 9), encore plus subsidiairement, d'annuler l'arrêt rendu le 24 novembre 2015 par la Cour de justice du canton de Genève et renvoyer la cause à l'instance précédente pour nouvelle décision après complément d'instruction, en particulier après avoir été entendus en audition concernant les amendes et leur situation financière actuelle ainsi que la détermination du centre des intérêts économiques du contribuable (ch. 13).
A titre préalable, ils demandent dans leurs deux mémoires le prononcé de mesures superprovisionnelles et provisionnelles ainsi que l'effet suspensif.
Le recours a été enregistré sous les numéros d'ordre 2C_32/2016 et 2C_33/2016 distinguant l'impôt fédéral direct de l'impôt cantonal et communal.
Par ordonnance du 18 février 2016, le Président de la IIe Cour de droit public a accordé l'effet suspensif au recours, l'Administration fiscale cantonale ne s'y étant pas opposée.
Le 26 février 2016, l'Administration fiscale cantonale a conclu au rejet du recours. L'administration fédérale des contributions a aussi conclu au rejet du recours.
Le 31 mai 2016, les contribuables ont déposé une réplique.
Le Tribunal fédéral a rendu son jugement en séance publique le 24 novembre 2016.

Considérant en droit :
1.
1.1. L'arrêt attaqué constitue une décision finale (art. 90 LTF; cf. <ref-ruling> consid. 1.1 p. 305 sur les questions d'assujettissement fiscal) rendue dans une cause de droit public par une autorité judiciaire supérieure de dernière instance cantonale (art. 82 let. a et 86 al. 1 let. d et al. 2 LTF) qui concerne à la fois l'impôt fédéral direct et l'impôt cantonal harmonisé, ce qui est admissible du moment que l'assujettissement à l'impôt d'une personne physique en raison d'un rattachement personnel est identique pour les deux catégories d'impôts et doit prendre en compte les dispositions d'une éventuelle convention en matière de double imposition internationale (arrêts 2C_609/2015 du 5 novembre 2015 consid. 1; 2C_1139/2014 du 20 juillet 2015 consid. 1). Comme l'état de fait est identique et que les questions juridiques se recoupent, les deux causes seront jointes et il sera statué dans un seul arrêt (cf. art. 71 LTF et 24 PCF [RS 273]).
Le recours en matière de droit public est en principe recevable en vertu des art. 82 ss LTF, 146 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD; RS 642.11) et 73 al. 1 de la loi du 14 décembre 1990 sur l'harmonisation des impôts cantonaux et communaux (LHID; loi sur l'harmonisation fiscale; RS 642.14). Il est aussi conforme à la jurisprudence qui autorise le dépôt d'un seul acte de recours, lorsqu'il ressort clairement des mémoires que la partie recourante s'en prend aux deux catégories d'impôts (cf. <ref-ruling> ss), ce qui est le cas en l'espèce.
1.2. Le 11 janvier 2016, les recourants ont déposé un mémoire de recours (ci-après : mémoire de recours 1) et ont annoncé qu'ils se réservaient la possibilité de le compléter jusqu'au 26 janvier 2016. Le 26 janvier 2016, ils ont adressé un nouveau mémoire de recours au Tribunal fédéral (ci après : mémoire de recours 2). Postés en temps utile, compte tenu des féries (art. 46 al. 1 let. let. c et 100 al. 1 LTF) par les destinataires de l'arrêt attaqué, qui ont un intérêt digne de protection à l'annulation ou à la modification de celui-ci, les deux mémoires sont recevables.
A cet égard, s'il est vrai que le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF), il appartient néanmoins à la partie recourante d'exposer succinctement en quoi l'acte attaqué viole le droit (art. 42 al. 2 LTF). Cela suppose que le mémoire de recours ne soit pas trop long et s'en tienne à l'essentiel (arrêts 1C_450/2012 du 7 août 2013 consid. 3; 2C_285/2013 du 23 avril 2013 consid. 1; cf. FLORENCE AUBRY GIRARDIN, in Commentaire de la LTF, 2014, n. 27 et 41 ad art. 42 LTF). Il n'appartient pas au Tribunal fédéral de dégager d'une argumentation prolixe et confuse les moyens susceptibles d'être recevables et pertinents (arrêts 1C_262/2012 du 20 septembre 2012 consid. 4; 1C_369/2009 du 25 février 2010 consid. 5). Les recourants ont présenté leurs critiques dans deux mémoires distincts, qui ne se recoupent pas complètement et de manière, parfois enchevêtrée, parfois sans lien avec l'intitulé des griefs, de sorte que l'examen des mémoires de recours se limitera aux griefs qui ont été désignés et motivés de façon suffisamment compréhensible.
Conformément à l'art. 106 al. 2 LTF et en dérogation à l'art. 106 al. 1 LTF, le Tribunal fédéral ne connaît toutefois de la violation des droits fondamentaux que si un tel moyen a été invoqué et motivé par le recourant, en d'autres termes exposé de manière claire et détaillée (<ref-ruling> consid. 1.3 p. 41; <ref-ruling> consid. 2.2 p. 232).
1.3. Les offres de preuves destinées à instruire la demande d'effet suspensif du recours devant le Tribunal fédéral ainsi que les conclusions prises en ce sens sont devenues sans objet (mémoire de recours ch. 9 ss en particulier ch. 57 ss ainsi que 159) en raison de l'octroi de l'effet suspensif.
2.
2.1. Selon un principe général de procédure, les conclusions en constatation de droit ne sont recevables que lorsque des conclusions condamnatoires ou formatrices sont exclues. Sauf situations particulières, les conclusions constatatoires ont donc un caractère subsidiaire (cf. <ref-ruling> consid. 1.7; <ref-ruling> consid. 4 p. 122; arrêts 1C_529/2015 du 5 avril 2016 consid. 1.3; 2C_490/2014 du 26 novembre 2014 consid. 1.2; 2C_199/2010 du 12 avril 2011 consid. 3.3, non publié in <ref-ruling>).
Dans la mesure où les recourants concluent à ce qu'il soit dit et constaté qu'ils n'ont pas pris effectivement domicile en Suisse en 1998 (mémoire de recours 1, ch. 7 et mémoire du 26 janvier 2016 ch. 7) et qu'ils n'avaient pas le centre de leur intérêts vitaux en Suisse durant la période 2000 à 2006 (mémoire de recours 1, ch. 8), ils formulent des conclusions préparatoires puisqu'elles portent sur des questions qui doivent être tranchées en vue d'examiner les conclusions condamnatoires. De telles conclusions constatatoires sont irrecevables. S'agissant de la période fiscale 2000, les recourants ne formulent au surplus aucun grief contre la confirmation par l'instance précédente de l'irrecevabilité du recours déposé devant le Tribunal administratif de première instance.
2.2. Selon la jurisprudence, l'objet de la contestation qui peut être porté devant le Tribunal fédéral est déterminé par la décision attaquée et par les conclusions (art. 107 al. 1 LTF) des parties. La partie recourante ne peut par conséquent pas prendre des conclusions ni formuler de griefs allant au-delà de l'objet du litige (arrêt 2C_563/2015 du 2 octobre 2015 consid. 4, et les références citées).
2.2.1. Selon le dispositif de l'arrêt attaqué, le recours est rejeté dans la mesure où il est recevable. Aux considérants 21 et 22 de l'arrêt attaqué, l'instance précédente a déclaré irrecevable la conclusion portant sur la reprise d'un gain en capital attribué à l'année 2001 pour un montant d'une centaine de millions de fr. au motif que, dans les réclamations dirigées contre les décisions de taxation et dans les recours adressés au Tribunal administratif de première instance, les recourants n'avaient contesté que leur assujettissement illimité à l'impôt, mais non l'assiette fiscale des bordereaux de reprises d'impôts. Pour prononcer l'irrecevabilité, l'instance précédente s'est fondée sur l'art. 68 LPA/GE et sa jurisprudence, selon laquelle, lorsque la cause a déjà été soumise à une juridiction de première instance, elle n'examine pas les prétentions et les griefs qui n'ont pas fait l'objet du prononcé de l'instance inférieure.
2.2.2. En vertu de l'art. 111 al. 3 LTF, l'autorité qui précède immédiatement le Tribunal fédéral doit pouvoir examiner au moins les griefs visés aux art. 95 à 98 LTF. En d'autres termes, les motifs de recours doivent être admis devant l'instance qui précède immédiatement le Tribunal fédéral au moins aussi largement que pour un recours devant ce dernier. Or, selon la jurisprudence, contrairement aux conclusions (cf. art. 99 al. 2 LTF), une argumentation juridique nouvelle devant le Tribunal fédéral est admissible, dans la mesure où elle repose sur les faits retenus par la juridiction cantonale (<ref-ruling> consid. 5.2 p. 416).
2.2.3. La question de savoir si la conclusion déniant l'assujettissement fiscal des recourants comprend les conclusions diminuant l'assiette fiscale et, par conséquent, celle de savoir si les griefs à cet effet constituent une argumentation juridique nouvelle peut demeurer ouverte en l'espèce du moment que le recours doit être rejeté sur le fond s'agissant du montant d'une centaine de millions de fr., comme cela sera exposé plus loin (mémoire de recours 1, ch. 11 et mémoire de recours 2, ch. 8). Il n'est par conséquent pas nécessaire d'examiner les griefs de violation du droit d'être entendu (art. 6 § 1 CEDH et 29 al. 2 Cst.) et du droit à l'accès au juge (art. 6 § 1 et 13 CEDH; art. 29 a, 30 et 32 al. 3 Cst.) invoqués à l'encontre de l'irrecevabilité prononcée par l'instance précédente.
2.3. En revanche, les conclusions tendant à la réduction de l'impôt sur la fortune portant sur les années 2001 à 2006 selon des courriers adressés les 9 mai 2014 et 6 juin 2014 (mémoire de recours 1, ch. 12 et mémoire de recours 2, ch. 9), qui n'ont pas été soumises à l'instance précédente dans le délai de recours contre un jugement du Tribunal administratif de première instance, sont nouvelles et par conséquent irrecevables, de sorte que tous les griefs qui y sont liés ne seront pas examinés.
3.
Le Tribunal fédéral se fonde sur les faits constatés par l'autorité précédente (cf. art. 105 al. 1 LTF), à moins que ceux-ci n'aient été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire de l'art. 9 Cst. (<ref-ruling> consid. 4.3 p. 62) - ou en violation du droit au sens de l'art. 95 LTF et si la correction du vice est susceptible d'influer sur le sort de la cause (cf. art. 97 al. 1 LTF), ce qu'il appartient à la partie recourante d'exposer et de démontrer de manière claire et circonstanciée (cf. <ref-ruling> consid. 3 p. 104 s.; 332 consid. 2.1 p. 334). En outre, aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (art. 99 al. 1 LTF).
Il n'y a arbitraire dans l'établissement des faits ou l'appréciation des preuves que si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a fait des déductions insoutenables (cf. <ref-ruling> consid. 4.2 p. 560).
4.
Invoquant les art. 9 et 29 al. 2, 32 al. 1 Cst., 6 § 2 CEDH ainsi que 97 et 105 LTF, les recourants se plaignent de l'établissement erroné des faits par l'instance précédente. Ils exposent que la correction des vices qu'ils dénoncent aura une influence sur le sort du litige (mémoire de recours 2, ch. 135).
4.1. D'une manière générale, il y a lieu d'écarter d'emblée les critiques selon lesquelles l'instance précédente avait le devoir d'instruire certains faits (mémoire de recours 2, ch. 82, 110, 126), les recourants n'invoquant l'application arbitraire d'aucune disposition légale de procédure cantonale l'y contraignant. Il en va de même des critiques selon lesquelles elle aurait totalement ou partiellement omis de prendre en compte certains faits du moment qu'il ressort du consid. 20 de l'arrêt attaqué que l'instance précédente a examiné les éléments et pièces produites par les recourants sans en retrancher aucune. Pour le surplus, le grief est rejeté en tant qu'il reproche à l'instance précédente de n'avoir pas établi les faits nécessaires à l'application du droit fédéral, comme cela ressort de l'examen au fond du droit applicable.
4.2. Dans un premier grief (mémoire de recours 2, chapitre 1.2), ils soutiennent que l'instance précédente a constaté arbitrairement qu'ils étaient domiciliés fiscalement en Suisse pour les années 2000 à 2006. Sous ch. 73 du mémoire de recours, ils lui reprochent de n'avoir jamais établi qu'ils avaient séjourné en Suisse de manière constante plus de trente jours, ce qui constitue un grief de droit de fond et non portant sur les faits; sous ch. 74 à 76 du mémoire de recours, ils formulent des critiques appellatoires, comme cela ressort notamment de l'utilisation de l'expression "à titre illustratif". Sous ch. 77 et 78 du mémoire de recours 2, ils exposent ce que l'instance précédente a retenu en relation avec les lieux dans lesquels leurs trois enfants ont été scolarisés entre 2000 et 2006 et se plaignent de ce que cette dernière n'a pas aussi exposé les mêmes faits, mais de manière négative, sans toutefois démontrer en quoi les dates et les lieux relatives aux enfants concernés auraient été le cas échéant établis de manière arbitraire. Cela vaut également pour le grief énoncé sous ch. 108 du mémoire de recours 2 qui renvoie aux ch. 77 et 78 du mémoire de recours 2. Sous ch. 79 du mémoire de recours, les recourants se plaignent de la violation du droit matériel, et non pas d'une violation de l'art. 97 al. 1 LTF. Ils introduisent au surplus des faits nouveaux irrecevables (art. 99 LTF) relatifs à l'impôt anticipé.
4.3. Dans un deuxième grief (mémoire de recours 2, chapitre 1.3), les recourants soutiennent que l'instance précédente a constaté arbitrairement qu'ils n'étaient pas domiciliés fiscalement en E._ quand bien même ils avaient fourni des preuves, déclarations et affidavit de sources diverses, certificats de résidence, cartes de famille, de contribuables, qui démontraient qu'ils y étaient assujettis à l'impôt de manière illimitée, en particulier y avaient payé des impôts selon de nombreuses déclarations de sources diverses, qu'ils étaient de nationalité E._ et qu'ils disposaient dans ce pays de comptes bancaires, de "nombreuses sociétés". Tel qu'il est rédigé, ce grief (recours, ch. 80 à 99) porte en réalité sur l'application du droit matériel et non pas sur l'appréciation arbitraire des preuves ou une quelconque omission de l'instance précédente, puisque cette dernière a non seulement exposé ces faits mais également de quelle manière elle les intégrait dans son raisonnement juridique (cf. arrêt attaqué, consid. 20).
4.4. Dans un troisième grief (mémoire de recours 2, chapitre 1.4), toujours dirigé contre l'établissement des faits, les recourants soutiennent que l'instance précédente a arbitrairement constaté qu'ils n'avaient pas le centre de leurs intérêts vitaux en E._. Elle aurait rejeté de manière arbitraire les éléments de preuves apportés à cet effet dans le mémoire de recours à elle adressé ainsi que dans leurs écritures complémentaires. Il s'agissait de la carte de famille de nationalité E._, de leurs cartes de résident E._, de confirmations de leur conseiller fiscal E._, de leurs déclarations fiscales E._, d'affidavits de diverses sources et contenus, d'extraits du registre foncier E._, de déclarations de leur architecte genevois et de connaissances en Suisse.
4.4.1. Se fondant sur les documents qui précèdent, ils se plaignent de ce que l'instance précédente a retenu qu'ils sont arrivés en Suisse en famille en 1998 pour y obtenir un statut permettant d'y séjourner de manière permanente et d'y travailler. Un tel constat renforcerait arbitrairement, selon eux, l'analyse selon laquelle leur centre des intérêts vitaux serait prétendument en Suisse pour les années 2001 à 2006. Le grief est rejeté puisqu'il concerne l'année 1998, qui ne fait pas l'objet du litige. Seuls les griefs concernant les années 2001 à 2006 sont admissibles.
4.4.2. Ils reprochent en vain à l'instance précédente d'avoir ignoré la production de leurs cartes de résidents ainsi que de leurs passeports E._, puisque l'arrêt attaqué fait mention de la nationalité des recourants et des documents précités (arrêt attaqué, en faits ch. 1, 48, 57, 58 et 60 ainsi qu'en droit ch. 10 ainsi que 20, qui fait du reste référence aux éléments et pièces versées en procédure par les recourants); le grief constitue en réalité une critique portant sur l'application du droit matériel.
4.4.3. Ils font encore grief à l'instance précédente de n'avoir pas suffisamment tenu compte des déclarations de leur architecte genevois relatives aux travaux effectués de 2000 à 2003 sur les immeubles acquis à Y._, de celles de proches ayant accueilli leurs filles durant les travaux ainsi que des nombreuses propriétés immobilières qu'ils détenaient en E._, qui auraient permis de démontrer que les villas n'étaient pas habitables et que le centre de leurs intérêts n'étaient pas en Suisse.
Ce grief doit être rejeté. Il ressort du considérant en droit ch. 17 de l'arrêt attaqué que l'instance précédente n'a pas constaté les faits de manière arbitraire en tant qu'elle a précisément retenu que les villas respectivement en rénovation et en construction n'étaient pas immédiatement habitables et que, par voie de conséquence, durant les années fiscales litigieuses, les recourants avaient vécu à l'hôtel et leurs filles - scolarisées à Genève - chez des proches dans le canton de Genève. Elle n'a pas non plus ignoré ni nié que les recourants possédaient de nombreuses propriétés immobilières en E._ (cf. arrêt attaqué, notamment en fait ch. 57 et en droit ch. 18 et 20). Pour le surplus, les recourants allèguent de manière appellatoire et donc inadmissible que l'instance précédente aurait omis de leur demander de produire leurs polices d'assurances contractées en E._ et d'établir qu'ils y possédaient également plusieurs véhicules.
4.4.4. Ils font grief à l'instance précédente de n'avoir pas pris en considération l'absence de vie sociale du couple à Genève (mémoire de recours 2 ch. 134) ni les activités caritatives notoires de la recourante (recours ch. 119, voir également mémoire de recours ch. 157 à 160) qui nécessitaient sa présence en E._. Ce grief est admis en application de l'art. 97 al. 1 LTF. Il en sera tenu compte dans l'examen de l'application du droit matériel.
4.4.5. Sur le plan économique, ils exposent que, durant la période en cause, le recourant contrôlait plus de 28 sociétés en E._ et seulement six en Suisse. Ils soutiennent aussi que l'instance précédente a retenu de manière insoutenable que celui-ci s'était appuyé sur de nombreux collaborateurs dont, en particulier, quatre résidents suisses; ils soutiennent aussi qu'elle a omis d'instruire et de mentionner les dates de départ de Genève en 2004 et 2005 du personnel de la société X._ ainsi que le mode de fonctionnement de X._. Ils ne démontrent toutefois pas de manière circonstanciée - c'est-à-dire en mettant en exergue dans les moyens de preuve dûment produits devant l'instance précédente les passages qui contrediraient de manière flagrante les faits retenus dans l'arrêt attaqué - en quoi l'instance précédente aurait violé l'interdiction de l'arbitraire ou le droit au sens de l'art. 95 LTF. Le grief est rejeté.
5.
Les recourants se plaignent d'une violation de l'art. 112 al. 1 let. b LTF. Ils font valoir que l'arrêt attaqué ne contient pas un état de fait clair, en ce qu'il ne dresserait pas la liste des faits non contestés établis ou, au contraire, écartés, ni ne livrerait d'appréciation des preuves, de sorte que les garanties essentielles d'une procédure équitable et impartiale ancrées aux art. 29 ss Cst. et 6 § 1 CEDH seraient violées.
5.1. Le droit d'être entendu garanti à l'art. 29 al. 2 Cst. implique pour l'autorité de motiver sa décision. Selon la jurisprudence, il suffit que l'autorité mentionne, au moins brièvement, les motifs qui l'ont guidée et sur lesquels elle a fondé sa décision, de manière à ce que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause. L'autorité n'a pas l'obligation d'exposer et de discuter tous les faits, moyens de preuve et griefs invoqués par les parties, mais elle peut au contraire se limiter à ceux qui lui paraissent pertinents (<ref-ruling> consid. 3.2.4 p. 41; <ref-ruling> consid. 5.1 p. 237). L'art. 112 al. 1 let. b LTF prévoit pour sa part que les décisions susceptibles d'un recours devant le Tribunal fédéral doivent contenir les motifs déterminants de fait et de droit, notamment les dispositions légales appliquées (al. 1 let. b), à défaut de quoi le Tribunal fédéral peut soit renvoyer la décision entreprise à l'autorité cantonale en invitant celle-ci à la parfaire, soit l'annuler (al. 3; cf. <ref-ruling> consid. 2.3 p. 157). Un état de fait insuffisant empêche l'application des règles de droit pertinentes à la cause. Un tel manquement constitue donc une violation du droit. Il résulte de cette norme que l'état de fait figurant dans les décisions susceptibles de recours devant le Tribunal fédéral doit être suffisant pour lui permettre de contrôler de quelle manière le droit fédéral a été appliqué (arrêt 2C_181/2016 du 14 mars 2016 consid. 4).
5.2. En l'espèce, il est vrai que l'arrêt attaqué résume les positions respectives des parties sans distinguer expressément - ce qui est critiquable - constatations de fait et application du droit aux faits préalablement établis. Toutefois, les considérants consacrés à l'application du droit (arrêt attaqué, consid. 17 à 20) exposent de façon précise les faits sur lesquels l'instance précédente a fondé son raisonnement ainsi que le dispositif de l'arrêt attaqué. L'instance précédente pouvait également procéder à une appréciation anticipée des preuves que les recourants offraient de produire et juger qu'elle disposait d'un dossier complet, qui contenait du reste les écritures et pièces déjà produites, de sorte que celles-ci n'ont pas été écartées comme le soutiennent à tort les recourants (mémoire de recours 2 ch. 142 à 147 et 154); ils ne démontrent d'ailleurs pas d'une manière conforme aux exigences de l'art. 106 al. 2 LTF en quoi l'appréciation anticipée des preuves par l'instance précédente serait entachée d'arbitraire. Pour le surplus, l'instance précédente a certes relevé (arrêt attaqué, en droit consid. 2c) que les offres de preuves relatives au statut fiscal des recourants en E._ auraient pu être proposées auprès des enquêteurs de la DAPE ou aussi devant le Tribunal administratif de première instance, mais elle ne tire de ce constat aucune conséquence défavorable aux recourants. En effet, elle admet qu'il est possible que les recourants aient dû continuer à remplir certaines obligations fiscales en E._ et s'acquitter de certains montants (cf. arrêt attaqué consid. 20).
Ils soutiennent enfin que les affirmations de l'instance précédente quant à la date de leur départ de Suisse ne se réfèrent à aucune pièce du dossier ni à aucune source et se contredisent. Ils perdent de vue que ce sont eux qui ont annoncé leur départ pour le 6 avril 2006, sous la plume de leur mandataire, dans la déclaration d'impôt pour la période fiscale 2006. L'erreur de plume figurant au chiffre 24 de la partie en fait de l'arrêt attaqué (le 6 "décembre" 2006) n'y change rien, d'autant moins que les recourants ne démontrent pas sur quelle pièce cette dernière date trouverait appui.
Il n'y a de la sorte aucune violation de l'art. 112 al. 1 let. b LTF, de l'art. 29 al. 2 Cst. ou encore de l'art. 6 CEDH.
6.
Les recourants se plaignent (mémoire de recours 2 ch. 161 à 165) de la violation des art. 99 LTF, 65 et 69 de la loi genevoise du 12 septembre 1985 sur la procédure administrative (LPA/GE; RSGE E 5 10) ainsi que 49 de la loi genevoise du 4 octobre 2001 de procédure fiscale (LPFisc; RSGE D 3 17).
Au consid. 16 de l'arrêt attaqué, l'instance précédente a évoqué la jurisprudence du Tribunal fédéral selon laquelle un contribuable qui admet son assujettissement fiscal illimité ne peut plus le contester dans la procédure de rappel d'impôt ou de soustraction fiscale; elle n'en tire toutefois aucune conséquence défavorable aux recourants puisqu'elle a examiné la question de leur assujettissement fiscal international (arrêt attaqué, consid. 20). Il s'ensuit que les griefs des recourants sur ce point (mémoire de recours 2 ch. 163) sont sans objet. En tant qu'ils sont dirigés contre l'appréciation (anticipée) des preuves, ils ont déjà été examinés ci-dessus. Pour le surplus, il y a lieu de renvoyer au consid. 2.2 ci-dessus.
7.
Les recourants se prévalent d'une violation de la convention du 29 août 1988 entre la Confédération suisse et la République de E._ en vue d'éviter les doubles impositions en matière d'impôts sur le revenu (CDI CH-E._; RS 0.672.942.71) conclue le 29 août 1988 et entrée en vigueur le 24 octobre 1989.
Les conventions internationales en matière de double imposition ne contiennent que des règles visant à limiter les pouvoirs d'imposition des Etats mais ne fondent pas l'imposition elle-même (<ref-ruling> consid. 3 in fine p. 366 et les références citées). Par conséquent, il convient d'abord de s'assurer de l'existence d'un droit (interne) d'imposition, puis, le cas échéant, de vérifier que ce droit d'imposition n'est pas limité par une disposition conventionnelle visant à restreindre ou éliminer une éventuelle double imposition internationale (arrêts 2C_627/2011 du 7 mars 2012 consid. 3; 2C_436/2011 du 13 décembre 2011, consid. 2.1).
I. Impôt fédéral direct : assujettissement
8.
8.1. D'après l'art. 3 al. 1 et 2 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD; RS 642.11), les personnes physiques sont assujetties à l'impôt à raison du rattachement personnel lorsque, au regard du droit fiscal, elles sont domiciliées ou séjournent en Suisse. Une personne a son domicile en Suisse au regard du droit fiscal lorsqu'elle y réside avec l'intention de s'y établir durablement ou lorsqu'elle y a un domicile légal spécial en vertu du droit fédéral. Tandis qu'il y a séjour, au regard du droit fiscal, lorsque la personne réside en Suisse sans interruption notable, pendant au moins 30 jours et y exerce une activité lucrative, ou respectivement au moins 90 jours sans y exercer d'activité lucrative (art. 3 al. 3 lettre a et b LIFD).
La résidence est un élément de fait. L'intention de s'établir est l'élément subjectif du domicile. S'il n'est pas indispensable que la personne ait l'intention de s'établir en un endroit définitivement, il faut cependant qu'elle ait la volonté d'y séjourner. Toutefois, ce qui importe n'est pas la volonté interne de la personne, mais les circonstances reconnaissables par des tiers, qui permettent de déduire qu'elle a cette intention. Autrement dit, le lieu où la personne assujettie a le centre de ses intérêts personnels se détermine en fonction de l'ensemble des circonstances objectives, et non en fonction des déclarations de cette personne; dans cette mesure, il n'est pas possible de choisir librement un domicile fiscal (<ref-ruling> consid. 3.2 p. 305 s.; <ref-ruling> consid. 4 p. 35 ss; <ref-ruling> consid. 2a p. 56; <ref-ruling> consid. 2b p. 294).
8.2. La jurisprudence en matière d'interdiction de la double imposition intercantonale et notamment les critères formels établis par celle-ci, tels que la notion de "retour régulier" ou de "fonction dirigeante" ne trouvent pas application en matière internationale. Dans ce domaine, les intérêts professionnels du contribuable ne revêtent pas plus d'importance que ses relations avec les proches et avec la société, que ses intérêts politiques et culturels, ou encore que ses loisirs; les intérêts professionnels ne revêtent une importance déterminante que lorsqu'ils prennent une place prépondérante dans l'ensemble des intérêts du contribuable (arrêts 2C_924 /2014 du 12 mai 2015 consid. 4.2; 2C_472/2010 du 18 janvier 2011 consid. 2.3 et 3.4.2 in RF 66 2011 p. 425; 2C_452/2012 du 7 novembre 2012 consid. 4.6 in StE 2013 A 32 19 et les références citées).
8.3. C'est aux autorités fiscales qu'il appartient d'instruire d'office les éléments de fait constitutifs d'un domicile fiscal (art. 123 al. 1 LIFD); elles ne sont aucunement liées par les décisions prises par d'autres autorités (décisions en matière d'exercice des droits politiques, cachet de la Chancellerie du canton et contrôle des habitants, etc.), qui ont tout au plus valeur d'indice. S'il leur incombe bien de prouver l'existence d'un tel domicile, le contribuable a néanmoins un devoir de collaboration et doit, en particulier, fournir des renseignements circonstanciés au sujet des éléments propres à fonder son assujettissement (art. 124 ss LIFD); à cet effet, il est tenu de rendre vraisemblable l'existence d'étroites relations avec l'Etat où il se dit domicilié (<ref-ruling> consid. 3.4 p. 307 s.).
8.4. Les recourants sont de E._ et ont trois enfants, C.X._, né en 1983, D.X._, née en 1986 et E.X._, née en 1991. Hormis l'aîné, qui étudiait à Londres durant les années 2001 à 2006 en cause, mais revenait à Genève, deux filles mineures ont été scolarisées dès 1999 en externat en section anglophone au Collège de Z._ à Genève, l'une jusqu'en 2003 et l'autre jusqu'en 2005. Les recourants ont disposé d'un vaste logement loué en Ville de Genève jusqu'au 11 septembre 2000. En 2000, ils ont acquis une villa à Y._ dans laquelle ils se sont installés et dans laquelle ils ont investi en vue d'en agrandir les surfaces de logements, par la construction d'un second bâtiment entre 2002 et 2003, destiné à abriter les enfants s'ils souhaitaient s'y établir après leurs études. Pendant les travaux d'agrandissement de la villa, comme ils se sont trouvés dans l'impossibilité d'y habiter, ils ont séjourné dans des hôtels du canton et leurs enfants chez des voisins. Ils ont fait venir la mère du recourant pour s'occuper de leurs filles entre 2004 et 2006, engagé du personnel de maison, immatriculé des véhicules à Genève et contracté une assurance-maladie suisse pour couvrir leurs frais médicaux. Le 6 avril 2006, ils ont quitté la Suisse pour s'établir à l'étranger.
Ces indices objectifs pris dans l'ensemble démontrent que les recourants ont bel et bien déplacé le noyau familial à Genève et fait de ce lieu le centre de leurs intérêts vitaux. Cette conclusion est en outre corroborée par les éléments suivants :
- la venue de la famille du recourant à Genève, qui a fait suite à la grave crise financière asiatique de 1997 et 1998 et touché le E._ de plein fouet, s'est concrétisée, sur le plan des affaires, par la décision du recourant de diversifier ses investissements hors E._, notamment en Suisse, grâce à la fondation, en 1998, des sociétés F._ SA, I._ SA et H._ SA, puis en 2000, de K._ SA, O._, succursale de Genève, et de G._ LTD, succursale de Genève, dont il était l'administrateur président,
- l'enregistrement dès 1998 auprès de l'Office cantonal de la population et des migrations du canton de Genève et l'obtention pour toute la famille de permis de séjour en Suisse et à Genève dès 1999,
- le fait qu'en 2000, le recourant a demandé à l'Office cantonal de la population et des migrations du canton de Genève une attestation de résidence dès le 15 septembre 1998 pour l'utiliser auprès de tiers en particulier pour effectuer des formalités consulaires,
- le fait qu'ils n'ont contesté leur assujettissement fiscal en Suisse que dans leur réclamation du 31 août 2009, qui contenait du reste, sous la plume de leur mandataire, l'affirmation que, dès 1999, les recourants disposaient d'un foyer d'habitation permanent à Genève.
Il s'ensuit qu'en jugeant que les recourants étaient assujettis à l'impôt dans le canton de Genève, l'instance précédente n'a pas violé le droit fédéral.
8.5. Les principales objections des recourants ne modifient pas cette conclusion.
8.5.1. Il n'importe pas que le fils aîné des recourants ait poursuivi ses études à Londres durant les années 2001 à 2006, puisqu'en 2001, il était majeur. Il est également indifférent que les filles aient fréquenté la section anglophone plutôt que francophone du collège de Z._. Seule leur scolarisation à Genève durant les années 2001 à 2006 constitue un indice sous l'angle des relations personnelles et familiales : la fréquentation en externat du Collège de Z._ démontre l'importance que conféraient les recourants à conserver le plus de relations personnelles et familiales avec celles-ci, quand bien même et l'un et l'autre se déplaçaient souvent pour affaires ou pour activités caritatives. Il n'est pas nécessaire que les filles, alors mineures, n'aient pas envisagé s'installer en Suisse à terme. Dans ces conditions, il apparaît que les recourants ont bien eu la volonté d'éloigner de E._ le noyau familial pour les années en cause et de l'installer à Genève, quand bien même l'habitation des recourants est restée à disposition et qu'elle était encore meublée, pourvue d'effets personnels et entretenue par du personnel de maison.
8.5.2. Les recourants soutiennent en vain qu'ils étaient encore bénéficiaires de documents de résidence E._ (cartes de résidence et de contribuables) et y avaient, comme l'a constaté l'instance précédente, effectivement payé - peu importe à quelle date - des impôts pour les années 2001 à 2006. Ces deux éléments, pour les deux derniers de portée purement administrative, n'ont toutefois pas l'importance que leur donnent les recourants. En effet, ils ont eux-mêmes affirmé que le recourant avait l'obligation de résider de manière constante en E._ sous peine de voir ses actifs financiers et immobiliers dévolus à l'Etat sans discussion ni sommation eu égard au dispositif législatif d'urgence mis en place dans ce pays lors de la crise financière de 1998 (mémoire de recours 2 ch. 75); cette affirmation revêt une grande importance, puisqu'elle explique les raisons véritables pour lesquelles le recourant a sauvegardé les apparences vis-à-vis des autorités administratives et fiscales de E._ : il s'agissait essentiellement d'échapper à la confiscation de ses biens; preuve en est que la famille proche du recourant n'est pas restée en E._ mais s'est installée à Genève dans de grands appartements loués puis dans une grande propriété immobilière et que cette installation a perduré jusqu'en 2006 au-delà même de la liquidation en 2004 de la banque P._ et donc des risques qu'encourraient le recourant, plus précisément ses avoirs, mais bien jusqu'à la fin des études de leur dernière fille.
8.5.3. Ils objectent aussi que le centre des affaires du recourant se situait de manière prépondérante en E._ et que les entités juridiques créées à Genève auraient pu y être constituées indépendamment de sa venue dans cette ville, notamment parce que les affaires se développaient et le personnel de ces sociétés travaillaient la plupart du temps hors de Suisse. C'est précisément pour ce motif que le centre des intérêts économiques du recourant ne revêt que peu d'importance en regard du centre des intérêts personnels et familiaux des contribuables: les fréquents déplacements internationaux du recourant attestent d'un mode de gestion délocalisé. Il en va de même de la gestion par la recourante des fondations de bienfaisance, qui ont certes nécessité de nombreux déplacements, mais pas une présence constante. Ces nombreux déplacements expliquent également que les recourants n'aient eu, hormis une soirée caritative, presque aucune vie sociale à Genève, mais tout de même des amis chez qui ils ont pu temporairement loger leurs filles durant les travaux effectués sur la propriété de Y._. Ainsi l'absence de vie sociale à Genève et une vie sociale essentiellement itinérante avec les associations E._ dont ils étaient membres ne permettent pas de désigner la ville sise en E._ comme lieu des intérêts personnels des recourants.
9.
9.1. La convention de double imposition entre la Suisse et le E._ s'applique aux personnes qui sont des résidents d'un Etat contractant ou des deux Etats contractants (art. 4 § 1 CDI CH-E._). Selon l'art. 4 § 1 CDI CH-E._, au sens de la Convention, l'expression «résident d'un Etat contractant» désigne toute personne qui, en vertu de la législation de cet Etat, est assujettie à l'impôt dans cet Etat, en raison de son domicile, de sa résidence, de son siège de direction ou de tout autre critère de nature analogue.
En vertu de l'art. 4 § 2 CDI CH-E._, lorsque, selon les dispositions du paragraphe 1, une personne physique est un résident des deux Etats contractants, sa situation est réglée de la manière suivante: a) cette personne est considérée comme un résident de l'Etat où elle dispose d'un foyer d'habitation permanent; si elle dispose d'un foyer d'habitation permanent dans les deux Etats, elle est considérée comme un résident de l'Etat avec lequel ses liens personnels et économiques sont les plus étroits (centre des intérêts vitaux); b) si l'Etat où cette personne a le centre de ses intérêts vitaux ne peut pas être déterminé, ou si elle ne dispose d'un foyer d'habitation permanent dans aucun des Etats, elle est considérée comme un résident de l'Etat où elle séjourne de façon habituelle; c) si cette personne séjourne de façon habituelle dans les deux Etats ou si elle ne séjourne de façon habituelle dans aucun d'eux, les autorités compétentes des Etats contractants tranchent la question d'un commun accord.
9.2. La notion de foyer d'habitation permanent recouvre en principe toute forme d'habitation, maison ou appartement, propriété de l'intéressé ou pris en location, chambre meublée, présentant un caractère de permanence, ce qui implique qu'elle ait été aménagée et réservée à l'usage du contribuable de manière durable (arrêt 2C_627/2011 du 7 mars 2012 et les références citées). Pour définir le centre des intérêts vitaux, on prend en considération les liens personnels et économiques. Selon le commentaire OCDE, ces notions renvoient à la famille du contribuable, à ses relations sociales, à ses occupations, à ses préférences politiques, à sa culture ou d'autres activités ou encore au lieu à partir duquel il administre ses biens. Ces critères ne sont pas cumulatifs. Ils doivent être examinés dans leur ensemble. L'opinion selon laquelle les liens économiques doivent être considérés comme prépondérants ne peut pas être suivie (arrêt 2C_472/2010 du 18 janvier 2011 consid. 3.4.2 in RF 66 2011 425). Le commentaire OCDE accorde par contre un poids particulier aux relations personnelles en soulignant que "les considérations tirées du comportement personnel de l'intéressé doivent spécialement retenir l'attention" (cf. Danon/Gutmann/Oberson/Pistone, Modèle de convention fiscale OCDE concernant le revenu et la fortune, Bâle 2014, n° 74 ad art. 4; Vogel/Lehner, DBA, Doppelbesteurungs-abkommen Kommentar, 6e éd., Beck 2015, n° 197 ad art. 4).
9.3. Les recourants disposaient de foyers d'habitation permanents dans les deux Etats. En effet, il n'est pas contesté qu'ils disposaient d'habitations en E._. En Suisse, ils ont d'abord loué un appartement jusqu'en septembre 2000, puis ont acquis une propriété d'une valeur de plus de vingt millions de francs, dans laquelle vivaient non seulement les recourants pour des motifs familiaux et professionnels mais également leurs deux filles scolarisées à Genève, qui auraient pu fréquenter l'internat du Collège de Z._. A cet égard, il y a lieu de préciser qu'une interruption de l'occupation de leur propriété pour la conduite de travaux de rénovation et d'agrandissement ne supprime pas le caractère de foyer d'habitation permanent lorsqu'une solution transitoire est trouvée dans les environs. En l'espèce, la solution qui consistait à loger temporairement les filles des recourants chez des amis constituait bien une solution transitoire. Dans ces conditions, aux termes de la convention CH-E._, à défaut de foyer d'habitation dans un seul Etat contractant, le droit d'imposer les recourants revient à l'Etat contractant avec lequel leurs liens personnels et économiques sont les plus étroits (centre des intérêts vitaux).
9.4. Le centre des intérêts vitaux se trouvait en Suisse pour les périodes fiscales 2001 à 2006 comme cela a déjà été exposé (cf. consid. 8 ci-dessus), de sorte que les recourants doivent être considérés comme résidents en Suisse pour les périodes en cause et y être imposés de manière illimitée. Il est possible que les activités économiques du recourant étaient largement plus développées en E._ que celles qu'il gérait depuis la Suisse et qu'il exerçait des fonctions dirigeantes tant en E._ qu'en Suisse. Cela n'est toutefois pas déterminant. Il faut plutôt constater que ce dernier a exposé à de multiples reprises avoir quitté le E._ au moment même où la crise financière de 1998 s'est déclarée, aux fins de développer ses affaires à l'international, soit hors E._. En d'autres termes, au centre des intérêts économiques du recourant en E._, non contesté, s'est ajouté un autre centre d'intérêt économique hors E._ - à l'international - qui, selon le comportement décisif (cf. consid. 9.2 ci-dessus) du recourant, a fait l'objet d'une attention particulière de ce dernier en raison de la conjoncture prévalant en Asie et d'une véritable volonté de diversification pour s'en prémunir. En résumé, le centre des intérêts économiques du recourant en E._ avant 1998 a perdu de son importance avec le développement, voulu par le recourant et concomitant à la crise asiatique de 1998, de ses affaires à l'international dès cette année-là et ne suffit pas à faire passer au second plan le centre des intérêts personnels situé à Genève durant les années 2001 à 2006.
En jugeant que les recourants étaient assujettis à l'impôt fédéral direct pour les périodes fiscales 2001 à 2006, l'instance précédente n'a pas violé le droit international.
II. Impôt fédéral direct; assiette de l'impôt
10.
Les recourants soutiennent que le produit de la vente des actions est un gain en capital non imposable.
10.1. Est imposable le rendement de la fortune mobilière, en particulier les dividendes, les parts de bénéfice, l'excédent de liquidation et tous autres avantages appréciables en argent provenant de participations de tout genre (art. 20 al. 1 let. c LIFD, dans la version en vigueur pour la période fiscale 2001). Selon la jurisprudence (<ref-ruling> consid. 4.1 p. 91 ss; <ref-ruling> consid. 2.2 p. 59 ss; <ref-ruling> consid. 5.1 p. 607; <ref-ruling> consid. 2 p. 119; <ref-ruling> consid. 2b p. 435, cf. également arrêts 2C_16/2015 du 6 août 2015 consid. 2 in Archives 84 254 et RDAF 2016 II 110; 2C_377/2014/2C_378/2014 du 26 mai 2015 consid. 9.4; 2C_708/2012 du 21 décembre 2012 consid. 4.3, non publié in: <ref-ruling>, mais in: RDAF 2013 II 469, StE 2013 A 24.44.1 n° 3, RF 68/2013 p. 212; 2C_272/2011 du 5 décembre 2011 consid. 3.2, in: RF 67/2012 p. 127), constitue une prestation appréciable en argent :
1) celle que la société de capitaux ou la société coopérative alloue, sans contre-prestation, ou sans contre-prestation équivalente,
2) à ses actionnaires, aux membres de l'administration ou à d'autres organes, ainsi qu'à toute personne la ou les touchant de près,
3) qu'elle n'aurait pas faite dans les mêmes circonstances à un tiers non participant, et
4) le caractère de la prestation étant reconnaissable pour les organes de la société de capitaux ou la société coopérative et pour son bénéficiaire.
10.2. En l'espèce, selon les faits retenus dans l'arrêt attaqué, qui lient le Tribunal fédéral (art. 105 al. 1 LTF), un montant d'une dizaine de millions d'USD équivalant à une centaine de millions de fr. a été versé sur le compte à la banque Q._ du recourant. Il constituait une partie du produit de la vente au groupe L._ d'actions que la société M._, elle-même détenue par le recourant, possédait dans le capital de N._. Dans ces conditions, le versement du montant sur le compte du recourant actionnaire de M._ constitue une prestation appréciable en argent et partant un revenu de la fortune mobilière. Il est vrai que, dans leur mémoire de recours, les recourants exposent une version des faits différente de celle qui a été établie dans l'arrêt attaqué. Ils n'exposent toutefois pas en quoi les conditions de l'art. 97 al. 2 LTF seraient réunies pour corriger l'état de fait. En particulier, ils renvoient à des écritures produites devant d'autres instances, ce qui n'est pas admissible (cf. arrêt 2C_786/2015 du 23 mai 2016 consid. 1.3). Le grief est par conséquent rejeté.
III. Impôt fédéral direct; soustraction fiscale
11.
C'est le lieu de rappeler que l'instance précédente a confirmé l'amende d'impôt fédéral direct de 6'952'629 fr. 75 infligée aux recourants pour tentative de soustraction d'impôt fédéral direct pour les périodes fiscales 2001-B et 2002, qui sanctionnait l'omission intentionnelle de déclarer des revenus et correspondait à 50 % des impôts que les recourants avaient tenté de soustraire, soit à 2/3 du montant d'une amende pour soustraction consommée. Les recourants se plaignent de la violation de leurs droits d'être entendus oralement et de ne pas contribuer à leur propre incrimination garantis par l'art. 6 CEDH dans les causes à caractère pénal ainsi que de la violation de l'art. 176 LIFD, contestant la réalisation des conditions objectives et subjectives de la tentative.
12.
12.1. La procédure réprimant la soustraction fiscale est une procédure à caractère pénal à laquelle l'art. 6 CEDH est applicable (<ref-ruling> consid. 9.2 p. 74 et les arrêts cités). Ce constat vaut également en matière de tentative de soustraction fiscale a fortiori lorsque, comme en l'espèce, l'amende en cause s'élève presque à 7 millions de francs et requiert que soit établie l'intention délictueuse du contribuable (art. 175 al. 1 et 176 al. 1 LIFD). En effet, pour que l'art. 6 CEDH s'applique au titre de l'expression «accusation en matière pénale», il faut, selon la CourEDH, prendre en compte trois critères : la qualification juridique de la mesure litigieuse en droit national, la nature même de celle-ci, et la nature et le degré de sévérité de la "sanction". Ces critères sont par ailleurs alternatifs et non cumulatifs : il suffit que l'infraction en cause soit, par nature, "pénale" au regard de la Convention, ou ait exposé l'intéressé à une sanction qui, par sa nature et son degré de gravité, ressortit en général à la "matière pénale". Cela n'empêche pas l'adoption d'une approche cumulative si l'analyse séparée de chaque critère ne permet pas d'aboutir à une conclusion claire quant à l'existence d'une «accusation en matière pénale» (arrêt de la CourEDH du 4 mars 2014, Grande Stevens et autres c. Italie, req. 18640/10, 18647/10, 18663/10, § 94; arrêt de la CourEDH du 23 juillet 2002, Janosevic c. Suède, req. 34619/97 § 67 et 68 ainsi que arrêt de la CourEDH du 23 novembre 2006, Jussila c. Finlande, req. 73053/01, § 35 à 38).
12.2. Selon l'art. 6 par. 1 CEDH, "toute personne a droit à ce que sa cause soit entendue équitablement, publiquement et dans un délai raisonnable, par un tribunal indépendant et impartial, établi par la loi, qui décidera, soit des contestations sur ses droits et obligations de caractère civil, soit du bien-fondé de toute accusation en matière pénale dirigée contre elle".
De l'examen de la jurisprudence de la CourEDH, il ressort que la portée des garanties conférées par l'art. 6 § 1 CEDH varie selon qu'il s'agit d'une procédure relevant du volet civil, ou du volet pénal de l'art. 6 CEDH, les exigences du procès équitable étant dans ce dernier cas plus rigoureuses. Des différences existent encore s'agissant des causes relevant du droit pénal stricto sensu ou de celles qui ont été intégrées à cette matière au gré de l'extension progressive du volet pénal de l'article 6 à des domaines qui ne relèvent pas formellement des catégories traditionnelles du droit pénal, telles que les contraventions administratives, les punitions pour manquement à la discipline pénitentiaire, les infractions douanières, les sanctions pécuniaires infligées pour violation du droit de la concurrence et les amendes infligées par des juridictions financières. S'il est vrai que les procédures pénales, qui ont pour objet la détermination de la responsabilité pénale et l'imposition de mesures à caractère répressif et dissuasif, revêtent toutes une certaine gravité, il va de soi que certaines d'entre elles ne comportent aucun caractère infamant pour ceux qu'elles visent. Toutes ces procédures, selon leurs objets, n'ont donc pas le même poids (arrêt de la CourEDH du 23 novembre 2006, Jussila c. Suède, req. 73053/01, § 43).
12.2.1. Selon la CourEDH, dans les domaines relevant de l'extension du volet pénal de l'art. 6 CEDH, l'obligation de tenir une audience publique n'est pas absolue. Tel est notamment le cas pour les affaires ne soulevant pas de question de crédibilité ou ne suscitant pas de controverse sur les faits qui auraient requis une audience, et pour lesquelles les tribunaux peuvent se prononcer de manière équitable et raisonnable sur la base des conclusions présentées par les parties et d'autres pièces.
Ainsi, dans l'affaire Jussila (loc. cit., § 46 et 48), constatant d'une part que les motifs pour lesquels l'intéressé sollicitait une audience étaient en grande partie liés à la contestation du bien-fondé de l'évaluation de l'impôt dont on l'estimait redevable - qui échappe en elle-même au champ d'application de l'article 6 - d'autre part, que la somme en jeu était minime et enfin que l'intéressé avait eu amplement l'occasion de présenter par écrit ses moyens de défense et de répondre aux conclusions des autorités fiscales, la Cour a jugé que de telles circonstances particulières n'impliquaient pas la tenue d'une audience.
12.2.2. Se référant à l'arrêt rendu en la cause Jussila, le Tribunal fédéral confirme que le contribuable peut en principe se prévaloir d'un droit à être entendu oralement par une instance judiciaire, ce qu'il avait déjà reconnu dans un arrêt datant de 1993 (<ref-ruling> consid. 9.2 p. 74; <ref-ruling> consid. 7a p. 331 s.), mais cette audition n'est pas automatique; il faut que le contribuable en fasse la demande (<ref-ruling> consid. 9.2 p. 74). Lorsque le juge est saisi d'une demande de débats publics et oraux, il doit en principe y donner suite. Il ne peut s'abstenir que si la demande n'est pas présentée suffisamment tôt, si elle paraît chicanière ou semble relever d'une tactique dilatoire, ou constitue un procédé abusif (cf. <ref-ruling> consid. 1 p. 281; <ref-ruling> consid. 2.3 p. 333; <ref-ruling> consid. 3b p. 55 ss; plus récemment arrêt 6B_594/2015 du 29 février 2016 consid. 2.3).
12.3. En l'espèce, les recourants ont formellement demandé à être entendus oralement par courrier du 9 mai 2014. A cet effet, ils ont souligné que leur audition était indispensable pour statuer sur le recours déposé devant l'instance précédente notamment dans la mesure où des amendes ont été prononcées à leur encontre et où un temps relativement long s'était écoulé depuis les actes qui leur étaient reprochés. Il s'agit par conséquent d'une demande formelle des recourants d'être entendus personnellement par le juge dans une procédure fiscale à caractère pénal au sens de l'art. 6 CEDH (<ref-ruling> consid. 9 p. 74 ss).
La position de la Cour de justice, qui n'a pas donné suite à la demande d'audition, ne prête toutefois pas le flanc à la critique. En effet, durant les trois ans qu'a duré la procédure devant le Tribunal de première instance et alors que celle-ci portait déjà sur les amendes pour tentatives de soustraction fiscale, les recourants n'ont formulé aucune demande d'audition. Ils n'ont pas davantage présenté une telle requête ni dans leur recours devant la Cour de justice, ni durant l'échange ordinaire des écritures mais seulement le 9 mai 2014, soit plus d'une année après le dépôt du recours le 4 mars 2013 et longtemps après que le juge instructeur cantonal ait annoncé aux parties que la cause était gardée à juger en date du 19 août 2013. Refuser, en pareilles circonstances, une audition du recourant, ne saurait constituer une violation de l'art. 6 CEDH.
13.
Invoquant les art. 6 CEDH et 183 al. 1bis LIFD, les recourants se plaignent d'avoir été contraints de contribuer à leur propre incrimination.
13.1. Sous le chapitre "Procédure", et la note marginale "en cas de soustraction d'impôt ", l'art. 183 al.1bis LIFD, entré en vigueur le 1er janvier 2008 (RO 2007 2973 2975) prévoit que les moyens de preuve rassemblés dans le cadre de la procédure en rappel d'impôt ne peuvent être utilisés dans la procédure pénale pour soustraction d'impôt que s'ils n'ont été réunis ni sous la menace d'une taxation d'office (art. 130, al. 2) avec inversion du fardeau de la preuve au sens de l'art. 132, al. 3, ni sous la menace d'une amende en cas de violation d'une obligation de procédure.
13.1.1. En dérogation au principe général interdisant l'application d'une norme à des faits entièrement révolus avant son entrée en vigueur (<ref-ruling> consid. 1.1 p. 408; <ref-ruling> consid. 4.2 p. 373 s.), les nouvelles règles de procédure s'appliquent en principe pleinement dès leur entrée en vigueur aux causes qui sont encore pendantes.
En l'espèce, bien qu'elle concerne les périodes fiscales 2001-B et 2002, la décision prononçant l'amende pour tentative de soustraction fiscale date du 15 janvier 2010 : elle est donc postérieure au 1er janvier 2008. L'art. 183 al. 1bis LIFD trouve par conséquent application ratione temporis. Il n'y a en l'espèce pas de raison de s'écarter de la jurisprudence exigeant l'application immédiate des normes de procédures.
13.1.2. Les conditions de l'art. 183 al.1 bis LIFD ne sont toutefois pas réunies en l'espèce. En effet, les périodes fiscales 2001-B et 2002 n'ont pas fait l'objet d'une procédure de rappel d'impôt, puisqu'il n'y avait aucune décision de taxation définitive, raison pour laquelle du reste, seule la tentative de soustraction fiscale a été retenue à l'encontre des recourants. Il s'ensuit que l'instance précédente n'a pas violé l'art. 183 al. 1bis LIFD en confirmant le prononcé des amendes.
13.2. Comme déjà indiqué, la procédure pour tentative de soustraction d'impôt litigieuse constitue une procédure pénale qui tombe dans le champ des garanties de l'art. 6 CEDH (<ref-ruling> consid. 9.2 p. 74). Partant, la matière est soumise à la règle de la présomption d'innocence (art. 32 al. 1 Cst. et 6 § 2 CEDH; arrêt 2C_242/2013 du 25 octobre 2013 consid. 3.1), de sorte que le contribuable impliqué dans une procédure pénale n'est pas soumis au devoir de collaboration (cf. arrêt 2C_76/2009 du 23 juillet 2009 consid. 2.2).
13.2.1. Cela implique que les autorités doivent motiver l'accusation sans se référer à des preuves obtenues par pression ou contrainte au mépris de la volonté du prévenu (<ref-ruling> consid. 3 p. 388 ss; <ref-ruling> consid. 2.6.1; <ref-ruling> consid. 3.1; <ref-ruling> consid. 2.1 et les références citées). Toutefois, selon la jurisprudence de la CourEDH, toute obligation de fournir des informations qui pourraient conduire à une condamnation pénale n'est pas nécessairement illicite (arrêt de la CourEDH, Weh c. Autriche du 8 avril 2004, req. 38544/97, § 44 s.; décision d'irrecevabilité Allen c. Royaume-Uni du 10 septembre 2002, req. 76574/01; ATF <ref-ruling> consid. 3.1; JENS MEYER-LADEWIG, EMRK, Handkommentar, 3e éd., 2011, n° 133 ad art. 6 CEDH). L'art. 6 CEDH interdit un usage abusif ou excessif de la contrainte (arrêt CourEDH, Marttinen c. Finlande du 21 avril 2009, req. 19235/03, § 60; Murray c. Royaume-Uni du 8 février 1996, req. 18731/91, Recueil CourEDH 1996-I p. 30 § 45 s.; cf. ATF<ref-ruling> consid. 2.6.1; <ref-ruling> consid. 3.1; REGULA SCHLAURI, Das Verbot des Selbstbelastungszwangs im Strafverfahren, 2003, p. 213 ss, 362). La CourEDH a jugé que constituait une " improper compulsion " le fait d'exiger, sous menace de sanction pénale, la remise de documents potentiellement à charge par exemple en matière d'impôts douaniers ou de soustraction d'impôt (arrêt de la CourEDH, Funke c. France du 25 février 1993, req. 10588/83, Série A vol. 256A, § 44; C hambaz c. Suisse du 5 avril 2012, req. 11663/04, § 39, 54; J.B. c. Suisse du 3 mai 2001, req. 31827/96; cf. aussi ATF <ref-ruling> consid. 3.1). Un examen de la casuistique de la CourEDH (cf. <ref-ruling> consid. 3.3.3 p. 391 s.) montre, à tout le moins, que l'obligation de communiquer un fait n'équivaut pas toujours ni d'emblée à contribuer de manière illicite à sa propre condamnation. En résumé, au regard de l'art. 6 CEDH, la nature et le degré de la contrainte mise en oeuvre, afin d'obtenir un moyen de preuve, les possibilités de se défendre contre cette contrainte et l'utilisation de la preuve obtenue sont déterminants pour apprécier s'il y a eu violation du droit de se taire et de ne pas contribuer à sa propre condamnation (cf. arrêts de la CourEDH, O'Halloran et Francis c. Royaume-Uni du 29 juin 2007, req. 15809/02 et req. 25624/02, § 55 ss; Lückof et Spanner, § 51; cf. également <ref-ruling> consid. 3.3.3 p. 391 s.; arrêts 6B_439/2010 du 29 juin 2010 consid. 5.3 et 6B_571/2009 du 28 décembre 2009 consid. 3.2).
13.2.2. En l'espèce, pour la période fiscale 2001-B, les recourants ont volontairement remis le 22 novembre 2002 une déclaration d'impôt provisoire à l'autorité intimée. C'est dire qu'ils ont eux-mêmes considéré que leur déclaration n'était pas exhaustive et nécessitait des compléments. Par conséquent, en les sommant de déposer une déclaration d'impôt définitive pour la période fiscale 2001-B jusqu'au 28 février 2003 sous peine de taxation d'office, l'autorité intimée prenait acte de ce que les recourants avaient qualifié leur déclaration de "provisoire" et les invitait à la compléter dans le délai imparti. Après avoir demandé, le 26 février 2003, une prolongation de délai de 10 jours, dont ils n'ont pas respecté le terme, les recourants ont déposé une déclaration datée du 18 mars 2003. Le 11 avril 2003, l'autorité intimée a notifié aux recourants une taxation d'office fondée sur les éléments indiqués dans la déclaration provisoire. Dans ces circonstances, la taxation d'office comme conséquence de l'inobservation des délais impartis pour compléter une déclaration constituait une réponse procédurale logique et adaptée à l'attitude des recourants qui se sont contentés de déposer une déclaration qu'ils ont eux-mêmes qualifiée de "provisoire". Il n'y a dans cette démarche procédurale aucune contrainte suffisante au sens de la jurisprudence de la CourEDH relative à l'art. 6 CEDH ni menace de sanction pénale pour défaut de production de documents dont l'autorité intimée aurait soupçonné l'existence et dont elle eût pu penser que les contribuables souhaitaient taire ou celer l'existence. Au demeurant, les recourants n'ont pas remis en cause la constatation faite par l'instance précédente que le nom de la M._ figurait dans la déclaration 2001-A mais non plus dans la déclaration 2001-B, ce qui ne pouvait manquer d'attirer l'attention de l'autorité intimée et démontrait au surplus, comme l'a précisé à juste titre l'instance précédente, que les informations avaient déjà été fournies par les recourants, qui ne pouvaient plus se plaindre d'avoir été contraints de les produire et partant de participer à leur propre incrimination. Le grief est rejeté.
14.
Sous la note marginale "responsabilité des époux en cas de soustraction", l'art. 180 LIFD prévoit que le contribuable marié qui vit en ménage commun avec son conjoint ne répond que de la soustraction des éléments imposables qui lui sont propres. L'art. 177 LIFD est réservé. Le seul fait de contresigner la déclaration d'impôts commune n'est pas constitutif d'une infraction au sens de l'art. 177.
En l'espèce, les décisions du 15 janvier 2010, confirmées par décisions sur réclamation du 19 août 2010, infligent une amende pour soustraction fiscale au recourant et à la recourante sans exposer séparément les éléments imposables de chacun des époux aux fins de respecter le contenu de l'art. 180 LIFD. Il ressort toutefois de l'ensemble des actes et des procédures en la présente cause que seul le recourant était au centre des enquêtes et des décisions prises en matière de tentative de soustraction fiscale. Il s'ensuit que le prononcé de l'amende fiscale contre la recourante pour tentative de soustraction doit être annulé. La cause est renvoyée à l'instance précédente pour nouvelle décision tenant compte de l'art. 180 LIFD.
15.
15.1. Selon l'art. 176 al. 1 LIFD, celui qui tente de se soustraire à l'impôt sera puni d'une amende. La tentative de soustraction (art. 176 LIFD) se situe entre les actes préparatoires d'une soustraction, qui ne sont pas punissables, et la soustraction consommée (art. 175 LIFD), qui l'est. Le comportement illicite réprimé correspond, sur le plan objectif, à celui de la soustraction fiscale au sens de l'art. 175 LIFD. Dans la procédure de taxation, il suffit que le contribuable donne à l'autorité fiscale des renseignements inexacts, en particulier en fournissant une déclaration d'impôt incomplète et qui n'est pas conforme à la vérité au sens de l'art. 124 al. 2 LIFD. Pour qu'il y ait tentative, l'autorité de taxation doit découvrir que les renseignements fournis sont inexacts avant que la décision de taxation ne soit entrée en force, car, ensuite, la soustraction est consommée (arrêts 2C_908/2011 du 23 avril 2012 consid. 3.1, in RDAF 2012 II 324; 2C_528/2011 du 17 janvier 2012 consid. 2).
15.2. Sur le plan subjectif, la tentative de soustraction fiscale suppose, contrairement à la soustraction consommée qui peut être commise par négligence (cf. art. 175 LIFD), un agissement intentionnel de l'auteur. Il faut donc que le contribuable ait agi intentionnellement, soit avec conscience et volonté (cf. art. 12 al. 2 CP, applicable par renvoi combiné des art. 333 al. 1 et 104 CP). Le dol éventuel suffit (arrêts 2C_1007/2012 du 15 mars 2013 consid. 5.1; 2C_898/2011 du 28 mars 2012 consid. 2.2, in RF 67/2012 700). Il n'est toutefois pas aisé de distinguer le dol éventuel de la négligence consciente (arrêt 4A_97/2014 du 26 juin 2014 consid. 4.3.2). Il y a dol éventuel lorsque l'auteur envisage le résultat dommageable, mais agit néanmoins, même s'il ne le souhaite pas, parce qu'il s'en accommode pour le cas où il se produirait (<ref-ruling> consid. 8.2 p. 83; <ref-ruling> consid. 4.2.3 p. 4; en lien avec la tentative de soustraction fiscale, arrêt 2C_290/2011 du 12 septembre 2011 consid. 2.1). Etablir la conscience et la volonté relève de la constatation des faits qui lie le Tribunal fédéral (cf. art. 105 al. 1 LTF). En revanche, vérifier si l'autorité s'est fondée sur la notion exacte d'intention est une question de droit que le Tribunal fédéral revoit librement (arrêts 2C_908/2011 du 23 avril 2012 consid. 3.1, in RDAF 2012 II 324; 2C_447/2010 du 4 novembre 2010 consid. 3.2, in RDAF 2011 II 153 et les arrêts cités). Selon la jurisprudence constante, la preuve d'un comportement intentionnel en relation avec une tentative de soustraction fiscale doit être considérée comme apportée lorsqu'il est établi de façon suffisamment sûre que le contribuable était conscient que les informations données étaient incorrectes ou incomplètes, ce qui doit s'établir en fonction de l'ensemble du comportement de l'intéressé lors de la déclaration (arrêt 2C_533/2012 du 19 février 2013 consid. 5.3.2). Si tel est le cas, il faut présumer qu'il a volontairement voulu tromper les autorités fiscales, ou du moins qu'il a agi par dol éventuel, afin d'obtenir une taxation moins élevée; cette présomption ne se laisse pas facilement renverser, car l'on peine à imaginer quel autre motif pourrait conduire un contribuable à fournir au fisc des informations qu'il sait incorrectes ou incomplètes (<ref-ruling> consid. 3a p. 29 s.; confirmé notamment in arrêt 2C_908/2011 du 23 avril 2012 consid. 3.4, in RDAF 2012 II 324 et les arrêts cités).
15.3. En l'espèce, force est de constater que les revenus provenant de la fortune mobilière des recourants, en grande partie détenue par des banques sises en Suisse, dépassaient largement le million de francs suisses pour l'année 2002, ce que le recourant ne pouvait pas ignorer. En outre, il ressort des auditions par la DAPE du mandataire professionnellement qualifié de l'époque et du recourant que ce dernier avait caché le fait que la réception d'un montant d'une dizaine de millions d'USD équivalant à une centaine de millions de fr. sur son compte à la banque Q._ constituait une partie du produit de la vente au groupe L._ d'actions que la société M._, elle-même détenue par le recourant, possédait dans le capital de N._. Il ressort également de l'enquête menée par la DAPE que le recourant avait donné de faux renseignements à son mandataire professionnellement qualifié au sujet de l'origine des fonds reçus, ce qui avait entraîné qu'ils ne soient pas déclarés comme revenus. A cela s'ajoute que le recourant avait perçu à plusieurs reprises des commissions provenant de tiers qu'il n'avait pas déclarées, dont il admettait qu'il s'agissait d'un revenu imposable, puisqu'il en avait annoncé certaines dans sa déclaration fiscale 2001-B. Il a ainsi agi à tout le moins par dol éventuel. Dans ces circonstances, l'objection selon laquelle il se trouvait dans l'impossibilité de mettre en place les structures nécessaires au respect de ses obligations fiscale en Suisse, parce qu'il se trouvait dans l'impossibilité de communiquer librement avec ses conseils en raison des négociations qu'ils menaient avec les autorités à l'étranger, n'est pas crédible. On ne voit pas que ses mandataires professionnels suisses ou les administrations fiscales fédérale et cantonale aient pu constituer une menace pour les intérêts des recourants en E._.
En jugeant que le recourant a soustrait des éléments de son revenu et de sa fortune imposables pour la période fiscale 2001-B et 2002 par dol éventuel, l'instance précédente a correctement appliqué le droit fédéral, également s'agissant du montant des amendes prononcées, ce que le recourant ne conteste pas au demeurant.
16.
Les considérants qui précèdent conduisent à l'admission partielle du recours en matière d'impôt fédéral direct. Partant l'arrêt rendu le 24 novembre 2015 par la Cour de justice du canton de Genève est annulé en tant qu'il concerne le prononcé de l'amendes pour tentative de soustraction d'impôt fédéral direct pour les périodes 2001-B et 2002 contre la recourante et confirmé pour le surplus.
IV. Impôt cantonal et communal
17.
17.1. L'art. 3 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (LHID; loi sur l'harmonisation fiscale; RS 642.14) a une teneur similaire à celle de l'art. 3 LIFD et doit être appliqué de la même manière que celui-ci en matière internationale (cf. arrêts 2C_924 et 925/2014 du 12 mai 2015, consid. 6; 2C_452/2012 du 7 novembre 2012 consid. 4 in StE 2013 A 32 n° 19). A propos de l'impôt sur la fortune des recourants pour les périodes en cause, il convient cependant de rappeler que les conclusions sur le fond formulées par les recourants à ce sujet ont été déclarées irrecevables (cf. consid. 2.2 ci-dessus) et qu'au demeurant, la convention de double imposition CH-E._ ne concerne pas les impôts sur la fortune perçus dans les Etats contractants. Pour le surplus, les motifs qui ont été exposés ci-dessus en matière d'impôt fédéral direct valent pour l'impôt cantonal et communal.
17.2. C'est le lieu de rappeler que l'instance précédente a confirmé l'amende de 18'501'641 fr. infligée aux recourants pour tentative de soustraction d'impôt cantonal et communal pour les périodes fiscales 2001-B et 2002, qui sanctionnait l'omission intentionnelle de déclarer des revenus et correspondait à 50 % des impôts que les recourants avaient tenté de soustraire, soit à 2/3 du montant d'une amende pour soustraction consommée. Comme les art. 56, 57 al. 4 et 57a al. 2 LHID ont une teneur similaire à celle des art. 175, 176, 180 et 183 al. 1bis LIFD, les considérants relatifs à l'impôt fédéral direct valent également pour l'impôt cantonal et communal.
17.3. Les considérations qui précèdent conduisent à l'admission partielle du recours en matière d'impôt cantonal et communal. Partant, l'arrêt rendu le 24 novembre 2015 par la Cour de justice du canton de Genève est annulé en tant qu'il concerne le prononcé de l'amende pour tentative de soustraction d'impôt cantonal et communal pour les périodes 2001-B et 2002 contre la recourante et confirmé pour le surplus.
18.
La cause est renvoyée à l'instance précédente pour qu'elle rende une nouvelle décision dans le sens des considérants.
Ayant obtenu partiellement gain de cause, les recourants doivent supporter une partie des frais de la procédure fédérale (art. 66 al. 1 LTF). L'autre partie des frais judiciaires est mise à la charge du canton de Genève, qui succombe partiellement dans l'exercice de ses fonctions officielles et dont l'intérêt patrimonial est en cause (art. 66 al. 1 et 4 LTF). Ayant obtenu partiellement gain de cause avec l'aide de mandataire professionnel, la recourante a droit à une indemnité de dépens à charge du canton de Genève (art. 68 al.3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Les causes 2C_32/2016 et 2C_33/2016 sont jointes.
2.
Le recours est partiellement admis, dans la mesure où il est recevable.
3.
L'arrêt rendu le 24 novembre 2015 par la Cour de justice du canton de Genève est annulé en tant qu'il concerne le prononcé de l'amende pour tentative de soustraction d'impôt fédéral direct pour les périodes 2001-B et 2002 contre A.X._ et confirmé pour le surplus.
4.
L'arrêt rendu le 24 novembre 2015 par la Cour de justice du canton de Genève est annulé en tant qu'il concerne le prononcé de l'amende pour tentative de soustraction d'impôt cantonal et communal pour les périodes 2001-B et 2002 contre A.X._ et confirmé pour le surplus.
5.
La cause est renvoyée à la Cour de justice du canton de Genève pour qu'elle rende une nouvelle décision au sens des considérants sur le fond et sur les frais et dépens devant elle.
6.
Les frais de justice, arrêtés à 100'000 fr., sont mis à charge des recourants à raison de 90'000 fr. et à charge du canton de Genève à raison de 10'000 fr.
7.
Le canton de Genève versera à la recourante la somme 10'000 fr. à titre de dépens.
8.
Le présent arrêt est communiqué aux mandataires des recourants, à l'Administration fiscale cantonale du canton de Genève, à la Cour de justice de la République et canton de Genève, Chambre administrative, 2ème section, ainsi qu'à l'Administration fédérale des contributions.
Lausanne, le 24 novembre 2016
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Dubey