Faits :
A.
A.a. A._ (ci-après: l'intéressé ou le contribuable, puis le recourant) est arrivé à Genève en 1985 et a obtenu la nationalité suisse par naturalisation en septembre 2000. Il était domicilié au chemin de B._ à C._ dans le canton de Genève jusqu'au 15 juillet 2007, date de son départ annoncé pour Monaco.
Durant les années 2008 à 2016, le contribuable, propriétaire de plusieurs immeubles en Suisse, a été assujetti fiscalement de manière limitée en raison d'un rattachement économique.
L'intéressé et ses trois frères dirigent le groupe D._, actif dans une dizaine de secteurs économiques (véhicules automobiles, hydrocarbures, banque et finance, technologies de l'information, énergies, médias, immobilier, santé, développement de projets, trading). Le groupe emploie des dizaines de milliers de personnes dans de nombreux pays. Selon le magazine E._, en mars 2016, la fortune globale du conglomérat, basé à Londres, équivalait à 15 milliards de dollars, soit la cinquante-huitième fortune mondiale.
A.b. Le 4 juillet 2018, le Ministère public de la République et canton de Genève a informé l'Administration fiscale cantonale de la République et canton de Genève (ci-après : l'Administration fiscale) de l'instruction d'une procédure pénale ouverte notamment du chef d'infractions à la loi sur les étrangers, d'usure et de traite d'êtres humains à l'encontre de l'intéressé, de son épouse, de leur fils F._ et de l'épouse de ce dernier. Selon le Ministère public, les prévenus résidaient ensemble, avec les trois enfants de F._, dans une villa au chemin B._ à C._, dont ils étaient copropriétaires, et ce à tout le moins jusqu'en avril 2018, nonobstant le domicile déclaré à Monaco par l'intéressé et son épouse. Depuis l'année 1997 en tout cas, mais très vraisemblablement depuis bien plus tôt, pour entretenir cette propriété, ainsi que subvenir aux soins et aux besoins de ses occupants, les prévenus avaient mis sur pied un système de recrutement d'employés de maison étrangers.
A.c. Le 4 décembre 2018, l'Administration fiscale a informé l'intéressé et son épouse de l'ouverture de procédures en rappel et soustraction d'impôt pour les années 2008 à 2016 et en tentative de soustraction d'impôt pour l'année 2017. En tant que résidents dans le canton de Genève durant ces années, ils auraient dû y être assujettis de manière illimitée. Ils étaient dès lors invités à déposer leurs déclarations fiscales 2008 à 2017, mentionnant les éléments de revenu et fortune mondiaux, accompagnées des justificatifs. Les contribuables ont contesté leur assujettissement illimité en exposant des éléments de faits tendant à prouver leur domicile monégasque.
A.d. Par courrier du 18 avril 2019, le Conseiller fédéral en charge du Département fédéral des finances a autorisé l'Administration fédérale des contributions à mener une enquête en collaboration avec l'Administration fiscale notamment à l'encontre du contribuable et de son fils F._, compte tenu de soupçons fondés de graves infractions fiscales. Les éléments au dossier permettaient de suspecter que le contribuable était imposable en Suisse plutôt qu'à Monaco. Selon les estimations, les montants soustraits pendant la période allant de 2009 à 2017 pouvaient porter, pour le contribuable, sur plus de 19'000'000 fr. s'agissant des revenus et sur au moins un milliard de fr. s'agissant de la fortune. Les rappels pour les impôts cantonal et communal (ICC) et d'impôt fédéral direct (IFD) pouvaient avoisiner un total de 53'000'000 fr. pour le contribuable. Des soupçons fondés concernant de graves infractions fiscales ressortaient des documents transmis.
Le 1er mai 2019, la Division des affaires pénales et enquêtes de l'Administration fédérale des contributions a ouvert une enquête pénale en raison de soupçons fondés que des soustractions continues de montants importants d'impôt ou une instigation/complicité à de telles soustractions avaient été commises par le contribuable. Celui-ci aurait commis, durant les périodes fiscales 2009 à 2017, des soustractions portant sur des montants importants d'impôt sur le revenu par le fait qu'il aurait touché des distributions dissimulées de revenu versées par G._ trust (île de Man) et/ou ses sociétés filles, tout en dissimulant à l'autorité fiscale son domicile effectif, évitant ainsi un assujettissement fiscal illimité en Suisse dès 2009. Les 8 et 16 mai 2019, elle a perquisitionné la propriété sise à C._ et a procédé à la mise sous scellés ou au séquestre de nombreux documents, matériel informatique, clés et coffres-forts.
B.
B.a. Le 28 mai 2019, l'Administration fiscale a notifié au contribuable deux demandes de sûretés pour des montants de respectivement 154'318'856 fr., avec intérêts à 5 % dès le 29 mai 2019, pour l'ICC et 3'431'615 fr., avec intérêts à 3 % dès le 29 mai 2019, pour l'IFD. Les demandes de sûretés étaient motivées par la dissimulation systématique d'une part des éléments de revenu et fortune ainsi que par l'annonce d'un changement de domicile à Monaco alors que le contribuable avait conservé son domicile à Genève. Le contribuable avait clôturé, entre décembre 2018 et avril 2019, la majorité des comptes bancaires dont il était titulaire ou ayant droit économique à D._ Banque (Suisse) SA, à Genève. Selon le tableau remis à l'intéressé par l'Administration fiscale le 17 juin 2019, les sommes réclamées à titre de sûretés étaient composées des estimations de rappels d'impôts ICC et IFD pour les années fiscales 2008 à 2017, des intérêts sur rappel correspondants et des estimations d'amendes pour les années 2009 à 2017.
B.b. Les 28 et 29 mai 2019, l'Administration fiscale a adressé des ordonnances de séquestre portant sur les montants susmentionnés à l'office des poursuites de Genève, ainsi qu'à l'office des poursuites d'Aigle (VD). Des actifs ont été séquestrés sur cette base.
B.c. A deux reprises, en juin 2019, l'Administration fiscale a demandé au contribuable si une autre mesure de garantie poursuivant le même but que des sûretés, telles des garanties bancaires, était proposée.
B.d. Le 28 juin 2019, le contribuable a recouru contre les demandes de sûretés de l'Administration fiscale auprès du Tribunal administratif de première instance de la République et canton de Genève. Par jugement du 8 juin 2020, ce tribunal a partiellement admis le recours en tant qu'il portait sur les intérêts retenus. L'intérêt mentionné dans la demande de sûretés et l'ordonnance de séquestre du 28 mai 2019, relatif à l'ICC, devait s'élever à 2,6 % et s'appliquer exclusivement aux montants estimés des reprises d'impôts 2008 à 2017. De la même façon, pour l'IFD, l'intérêt s'élevait à 3 %.
Par arrêt du 17 novembre 2020, la Chambre administrative de la Cour de justice de la République et canton de Genève (ci-après: la Cour de Justice) a rejeté le recours interjeté par le contribuable contre le jugement précité du 8 juin 2020.
C.
Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt de la Cour de justice du 17 novembre 2020. Il requiert que, pour l'ICC et l'IFD, l'estimation des amendes soit retranchée du calcul de la demande de sûretés et que le montant de la demande de sûretés soit ramené pour l'ICC à 70'677'019 fr. (composé du montant des rappels d'impôts de 60'697'983 fr. et des intérêts sur ce montant de 9'979'037 fr.) et pour l'IFD à 1'590'822 fr. (rappels d'impôt de 1'362'960 fr. auxquels s'ajoutent les intérêts, soit 227'862 fr.). Si nécessaire, il conclut pour le surplus au renvoi de la cause à l'une des autorités précédentes pour nouvelle décision dans le sens des considérants. Très subsidiairement, il demande que le montant de l'estimation des amendes à prendre en compte pour les demandes de sûretés soit ramené à un montant n'excédant pas 32'743'380 fr. pour l'ICC et 921'218 fr. pour l'IFD et que les demandes de sûretés ICC et IFD soient réduites pour qu'elles ne prennent en compte l'estimation des amendes qu'à concurrence du montant qui sera admis au titre des estimations réduites des rappels d'impôts, intérêts de retard et amende.
L'Administration fiscale, ainsi que l'Administration fédérale des contributions se rallient au contenu de l'arrêt attaqué et concluent au rejet du recours. La Cour de justice indique ne pas avoir d'observations à formuler et persiste dans les considérants et le dispositif de son arrêt.

Considérant en droit :
I. Recevabilité
1.
1.1. La présente procédure concerne des mesures de sûretés visant à garantir à titre provisoire le paiement d'impôts et d'amendes. Cette procédure est indépendante du fond, de sorte que, conformément à la jurisprudence (<ref-ruling> consid. 1.4; arrêt 2C_85/2020 du 6 octobre 2020 consid. 1.1, in RF 75/2020 958), il s'agit d'une décision finale (<ref-law>). Cette décision a par ailleurs été rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF) dans une cause de droit public (<ref-law>) qui ne tombe pas sous le coup de l'une des exceptions de l'<ref-law>. La voie du recours en matière de droit public est donc ouverte.
1.2. Le recours a été déposé en temps utile (art. 44, 46 al. 2 et 100 al. 1 LTF) et dans les formes requises (<ref-law>) par le destinataire de l'arrêt attaqué, qui a qualité pour recourir (cf. <ref-law>). Il convient donc d'entrer en matière.
II. Pouvoir d'examen
2.
2.1. Saisi d'un recours en matière de droit public, le Tribunal fédéral applique le droit d'office (<ref-law>). Conformément à l'<ref-law> toutefois, il ne connaît de la violation des droits fondamentaux, ainsi que de celle de dispositions de droit cantonal et intercantonal, que si ce grief a été invoqué et motivé, c'est-à-dire s'il a été expressément soulevé et exposé de façon claire et détaillée. Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 2.1; <ref-ruling> consid. 2.4).
2.2. Qu'elles aient été prononcées en application du droit fédéral ou du droit cantonal, les mesures de sûretés fiscales constituent des mesures provisionnelles de droit public au sens de l'<ref-law> (arrêt 2C_85/2020 précité du 6 octobre 2020 consid. 2.2 et références).
En cas de recours contre des décisions portant sur des mesures provisionnelles, seule peut être invoquée, selon l'<ref-law>, la violation des droits constitutionnels. S'agissant des sûretés fondées sur le droit cantonal, peut en particulier être soulevé l'arbitraire dans l'application du droit cantonal (<ref-ruling> consid. 3). Le Tribunal fédéral n'examine les griefs d'ordre constitutionnels que s'ils ont été invoqués et motivés de manière conforme aux exigences de l'<ref-law> qui viennent d'être rappelées (cf. consid. 2.1).
2.3. Lorsqu'il doit statuer sur un recours portant sur une demande de sûretés, le Tribunal fédéral limite son examen à un contrôle prima facie de la situation (arrêt 2C_85/2020 du 6 octobre 2020 consid. 5.2 et références).
III. Prescription
3.
3.1. La prescription ou la péremption sont des questions de droit matériel que le Tribunal fédéral examine d'office lorsqu'elles jouent en faveur du contribuable (cf. <ref-ruling> consid. 3.2) tant pour l'IFD que les ICC, lorsque celles-ci se fondent sur le droit fédéral (cf. <ref-ruling> consid. 3.4; arrêt 2C_41/2020 du 24 juin 2020 consid. 4 et les références). Ces questions doivent également être examinées dans le cadre d'une demande de sûretés. En effet, lorsqu'une créance fiscale est prescrite, elle n'est plus exigible, de sorte que des sûretés ne peuvent plus être requises pour la garantir (cf. arrêt 2C_85/2020 du 6 octobre 2020 consid. 5.6.4, in RF 75/2020 958; Archives 89 323).
3.2. En l'occurrence, le recourant ne fait à juste titre pas valoir que le droit d'introduire une procédure de rappel d'impôt, ni celui de procéder audit rappel serait éteint pour les années fiscales concernées, à savoir 2008 à 2017. En effet, il ressort des faits de l'arrêt entrepris qu'un avis d'ouverture de la procédure de rappel d'impôt a été notifié au recourant le 4 décembre 2018 pour les années concernées. Le délai de péremption de dix ans des art. 152 al. 1 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD; RS 642.11), 53 al. 2 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (LHID; loi sur l'harmonisation fiscale; RS 641.14) et 61 al. 1 de la loi genevoise de procédure fiscale du 4 octobre 2001 (LPFisc; RS/GE D 3 17) a ainsi été respecté. Le délai de prescription absolu de 15 ans pour procéder au rappel d'impôt, prévu par les <ref-law>, 53 al. 3 LHID et 61 al. 3 LPFisc, n'est pas non plus échu.
4.
En revanche, le recourant invoque la prescription de la poursuite pénale pour les années 2009 et 2010.
4.1. Avant le 1er janvier 2017, la poursuite pénale de la soustraction consommée se prescrivait dans tous les cas par quinze ans à compter de la fin de la période fiscale pour laquelle la taxation n'avait pas été effectuée ou l'avait été de façon incomplète, ce délai ne pouvant être prolongé (ancien <ref-law> [RO 1991 1184] cum <ref-law>, en relation avec l'<ref-ruling>). La prescription était en outre interrompue par tout acte de procédure tendant à la poursuite du contribuable (ancien <ref-law>). Pour sa part, la poursuite de la tentative de soustraction se prescrivait par six ans à compter de la clôture définitive de la procédure au cours de laquelle la tentative de soustraction avait été commise (ancien <ref-law>). Depuis le 1er janvier 2017, la poursuite pénale se prescrit, en cas de soustraction d'impôt consommée, au plus tôt, par dix ans à compter de la fin de la période fiscale pour laquelle la taxation n'a pas été effectuée ou l'a été de façon incomplète (art. 184 al. 1 let. b ch. 1 LIFD). S'agissant de la tentative de soustraction, la poursuite pénale se prescrit toujours par six ans à compter de la clôture définitive de la procédure au cours de laquelle la tentative de soustraction a été commise (<ref-law>). Selon l'<ref-law> actuellement en vigueur, la prescription ne court plus si une décision a été rendue par l'autorité cantonale compétente (<ref-law>) avant l'échéance du délai de prescription. L'art. 58 al. 1, al. 2 let. a et al. 3 LHID, en vigueur depuis le 1er janvier 2017, a un contenu identique à celui de l'<ref-law>; il est directement applicable si les cantons n'ont pas adapté leur législation au 1er janvier 2017 (<ref-law>; cf. art. 77 LPFisc dont l'al. 2 diffère de l'<ref-law>). La poursuite pénale pour tentative de soustraction d'impôt se prescrit par quatre ans à compter de la clôture définitive de la procédure au cours de laquelle la tentative a été commise (art. 77 al. 1 let. a LPFisc).
En vertu des <ref-law> et 78f LHID, le nouveau droit est applicable au jugement des infractions commises au cours des périodes fiscales précédant le 1 er janvier 2017 s'il est plus favorable que le droit en vigueur au cours de ces périodes fiscales. Dans la mesure où il empêche la prescription de courir, en particulier durant la procédure devant le Tribunal fédéral, le nouveau droit se révèle être en principe moins favorable aux contribuables que l'ancien droit. Il est en revanche plus favorable si aucune décision n'a été rendue dans les dix ans à compter de la fin de la période fiscale (cf. arrêts 2C_41/2020 du 24 juin 2020 consid. 4.3; 2C_444/2018 du 31 mai 2019 consid. 4.3 et les références).
4.2. En l'espèce, dix ans se sont écoulés depuis la fin des périodes fiscales 2009 et 2010 sans que les amendes pour ces années n'aient fait l'objet d'une décision. Comme le relève à juste titre le recourant, la poursuite pénale pour soustraction fiscale consommée concernant tant l'IFD que l'ICC du contribuable pour les périodes fiscales 2009 et 2010 est donc prescrite. Ce n'est pas le cas pour les autres années fiscales concernées, aussi bien sous l'ancien droit que le nouveau.
Reste à examiner si ce constat conduit au caractère excessif du montant des sûretés demandées (cf. arrêt 2C_85/2020 précité du 6 octobre 2020 consid. 5.6.4). Cette question sera examinée ci-après (cf. infra consid. 6.4 et 7.2).
IV. Impôt fédéral direct
5.
5.1. Les sûretés destinées à garantir l'impôt fédéral direct sont régies à l'<ref-law>. Selon l'<ref-law>, si le contribuable n'a pas de domicile en Suisse ou que les droits du fisc paraissent menacés, l'administration fiscale de l'impôt fédéral direct peut exiger des sûretés en tout temps, et même avant que le montant d'impôt ne soit fixé par une décision entrée en force. La demande de sûretés indique le montant à garantir; elle est immédiatement exécutoire. Dans la procédure de poursuite, elle produit les mêmes effets qu'un jugement exécutoire. Selon la jurisprudence, pour qu'une demande de sûretés au sens de l'<ref-law> soit valable, il est nécessaire 1) que l'un des cas de séquestre mentionnés dans cette disposition soit réalisé, à savoir l'absence de domicile en Suisse ou le fait que les droits du fisc paraissent menacés, 2) que l'existence de la créance fiscale paraisse vraisemblable et 3) que le montant de la garantie exigée ne se révèle pas manifestement exagéré (arrêt 2C_85/2020 du 6 octobre 2020 consid. 5.1 et références).
S'agissant de l'existence de la créance fiscale, le niveau de preuve exigé est celui de la simple vraisemblance. L'existence d'une créance fiscale se détermine sur la base d'un examen préjudiciel et prima facie de la situation. L'<ref-law> n'exige pas que les montants réclamés soient fixés définitivement ("même avant que le montant d'impôt ne soit fixé par une décision entrée en force"). Lorsque la créance n'est pas définitive, le montant présumé de l'impôt fait l'objet d'un examen sommaire (arrêt 2C_85/2020 du 6 octobre 2020 consid. 5.1 et références).
5.2. En l'occurrence, l'autorité précédente a retenu comme motif de sûretés que les droits du fisc étaient menacés. Selon les faits de l'arrêt attaqué, le contribuable avait clôturé la majorité des comptes bancaires dont il était titulaire ou ayant droit économique à D._ Banque (Suisse) SA, à Genève, les biens immobiliers qu'il possédait en Suisse ne suffisaient pas à couvrir les dettes fiscales estimées et son train de vie impliquait des moyens financiers qui lui permettaient de changer rapidement de lieu de vie et de transférer sa fortune mobilière.
Ces éléments permettaient à la Cour de justice de retenir de façon soutenable que la perception des montants réclamés était menacée. Le recourant ne conteste pas l'arrêt attaqué sur ce point.
5.3. L'existence de la créance fiscale n'est pas non plus remise en question par le recourant sous l'angle de l'arbitraire. Les éléments de faits retenus dans l'arrêt attaqué permettent, prima facie, de constater la vraisemblance de cette créance, en raison de l'omission du recourant et de son épouse de déclarer aux autorités fiscales genevoises leurs revenus, notamment issus d'un trust et de ses filiales, ainsi que leur fortune, compte tenu du maintien de leur domicile fiscale dans le canton de Genève.
6.
Le recourant s'en prend en revanche au montant des sûretés demandées qu'il considère comme très largement exagéré et partant arbitraire.
6.1. Il invoque en premier lieu une différence, non expliquée par la Cour de justice, de près de 6'000'000 fr., entre l'estimation du montant des rappels d'impôt pour l'ICC et l'IFD 2009 à 2017 indiqué par le Conseil fédéral de 53'000'000 fr. et celle effectuée par l'Administration fiscale, de 58'990'000 fr. (composés de 57'661'000 fr. pour l'ICC et de 1'329'000 fr. pour l'IFD).
En l'occurrence, la seule différence susmentionnée, qui est de l'ordre de 10%, ne suffit pas pour conclure à l'arbitraire de l'estimation effectuée par l'Administration fiscale. En outre, le recourant n'explique pas en quoi le montant mentionné par le Conseil fédéral dans son courrier du 18 avril 2019 pour les rappels d'impôts, devrait manifestement l'emporter sur les chiffres retenus par l'autorité cantonale pour l'ICC et l'IFD 2009 à 2017. Au demeurant, on relèvera que l'estimation faite par le Conseil fédéral, telle qu'elle ressort de l'arrêt attaqué, ne distingue pas les sûretés pour l'IFD de celles pour l'ICC, ni le montant estimé pour chaque année fiscale concernée. Elle est en cela moins précise et détaillée que celle présentée par l'autorité cantonale. Le grief du recourant, qui ne répond pas aux exigences de motivation accrues de l'<ref-law>, doit partant être écarté.
Par ailleurs, le recourant ne se plaint pas sur ce point d'une violation de son droit d'être entendu (sous l'angle du droit à une décision motivée) et le Tribunal fédéral ne peut examiner cette question d'office (cf. <ref-law>).
6.2. Le recourant fait également valoir que les demandes de sûretés ne pouvaient pas porter sur des amendes non encore prononcées. Il estime que la loi ne prévoit pas la possibilité de requérir des sûretés pour garantir une créance qui n'existe pas ni pour garantir une créance future hypothétique que le fisc aimerait voir un jour se concrétiser. Requérir des sûretés pour des amendes inexistantes relève selon lui de l'arbitraire, consacre une violation claire de la présomption d'innocence et, faute de base légale, porte atteinte au noyau intangible de la garantie de la propriété (art. 26 Cst.).
6.2.1. Concernant la perception des amendes, l'<ref-law> renvoie notamment à l'<ref-law>. Les sûretés prévues par cette disposition peuvent donc aussi porter sur des créances d'amende (cf. <ref-ruling> consid. 7.3.1; PIERRE CURCHOD, in Commentaire romand, Impôt fédéral direct, 2e éd. 2017, n. 3 ad <ref-law>). L'<ref-law> mentionne expressément que des sûretés peuvent être demandées "en tout temps" et donc également avant qu'une décision ne soit rendue. Une demande de sûreté peut donc également concerner une amende qui n'a pas encore été prononcée et porter sur le montant présumé de celle-ci (CURCHOD, op. cit., n° 5 s. ad <ref-law>). D'ailleurs, le créancier qui a fait opérer un séquestre - lequel peut être demandé en tout temps sur la base de la demande de sûretés - sans poursuite ou action préalable peut le valider notamment en ouvrant la procédure d'amende, qui est assimilée à une action en reconnaissance de dette au sens de l'<ref-law> (cf. <ref-ruling> consid. 7.3.2 s.). Cette particularité procédurale confirme que l'absence du prononcé d'une amende ne s'oppose pas à des demandes de sûretés pour garantir le paiement de celle-ci.
En outre, le recourant perd de vue que les amendes en question portent sur des périodes fiscales déjà écoulées et non sur des périodes ultérieures, ce qui ne serait effectivement pas admissible (CURCHOD, op. cit. n° 4 ad <ref-law>).
6.2.2. La demande de sûretés se borne à exiger du débiteur qu'il fournisse des sûretés, en argent, en titre sûrs et négociables ou sous la forme du cautionnement d'une banque (<ref-law>; CURCHOD, op. cit., n° 34 et 49 s. ad <ref-law>). Les poursuites en prestation de sûretés (<ref-law>), qui ont été engagées par l'Administration fiscale (<ref-law>), ne sont pas destinées à satisfaire directement le poursuivant, mais à garantir l'exécution d'une obligation contractée à son profit. Les espèces obtenues par l'éventuelle réalisation des biens saisis devront être consignées, de telle façon qu'elles se trouvent à la disposition du créancier si celui-ci établit au fond son droit à la créance en garantie de laquelle les sûretés ont été fournies (cf. <ref-ruling> consid. 2.2; arrêt 5A.44/2018 du 31 août 2018 consid. 3.2.1). Les poursuites susmentionnées ne servent donc qu'à garantir le paiement des amendes envisagées, mais ne préjugent en rien de la culpabilité du recourant. La présomption d'innocence n'est ainsi pas violée.
6.2.3. La garantie de la propriété est ancrée à l'art. 26 al. 1 Cst. Elle n'est toutefois pas absolue. Comme tout droit fondamental, elle peut être restreinte aux conditions fixées à l'art. 36 Cst. La restriction doit ainsi reposer sur une base légale (al. 1), être justifiée par un intérêt public (al. 2) et respecter le principe de la proportionnalité (al. 3). Ce principe exige qu'une mesure restrictive soit apte à produire les résultats escomptés (règle de l'aptitude), que ceux-ci ne puissent être atteints par une mesure moins contraignante (règle de la nécessité) et qu'il existe un rapport raisonnable entre le but visé et les intérêts publics ou privés compromis (règle de la proportionnalité au sens étroit) (cf. <ref-ruling> consid. 6.2.1; <ref-ruling> consid. 4.2.1; <ref-ruling> consid. 3.1).
La garantie de la propriété n'empêche en principe pas le prononcé de restrictions provisoires (séquestre civil, pénal ou administratif) destinées à assurer l'exécution de décisions finales ultérieures (arrêt 1C_6/2016 du 27 mai 2016 consid. 3.8).
6.2.4. L'exécution de la demande de sûreté ou du séquestre conduit à une restriction du droit de propriété. La réalisation anticipée d'un bien séquestré ou dans le cadre d'une poursuite en prestation de sûretés constitue une atteinte grave à la garantie de la propriété (cf. arrêt 1B_461/2017 du 8 janvier 2018 consid. 2.1). Il convient donc d'examiner si les conditions de l'art. 36 al. 1 Cst. sont remplies.
Dans le présent cas, la restriction à cette garantie repose sur une base légale suffisante, soit l'<ref-law>, en lien avec les art. 38 al. 1, 67, 69 et 88 ss LP. Les mesures de sûretés en cause visent à garantir le paiement d'amendes pour soustractions fiscales et servent en cela un intérêt public. Enfin, les demandes de sûretés et les séquestres ont un caractère provisoire. Le recourant reste propriétaire des montants consignés. De plus, il peut éviter la réalisation des biens saisis en fournissant d'autres sûretés. Les mesures en cause restent ainsi proportionnées. Les conditions de l'art. 36 Cst. sont partant respectées.
6.3. Enfin, le recourant reproche à l'autorité précédente de ne pas avoir systématiquement calculé les amendes en prenant en compte le 100 % du montant des rappels d'impôt pour les soustraction d'impôt et 66.67 % de ce montant des rappels d'impôt pour les tentatives de soustraction d'impôt. Il relève que la Cour de justice a estimé les amendes à 150 % des rappels d'impôts pour les années fiscales jusqu'en 2013, puis 100 % dès 2014.
6.3.1. Selon l'<ref-law>, en règle générale, l'amende est fixée au montant de l'impôt soustrait. Si la faute est légère, l'amende peut être réduite jusqu'au tiers de ce montant; si la faute est grave, elle peut au plus être triplée. L'amende pour une tentative de soustraction est fixée aux deux tiers de la peine qui serait infligée si la soustraction avait été commise intentionnellement et consommée.
6.3.2. Il découle de l'arrêt entrepris que la qualification d'infractions graves pour les années, non prescrites, 2011 à 2013 (cf. supra consid. 4.2), n'apparaît pas prima facie infondée. Partant, il n'est pas arbitraire de prendre en compte une amende de 150 % du rappel d'impôts pour les soustractions fiscales pour les années 2011 à 2013 et de 100 % pour la tentative de soustraction envisagée pour 2017.
6.4. Reste à examiner si au vu des années pour lesquelles la poursuite pénale est prescrite, le montant des sûretés demandées pour l'IFD 2008 à 2017 est manifestement excessif (cf. supra consid. 4.2).
Selon l'arrêt attaqué, pour l'IFD, le montant estimé total des amendes pour les années fiscales 2009 et 2010 est de 196'000 fr., soit un peu plus de 11% des amendes estimées pour l'IFD 2009 à 2017 et un peu plus de 5,7 % du montant total des sûretés demandées pour l'IFD 2008 à 2017. Un tel pourcentage ne permet pas de conclure au caractère manifestement excessif des sûretés requises pour l'IFD.
6.5. Il découle de l'ensemble de ce qui précède que le montant des sûretés retenu par l'autorité précédente pour l'IFD 2008 à 2017 n'est pas manifestement excessif.
V. Impôts cantonal et communal
7.
7.1. L'art. 38 al. 1 de la loi cantonale du 26 juin 2008 relative à la perception et aux garanties des impôts des personnes physiques et des personnes morales (LPGIP; RS/GE D 3 18) de même que l'ancien art. 371A de la loi générale du 9 novembre 1887 sur les contributions publiques (LCP; D 3 05), applicable à la période fiscale 2008, reprenant les termes de l'<ref-law>, les considérants exposés ci-dessus en matière d'IFD leur sont également applicables (cf. <ref-ruling> consid. 7.3.2; arrêt 2C_85/2020 du 6 octobre 2020 consid. 6.1 et références), sous réserve de ce qui suit.
7.2. Il convient encore d'examiner si la prescription de la poursuite pénale pour les années 2009 et 2010 (cf. supra consid. 4.2) conduit au constat que le montant des sûretés demandées pour l'ICC des années fiscales 2008 à 2017 est excessif.
Selon l'arrêt attaqué le montant estimé total des amendes pour les années fiscales 2009 et 2010 était de 29'139'000 fr. pour l'ICC, ce qui correspond à plus de 38,5 % du montant estimé total des amendes pour l'ICC 2009 à 2017 et plus de 18 % du montant total des sûretés demandé pour l'ICC 2008 à 2017. Les sûretés demandées pour l'ICC sont ainsi, prima facie, excessives.
VI. Issue du litige; frais et dépens
8.
8.1. Sur le vu de l'ensemble de ce qui précède, le recours doit être rejeté pour ce qui concerne l'IFD 2008 à 2017. Il doit être partiellement admis en tant qu'il porte sur l'ICC. L'arrêt attaqué est réformé en ce sens que la demande de sûretés d'un montant total de 154'318'856 fr., est réduite du montant des amendes estimées pour les années 2009 et 2010, soit de 29'000'000 fr. Le montant des sûretés pour l'ICC 2008 à 2017 est ainsi ramené à 125'179'856 fr. Le recours est rejeté pour le surplus.
8.2. Le recourant obtient ainsi partiellement gain de cause. Il s'ensuit que le canton de Genève, qui agit dans l'exercice de ses attributions officielles et dont l'intérêt patrimonial est en jeu, supportera une part des frais de la procédure fédérale (art. 66 al. 1 et 4 LTF), le solde étant à la charge du recourant (<ref-law>). Celui-ci a également droit à des dépens réduits qui seront supportés par le canton de Genève dans la même proportion (art. 68 al. 1 et 2 LTF et art. 9 du règlement du Tribunal fédéral sur les dépens [RS 173.110.210.3]). Le canton de Genève ne peut prétendre à des dépens (<ref-law>). La Cour de justice procédera à une nouvelle répartition des frais et dépens de la procédure qui s'est déroulée devant elle (art. 67 et 68 al. 5 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté en ce qui concerne l'impôt fédéral direct 2008 à 2017.
2.
Le recours est partiellement admis en ce qui concerne les impôts cantonal et communal 2008 à 2017. L'arrêt attaqué est réformé en ce sens que le montant des sûretés est ramené à un montant global de 125'179'856 fr. Le recours est rejeté pour le surplus.
3.
Les frais judiciaires, arrêtés à 50'000 fr., sont mis à raison de 40'000 fr. à la charge du recourant et de 10'000 fr. à la charge du canton de Genève.
4.
Le canton de Genève versera au recourant une indemnité de 10'500 fr. à titre de dépens.
5.
La cause est renvoyée à la Cour de justice pour nouvelle décision sur les frais et les dépens de la procédure antérieure.
6.
Le présent arrêt est communiqué aux mandataires du recourant, à l'Administration fiscale cantonale du canton de Genève, à la Cour de justice de la République et canton de Genève, Chambre administrative, 4ème section, ainsi qu'à l'Administration fédérale des contributions.
Lausanne, le 17 août 2021
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : de Chambrier