Faits :
A.
A._ est un ressortissant américain domicilié dans le canton de Genève depuis 1997. Le 9 septembre 2014, l'Administration fiscale du canton de Genève (ci-après: l'Administration cantonale) a ouvert à son encontre une procédure de rappel d'impôt et une procédure en soustraction d'impôt concernant l'impôt fédéral direct (IFD) et l'impôt cantonal et communal (ICC) des périodes fiscales 2004 à 2011. Le même jour, elle a ouvert à son endroit, dans le cadre de la procédure de taxation de la période fiscale 2012, une procédure pour tentative de soustraction d'impôt.
Le 20 décembre 2016, l'Administration cantonale a adressé à A._ des bordereaux de rappels d'impôt et d'amendes pour les périodes fiscales 2004 à 2006. Elle en a fait de même, le 20 décembre 2017, pour la période fiscale 2007. La quotité des amendes a été fixée à 100% du montant de l'impôt soustrait. Les montants réclamés au titre des rappels d'impôt en matière d'IFD et d'ICC, d'intérêts moratoires et d'amendes représentaient un total de 10'875'541 fr. 45 pour les périodes fiscales 2004 à 2006 et de 4'868'885 fr. 35 pour la période fiscale 2007. L'intéressé a élevé des réclamations contre ces bordereaux.
B.
B.a. Le 8 octobre 2018, l'Administration cantonale a notifié à A._ deux demandes de sûretés. Le contribuable n'avait pas déclaré la majeure partie de son revenu et de sa fortune durant plusieurs années. Il disposait de fortes attaches avec les États-Unis en raison de sa nationalité, du fait qu'une partie de sa famille y résidait et que sa société y exerçait une activité dans le commerce de pierres précieuses et d'objets d'art avec de nombreux clients américains. Sa fortune, considérable, se composait essentiellement de liquidités et de biens mobiliers, dont des oeuvres d'art entreposées aux Ports Francs, qui était très aisément transférables.
Les sûretés requises portaient sur des montants de respectivement 37'515'702 fr. 80 pour garantir le paiement de l'ICC 2004 à 2014 et de 3'028'724 fr., pour garantir le paiement l'IFD 2004 à 2014. Pour aboutir à ces montants, l'Administration cantonale est partie du montant des bordereaux de rappels d'impôt et d'amendes 2004 à 2007 déjà notifiés, dont la moyenne, arrondie à 4'000'000 fr., avait été utilisée pour évaluer les créances des périodes fiscales postérieures, créances qui avaient toutefois été réduites chaque année de 200'000 fr. pour tenir compte de la diminution du montant des intérêts moratoires. La répartition entre l'ICC et l'IFD avait été effectuée en appliquant une proportion moyenne pour les années 2004 à 2007.
B.b. Le 9 novembre 2018, après avoir demandé en vain à l'Administration cantonale la reconsidération de ses décisions du 8 octobre 2018, A._ a recouru contre celles-ci auprès du Tribunal administratif de première instance du canton de Genève (ci-après: le Tribunal administratif), concluant à leur annulation. Par jugement du 13 mai 2019, le Tribunal administratif a rejeté les recours. Le 14 juin 2019, A._ a déféré ce jugement auprès de la Cour de justice, Chambre administrative, du canton de Genève (ci-après: la Cour de justice).
B.c. Le 5 juillet 2019, l'Administration cantonale a statué sur la réclamation que le contribuable avait formée contre les bordereaux de rappels d'impôt et d'amendes IFD et ICC 2004 à 2006 du 20 décembre 2016. Se référant à un accord transactionnel qui avait été conclu avec le mandataire du contribuable le 1 er juillet 2019, l'Administration cantonale a modifié certaines reprises, réduit la quotité des amendes, qui s'élevait désormais à 48% du montant de l'impôt soustrait (au lieu de 100%), et supprimé les amendes 2004 et 2005, désormais prescrites. Sur ces bases, elle a adressé au contribuable, d'une part, de nouveaux bordereaux pour les périodes fiscales 2004 à 2006 et, d'autre part, des bordereaux de taxation pour les périodes fiscales 2012 à 2014. A._ a recouru contre la décision sur réclamation du 5 juillet 2019 auprès du Tribunal administratif et a formé une réclamation contre les bordereaux 2012 à 2014 du même jour.
B.d. Par courrier du 18 octobre 2019 adressé à la Cour de justice dans le cadre de la procédure concernant les sûretés, l'Administration cantonale a récapitulé les créances fiscales estimées à cette date à l'encontre de A._ pour l'ensemble des périodes fiscales 2004 à 2014.
S'agissant spécifiquement des périodes fiscales 2004 à 2006 et 2012 à 2014, elle a indiqué qu'au vu de l'attitude du contribuable, qui avait recouru contre la décision sur réclamation du 5 juillet 2019 alors même que celle-ci était le résultat d'un accord transactionnel du 1 er juillet 2019, elle avait l'intention, d'une part, de demander au Tribunal administratif la reformatio in pejus de cette décision et le rétablissement des bordereaux du 20 décembre 2016 (sous réserve des amendes 2004 et 2005 prescrites) et, d'autre part, de statuer in pejus dans les décisions qu'elle rendrait sur les réclamations que le contribuable avait formées contre les bordereaux de taxation 2012 à 2014. Pour la période fiscale 2007, les bordereaux du 20 décembre 2017 restaient valables (cf. supra consid. A). Pour les périodes fiscales 2008 à 2011, l'Administration cantonale se fondait désormais sur les bordereaux de rappels et d'amendes ICC et IFD qu'elle avait entre-temps notifiés au contribuable en date du 18 décembre 2018 pour la période fiscale 2008 (montant total des créances pour la période fiscale 2008: 3'335'968 fr.; arrêt attaqué p. 8) et en date du 15 février 2019 pour les périodes fiscales 2009 à 2011 (montants non spécifiés dans l'arrêt). Il en résultait que la créance fiscale totale estimée pour les périodes fiscales 2004 à 2014 s'élevait désormais à 26'022'641 fr. 30 pour l'ICC et à 1'692'294 fr. 40 pour l'IFD (en lieu et place de respectivement 37'515'702 fr. 80 fr. et 3'028'724 fr. évalués initialement). L'Administration cantonale concluait par conséquent à la rectification des demandes de sûretés en ce sens.
B.e. Par arrêt du 20 décembre 2019, la Cour de justice a confirmé que les conditions prévues pour demander des sûretés étaient remplies, tant pour l'IFD que pour l'ICC. Au vu des indications fournies par l'Administration cantonale le 18 octobre 2019, elle a estimé que la créance fiscale totale de 40'544'699 fr. 25, qui avait été admise par le Tribunal administratif, n'était plus adéquate et qu'elle devait être réduite à 27'714'935 fr. 60. La Cour de justice a, partant, partiellement admis le recours de A._, annulé le jugement du 13 mai 2019 du Tribunal administratif en tant qu'il fixait le montant total des sûretés à 40'544'699 fr. 25, dit que ce montant s'élevait à 27'714'935 fr. 60 et l'a confirmé pour le surplus.
C.
Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral, sous suite de frais et dépens, principalement, d'annuler l'arrêt du 20 décembre 2019 de la Cour de justice, les demandes de sûretés du 8 octobre 2018, les ordonnances de séquestre et les avis concernant l'exécution du séquestre; subsidiairement, d'annuler l'arrêt attaqué et de fixer le montant des sûretés à 0 fr.; plus subsidiairement, d'annuler l'arrêt attaqué et de fixer le montant des sûretés à 9'832'967 fr. et, encore plus subsidiairement, de renvoyer la cause à la Cour de justice pour nouvelle décision au sens des considérants.
La Cour de justice s'en tient à son arrêt. Dans sa réponse, l'Administration cantonale conclut au rejet du recours avec suite de frais. L'Administration fédérale des contributions se rallie à l'arrêt attaqué et aux observations de l'Administration cantonale. Le recourant a répliqué. L'Administration a dupliqué.

Considérant en droit :
1.
1.1. La présente procédure concerne des mesures de sûretés visant à garantir à titre provisoire le paiement d'impôts. Cette procédure est indépendante du fond, de sorte que, conformément à la jurisprudence (<ref-ruling> consid. 1.4 p. 351, rappelé in arrêt 2C_273/2019 du 16 septembre 2019 consid. 1.2), il s'agit d'une décision finale (<ref-law>). Cette décision a par ailleurs été rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF) dans une cause de droit public (<ref-law>) qui ne tombe pas sous le coup de l'une des exceptions de l'<ref-law>. La voie du recours en matière de droit public est donc ouverte.
1.2. Le recours a été déposé en temps utile (art. 46 al. 1 let. c et 100 al. 1 LTF) et dans les formes requises (<ref-law>) par le destinataire de l'arrêt attaqué, qui a qualité pour recourir (cf. <ref-law>). Il convient donc d'entrer en matière, sous réserve de ce qui suit.
1.3. En raison de l'effet dévolutif du recours à la Cour de justice (<ref-ruling> consid. 1.2 p. 104), seul l'arrêt du 20 décembre 2019 de cette instance fait l'objet de la présente procédure. Par ailleurs, l'objet de la contestation porté devant le Tribunal fédéral est déterminé par l'arrêt attaqué et ne saurait s'étendre au-delà (<ref-ruling> consid. 4.4.2 p. 156). Il s'ensuit que les conclusions du recours tendant à l'annulation des demandes de sûretés de l'Administration cantonale, ainsi que celles qui concluent à l'annulation des ordonnances de séquestre et d'avis concernant l'exécution des séquestres, sont irrecevables.
2.
2.1. Saisi d'un recours en matière de droit public, le Tribunal fédéral applique le droit d'office (<ref-law>). Conformément à l'<ref-law> toutefois, il ne connaît de la violation des droits fondamentaux, ainsi que de celle de dispositions de droit cantonal et intercantonal, que si ce grief a été invoqué et motivé, c'est-à-dire s'il a été expressément soulevé et exposé de façon claire et détaillée. Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 2.1 p. 118; <ref-ruling> consid. 2.4 p. 368).
2.2. Qu'elles aient été prononcées en application du droit fédéral ou du droit cantonal, les mesures de sûretés fiscales constituent des mesures provisionnelles de droit public au sens de l'<ref-law> (arrêts 2C_543/2018 du 30 octobre 2018 consid. 1.2 et les références; 2C_669/2016 du 8 décembre 2016 consid. 1.2.2).
En cas de recours contre des décisions portant sur des mesures provisionnelles, seule peut être invoquée, selon l'<ref-law>, la violation des droits constitutionnels. S'agissant des sûretés fondées sur le droit cantonal, peut en particulier être soulevé l'arbitraire dans l'application du droit cantonal (<ref-ruling> consid. 3 p. 351). Le Tribunal fédéral n'examine les griefs d'ordre constitutionnels que s'ils ont été invoqués et motivés de manière conforme aux exigences de l'<ref-law> qui viennent d'être rappelées (cf. consid. 2.1).
3.
Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits constatés par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law>. Selon l'<ref-law>, le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire - ou en violation du droit au sens de l'<ref-law> et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-ruling> consid. 6 p. 358; <ref-ruling> consid. 1.6 p. 377 s.). Conformément à l'<ref-law>, la partie recourante doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. A défaut, il n'est pas possible de tenir compte d'un état de fait qui diverge de celui qui est contenu dans l'acte attaqué (<ref-ruling> consid. 5.1 p. 356). Le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (<ref-ruling> consid. 6.3 p. 375; <ref-ruling> consid. 2.3 p. 266). En outre, aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (<ref-law>).
4.
Le recourant s'en prend partiellement aux constatations de fait de l'arrêt attaqué. Il se plaint de ce que la Cour de justice a tenu pour acquis qu'un accord transactionnel aurait été conclu avec l'Administration cantonale le 1 er juillet 2019 et qu'il ne l'aurait pas respecté, ce qui serait inexact et partant arbitraire.
4.1. En matière d'établissement des faits et d'appréciation des preuves, il y a arbitraire (art. 9 Cst.) si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a fait des déductions insoutenables (cf. <ref-ruling> consid. 3.6.2 p. 287; <ref-ruling> consid. 6 p. 358).
4.2. En l'occurrence, il ressort des faits constatés qu'un accord transactionnel a été conclu le 1 er juillet 2019 entre le mandataire du recourant et l'Administration cantonale. Cet accord a du reste déjà été mentionné dans la décision sur réclamation du 5 juillet 2019. Le recourant se limite à en contester l'existence, sans expliquer en quoi cet élément aurait une incidence sur le sort de la cause. Quoi qu'il en soit, l'Administration cantonale était de toute manière fondée, indépendamment de tout accord, à conclure à la reformatio in pejus de sa décision sur réclamation 2004 à 2006 dans le cadre de la procédure de recours initiée par le contribuable, et à envisager de statuer in pejus dans sa future décision sur réclamation concernant les périodes 2012-2014. Mal fondé, le grief est partant rejeté.
4.3. Les autres griefs que le recourant formule contre l'établissement des faits et l'appréciation des preuves relèvent en réalité de l'application du droit et seront partant traités sous cet angle ci-après.
Impôt fédéral direct
5.
Le litige porte sur des sûretés destinées à garantir le paiement de l'IFD et de l'ICC des périodes fiscale 2004 à 2014.
5.1. Les sûretés destinées à garantir l'impôt fédéral direct sont régies à l'<ref-law>. Selon l'<ref-law>, si le contribuable n'a pas de domicile en Suisse ou que les droits du fisc paraissent menacés, l'administration cantonale de l'impôt fédéral direct peut exiger des sûretés en tout temps, et même avant que le montant d'impôt ne soit fixé par une décision entrée en force. La demande de sûretés indique le montant à garantir; elle est immédiatement exécutoire. Dans la procédure de poursuite, elle produit les mêmes effets qu'un jugement exécutoire.
Selon la jurisprudence, pour qu'une demande de sûretés au sens de l'<ref-law> soit valable, il est nécessaire 1) que l'un des cas de séquestre mentionnés dans cette disposition soit réalisé, à savoir l'absence de domicile en Suisse ou le fait que les droits du fisc paraissent menacés, 2) que l'existence de la créance fiscale paraisse vraisemblable et 3) que le montant de la garantie exigée ne se révèle pas manifestement exagéré (arrêts 2C_414/2008 du 1 er octobre 2008 consid. 5 non publié in <ref-ruling>, mais in RDAF 2008 II 489 et Pra 2009/65 p. 427; 2A.446/2006 du 9 mars 2007 consid. 4).
S'agissant de l'existence de la créance fiscale, le niveau de preuve exigé est celui de la simple vraisemblance. L'existence d'une créance fiscale se détermine sur la base d'un examen préjudiciel et prima facie de la situation (arrêts 2C_273/2019 du 16 septembre 2019 consid. 2.2.2 et les références; 2C_543/2018 du 30 octobre 2018 consid. 2.2, 2C_235/2013 du 26 octobre 2013 consid. 2.4 et les références). L'<ref-law> n'exige pas que les montants réclamés soient fixés définitivement (" même avant que le montant d'impôt ne soit fixé par une décision entrée en force "). Lorsque la créance n'est pas définitive, le montant présumé de l'impôt fait l'objet d'un examen sommaire (arrêts 2C_669/2016 du 8 décembre 2016 consid. 2.3.3; 2C_468/2011 du 22 décembre 2011 consid. 2.2.3). En tant que mesures provisionnelles, les sûretés peuvent être modifiées ou révoquées à tout moment selon l'évolution des circonstances (arrêt 2C_543/2018 du 30 octobre 2018 consid. 2.2). Elles n'ont par ailleurs aucune influence sur l'existence ou sur le montant de la créance fiscale et ne préjugent en rien de celle-ci (arrêts 2C_689/2019 du 15 août 2019 consid. 2.2.7 et les références, in RF 74/2019 p. 746, StE 2019 B 99.1 Nr. 17; 2C_543/2018 du 30 octobre 2018 consid. 2.2; 2C_669/2016 du 8 décembre 2016 consid. 2.3.2).
5.2. Lorsqu'il doit statuer sur un recours portant sur une demande de sûretés, le Tribunal fédéral limite son examen à un contrôle prima facie de la situation (arrêts 2C_273/2019 du 16 septembre 2019 consid. 2.2.2 et les nombreuses références; 2C_669/2016 du 8 décembre 2016 consid. 2.3.4).
5.3. En l'espèce, la Cour de justice a jugé que les conditions ouvrant le droit de requérir des sûretés pour garantir l'IFD des périodes fiscales 2004 à 2014 étaient remplies. Le recourant avait, durant près de dix ans, omis de déclarer un grand nombre d'éléments de fortune et de revenu, dont notamment, des oeuvres d'art, des parts détenues dans des sociétés américaines, les fonds propres de ses trusts et des distributions reçues de trusts, ainsi que des prestations appréciables en argent. Son patrimoine était par ailleurs pour l'essentiel aisément transférable. Même si, au vu des relations personnelles du recourant à Genève, le risque qu'il parte à l'étranger était peu probable, il avait des relations économiques étroites avec les États-Unis, par le biais notamment de trusts et de parts dans des structures immobilières américaines. Les droits du fisc paraissaient ainsi menacés. L'existence d'une importante créance fiscale à titre de rappel d'impôts, d'intérêts moratoires et d'amendes pour soustraction paraissait par ailleurs pour le moins vraisemblable. S'agissant du montant des créances IFD pour l'ensemble des périodes fiscales concernées, les indications fournies par l'Administration cantonale le 18 octobre 2019 montraient que le montant de 3'028'724 fr. initialement estimé devait être réduit à 1'692'294 fr. 40. Ce montant paraissait plausible dans le cadre de l'examen superficiel qui prévalait à ce stade.
5.4. Le recourant ne conteste pas l'existence d'un des cas de séquestre mentionnés à l'<ref-law>, mais s'en prend au montant des sûretés retenu par la Cour de justice. Il soutient que ce montant a été fixé de manière arbitraire et qu'il est manifestement excessif.
5.5. A titre préalable, il convient de relever que la Cour de justice a déjà réduit le montant des sûretés en matière d'IFD, sur la base des indications fournies le 18 octobre 2019 par l'Administration cantonale. Il ressort implicitement de l'arrêt attaqué que cette réduction s'explique par le fait que, le 18 octobre 2019, l'Administration cantonale avait désormais à disposition, pour les périodes fiscales 2008 à 2014, des chiffres précis ressortant de décisions, alors que, le 8 octobre 2018, elle avait estimé les créances fiscales de ces périodes en partant de la moyenne arrondie des montants ressortant des décisions relatives aux périodes 2004 à 2007.
5.6. Une décision est arbitraire (art. 9 Cst.) lorsqu'elle contredit clairement la situation de fait, qu'elle viole gravement une norme ou un principe juridique clair et indiscuté ou qu'elle heurte d'une manière choquante le sentiment de la justice et de l'équité. Il n'y a pas arbitraire du seul fait qu'une solution autre que celle de l'autorité cantonale semble concevable, voire préférable. Pour qu'une décision soit annulée pour cause d'arbitraire, il ne suffit pas que sa motivation soit insoutenable; il faut encore que cette décision soit arbitraire dans son résultat (<ref-ruling> consid. 5.4 p. 326 s.). Lorsque le recourant se plaint d'arbitraire, il doit démontrer par une argumentation répondant aux exigences de l'<ref-law> que la décision entreprise se fonde sur une application de la loi ou une appréciation des preuves manifestement insoutenables (cf. <ref-ruling> consid. 5.1 p. 41; <ref-ruling> consid. 3.2 p. 400).
5.6.1. Le recourant fait en premier lieu valoir que la Cour de justice a arbitrairement fait abstraction des décisions rendues par l'Administration cantonale le 5 juillet 2019 pour évaluer le montant des créances fiscales des périodes 2004, 2005, 2006 et 2012, 2013 et 2014.
Contrairement à ce que le recourant soutient, les juges précédents pouvaient, sans tomber dans l'arbitraire, se fonder sur les montants articulés par l'Administration cantonale le 18 octobre 2019 pour évaluer le montant des créances fiscales des périodes 2004 à 2006 et 2012 à 2014. En effet, la Cour de justice a, ce faisant, adapté le montant des sûretés à l'évolution des circonstances, conformément à la jurisprudence rappelée ci-dessus. La diminution, par les juges précédents, du montant des sûretés par rapport au montant retenu initialement le démontre du reste. Le fait que l'Administration cantonale ait manifesté son intention de demander la reformatio in pejus, ou de procéder in pejus, dans le cadre des procédures relatives aux périodes 2004 à 2006 et 2012 à 2014, était une circonstance nouvelle que la Cour de justice pouvait prendre en considération dans le cadre d'un examen sommaire et prima facie de la situation. C'est donc sans arbitraire qu'elle s'est fondée sur les créances évaluées " in pejus " pour évaluer les sûretés nécessaires pour garantir le paiement de l'impôt dû pour ces périodes fiscales.
5.6.2. Le recourant soutient aussi que le montant total des créances fiscales revendiquées à son encontre pour l'ensemble des périodes 2004 à 2014, tant pour l'IFD que pour l'ICC, s'élèverait à 9'832'967 fr. seulement. Il se réfère à cet égard au montant de 9'832'967 fr. qui figure dans l'une des décisions de taxation du 5 juillet 2019 (pièce 98 du bordereau produit devant la Cour de justice), qui refléterait l'ensemble des prétentions des autorités fiscales à son encontre pour l'ensemble des périodes litigieuses. La Cour de justice serait partant tombée dans l'arbitraire en omettant ce fait, respectivement en considérant que ce montant ne concernerait que les créances des périodes 2004 à 2006 et 2012 à 2014 telles qu'établies en date du 5 juillet 2019.
La pièce 98 est une copie de l'avis de taxation ICC 2014 du 5 juillet 2019. Ce document indique qu'un montant de 9'832'967 fr. a été admis en déduction de la fortune 2014 du recourant, au titre d'intérêts sur rappels d'impôt et dettes d'impôts.
On ignore toutefois, et le recourant ne l'indique pas, comment ce montant a été calculé et partant ce qu'il recouvre exactement. Le recourant ne démontre en particulier pas que ce montant correspondrait à la somme des créances fiscales revendiquées à son encontre pour l'ensemble des périodes 2004 à 2014 par l'Administration cantonale en date du 5 juillet 2019, tant pour l'ICC que pour l'IFD. Quoi qu'il en soit, les juges précédents pouvaient de toute manière se fonder sur les montants articulés par l'Administration cantonale le 18 octobre 2019 pour évaluer le montant des sûretés (supra consid. 5.6.1). C'est donc sans arbitraire que la Cour de justice a fait abstraction du montant de 9'832'967 fr. pour évaluer les sûretés exigibles du recourant, respectivement qu'il a considéré que ce montant correspondait seulement à la somme des prétentions pour les périodes 2004 à 2006 et 2012 à 2014 telles qu'elles existaient au 5 juillet 2019, et qu'elle ne s'est partant pas fondée sur ce montant pour évaluer les sûretés exigibles.
5.6.3. Le recourant fait ensuite valoir en vain que le montant des sûretés est manifestement excessif, parce qu'il ne prend pas en compte le fait qu'il pourrait retirer son recours contre la décision sur réclamation du 5 juillet 2019 au Tribunal administratif et ainsi mettre fin à l'instance. Il s'agit là en effet d'une simple hypothèse, qui du reste ne mettrait pas forcément fin à l'instance (sur les situations, exceptionnelles, dans lesquelles le retrait du recours ne met pas fin à l'instance, en lien avec une reformatio in pejus annoncée par l'autorité intimée, cf. <ref-ruling> consid. 7 p. 145 ss et les références). Au demeurant, si le Tribunal administratif devait mettre fin à l'instance, le recourant pourrait obtenir une réévaluation des sûretés, si celles-ci devaient apparaître comme manifestement excessives au regard de cette nouvelle circonstance.
5.6.4. Le recourant fait finalement valoir que la créance fiscale à son encontre pour la période fiscale 2004 est prescrite depuis le 1 er janvier 2020.
Lorsqu'une créance fiscale est prescrite, elle n'est plus exigible, de sorte que des sûretés ne peuvent plus être requises pour la garantir. Dans un arrêt du 15 avril 1996, le Tribunal fédéral a ainsi examiné si la créance fiscale d'impôt fédéral direct, liée à la commission qu'un courtier immobilier domicilié à l'étranger était sur le point de recevoir en lien avec une opération immobilière, était prescrite. Parvenant à la conclusion que tel n'était pas le cas, le Tribunal fédéral a confirmé le droit de l'autorité fiscale de requérir des sûretés pour garantir l'IFD de la période fiscale concernée (arrêt 2A.508/1995 consid. 3c).
Lorsque des sûretés sont requises pour garantir le paiement de l'IFD de plusieurs périodes fiscales, le Tribunal fédéral doit examiner prima facie si, de manière globale, le montant total des sûretés est devenu manifestement excessif en raison de la prescription de créances fiscales. A cet effet, il doit comparer le montant de sûretés requis avec le montant diminué de la créance prescrite, et tenir compte également du fait que l'écoulement du temps a aussi pour effet d'augmenter le montant des intérêts moratoires dus pour les périodes fiscales non prescrites (cf., au sujet des intérêts moratoires, l'art. 3 de l'Ordonnance du 10 décembre 1992 sur l'échéance et les intérêts en matière d'impôt fédéral direct [RS 642.124] et son Annexe, mise à jour annuellement).
En l'occurrence, la prescription du droit de rappeler l'IFD de la période fiscale 2004 est acquise depuis le 1er janvier 2020 en vertu de l'<ref-law>. Selon les indications fournies par l'Administration cantonale, au 18 octobre 2019, la créance fiscale IFD 2004 s'élevait à 96'946 fr. 60 (arrêt p. 13).
Diminuée de ce montant prescrit, la créance fiscale totale estimée pour l'IFD s'élève désormais, sur la base des chiffres au 18 octobre 2019, à 1'595'347 fr. 80 au lieu de 1'692'294 fr. 40 (1'692'294 fr. 40 - 96'946 fr. 60). Il s'agit d'une diminution marginale, qui ne tient en outre pas compte du fait que les intérêts moratoires dus sur les périodes non prescrites ont augmenté avec l'écoulement du temps. La prescription du droit de rappeler l'IFD 2004 n'a donc en l'espèce pas pour conséquence de faire apparaître le montant total des sûretés retenu par la Cour de justice comme manifestement excessif.
5.7. Il en découle que le recourant a échoué à démontrer que la Cour de justice aurait procédé arbitrairement en fixant le montant des sûretés IFD sur la base des indications de l'Administration cantonale du 18 octobre 2019. Celui-ci n'apparaît pas manifestement excessif et l'on ne discerne aucune violation de l'<ref-law>.
Impôt cantonal et communal
6.
L'<ref-law> prévoit que les cantons peuvent disposer que les décisions de sûretés des autorités fiscales cantonales compétentes sont assimilées à des ordonnances de séquestre au sens de l'art. 274 de la loi fédérale du 11 avril 1889 sur la poursuite pour dettes et faillites.
La LHID ne prévoit donc pas de règle d'harmonisation contraignante pour les cantons en matière de sûretés.
6.1. Selon l'art. 38 al. 1 de la loi cantonale genevoise du 26 juin 2008 relative à la perception et aux garanties des impôts des personnes physiques et des personnes morales (LPGIP; RS/GE D 3 18), applicable aux sûretés litigieuses des périodes fiscales 2009 à 2014, si le contribuable n'a pas de domicile en Suisse ou que les droits du fisc paraissent menacés, le département peut exiger des sûretés en tout temps et même avant que le montant de l'impôt ne soit fixé par une décision entrée en force; la demande de sûretés, sommairement motivée, indique le montant à garantir (...).
Les sûretés requises en lien avec les créances des périodes fiscales 2004 à 2008 sont régies par l'ancien art. 371A de la loi générale du 9 novembre 1887 sur les contributions publiques (LCP; D 3 05). Cette disposition prévoyait que si le contribuable n'avait pas de domicile en Suisse ou que les droits du fisc paraissaient menacés, le département pouvait exiger des sûretés en tout temps et même avant que le montant de l'impôt ne soit fixé par une décision en force. La demande de sûretés indiquait le montant à garantir et elle était immédiatement exécutoire.
Tant l'art. 38 al. 1 let. b LPGIP que l'ancien art. 371A al. 1 let. b LCP reprennent les termes de l'<ref-law>, si bien que les principes exposés en matière d'IFD ont également vocation à s'appliquer à l'ICC (cf. arrêt 2C_414/2008 consid. 5 non publié in <ref-ruling>, mais in RDAF 2008 II 489 et Pra 2009/65 p. 427; cf. également arrêt 2C_669/2016 du 8 décembre 2016 consid. 4.2).
6.2. En l'espèce, la Cour de justice a réduit le montant des sûretés pour l'ICC des périodes fiscales 2004 à 2014 par rapport à ce qu'avait retenu le Tribunal administratif, puisque, de 37'515'702 fr. 80, elles ont été réduites à 26'022'641 fr.30. Pour aboutir à ce montant, la Cour de justice s'est fondée sur les indications que lui a fournies l'Administration cantonale le 18 octobre 2019.
6.3. Comme le recourant formule les mêmes griefs d'arbitraire à l'encontre de l'arrêt attaqué, pour ce qui concerne I'ICC, que ceux qu'il a formulés pour l'IFD, il peut être renvoyé à ce qui a été dit ci-dessus en matière d'IFD.
Il y a lieu de préciser que la prescription du droit de rappeler l'ICC 2004 n'a pas pour effet de rendre le montant total des sûretés de 26'022'641 fr.30 manifestement excessif. En effet, la créance a été évaluée à 1'516'995 fr. 30 le 18 octobre 2019 (arrêt attaqué p. 13). Diminuées de ce montant, les sûretés représenteraient désormais un total de 24'505'646 fr (26'022'641 fr.30 - 1'516'995 fr. 30). Il s'agit d'une diminution limitée au regard des montants en jeu, qui ne tient en outre pas compte du fait que les intérêts moratoires dus sur les périodes non prescrites ont augmenté avec l'écoulement du temps. Il apparaît ainsi que la prescription du droit de rappeler l'ICC 2004 n'a en l'espèce pas pour conséquence de faire apparaître le montant total des sûretés retenu par la Cour de justice comme manifestement excessif et partant arbitraire.
Il s'ensuit que les griefs d'application arbitraire du droit cantonal sont également rejetés s'agissant des sûretés cantonales litigieuses.
Conséquences, frais et dépens
7.
Ce qui précède conduit au rejet du recours dans la mesure de sa recevabilité, tant s'agissant de l'IFD que de l'ICC.
Succombant, le recourant supportera les frais judiciaires (<ref-law>). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure de sa recevabilité s'agissant de l'impôt fédéral direct.
2.
Le recours est rejeté dans la mesure de sa recevabilité s'agissant de l'impôt cantonal et communal.
3.
Les frais judiciaires, arrêtés à 32'500 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux mandataires du recourant, à l'Administration fiscale cantonale du canton de Genève, à la Cour de justice de la République et canton de Genève, Chambre administrative, 4ème section, et à l'Administration fédérale des contributions.
Lausanne, le 6 octobre 2020
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
La Greffière : Vuadens