Faits :
A.
A.a. A._, de nationalité suisse (ci-après: l'intéressé, le contribuable ou le recourant), et son épouse sont domiciliés dans la commune de B._ dans le canton de Genève depuis le 1 er avril 1995, avec leurs trois enfants nés en 1997 et 2000.
Le père et trois oncles du contribuable dirigent le groupe C._, actif dans une dizaine de secteurs économiques (véhicules automobiles, hydrocarbures, banque et finance, technologies de l'information, énergies, médias, immobilier, santé, développement de projets, trading). Le groupe emploie des dizaines de milliers de personnes dans de nombreux pays. Selon le magazine D._, en mars 2016, la fortune globale du conglomérat, basé à Londres, équivalait à 15 milliards de dollars, soit la cinquante-huitième fortune mondiale.
A.b. Suite aux dépôts des déclarations fiscales de l'intéressé et de son épouse pour les impôts cantonal et communal (ICC) et l'impôt fédéral direct (IFD) pour les années 2008 à 2012, ainsi que 2015 et 2016, l'Administration fiscale cantonale de la République et canton de Genève (ci-après : l'Administration fiscale) a procédé à diverses mesures d'instruction visant notamment à déterminer la fortune mobilière du contribuable et le montant des frais professionnels. Concernant ce premier objet, il s'agissait en particulier d'examiner si le contribuable faisait partie des bénéficiaires de trusts détenant le groupe C._ et de déterminer les revenus qu'il percevait pour les activités qu'il exerçait au sein des sociétés de ce groupe.
L'Administration fiscale et le contribuable ont trouvé un accord, notamment pour le mode de calcul des frais professionnels, la prise en compte des écolages payés par le père de celui-ci et des prêts consentis par la banque C._ SA. Par courriel du 12 juin 2018, l'Administration fiscale a indiqué au contribuable les montants déterminés en fonction de son train de vie qui seraient repris à titre de revenu pour les années 2008 à 2012 - sous réserve d'éléments de revenu supplémentaires - à savoir respectivement : 308'684 fr., 309'769 fr., 357'978 fr., 395'438 fr. et 400'250 fr. Des intérêts moratoires seraient en outre prélevés sur les montants d'impôts, conformément à la loi. Le 20 juin 2018, le contribuable a donné son accord à la reprise de ces montants.
Par lettres recommandées des 12 décembre 2014, 25 novembre 2015, 2 décembre 2016 et 20 novembre 2017, l'Administration fiscale a informé le contribuable qu'elle interrompait la prescription du droit de procéder à la taxation pour les années fiscales 2009, 2010, 2011 et 2012.
A.c. Le 4 juillet 2018, le Ministère public genevois a informé l'Administration fiscale de l'instruction d'une procédure pénale ouverte notamment du chef d'infractions à la loi sur les étrangers, d'usure et de traite d'êtres humains à l'encontre du contribuable, de son épouse, de son père et de sa mère. Ces infractions étaient liées à la mise en place d'un système de recrutement d'employés de maison indiens oeuvrant pour la villa que les prévenus occupaient ensemble à B._.
Le 8 août 2018, le Ministère public genevois a informé l'Administration fiscale qu'une autre procédure pénale était ouverte à l'encontre du contribuable pour faux dans les titres et lui a demandé copie des déclarations fiscales 2015 à 2017. L'Administration fiscale a procédé à de nouvelles mesures d'instruction.
Le 18 avril 2019, le Conseiller fédéral en charge du Département fédéral des finances a autorisé l'administration fédérale des contributions à mener une enquête en collaboration avec l'Administration fiscale à l'encontre notamment du contribuable et de son père. Les motifs de cette enquête étaient notamment les suivants : "Les éléments au dossier laissent également penser que [le père du contribuable] est, de concert avec d'autres membres de la famille C._, un ayant droit économique du trust E._ (île de Man), sans que la fortune y relative ne soit déclarée. Ils laissent en outre penser que, dans le cadre de versements effectués par des sociétés indirectement contrôlées par E._, dont notamment la société F._ limited (Bahamas), d'importantes distributions dissimulées ont été effectuées entre autre en faveur [du père du contribuable et de celui-ci], sans que celles-ci ne soient déclarées au titre de revenus par ces derniers. (...) Selon les estimations, les montants soustraits pendant la période allant de 2009 à 2017 pourraient porter (...) pour [le contribuable], sur plus de CHF 5'000'000.-, s'agissant des revenus, (...). Si l'on se base sur ces chiffres, les rappels IFD et ICC devraient avoisiner un total de (...) CHF 2'000'000.- pour [le contribuable] (...). En l'espèce, des soupçons fondés concernant de graves infractions fiscales ressortent des documents transmis".
Le 1 er mai 2019, la Division des affaires pénales et enquêtes de l'administration fédérale des contributions a ouvert une enquête pénale, en raison de soupçons fondés que des soustractions continues de montants importants d'impôt ou une instigation/complicité à de telles soustractions avaient été commises par les précités. Le contribuable aurait commis, durant les périodes fiscales 2009 à 2017, des soustractions portant sur des montants importants d'impôt sur le revenu, en omettant de déclarer des salaires et/ou des distributions dissimulées de revenu versés par E._ et/ou ses sociétés filles. Les 8 et 16 mai 2019, la division précitée a perquisitionné la propriété sise à B._ et mis sous scellés ou séquestré de nombreux documents, matériels informatique, clés et coffre-fort.
A.d. Le 24 mai 2019, l'Administration fiscale a informé le contribuable et son épouse de l'ouverture d'une procédure en tentative de soustraction d'impôt pour les années 2008 à 2012, 2015 et 2016.
B.
Le 28 mai 2019, l'Administration fiscale a notifié au contribuable deux demandes de sûretés pour des montants de respectivement 1'838'101 fr., avec intérêts à 5 % dès le 29 mai 2019, pour l'ICC 2008 à 2012, 2015 et 2016, et de 789'875 fr., avec intérêts à 3 % dès le 29 mai 2019, pour l'IFD 2008 à 2012, 2015 et 2016, en indiquant que les droits du fisc étaient menacés (<ref-law>).
Le 28 mai 2019, l'Administration fiscale a adressé à l'Office des poursuites de Genève deux ordonnances de séquestre correspondant aux montants susmentionnés.
A deux reprises en juin 2019, l'Administration fiscale a demandé à l'intéressé si une autre mesure de garantie poursuivant le même but que des sûretés, telles des garanties bancaires, était proposée.
Le 28 juin 2019, le contribuable a recouru contre les demandes de sûretés précitées auprès du Tribunal administratif de première instance de la République et canton de Genève. Par jugement du 8 juin 2020, ce tribunal a partiellement admis le recours, dans la mesure où l'intérêt mentionné sur la demande de sûretés et l'ordonnance de séquestre du 28 mai 2019, relatives à l'ICC, s'élevait à 2,6 % et s'appliquait exclusivement aux montants estimés des reprises d'impôts 2008 à 2012, 2015 et 2016. De la même façon, pour l'IFD, l'intérêt s'élevait à 3 %.
Par arrêt du 17 novembre 2020, la Chambre administrative de la Cour de justice de la République et canton de Genève (ci-après: Cour de justice) a rejeté le recours interjeté par le contribuable contre le jugement précité du 8 juin 2020.
C.
Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral, sous suite de frais et dépens, l'annulation de l'arrêt de la Cour de justice du 17 novembre 2020 et de le dispenser de fournir les sûretés demandées pour l'ICC et l'IFD. Subsidiairement, il requiert que le montant de la demande de sûretés soit ramené à 1'046'101 fr. pour l'ICC et à 451'875 fr. pour l'IFD.
La Cour de justice, l'Administration fiscale, ainsi que l'Administration fédérale des contributions renoncent à se déterminer et se rapportent aux considérants de l'arrêt attaqué. Ces deux dernières concluent au rejet du recours.

Considérant en droit :
1.
1.1. La présente procédure concerne des mesures de sûretés visant à garantir à titre provisoire le paiement d'impôts et d'amendes. Cette procédure est indépendante du fond, de sorte que, conformément à la jurisprudence (cf. <ref-ruling> consid. 1.4; arrêt 2C_85/2020 du 6 octobre 2020 consid. 1.1, in RF 75/2020 958), il s'agit d'une décision finale (<ref-law>). Cette décision a par ailleurs été rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF) dans une cause de droit public (<ref-law>) qui ne tombe pas sous le coup de l'une des exceptions de l'<ref-law>. La voie du recours en matière de droit public est donc ouverte.
1.2. Le recours a été déposé en temps utile (art. 44, 46 al. 2 et 100 al. 1 LTF) et dans les formes requises (<ref-law>) par le destinataire de l'arrêt attaqué, qui a qualité pour recourir (cf. <ref-law>). Il convient donc d'entrer en matière.
2.
2.1. Saisi d'un recours en matière de droit public, le Tribunal fédéral applique le droit d'office (<ref-law>). Conformément à l'<ref-law> toutefois, il ne connaît de la violation des droits fondamentaux, ainsi que de celle de dispositions de droit cantonal et intercantonal, que si ce grief a été invoqué et motivé, c'est-à-dire s'il a été expressément soulevé et exposé de façon claire et détaillée. Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 2.1; <ref-ruling> consid. 2.4).
2.2. Qu'elles aient été prononcées en application du droit fédéral ou du droit cantonal, les mesures de sûretés fiscales constituent des mesures provisionnelles de droit public au sens de l'<ref-law> (arrêt 2C_85/2020 précité du 6 octobre 2020 consid. 2.2 et références).
En cas de recours contre des décisions portant sur des mesures provisionnelles, seule peut être invoquée, selon l'<ref-law>, la violation des droits constitutionnels. S'agissant des sûretés fondées sur le droit cantonal, peut en particulier être soulevé l'arbitraire dans l'application du droit cantonal (<ref-ruling> consid. 3). Le Tribunal fédéral n'examine les griefs d'ordre constitutionnel que s'ils ont été invoqués et motivés de manière conforme aux exigences de l'<ref-law> qui viennent d'être rappelées (cf. consid. 2.1).
2.3. Lorsqu'il doit statuer sur un recours portant sur une demande de sûretés, le Tribunal fédéral limite son examen à un contrôle prima facie de la situation (arrêt 2C_85/2020 du 6 octobre 2020 consid. 5.2 et références).
3.
Le recourant se plaint, entre autres, d'une violation arbitraire des <ref-law> et 38 al. 1 de la loi cantonale du 26 juin 2008 relative à la perception et aux garanties des impôts des personnes physiques et des personnes morales (LPGIP; RS/GE D 3 18). Il fait valoir que les droits du fisc ne sont pas menacés, en invoquant en particulier ses propriétés immobilières en Suisse, les liens étroits que son épouse et lui-même nouent avec le canton de Genève, dans lequel ils sont domiciliés depuis 25 ans et où sont scolarisés leurs trois enfants, ainsi que sa bonne collaboration avec les autorités fiscales. Il reproche à la Cour de justice de ne pas avoir pris en compte ces éléments et d'avoir omis d'examiner l'existence du risque susmentionné.
3.1. Les sûretés destinées à garantir l'impôt fédéral direct sont régies à l'<ref-law>. Selon l'<ref-law>, si le contribuable n'a pas de domicile en Suisse ou que les droits du fisc paraissent menacés, l'administration fiscale de l'impôt fédéral direct peut exiger des sûretés en tout temps, et même avant que le montant d'impôt ne soit fixé par une décision entrée en force. La demande de sûretés indique le montant à garantir; elle est immédiatement exécutoire. Dans la procédure de poursuite, elle produit les mêmes effets qu'un jugement exécutoire. Selon la jurisprudence, pour qu'une demande de sûretés au sens de l'<ref-law> soit valable, il est nécessaire 1) que l'un des cas de séquestre mentionnés dans cette disposition soit réalisé, à savoir l'absence de domicile en Suisse ou le fait que les droits du fisc paraissent menacés, 2) que l'existence de la créance fiscale paraisse vraisemblable et 3) que le montant de la garantie exigée ne se révèle pas manifestement exagéré (arrêt 2C_85/2020 du 6 octobre 2020 consid. 5.1 et références). S'agissant des droits du fisc menacés, il appartient à l'autorité fiscale de démontrer que le paiement de l'impôt est objectivement menacé ou au moins de rendre vraisemblable qu'une telle menace existe. C'est l'ensemble des circonstances qui est déterminant. La possibilité de réaliser plus ou moins facilement les éléments du patrimoine ou de les déplacer plus ou moins facilement à l'étranger prend une grande importance en la matière, conformément au sens et au but des sûretés. Le comportement du contribuable peut également jouer un rôle (PIERRE CURCHOD, in Commentaire romand de la LIFD, 2e éd., 2017, n° 16 ss ad <ref-law>).
3.2. L'art. 38 al. 1 de la loi cantonale du 26 juin 2008 relative à la perception et aux garanties des impôts des personnes physiques et des personnes morales (LPGIP; RS/GE D 3 18) de même que l'ancien art. 371A de la loi générale du 9 novembre 1887 sur les contributions publiques (LCP; D 3 05), applicable à la période fiscale 2008, reprenant les termes de l'<ref-law>, les principes exposés en matière d'IFD ont également vocation à s'appliquer à l'ICC (cf. <ref-ruling> consid. 7.3.2; arrêt 2C_85/2020 du 6 octobre 2020 consid. 6.1 et références).
3.3. A teneur de l'<ref-law>, les décisions qui peuvent faire l'objet d'un recours devant le Tribunal fédéral doivent contenir les motifs déterminants de fait et de droit. Il doit ressortir clairement de la décision quel est l'état de fait retenu sur lequel elle se fonde et quel est le raisonnement juridique qui a été suivi (<ref-ruling> consid. 8.2). Sur tous les points de fait décisifs, l'autorité précédente doit indiquer ce qu'elle retient ou écarte et ce qu'elle considère comme douteux. Il faut que l'on sache quels sont les faits admis et quels sont les faits écartés; les conséquences tirées des points douteux doivent aussi apparaître. L'autorité cantonale doit ainsi dresser un état de fait sur la base duquel elle-même, puis le Tribunal fédéral vont raisonner en droit (BERNARD CORBOZ, in Commentaire de la LTF, 2 e éd. 2014, n° 26 ad <ref-law>).
Si une décision attaquée ne satisfait pas aux exigences fixées à l'<ref-law>, le Tribunal fédéral peut alternativement la renvoyer à l'autorité cantonale en invitant celle-ci à la parfaire, ou l'annuler (<ref-law>). Le renvoi s'impose en cas d'erreurs minimes, de caractère plutôt technique qui n'exigent pas que l'on reprenne la décision, mais seulement que l'on envoie une expédition en bon état. Si le vice est plus grave, en ce sens qu'il manque une partie de la décision, le Tribunal fédéral doit alors annuler la décision attaquée et renvoyer la cause à l'autorité cantonale pour qu'elle statue à nouveau. Tel est le cas si les motifs déterminants de fait et de droit font défaut (arrêts 5A_593/2015 du 6 octobre 2015 consid. 2; 1C_435/2015 du 17 septembre 2015 consid. 2).
3.4. En l'occurrence, le recourant et son épouse étant domiciliés en Suisse, le premier motif de sûretés mentionné par les <ref-law> et 38 al. 1 LPGIP, ainsi que par l'ancien art. 371A LCP n'est pas donné. Seul le second motif prévu par ces dispositions entre en considération et il faut donc examiner si les droits du fisc à l'encontre des intéressés paraissent menacés.
Sur ce point, la Cour de justice expose certes dans la partie en droit de son arrêt à quelles conditions une telle menace peut être retenue (consid. 4b), mais sans procéder à une subsomption. Elle se contente d'indiquer qu' "il ressort notamment des éléments mis à jour par le Ministère public genevois puis par [la division des affaires pénales et enquêtes de l'administration fédérale des contributions] que le recourant a un train de vie ne correspondant pas aux revenus et fortunes déclarés" et que le recourant n'a pas contesté efficacement la vraisemblance des montants calculés par le fisc. Ces éléments, qui concernent essentiellement la vraisemblance des créances en cause, ne fournissent pas d'indication sur la mise en danger de celles-ci. Ils ne renseignent pas sur le potentiel risque de voir le recourant se soustraire à ses obligations ni ne permettent, en particulier, de se prononcer sur les arguments de celui-ci lorsqu'il écarte un tel risque en invoquant sa bonne collaboration avec les autorités et la présence en Suisse d'immeubles lui appartenant.
Les faits tels qu'exposés par la Cour de justice ne permettent ainsi pas au Tribunal fédéral de contrôler si les <ref-law>, 38 al. 1 LPGIP et l'ancien art. 371A LCP ont été arbitrairement appliqués par l'autorité précédente. L'arrêt attaqué est partant insuffisamment motivé à l'aune de l'<ref-law>.
4.
4.1. Les considérants qui précèdent conduisent à l'admission du recours, tant en matière d'IFD que d'ICC. Conformément à l'<ref-law>, il convient d'annuler l'arrêt du 17 novembre 2020 de la Cour de justice et de renvoyer la cause à l'autorité précédente pour qu'elle expose un état de fait et motive sa décision en conséquence.
4.2. Succombant, le canton de Genève, qui agit dans l'exercice de ses attributions officielles et dont l'intérêt patrimonial est en jeu (art. 66 al. 1 et 4 LTF), doit supporter les frais judiciaires. Il sera en outre condamné à verser au recourant des dépens (<ref-law>), aucun dépens ne lui étant alloué (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis en tant qu'il concerne l'impôt fédéral direct. L'arrêt de la Cour de justice du 17 novembre 2020 est annulé et la cause est renvoyée à cette autorité pour nouvelle décision dans le sens des considérants.
2.
Le recours est admis en tant qu'il concerne les impôts cantonal et communal. L'arrêt de la Cour de justice du 17 novembre 2020 est annulé et la cause est renvoyée à cette autorité pour nouvelle décision dans le sens des considérants.
3.
Les frais judiciaires, arrêtés à 8'000 fr., sont mis à la charge du canton de Genève.
4.
Le canton de Genève versera au recourant la somme de 8'500 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
5.
Le présent arrêt est communiqué au mandataire du recourant, à l'Administration fiscale cantonale du canton de Genève, à la Cour de justice de la République et canton de Genève, Chambre administrative, 4ème section, ainsi qu'à l'Administration fédérale des contributions.
Lausanne, le 17 août 2021
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : de Chambrier